Discussion :

[laurent27530]

Bonjour

je souhaite fusionner 2 fichiers csv

un fichier mois_courant.csv de 20 000 ko
un fichier histo.csv de 510 000 ko

lorsque je lance mon script 2 phénomènes se produisent

le fichier généré global.csv fait 1 610 000 ko, pourquoi une telle différence ?

dans le fichier global.csv les 2 fichiers sont séparés d'une ligne vide l'entête du deuxième n'a pas été prise en compte.

Code PowerShell :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
$getFirstLine = $true
get-childItem "C:\TEMP\*.csv" | foreach {
    $filePath = $_
 
    $lines = Get-Content $filePath  
    $linesToWrite = switch($getFirstLine) {
           $true  {$lines}
           $false {$lines | Select -Skip 1}
 
    }
 
    $getFirstLine = $false
    Add-Content "C:\TEMP\GLOBAL.csv" $linesToWrite
    }

[ericlm128]

Hello,

Tes fichiers CSV ont les mêmes en-tête ?
Si oui tu fait 2 imports une fusion et un export

Tu peux aussi importer le fichier mois_courant.csv et l'ajouter à histo.csv facilement en utilisant le paramètre Append de la cmdlet Export-Csv

[laurent27530]

comment gérer avec la commande Append de la cmdlet Export-Csv la gestion de la suppression de l'entete du deuxieme fichier ?

dans mon cas j'ai le fichier historique beaucoup plus gros, il vaut mieux ajouter le courant sur histo ou ca n'a pas d'importance

[ericlm128]

Il va gérer tout seul les en-têtes si les 2 fichier sont cohérent (d’où la question Tes fichiers CSV ont les mêmes en-tête ?)

Il vaut mieux ajouter le plus petit mois_courant.csv dans histo.csv , c'est mieux techniquement et logiquement

[laurent27530]

j'ai essayé le code suivant j'obtiens un message d'erreur

Code PowerShell :

Sélectionner tout - Visualiser dans une fenêtre à part

Get-ChildItem -Filter C:\TEMP\*.csv | Select-Object -ExpandProperty FullName | Import-Csv | Export-Csv C:\TEMP\Global.csv -NoTypeInformation -Append

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
Get-ChildItem : La seconde partie d'un chemin d'accès ne doit pas être un 
lecteur ou un nom UNC.
Nom du paramètre*: path2
Au caractère Ligne:2 : 1
+ Get-ChildItem -Filter C:\TEMP\*.c ...
+ ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
    + CategoryInfo          : InvalidArgument : (C:\TEMP 
   :String) [Get-ChildItem], ArgumentException
    + FullyQualifiedErrorId : DirArgumentError,Microsoft.PowerShell.Commands.G 
   etChildItemCommand

[ericlm128]

Je dirai comme ceci (même si je ne comprends pas le message d'erreur dans ce contexte)

Code powershell :

Sélectionner tout - Visualiser dans une fenêtre à part

Get-ChildItem -Path C:\TEMP\*.csv | Select-Object -ExpandProperty FullName | Import-Csv | Export-Csv C:\TEMP\Global.csv -NoTypeInformation -Append

[ericlm128]

Tu va avoir un problème puisque ton export se trouve dans le même dossier que les autres csv

Tu a vraiment plusieurs csv à ajouter a global.csv ?

[laurent27530]

2 fichiers : current.csv 20 Mo et Histo.csv 510 MO le temps de "fusion" est vraiment tres long.

J'obtiens un fichier global.csv de 2 giga

[ericlm128]

Je ferai simplement ceci

Code powershell :

Sélectionner tout - Visualiser dans une fenêtre à part

Import-Csv -Path "C:\TEMP\current.csv" | Export-Csv "C:\TEMP\Global.csv" -NoTypeInformation -Append

[laurent27530]

super ca marche c'est long mais cela fonctionne