Discussion :

[fetug]

Bonjour,

J'ai 2 fichiers csv avec les mêmes colonnes que je souhaite fusionner.
Je les concatène de cette manière :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

copy *.csv merged.csv

Ensuite, j'ai ce script pour supprimer les doublons :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
OriginalFile = "C:\chemin-fichier\merged.csv"
$ExportFile = "C:\chemin-fichier\merged-no-doublons.csv"
Import-Csv $OriginalFile -Delimiter ';'| Sort-Object Nom-Colonne –Unique| Export-Csv -Path $ExportFile -NoTypeInformation -Delimiter ';' -Force

En fait pour les doublons, je vais avoir deux lignes avec une même référence (en l'occurence un mail) mais les colonnes remplies ne sont pas les mêmes sur les deux lignes. Or le script pour les doublons ci-dessus garde la 1ère ligne mais supprime la 2nde et je perds des données.
Je cherche donc un moyen de fusionner ces 2 lignes sans perte.

[Laurent Dardenne]

Salut,
le switch -Unique supprime effectivement les doublons, si tu veux retravailler les données en double essaie de les regrouper (Group-Object) par le nom de ta propriété.
Le tableau renvoyé par Group-Object contient les éléments unique de la collection d'origine et la propriété Group de chacun de ses éléments contient les 'lignes' en double.

[fetug]

Bonjour Laurent,

Merci pour ton aide

J'ai ajusté mon script comme ceci :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

Import-Csv $OriginalFile -Delimiter ';'| Sort-Object Email | Group-Object Email | Export-Csv -Path $ExportFile -NoTypeInformation -Delimiter ';' -Force

Je récupère en sortie un tableau avec nombre d’occurrence pour chaque email mais je ne sais pas comment récupérer mon tableau d'origine avec ses colonnes.

• J'ai une colonne "Values" avec "System.Collections.ArrayList" pour chaque ligne
• J'ai une colonne "Count" avec le nombre d'occurence pour chaque ligne
• J'ai une colonne "Group" avec "System.Collections.ObjectModel.Collection`1[System.Management.Automation.PSObject]" pour chaque ligne
• J'ai une colonne "Name" avec l'email

Si je comprends bien ta réponse, je peux les autres colonnes pour chaque ligne via la propriété Group de cahque ligne ? Je vois pas comment faire ça

[Laurent Dardenne]

Un conseil, ici pense objet pas colonne.
Dans ton approche tu ne modifies rien si ce n'est la structure de ta collection.Et Export-csv ne sait pas gérer des collections de collection.

Une ébauche rapido du principe :

Code powershell :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
 
 #génère les données de  test
get-process|export-csv c:\temp\t.csv
$Process=Import-csv c:\temp\t.csv
 
 #groupe par nom
$Groupes=$process|group-object Name
$Groupes
 
 #exemple d'un élément contenant 1 ou n duplications
$ToConcat=$Groupes|Where {$_.Name -eq 'svchost'}
$ToConcat.Group
 
 #Enumération auto de la collection Group
 #Attention PS v3 et >
$ToConcat.Group.starttime
 
 #ici pas de perte d'infos, on concatène toutes les dates dans une string
$NewInfo="$($ToConcat.Group.starttime)"
$NewInfo
 
 #MAJ des données
 #exemple pour cette démo du principe : l'indice 0 ne correspond pas à l'objet $ToConcat trouvé précédemment
$Groupes[0].group[0].Starttime=$NewInfo # ici starttime est de type String
 
 #Attention PS v3 et >
$Groupes.group[Export-csv c:\temp\t2.csv

La MAJ doit se faire dans une boucle pour ne pas avoir à calculer des indices de tableau.

[fetug]

Bonjour Laurent,

J'ai oublié de te répondre désolé
ça dépassait un peu mes capacités sur le sujet. J'ai pu trouver quelqu'un pour réaliser l'opération.
Merci encore pour ton aide!
Gabriel