Discussion :

[Daradaal]

Bonjour,

Je suis un peu perdu je suis à la recherche de votre aide pour créer un script PowerShell permettant de comparer, extraire les modifications issues de deux fichier txt.
En effet je reçois un fichier F1 nommé fichier_F1.txt à J+0 . J’ai un autre fichier F1 nommée fichier_F1_vieux à J-1.
Je souhaiterais comparé les modifications du fichier_F1 et du fichier_F1_vieux et extraire les ajouts, modifications, suppression en fonction du fichier_vieux.
L’extraction serait en .txt avec l’ajout d’une dernière colonne avec un code d’action 1=ajout 2=modification 3=suppression.

Dans l’attente de vos lumières je vous remercie

[hackoofr]

Source : https://serverfault.com/questions/55.../951843#951843

Code Powershell :

Sélectionner tout - Visualiser dans une fenêtre à part

compare-object (get-content 'C:\temp\Test\File1.txt') (get-content 'C:\temp\Test\File2.txt') | format-table | Out-File 'C:\temp\Test\Comparaison.txt'

Ou bien

Code Powershell :

Sélectionner tout - Visualiser dans une fenêtre à part

diff (gc 'C:\temp\Test\File1.txt' | % -begin { $ln1=0 } -process { '{0,6}<<:{1}' -f ++$ln1,$_ }) (gc 'C:\temp\Test\File2.txt' | % -begin { $ln2=0 } -process { '{0,6}>>:{1}' -f ++$ln2,$_ }) -property { $_.substring(9) } -passthru | sort | Out-File 'C:\temp\Test\Comparaison.txt'

[Daradaal]

Merci c'est exactement ça ! Enfin presque...

J'ai évolué le script est presque bon comme suit :

Code PowerShell :

Sélectionner tout - Visualiser dans une fenêtre à part

compare-object $(Get-Content "\Traitement F1\Fichier F1 à traiter\FichierF10.txt") $(Get-content "\Traitement F1\Fichier F1 d'archive\FichierF11.txt")| Sort-Object | Export-Csv "\Traitement F1\Fichier F1 épuré\Comparaison.csv" -NoTypeInformation -Delimiter ';'

Comment puis-je supprimés les éléments en gras dans mon export csv

"InputObject" "SideIndicator"
"NOM;PRENOM;FONCTION"";"=>"

Afin d'avoir un .csv

NOM;PRENOM;FONCTION;=>
NOM;PRENOM;FONCTION;<=

Merci d'avance

[Daradaal]

J'ai donc trouvé voici pour ceux que sa intéresse :

Code PowerShell :

Sélectionner tout - Visualiser dans une fenêtre à part

compare-object $(Get-Content "\Traitement F1\Fichier F1 à traiter\FichierF10.txt") $(Get-content "\Traitement F1\Fichier F1 d'archive\FichierF11.txt") | Sort-Object| ConvertTo-Csv -NoTypeInformation | % {$_.Replace('"','')} | Select-Object -Skip 1 | Out-File "\Traitement F1\Fichier F1 épuré\Comparaison.csv"

[ericlm128]

Je ferais comme ceci.
Tu sais que si tu supprime les " tu obtiendra un csv pas forcement cohérent avec la norme (si ta ligne possède un espace ou une virgule par exemple)

Code powershell :

Sélectionner tout - Visualiser dans une fenêtre à part

Compare-Object -ReferenceObject (Get-Content -Path "Traitement F1\Fichier F1 à traiter\FichierF10.txt") -DifferenceObject (Get-Content -Path "Traitement F1\Fichier F1 d'archive\FichierF11.txt") -IncludeEqual | Select-Object @{Name="Ligne";Expression={$_.InputObject}}, @{Name="Etat";Expression={$_.SideIndicator -replace "==", "Egal" -replace "=>", "Ajout" -replace "<=", "Suppression"}} | Export-Csv -Path "Traitement F1\Fichier F1 épuré\Comparaison.csv" -NoTypeInformation -Encoding Default

[Daradaal]

Merci ericlm128 tu m'aide grandement car le problème peut ce produire.
Par contre en réfléchissant finalement ce script ne répond pas vraiment à mon but final car je ne peut pas comparer les modifications entre le fichier_ancien et le fichier_nouveau comme le script ne gère pas d'ID unique pour chaque ligne j'ai fais un petit schéma pour vous faire comprendre mon script :

[ericlm128]

Merci pour le schéma.
Les colonnes a b c d e existe elle vraiment dans vos fichiers ?
Il faut comparer via le id, mais vous me dite qu'il n'existe pas...

[Daradaal]

En effet toutes les colonnes existent.
L'ID est en faite la colonne C c'est le seul élément qui ne change jamais entre une ligne du fichier ancien et du fichier à traiter

[ericlm128]

C'est donc un fichier de type csv ?
Je pourrais en avoir 1 en exemple ?

[Daradaal]

Voici. Après réflexion l'ID se trouvera à gauche de chacun de mes fichiers txt et csv (c'est plus pratique pour la lecture) j'ai donc rectifié mon schéma :


Fichier11.txtFichier10.txt

[ericlm128]

Je te propose ceci

Code powershell :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
# Définition des en-têtes
$Header = 'A', 'B', 'C', 'D', 'E'
 
# Import des fichiers
$F1 = Import-Csv -Path "Fichier10.txt" -Encoding Default -Header $Header
$F2 = Import-Csv -Path "Fichier11.txt" -Encoding Default -Header $Header
 
# Variable qui servira à stocker le résultat
$result = @()
 
# Ajout
$result += $F2 | Where-Object {$F1.A -notcontains $_.A} | Select-Object *, @{Label="Code d'action";Expression={0}}
 
# Suppression
$result += $F1 | Where-Object {$F2.A -notcontains $_.A} | Select-Object *, @{Label="Code d'action";Expression={2}}
 
# Modification
$result += foreach($itemF2 in $F2)
{
    $itemF1 = $F1 | Where-Object {$_.A -eq $itemF2.A}
    if ($itemF1 -ne $null -and (Compare-Object $itemF1.PsObject.Properties $itemF2.PsObject.Properties))
    {
        $itemF2 | Select-Object *, @{Label="Code d'action";Expression={1}}
    }
}
 
# Export du résultat trié
$result | Sort-Object -Property "Code d'action" -Descending | Export-Csv -Path "comparaison.csv" -NoTypeInformation -Encoding Default

[Daradaal]

Woaw formidable c'est exactement ça ! Tu es le dieu du powershell
Celà fonctionne bien pour quelques lignes une dizaine en revanche avec mes 28 000lignes le temps de traitements est très long je ne sais pas si on peut améliorer ça comme par exemple avec un traitement par lot

[ericlm128]

Il me faudrait les fichiers en exemple.

[Daradaal]

Je vous est simulé un fichier d'exemple de 28 000 lignes
( ce sont des données d'exemples généré grâce à des listes de nom,prénom, métier,code métier ect issue du site data.gouv.fr) je ne peux pas vous donner le vrai document vu que c'est une base RH.
Merci en tout cas de votre aide !
test12.zip

[ericlm128]

Oui mais il faut 2 fichier pour comparer.

[Daradaal]

Voici évidemment
testfichier.zip

[ericlm128]

L'ancien script mettait combien de temps ?

[Daradaal]

Il mettait bien 4 à 5H hier, je n'ai pas du coup fait de bench sur le script

[ericlm128]

Oui c'est un peu long

Voici un code plus optimisé.

Code powershell :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
# Définition des en-têtes
$Header = 'A', 'B', 'C', 'D', 'E'
 
# Import des fichiers
$F1 = Import-Csv -Path "Fichier10.txt" -Encoding Default -Header $Header
$F2 = Import-Csv -Path "fichier11.txt" -Encoding Default -Header $Header
 
# Variable qui servira à stocker le résultat
$result = @()
 
# Récupère les différences d'ID (ajout, suppression)
# Et stock dans $F1 et $F2 le statut SideIndicator pour les objects découverts, via le paramètre PassThru
$result = (Compare-Object -ReferenceObject $F1 -DifferenceObject $F2 -Property A -PassThru) | Select-Object A, B, C, D, E, @{Label="Code d'action";Expression={if($_.SideIndicator -eq "=>"){0}else{2}}}
 
# Récupère les modifications pour les doublons d'ID en comparant toutes les propriétés (A, B, C, D, E)
$result += (Compare-Object -ReferenceObject @($F1 | Where-Object {$_.SideIndicator -eq $null}) -DifferenceObject @($F2 | Where-Object {$_.SideIndicator -eq $null}) -Property A, B, C, D, E -ErrorAction SilentlyContinue) | Where-Object {$_.SideIndicator -eq "=>"} | Select-Object A, B, C, D, E, @{Label="Code d'action";Expression={1}}
 
# Export du résultat trié
$result | Sort-Object -Property "Code d'action" -Descending | Export-Csv -Path "comparaison.csv" -NoTypeInformation -Encoding Default

[ericlm128]

Mince ton délimiteur à changé il faut ajouter -Delimiter ";" sur les Import-Csv