Comparaison deux fichier TXT avec code d'action

Version imprimable

Voir 40 message(s) de cette discussion en une page

10/10/2019, 11h43
Daradaal

Comparaison deux fichier TXT avec code d'action

Bonjour,

Je suis un peu perdu je suis à la recherche de votre aide pour créer un script PowerShell permettant de comparer, extraire les modifications issues de deux fichier txt.
En effet je reçois un fichier F1 nommé fichier_F1.txt à J+0 . J’ai un autre fichier F1 nommée fichier_F1_vieux à J-1.
Je souhaiterais comparé les modifications du fichier_F1 et du fichier_F1_vieux et extraire les ajouts, modifications, suppression en fonction du fichier_vieux.
L’extraction serait en .txt avec l’ajout d’une dernière colonne avec un code d’action 1=ajout 2=modification 3=suppression.

Dans l’attente de vos lumières je vous remercie :)
10/10/2019, 12h25
hackoofr

:salut:
Source : https://serverfault.com/questions/55.../951843#951843

Code:

compare-object (get-content 'C:\temp\Test\File1.txt') (get-content 'C:\temp\Test\File2.txt') | format-table | Out-File 'C:\temp\Test\Comparaison.txt'

Ou bien

Code:

diff (gc 'C:\temp\Test\File1.txt' | % -begin { $ln1=0 } -process { '{0,6}<<:{1}' -f ++$ln1,$_ }) (gc 'C:\temp\Test\File2.txt' | % -begin { $ln2=0 } -process { '{0,6}>>:{1}' -f ++$ln2,$_ }) -property { $_.substring(9) } -passthru | sort | Out-File 'C:\temp\Test\Comparaison.txt'
10/10/2019, 17h19
Daradaal

Merci c'est exactement ça ! Enfin presque...

J'ai évolué le script est presque bon comme suit :

Code:

compare-object $(Get-Content "\Traitement F1\Fichier F1 à traiter\FichierF10.txt") $(Get-content "\Traitement F1\Fichier F1 d'archive\FichierF11.txt")| Sort-Object | Export-Csv "\Traitement F1\Fichier F1 épuré\Comparaison.csv" -NoTypeInformation -Delimiter ';'

Comment puis-je supprimés les éléments en gras dans mon export csv

"InputObject" "SideIndicator"
"NOM;PRENOM;FONCTION"";"=>"

Afin d'avoir un .csv

NOM;PRENOM;FONCTION;=>
NOM;PRENOM;FONCTION;<=

Merci d'avance :)
10/10/2019, 17h56
Daradaal

J'ai donc trouvé voici pour ceux que sa intéresse :

Code:

compare-object $(Get-Content "\Traitement F1\Fichier F1 à traiter\FichierF10.txt") $(Get-content "\Traitement F1\Fichier F1 d'archive\FichierF11.txt") | Sort-Object| ConvertTo-Csv -NoTypeInformation | % {$_.Replace('"','')} | Select-Object -Skip 1 | Out-File "\Traitement F1\Fichier F1 épuré\Comparaison.csv"
11/10/2019, 08h58
ericlm128

Je ferais comme ceci.
Tu sais que si tu supprime les " tu obtiendra un csv pas forcement cohérent avec la norme (si ta ligne possède un espace ou une virgule par exemple)

Code:

Compare-Object -ReferenceObject (Get-Content -Path "Traitement F1\Fichier F1 à traiter\FichierF10.txt") -DifferenceObject (Get-Content -Path "Traitement F1\Fichier F1 d'archive\FichierF11.txt") -IncludeEqual | Select-Object @{Name="Ligne";Expression={$_.InputObject}}, @{Name="Etat";Expression={$_.SideIndicator -replace "==", "Egal" -replace "=>", "Ajout" -replace "<=", "Suppression"}} | Export-Csv -Path "Traitement F1\Fichier F1 épuré\Comparaison.csv" -NoTypeInformation -Encoding Default
11/10/2019, 21h04
Daradaal

1 pièce(s) jointe(s)

Merci ericlm128 tu m'aide grandement car le problème peut ce produire.
Par contre en réfléchissant finalement ce script ne répond pas vraiment à mon but final car je ne peut pas comparer les modifications entre le fichier_ancien et le fichier_nouveau comme le script ne gère pas d'ID unique pour chaque ligne j'ai fais un petit schéma pour vous faire comprendre mon script :

Pièce jointe 509345
11/10/2019, 22h46
ericlm128

Merci pour le schéma.
Les colonnes a b c d e existe elle vraiment dans vos fichiers ?
Il faut comparer via le id, mais vous me dite qu'il n'existe pas...
11/10/2019, 22h50
Daradaal

En effet toutes les colonnes existent.
L'ID est en faite la colonne C c'est le seul élément qui ne change jamais entre une ligne du fichier ancien et du fichier à traiter
12/10/2019, 07h34
ericlm128

C'est donc un fichier de type csv ?
Je pourrais en avoir 1 en exemple ?
12/10/2019, 10h31
Daradaal

3 pièce(s) jointe(s)

Voici. Après réflexion l'ID se trouvera à gauche de chacun de mes fichiers txt et csv (c'est plus pratique pour la lecture) j'ai donc rectifié mon schéma :
Pièce jointe 509430

Pièce jointe 509434 Pièce jointe 509435

Je te propose ceci

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
# Définition des en-têtes
$Header = 'A', 'B', 'C', 'D', 'E'
 
# Import des fichiers
$F1 = Import-Csv -Path "Fichier10.txt" -Encoding Default -Header $Header
$F2 = Import-Csv -Path "Fichier11.txt" -Encoding Default -Header $Header
 
# Variable qui servira à stocker le résultat
$result = @()
 
# Ajout
$result += $F2 | Where-Object {$F1.A -notcontains $_.A} | Select-Object *, @{Label="Code d'action";Expression={0}}
 
# Suppression
$result += $F1 | Where-Object {$F2.A -notcontains $_.A} | Select-Object *, @{Label="Code d'action";Expression={2}}
 
# Modification
$result += foreach($itemF2 in $F2)
{
    $itemF1 = $F1 | Where-Object {$_.A -eq $itemF2.A}
    if ($itemF1 -ne $null -and (Compare-Object $itemF1.PsObject.Properties $itemF2.PsObject.Properties))
    {
        $itemF2 | Select-Object *, @{Label="Code d'action";Expression={1}}
    }
}
 
# Export du résultat trié
$result | Sort-Object -Property "Code d'action" -Descending | Export-Csv -Path "comparaison.csv" -NoTypeInformation -Encoding Default

12/10/2019, 12h42
Daradaal

Woaw formidable c'est exactement ça ! Tu es le dieu du powershell :)
Celà fonctionne bien pour quelques lignes une dizaine en revanche avec mes 28 000lignes le temps de traitements est très long je ne sais pas si on peut améliorer ça comme par exemple avec un traitement par lot
13/10/2019, 08h24
ericlm128

Il me faudrait les fichiers en exemple.
13/10/2019, 10h36
Daradaal

1 pièce(s) jointe(s)

Je vous est simulé un fichier d'exemple de 28 000 lignes
( ce sont des données d'exemples généré grâce à des listes de nom,prénom, métier,code métier ect issue du site data.gouv.fr) je ne peux pas vous donner le vrai document vu que c'est une base RH.
Merci en tout cas de votre aide !
Pièce jointe 509604
13/10/2019, 10h37
ericlm128

Oui mais il faut 2 fichier pour comparer.
13/10/2019, 10h41
Daradaal

1 pièce(s) jointe(s)

Voici évidemment
Pièce jointe 509606
13/10/2019, 10h49
ericlm128

L'ancien script mettait combien de temps ?
13/10/2019, 10h53
Daradaal

Il mettait bien 4 à 5H hier, je n'ai pas du coup fait de bench sur le script :(

Oui c'est un peu long :D

Voici un code plus optimisé.

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
# Définition des en-têtes
$Header = 'A', 'B', 'C', 'D', 'E'
 
# Import des fichiers
$F1 = Import-Csv -Path "Fichier10.txt" -Encoding Default -Header $Header
$F2 = Import-Csv -Path "fichier11.txt" -Encoding Default -Header $Header
 
# Variable qui servira à stocker le résultat
$result = @()
 
# Récupère les différences d'ID (ajout, suppression)
# Et stock dans $F1 et $F2 le statut SideIndicator pour les objects découverts, via le paramètre PassThru
$result = (Compare-Object -ReferenceObject $F1 -DifferenceObject $F2 -Property A -PassThru) | Select-Object A, B, C, D, E, @{Label="Code d'action";Expression={if($_.SideIndicator -eq "=>"){0}else{2}}}
 
# Récupère les modifications pour les doublons d'ID en comparant toutes les propriétés (A, B, C, D, E)
$result += (Compare-Object -ReferenceObject @($F1 | Where-Object {$_.SideIndicator -eq $null}) -DifferenceObject @($F2 | Where-Object {$_.SideIndicator -eq $null}) -Property A, B, C, D, E -ErrorAction SilentlyContinue) | Where-Object {$_.SideIndicator -eq "=>"} | Select-Object A, B, C, D, E, @{Label="Code d'action";Expression={1}}
 
# Export du résultat trié
$result | Sort-Object -Property "Code d'action" -Descending | Export-Csv -Path "comparaison.csv" -NoTypeInformation -Encoding Default

13/10/2019, 11h15
ericlm128

Mince ton délimiteur à changé il faut ajouter -Delimiter ";" sur les Import-Csv

Voir 40 message(s) de cette discussion en une page