Discussion :

[ciols]

Bonjour,

Je suis en train de développer un script permettant de comparer deux fichiers et de renvoyer le résultat de cette comparaison dans un fichier résultat.

Voilà le code (je skip tout ce qui est librairies, déclarations des variables etc le problème n'est pas ici) :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
open(FILER,$fichierReference);
open(FILEV,$fichierVerif) or die "Erreur !!\n";
open(FILEC,">resultat_comparaison.txt") or die ("Erreur d'ouverture du fichier\n");
 
####################################
#     Comparaison des fichiers     #
####################################
 
while (<FILER>) {
        chomp;
        #next unless /\w/; #or $_ =~ /<rep:TimeStamp>.*<\/rep:TimeStamp>/;   # élimine les lignes vides
        #next if /<rep:TimeStamp>/;
        #if ($_ =~ m/^[a-z]{3}\d+\,([.*]\,[.*]\,[.*])$/) {
        if ($_ =~ m/^.*201[5|6]\,(.*)$/) {
                $lineR = $1;
        } else {
                $lineR = $_;
        }
        $hash_fic1{$lineR} = 1;
}
 
while (<FILEV>) {
        chomp;
        #next unless /\w/;# or $_ =~ /<rep:TimeStamp>/;
        #next if /<rep:TimeStamp>/;
        if ($_ =~ m/^.*[0-9]{4}\,(.*)$/) {
                $lineV = $1;
        } else {
                $lineV = $_;
        }
        print $lineV."\n";
        if (exists $hash_fic1{$lineV}) {
                $hash_fic1{$lineV} ++;
        } else {
                print FILEC "Ligne différente (fic 2) : $lineV\n";
        }
}
 
for my $cle (keys %hash_fic1) {
        print FILEC "Ligne non présente dans le fichier de à vérifier : $cle\n" if $hash_fic1{$cle} < 2;
}
 
close(FILER);
close(FILEV);
close(FILEC);

Admettons que mon fichier de référence contienne :

Mon Nov 02 10:55:22 CET 2015, aa
Mon Nov 02 10:55:22 CET 2015, bb
Mon Nov 02 10:55:22 CET 2015, cc
Mon Nov 02 10:55:22 CET 2015, dd
Mon Nov 02 10:55:22 CET 2015, dd
Mon Nov 02 10:55:22 CET 2015, ee
Mon Nov 02 10:55:22 CET 2015, ff

Et que mon deuxième fichier contienne :

Mon Nov 02 10:55:22 CET 2015, aa
Mon Nov 02 10:55:22 CET 2015, bb
Mon Nov 02 10:55:22 CET 2015, cc
Mon Nov 02 10:55:22 CET 2015, dd
Mon Nov 02 10:55:22 CET 2015, ee

Il manque un dd et le ff. Avec le code ci-dessus, dans le fichier résultat, j'aurais une ligne indiquant qu'il manque la ligne ff.
Cependant, comme la ligne dd est présente une fois dans le fichier vérif il ne m'affiche pas qu'il manque une ligne dd.

Savez-vous comment pourrais-je faire pour prendre en compte ce problème ?

Merci d'avance,

Cdlt

[Jasmine80]

Bonjour ciols,

Au lieu de vérifier la présence ou l'absence des clés de ton hash, tu pourrais utiliser les valeurs.
A ta place, je parcourerais les 2 fichiers et créerais 2 hash comptant chacune des différentes lignes.
Ensuite, je terminerais par comparer les clés et valeurs des 2 hash.

Maintenant, à toi de voir si cela correspond avec ce que tu veux faire ultérieurement.

[ciols]

Tout d'abord merci pour ta réponse.

Si j'ai bien compris avec ta solution on aurait potentiellement :
hash1{l1} = 1
hash2{l1} = 1
hash1{l2} = 2
hash2{l2} = 2
etc

En pensant à ce schéma j'ai oublié de préciser que l'ordre entre les deux fichiers n'est pas certain. C'est à dire que ça peut très bien être ff, bb, cc, aa, dd, ee

[Jasmine80]

Si j'ai bien compris avec ta solution on aurait potentiellement :
hash1{l1} = 1
hash2{l1} = 1
hash1{l2} = 2
hash2{l2} = 2
etc

Oui, exactement.

En pensant à ce schéma j'ai oublié de préciser que l'ordre entre les deux fichiers n'est pas certain. C'est à dire que ça peut très bien être ff, bb, cc, aa, dd, ee

Cela ne change rien.

[ciols]

D'accord je vais faire ça ! Merci pour tes réponses, je reviens asap pour vous tenir au courant.

[disedorgue]

Bonjour,

Une autre solution qui n'utiliserait qu'un seul tableau, c'est pour le premier fichier tu incrémentes les valeurs de ton tableau et pour le deuxième fichier tu décrémentes.
Comme ça au final:
si la valeur est 0, alors ok.
si la valeur est négative, c'est que tu as un manque dans le premier fichier.
si la valeur est positive, le manque est dans le deuxième fichier.

[Jasmine80]

Bonjour,

Une autre solution qui n'utiliserait qu'un seul tableau, c'est pour le premier fichier tu incrémentes les valeurs de ton tableau et pour le deuxième fichier tu décrémentes.
Comme ça au final:
si la valeur est 0, alors ok.
si la valeur est négative, c'est que tu as un manque dans le premier fichier.
si la valeur est positive, le manque est dans le deuxième fichier.

C'est vraiment une astuce très intelligente ... je vais la retenir ... ça pourra toujours servir.

[ciols]

Hello,

J'ai utilisé la solution de disedorgue qui me semble plus simple à mettre en place, voici le code :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
GetOptions ("ref=s" => \$fichierReference,"verif=s" => \$fichierVerif) or die("Erreur dans les arguments\nExemple : ./compare_conf_pcrf --ref chemin_fichier_1 --verif chemin_fichier_2\n");
if (defined($fichierReference) && defined($fichierVerif)) {
        open(FILER,$fichierReference);
        open(FILEV,$fichierVerif) or die "Erreur !!\n";
        open(FILEC,">../data/resultat_comparaison.txt") or die ("Erreur d'ouverture du fichier\n");
        compare();
} else {
        print "Erreur dans les arguments\nExemple : ./compare_conf_pcrf --ref chemin_fichier_1 --verif chemin_fichier_2\n"
}
 
sub compare {
        while (<FILER>) {
                chomp;
                if ($_ =~ m/^.*201[5|6]\,(.*)$/) {
                        $lineR = $1;
                } else {
                        $lineR = $_;
                }
                $hash_fic1{$lineR}++;
        }
 
        while (<FILEV>) {
                chomp;
                if ($_ =~ m/^.*201[5|6]\,(.*)$/) {
                        $lineV = $1;
                } else {
                        $lineV = $_;
                }
                $hash_fic1{$lineV}--;
        }
 
        foreach my $key (keys %hash_fic1) {
                if ($hash_fic1{$key} > 0) {
                        for (my $i = 0 ; $i < $hash_fic1{$key} ; $i++) {
                                print FILEC "La ligne $key n'est pas présente dans le fichier de vérification\n";
                        }
                }
        }
}

Et ça marche parfaitement !

Merci beaucoup à vous !

[Philou67430]

Bonjour,

Une autre solution qui n'utiliserait qu'un seul tableau, c'est pour le premier fichier tu incrémentes les valeurs de ton tableau et pour le deuxième fichier tu décrémentes.
Comme ça au final:
si la valeur est 0, alors ok.
si la valeur est négative, c'est que tu as un manque dans le premier fichier.
si la valeur est positive, le manque est dans le deuxième fichier.

Solution similaire : tu crées la clé dans le tableau lors du premier parcours du fichier, et tu la retires (delete) dans le parcours du deuxième en vérifiant si elle existe :
- tu détectes l'absence dans le premier fichier lors de la lecture du deuxième fichier
- tu détectes l'absence dans le deuxième fichier en regardant les clés qui subsistent dans le tableau

Si les deux fichiers sont similaires (notamment triés de la même manière), une lecture "en parallèle" (100 lignes par 100 lignes par exemples) des deux fichiers peut limiter la taille du hash (utile si les fichiers ont des tailles supérieures à, disons, la centaine de Mo).