Comparer deux fichiers

Version imprimable

2 pièce(s) jointe(s)

Bonjour.
J'ai deux fichiers Base et Cas
cas :Pièce jointe 198048
base :Pièce jointe 198048

J'ai écrit un petit programme pour:
- comparer ces deux fichiers TXT
- afficher les lignes similaires
Code:

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 # read files db_new_cas = open('C:\\.......\\cas', 'r') db_src_cas = open('C:\\........\\base', 'r') # convert files to list line_new_cas = db_new_cas.readlines() line_src_cas = db_src_cas.readlines() for new in line_new_cas: for src in line_src_cas: if new == src and new <> "\n": print "----------similaires----------" print new.strip("\n") #close files db_new_cas.close() db_src_cas.close()
********
Proposez-moi des améliorations pour rendre le programme plus simple ou optimal.
Merci :)

15/01/2016, 07h53
wiztricks

Salut,

Citation:

Envoyé par zargooo04

Proposez-moi des améliorations pour rendre le programme plus simple ou optimal.

Il sera préférable d'(apprendre à) utiliser la bibliothèque difflib ...

- W
15/01/2016, 15h13
zargooo04

Merci.
Aller les programmeurs je cherche d'autres idées.

Citation:

Envoyé par wiztricks

Salut,

Il sera préférable d'(apprendre à) utiliser la bibliothèque difflib ...

- W

Par exemple si j'ai deux fichiers dans une structure de tableau format texte.
exemple:
----------base------------

Code:

1
2
3
4
5
6
7
8
 
2009-09-25     10     20     83     86
2009-09-24     16     35     06     17
2009-09-23     47     47     05     12
2009-09-22     59     71     35     41
2009-09-21     56     82     50     57
2009-09-18     72     87     57     62
2009-09-17     42     77     32     52

----------cas------------

Code:

1
2
3
4
5
 
2009-09-24     16     01     06     00
2009-09-23     47     47     05     13
2009-09-22     59     71     44     41
2009-09-17     42     77     01     52

- Dans les lignes non similaires montre les colonnes non similaires.
- Extraire la ligne la plus similaire

Y a-t-il des modules ou autres pour ça?:calim2:

15/01/2016, 15h56
wiztricks

Citation:

Envoyé par zargooo04

- Dans les lignes non similaires montre les colonnes non similaires.
- Extraire la ligne la plus similaire

Techniquement, la difficulté est de rendre "similaire", "calculable" pour qu'on puisse coder cela sans passer par de l'intelligence artificielle.
Mais pour les cas "simples", difflib sait faire des comparaisons "approximatives".
Après çà répond ou pas à votre besoin mais pour le savoir, il vous faut lire la documentation, essayer d'appliquer çà à de petits exemples,....
Ce qui va vous obliger à un peu plus formaliser "similaire"...

- W
15/01/2016, 16h15
zargooo04
Citation:

Envoyé par wiztricks

Techniquement, la difficulté est de rendre "similaire", "calculable" pour qu'on puisse coder cela sans passer par de l'intelligence artificielle.
Mais pour les cas "simples", difflib sait faire des comparaisons "approximatives".
Après çà répond ou pas à votre besoin mais pour le savoir, il vous faut lire la documentation, essayer d'appliquer çà à de petits exemples,....
Ce qui va vous obliger à un peu plus formaliser "similaire"...

- W

Je parle de simple comparaison entre les nombres.
exemple
Code:

1 2 3 4 2009-09-17 42 77 01 52 2009-09-17 42 77 32 52
La différence dans la colonne (04). Les nombres 01 et 32.

Merci, je vais lire la documentation.
Documentation en anglais. Je peux lire et comprendre. Mais pour aller vite je préfère la documentation en français :lol: mais je pense il n'y a pas un bon site pour ça.
15/01/2016, 16h37
wiztricks

Salut,

Citation:

Envoyé par zargooo04

Je parle de simple comparaison entre les nombres.

Des notions comme "colonne" et "nombre" signifient que vous ne comparez pas des fichiers textes quelconques mais des données représentant des informations dans un format particulier. Probable que la mise en forme de ces données sous un format ad hoc aide (ou pas) à "comparer"... mais il n'y a que vous qui sachiez ce que sont ces informations: ce n'est pas en montrant des suites d'octets qu'on va deviner ce qu'ils représentent!

- W

Bonjour,

Citation:

Envoyé par zargooo04

Extraire la ligne la plus similaire

Trouver si 2 chaines de caractères sont "similaires" n'est vraiment pas un problème sous Python avec le module difflib.

Par exemple:

Code:

1
2
3
4
5
6
7
8
9
10
import difflib
 
print(difflib.SequenceMatcher(None, "dupont", "dupont").ratio())
1.0
print(difflib.SequenceMatcher(None, "dupont", "dupond").ratio())
0.8333333333333334
print(difflib.SequenceMatcher(None, "dupont", "durand").ratio())
0.5
print(difflib.SequenceMatcher(None, "dupont", "albert").ratio())
0.16666666666666666

Reprenons ton exemple:

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
from difflib import SequenceMatcher 
 
x = ["2009-09-25     10     20     83     86",
"2009-09-24     16     35     06     17",
"2009-09-23     47     47     05     12",
"2009-09-22     59     71     35     41",
"2009-09-21     56     82     50     57",
"2009-09-18     72     87     57     62",
"2009-09-17     42     77     32     52"
]
 
y = ["2009-09-24     16     01     06     00",
"2009-09-23     47     47     05     13",
"2009-09-22     59     71     44     41",
"2009-09-17     42     77     01     52",
]
 
result = []
for i, ligney in enumerate(y):
    for j, lignex in enumerate(x):
        ratio = SequenceMatcher(None, ligney, lignex).ratio()
        result.append([i, j, ratio])
result.sort(key=lambda v: v[2], reverse=True)
 
for i, j, ratio in result:
    print(i, "("+y[i]+")", j, "("+x[j]+")", "ratio de similitude:", ratio)

Ce qui affiche:

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
1 (2009-09-23     47     47     05     13) 2 (2009-09-23     47     47     05     12) ratio de similitude: 0.9736842105263158
2 (2009-09-22     59     71     44     41) 3 (2009-09-22     59     71     35     41) ratio de similitude: 0.9473684210526315
3 (2009-09-17     42     77     01     52) 6 (2009-09-17     42     77     32     52) ratio de similitude: 0.9473684210526315
0 (2009-09-24     16     01     06     00) 1 (2009-09-24     16     35     06     17) ratio de similitude: 0.8947368421052632
0 (2009-09-24     16     01     06     00) 0 (2009-09-25     10     20     83     86) ratio de similitude: 0.8157894736842105
0 (2009-09-24     16     01     06     00) 4 (2009-09-21     56     82     50     57) ratio de similitude: 0.8157894736842105
1 (2009-09-23     47     47     05     13) 1 (2009-09-24     16     35     06     17) ratio de similitude: 0.8157894736842105
0 (2009-09-24     16     01     06     00) 3 (2009-09-22     59     71     35     41) ratio de similitude: 0.7894736842105263
1 (2009-09-23     47     47     05     13) 4 (2009-09-21     56     82     50     57) ratio de similitude: 0.7894736842105263
2 (2009-09-22     59     71     44     41) 0 (2009-09-25     10     20     83     86) ratio de similitude: 0.7631578947368421
3 (2009-09-17     42     77     01     52) 1 (2009-09-24     16     35     06     17) ratio de similitude: 0.7631578947368421
0 (2009-09-24     16     01     06     00) 5 (2009-09-18     72     87     57     62) ratio de similitude: 0.7368421052631579
0 (2009-09-24     16     01     06     00) 6 (2009-09-17     42     77     32     52) ratio de similitude: 0.7368421052631579
3 (2009-09-17     42     77     01     52) 0 (2009-09-25     10     20     83     86) ratio de similitude: 0.7368421052631579
3 (2009-09-17     42     77     01     52) 2 (2009-09-23     47     47     05     12) ratio de similitude: 0.7368421052631579
1 (2009-09-23     47     47     05     13) 6 (2009-09-17     42     77     32     52) ratio de similitude: 0.6842105263157895
1 (2009-09-23     47     47     05     13) 5 (2009-09-18     72     87     57     62) ratio de similitude: 0.6578947368421053
2 (2009-09-22     59     71     44     41) 5 (2009-09-18     72     87     57     62) ratio de similitude: 0.6578947368421053
2 (2009-09-22     59     71     44     41) 2 (2009-09-23     47     47     05     12) ratio de similitude: 0.5789473684210527
2 (2009-09-22     59     71     44     41) 4 (2009-09-21     56     82     50     57) ratio de similitude: 0.5789473684210527
3 (2009-09-17     42     77     01     52) 5 (2009-09-18     72     87     57     62) ratio de similitude: 0.5789473684210527
1 (2009-09-23     47     47     05     13) 0 (2009-09-25     10     20     83     86) ratio de similitude: 0.4473684210526316
1 (2009-09-23     47     47     05     13) 3 (2009-09-22     59     71     35     41) ratio de similitude: 0.4473684210526316
3 (2009-09-17     42     77     01     52) 4 (2009-09-21     56     82     50     57) ratio de similitude: 0.4473684210526316
0 (2009-09-24     16     01     06     00) 2 (2009-09-23     47     47     05     12) ratio de similitude: 0.42105263157894735
2 (2009-09-22     59     71     44     41) 1 (2009-09-24     16     35     06     17) ratio de similitude: 0.42105263157894735
2 (2009-09-22     59     71     44     41) 6 (2009-09-17     42     77     32     52) ratio de similitude: 0.42105263157894735
3 (2009-09-17     42     77     01     52) 3 (2009-09-22     59     71     35     41) ratio de similitude: 0.42105263157894735

On voit dans les 1ers résultats que les 3 lignes de y et x les plus similaires sont:

Code:

1
2
3
la ligne d'indice 1 de y (2009-09-23     47     47     05     13) et la ligne d'indice 2 de x (2009-09-23     47     47     05     12) avec un ratio de similitude: 0.9736842105263158
la ligne d'indice 2 de y (2009-09-22     59     71     44     41) et la ligne d'indice 3 de x (2009-09-22     59     71     35     41) avec un ratio de similitude: 0.9473684210526315
la ligne d'indice 3 de y (2009-09-17     42     77     01     52) et la ligne d'indice 6 de x (2009-09-17     42     77     32     52) avec un ratio de similitude: 0.9473684210526315

Ok?

15/01/2016, 19h02
zargooo04

Citation:

Envoyé par wiztricks

Salut,

Des notions comme "colonne" et "nombre" signifient que vous ne comparez pas des fichiers textes quelconques mais des données représentant des informations dans un format particulier. Probable que la mise en forme de ces données sous un format ad hoc aide (ou pas) à "comparer"... mais il n'y a que vous qui sachiez ce que sont ces informations: ce n'est pas en montrant des suites d'octets qu'on va deviner ce qu'ils représentent!

- W

Merci.
Oui, je pense le mieux à faire. Élaborer mon programme seul et poser les questions sur des petits problèmes (problèmes spécifiques).
Comme mes fichiers sont des suites de lignes. Mon idée est:
- Rendre chaque ligne dans les fichiers "cas" et "base" en type LIST.
- Chercher les listes (dans "base") similaires aux listes (dans "cas").

Citation:

Envoyé par tyrtamos

Bonjour,

Trouver si 2 chaines de caractères sont "similaires" n'est vraiment pas un problème sous Python avec le module difflib.

Par exemple:

Code:

1
2
3
4
5
6
7
8
9
10
import difflib
 
print(difflib.SequenceMatcher(None, "dupont", "dupont").ratio())
1.0
print(difflib.SequenceMatcher(None, "dupont", "dupond").ratio())
0.8333333333333334
print(difflib.SequenceMatcher(None, "dupont", "durand").ratio())
0.5
print(difflib.SequenceMatcher(None, "dupont", "albert").ratio())
0.16666666666666666

Reprenons ton exemple:

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
from difflib import SequenceMatcher 
 
x = ["2009-09-25     10     20     83     86",
"2009-09-24     16     35     06     17",
"2009-09-23     47     47     05     12",
"2009-09-22     59     71     35     41",
"2009-09-21     56     82     50     57",
"2009-09-18     72     87     57     62",
"2009-09-17     42     77     32     52"
]
 
y = ["2009-09-24     16     01     06     00",
"2009-09-23     47     47     05     13",
"2009-09-22     59     71     44     41",
"2009-09-17     42     77     01     52",
]
 
result = []
for i, ligney in enumerate(y):
    for j, lignex in enumerate(x):
        ratio = SequenceMatcher(None, ligney, lignex).ratio()
        result.append([i, j, ratio])
result.sort(key=lambda v: v[2], reverse=True)
 
for i, j, ratio in result:
    print(i, "("+y[i]+")", j, "("+x[j]+")", "ratio de similitude:", ratio)

Ce qui affiche:

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
1 (2009-09-23     47     47     05     13) 2 (2009-09-23     47     47     05     12) ratio de similitude: 0.9736842105263158
2 (2009-09-22     59     71     44     41) 3 (2009-09-22     59     71     35     41) ratio de similitude: 0.9473684210526315
3 (2009-09-17     42     77     01     52) 6 (2009-09-17     42     77     32     52) ratio de similitude: 0.9473684210526315
0 (2009-09-24     16     01     06     00) 1 (2009-09-24     16     35     06     17) ratio de similitude: 0.8947368421052632
0 (2009-09-24     16     01     06     00) 0 (2009-09-25     10     20     83     86) ratio de similitude: 0.8157894736842105
0 (2009-09-24     16     01     06     00) 4 (2009-09-21     56     82     50     57) ratio de similitude: 0.8157894736842105
1 (2009-09-23     47     47     05     13) 1 (2009-09-24     16     35     06     17) ratio de similitude: 0.8157894736842105
0 (2009-09-24     16     01     06     00) 3 (2009-09-22     59     71     35     41) ratio de similitude: 0.7894736842105263
1 (2009-09-23     47     47     05     13) 4 (2009-09-21     56     82     50     57) ratio de similitude: 0.7894736842105263
2 (2009-09-22     59     71     44     41) 0 (2009-09-25     10     20     83     86) ratio de similitude: 0.7631578947368421
3 (2009-09-17     42     77     01     52) 1 (2009-09-24     16     35     06     17) ratio de similitude: 0.7631578947368421
0 (2009-09-24     16     01     06     00) 5 (2009-09-18     72     87     57     62) ratio de similitude: 0.7368421052631579
0 (2009-09-24     16     01     06     00) 6 (2009-09-17     42     77     32     52) ratio de similitude: 0.7368421052631579
3 (2009-09-17     42     77     01     52) 0 (2009-09-25     10     20     83     86) ratio de similitude: 0.7368421052631579
3 (2009-09-17     42     77     01     52) 2 (2009-09-23     47     47     05     12) ratio de similitude: 0.7368421052631579
1 (2009-09-23     47     47     05     13) 6 (2009-09-17     42     77     32     52) ratio de similitude: 0.6842105263157895
1 (2009-09-23     47     47     05     13) 5 (2009-09-18     72     87     57     62) ratio de similitude: 0.6578947368421053
2 (2009-09-22     59     71     44     41) 5 (2009-09-18     72     87     57     62) ratio de similitude: 0.6578947368421053
2 (2009-09-22     59     71     44     41) 2 (2009-09-23     47     47     05     12) ratio de similitude: 0.5789473684210527
2 (2009-09-22     59     71     44     41) 4 (2009-09-21     56     82     50     57) ratio de similitude: 0.5789473684210527
3 (2009-09-17     42     77     01     52) 5 (2009-09-18     72     87     57     62) ratio de similitude: 0.5789473684210527
1 (2009-09-23     47     47     05     13) 0 (2009-09-25     10     20     83     86) ratio de similitude: 0.4473684210526316
1 (2009-09-23     47     47     05     13) 3 (2009-09-22     59     71     35     41) ratio de similitude: 0.4473684210526316
3 (2009-09-17     42     77     01     52) 4 (2009-09-21     56     82     50     57) ratio de similitude: 0.4473684210526316
0 (2009-09-24     16     01     06     00) 2 (2009-09-23     47     47     05     12) ratio de similitude: 0.42105263157894735
2 (2009-09-22     59     71     44     41) 1 (2009-09-24     16     35     06     17) ratio de similitude: 0.42105263157894735
2 (2009-09-22     59     71     44     41) 6 (2009-09-17     42     77     32     52) ratio de similitude: 0.42105263157894735
3 (2009-09-17     42     77     01     52) 3 (2009-09-22     59     71     35     41) ratio de similitude: 0.42105263157894735

On voit dans les 1ers résultats que les 3 lignes de y et x les plus similaires sont:

Code:

1
2
3
la ligne d'indice 1 de y (2009-09-23     47     47     05     13) et la ligne d'indice 2 de x (2009-09-23     47     47     05     12) avec un ratio de similitude: 0.9736842105263158
la ligne d'indice 2 de y (2009-09-22     59     71     44     41) et la ligne d'indice 3 de x (2009-09-22     59     71     35     41) avec un ratio de similitude: 0.9473684210526315
la ligne d'indice 3 de y (2009-09-17     42     77     01     52) et la ligne d'indice 6 de x (2009-09-17     42     77     32     52) avec un ratio de similitude: 0.9473684210526315

Ok?

Merci.

Comme mes fichiers sont des suites de lignes. Mon idée est:
- Rendre chaque ligne dans les fichiers "cas" et "base" en type LIST.
- Chercher les listes (dans "base") similaires aux listes (dans "cas").

16/01/2016, 00h51
zargooo04

Mon type de fichiers (Conll) traitement du langage naturel.
16/01/2016, 19h39
wiztricks

Citation:

Envoyé par zargooo04

Mon type de fichiers (Conll) traitement du langage naturel.

Alors les fichiers ne ressemblent pas à ce que vous nous avez montré.
De plus, avec CoNLL, ce qu'on pourrait vouloir comparer, c'est le contenu de certaines colonnes car une ligne correspond au mot d'une phrase.
Il faut définir ce que vous voulez comparer et ce que vous appelez "similaire".
Probable qu'il existe des choses côté traitement des langages mais sans savoir ce que vous voulez faire, vous ne saurez pas où ni quoi chercher.
Ici vous êtes dans un forum de programmation Python. Comparer des fichiers, c'est d'abord comparer des fichiers texte ou plutôt des fichiers sources (de programmes) difflib est un bon outil pour ce type de langages assez simples comparés aux langages naturels.

- W
17/01/2016, 02h43
zargooo04

Merci pour votre conseil. :)
J'ai une bonne idée sur le travail à faire.
J'essaie juste de diviser mon problème (programme) en petits problèmes.
J'ai une question, par exemple si j'ai des fichiers dans un dossier.
Comment faire pour ouvrir (open) tous les fichiers dans mon code?

Citation:

Envoyé par wiztricks

Alors les fichiers ne ressemblent pas à ce que vous nous avez montré.
De plus, avec CoNLL, ce qu'on pourrait vouloir comparer, c'est le contenu de certaines colonnes car une ligne correspond au mot d'une phrase.
Il faut définir ce que vous voulez comparer et ce que vous appelez "similaire".
Probable qu'il existe des choses côté traitement des langages mais sans savoir ce que vous voulez faire, vous ne saurez pas où ni quoi chercher.
Ici vous êtes dans un forum de programmation Python. Comparer des fichiers, c'est d'abord comparer des fichiers texte ou plutôt des fichiers sources (de programmes) difflib est un bon outil pour ce type de langages assez simples comparés aux langages naturels.

- W
17/01/2016, 11h03
wiztricks

Citation:

Envoyé par zargooo04

Merci pour votre conseil. :)
J'ai une bonne idée sur le travail à faire.
J'essaie juste de diviser mon problème (programme) en petits problèmes.
J'ai une question, par exemple si j'ai des fichiers dans un dossier.
Comment faire pour ouvrir (open) tous les fichiers dans mon code?

Je vous invite à consulter la FAQ et à apprendre que c'est une ressource qui peut vous aider plus rapidement sinon vous donner aussi des idées.

- W

Merci
Je n'ai pas trouvé une réponse directe. Mais après j'ai abouti à cela.
Code:

1 2 3 4 5 6 7 8 import glob #liste de tous les fichiers avec le répertoire fichiers2 = glob.glob("C:\\..............\\Python\\txt\\*") #ouverture du premier fichier de la liste fichiers_ouvert = open(fichiers2[0], 'r')
Vos avis!!! :lol:

Citation:

Envoyé par wiztricks

Je vous invite à consulter la FAQ et à apprendre que c'est une ressource qui peut vous aider plus rapidement sinon vous donner aussi des idées.

- W

17/01/2016, 15h58
wiztricks

Citation:

Envoyé par zargooo04

Je n'ai pas trouvé une réponse directe. Mais après j'ai abouti à cela.

L'entrée de la FAQ comment lister le fichiers/répertoires d'un répertoire répond a votre question. Elle montre glob.glob et os.listdir en mentionnant la différence entre les deux.

Citation:

Envoyé par zargooo04

Vos avis!!! :lol:

Si je vous donne l'URL de la section de la FAQ qui parle des fichiers et que vous n'y trouvez pas "Comment lister les fichiers-répertoires d'un répertoire", pas facile de ne pas avoir l'impression de perdre son temps.:weird:

- W
17/01/2016, 16h06
zargooo04

Non, ma précédente question. c t, comment OUVRIR tous les fichiers d'un répertoire.
Mais bien sûr ;) Comment lister les fichiers. Il m'a aidé à ouvrir.

Citation:

Envoyé par wiztricks

L'entrée de la FAQ comment lister le fichiers/répertoires d'un répertoire répond a votre question. Elle montre glob.glob et os.listdir en mentionnant la différence entre les deux.

Si je vous donne l'URL de la section de la FAQ qui parle des fichiers et que vous n'y trouvez pas "Comment lister les fichiers-répertoires d'un répertoire", pas facile de ne pas avoir l'impression de perdre son temps.:weird:

- W

ah! :roll: peut-être vous m'aviez mal compris.
Quand j'ai dit vos avis. Je parle du petit programme pour lire les fichiers d'un dossier.
Code:

1 2 3 4 5 6 7 8 import glob #liste de tous les fichiers avec le répertoire fichiers2 = glob.glob("C:\\..............\\Python\\txt\\*") #ouverture du premier fichier de la liste fichiers_ouvert = open(fichiers2[0], 'r')
Citation:

Envoyé par wiztricks

L'entrée de la FAQ comment lister le fichiers/répertoires d'un répertoire répond a votre question. Elle montre glob.glob et os.listdir en mentionnant la différence entre les deux.

Si je vous donne l'URL de la section de la FAQ qui parle des fichiers et que vous n'y trouvez pas "Comment lister les fichiers-répertoires d'un répertoire", pas facile de ne pas avoir l'impression de perdre son temps.:weird:

- W

salut,

Citation:

Envoyé par zargooo04

Non, ma précédente question. c t, comment OUVRIR tous les fichiers d'un répertoire.

nuance de taille et ô combien importante en effet !

Citation:

Envoyé par zargooo04

ah! :roll: peut-être vous m'aviez mal compris.

c'est toujours difficile de savoir si c'est l'autre qui comprend mal ou soi même qui ne s'exprime pas suffisamment bien, dans le doute... :haha:
Citation:
Code:

1 2 3 4 5 6 7 8 import glob #liste de tous les fichiers avec le répertoire fichiers2 = glob.glob("C:\\..............\\Python\\txt\\*") #ouverture du premier fichier de la liste fichiers_ouvert = open(fichiers2[0], 'r')
franchement c'est beau, il est très joli ce code, chapeau :ccool: