Discussion :

[zargooo04]

Bonjour.
J'ai deux fichiers Base et Cas
cas :cas.txt
base :cas.txt

J'ai écrit un petit programme pour:
- comparer ces deux fichiers TXT
- afficher les lignes similaires

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
# read files
db_new_cas = open('C:\\.......\\cas', 'r')
db_src_cas = open('C:\\........\\base', 'r')
 
# convert files to list
line_new_cas = db_new_cas.readlines()
line_src_cas = db_src_cas.readlines()
 
 
for new in line_new_cas:
	for src in line_src_cas:
		if new == src  and new <> "\n":
			print "----------similaires----------"
			print new.strip("\n")  
 
#close files
db_new_cas.close()
db_src_cas.close()

********
Proposez-moi des améliorations pour rendre le programme plus simple ou optimal.
Merci

[wiztricks]

Salut,

Proposez-moi des améliorations pour rendre le programme plus simple ou optimal.

Il sera préférable d'(apprendre à) utiliser la bibliothèque difflib ...

- W

[zargooo04]

Merci.
Aller les programmeurs je cherche d'autres idées.

Salut,



Il sera préférable d'(apprendre à) utiliser la bibliothèque difflib ...

- W

[zargooo04]

Par exemple si j'ai deux fichiers dans une structure de tableau format texte.
exemple:
----------base------------

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
 
2009-09-25     10     20     83     86
2009-09-24     16     35     06     17
2009-09-23     47     47     05     12
2009-09-22     59     71     35     41
2009-09-21     56     82     50     57
2009-09-18     72     87     57     62
2009-09-17     42     77     32     52

----------cas------------

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
 
2009-09-24     16     01     06     00
2009-09-23     47     47     05     13
2009-09-22     59     71     44     41
2009-09-17     42     77     01     52

- Dans les lignes non similaires montre les colonnes non similaires.
- Extraire la ligne la plus similaire

Y a-t-il des modules ou autres pour ça?

[wiztricks]

- Dans les lignes non similaires montre les colonnes non similaires.
- Extraire la ligne la plus similaire

Techniquement, la difficulté est de rendre "similaire", "calculable" pour qu'on puisse coder cela sans passer par de l'intelligence artificielle.
Mais pour les cas "simples", difflib sait faire des comparaisons "approximatives".
Après çà répond ou pas à votre besoin mais pour le savoir, il vous faut lire la documentation, essayer d'appliquer çà à de petits exemples,....
Ce qui va vous obliger à un peu plus formaliser "similaire"...

- W

[zargooo04]

Techniquement, la difficulté est de rendre "similaire", "calculable" pour qu'on puisse coder cela sans passer par de l'intelligence artificielle.
Mais pour les cas "simples", difflib sait faire des comparaisons "approximatives".
Après çà répond ou pas à votre besoin mais pour le savoir, il vous faut lire la documentation, essayer d'appliquer çà à de petits exemples,....
Ce qui va vous obliger à un peu plus formaliser "similaire"...

- W

Je parle de simple comparaison entre les nombres.
exemple

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
 
2009-09-17     42     77     01     52
 
2009-09-17     42     77     32     52

La différence dans la colonne (04). Les nombres 01 et 32.

Merci, je vais lire la documentation.
Documentation en anglais. Je peux lire et comprendre. Mais pour aller vite je préfère la documentation en français mais je pense il n'y a pas un bon site pour ça.

[tyrtamos]

Bonjour,

Extraire la ligne la plus similaire

Trouver si 2 chaines de caractères sont "similaires" n'est vraiment pas un problème sous Python avec le module difflib.

Par exemple:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
import difflib
 
print(difflib.SequenceMatcher(None, "dupont", "dupont").ratio())
1.0
print(difflib.SequenceMatcher(None, "dupont", "dupond").ratio())
0.8333333333333334
print(difflib.SequenceMatcher(None, "dupont", "durand").ratio())
0.5
print(difflib.SequenceMatcher(None, "dupont", "albert").ratio())
0.16666666666666666

Reprenons ton exemple:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
from difflib import SequenceMatcher 
 
x = ["2009-09-25     10     20     83     86",
"2009-09-24     16     35     06     17",
"2009-09-23     47     47     05     12",
"2009-09-22     59     71     35     41",
"2009-09-21     56     82     50     57",
"2009-09-18     72     87     57     62",
"2009-09-17     42     77     32     52"
]
 
y = ["2009-09-24     16     01     06     00",
"2009-09-23     47     47     05     13",
"2009-09-22     59     71     44     41",
"2009-09-17     42     77     01     52",
]
 
result = []
for i, ligney in enumerate(y):
    for j, lignex in enumerate(x):
        ratio = SequenceMatcher(None, ligney, lignex).ratio()
        result.append([i, j, ratio])
result.sort(key=lambda v: v[2], reverse=True)
 
for i, j, ratio in result:
    print(i, "("+y[i]+")", j, "("+x[j]+")", "ratio de similitude:", ratio)

Ce qui affiche:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
1 (2009-09-23     47     47     05     13) 2 (2009-09-23     47     47     05     12) ratio de similitude: 0.9736842105263158
2 (2009-09-22     59     71     44     41) 3 (2009-09-22     59     71     35     41) ratio de similitude: 0.9473684210526315
3 (2009-09-17     42     77     01     52) 6 (2009-09-17     42     77     32     52) ratio de similitude: 0.9473684210526315
0 (2009-09-24     16     01     06     00) 1 (2009-09-24     16     35     06     17) ratio de similitude: 0.8947368421052632
0 (2009-09-24     16     01     06     00) 0 (2009-09-25     10     20     83     86) ratio de similitude: 0.8157894736842105
0 (2009-09-24     16     01     06     00) 4 (2009-09-21     56     82     50     57) ratio de similitude: 0.8157894736842105
1 (2009-09-23     47     47     05     13) 1 (2009-09-24     16     35     06     17) ratio de similitude: 0.8157894736842105
0 (2009-09-24     16     01     06     00) 3 (2009-09-22     59     71     35     41) ratio de similitude: 0.7894736842105263
1 (2009-09-23     47     47     05     13) 4 (2009-09-21     56     82     50     57) ratio de similitude: 0.7894736842105263
2 (2009-09-22     59     71     44     41) 0 (2009-09-25     10     20     83     86) ratio de similitude: 0.7631578947368421
3 (2009-09-17     42     77     01     52) 1 (2009-09-24     16     35     06     17) ratio de similitude: 0.7631578947368421
0 (2009-09-24     16     01     06     00) 5 (2009-09-18     72     87     57     62) ratio de similitude: 0.7368421052631579
0 (2009-09-24     16     01     06     00) 6 (2009-09-17     42     77     32     52) ratio de similitude: 0.7368421052631579
3 (2009-09-17     42     77     01     52) 0 (2009-09-25     10     20     83     86) ratio de similitude: 0.7368421052631579
3 (2009-09-17     42     77     01     52) 2 (2009-09-23     47     47     05     12) ratio de similitude: 0.7368421052631579
1 (2009-09-23     47     47     05     13) 6 (2009-09-17     42     77     32     52) ratio de similitude: 0.6842105263157895
1 (2009-09-23     47     47     05     13) 5 (2009-09-18     72     87     57     62) ratio de similitude: 0.6578947368421053
2 (2009-09-22     59     71     44     41) 5 (2009-09-18     72     87     57     62) ratio de similitude: 0.6578947368421053
2 (2009-09-22     59     71     44     41) 2 (2009-09-23     47     47     05     12) ratio de similitude: 0.5789473684210527
2 (2009-09-22     59     71     44     41) 4 (2009-09-21     56     82     50     57) ratio de similitude: 0.5789473684210527
3 (2009-09-17     42     77     01     52) 5 (2009-09-18     72     87     57     62) ratio de similitude: 0.5789473684210527
1 (2009-09-23     47     47     05     13) 0 (2009-09-25     10     20     83     86) ratio de similitude: 0.4473684210526316
1 (2009-09-23     47     47     05     13) 3 (2009-09-22     59     71     35     41) ratio de similitude: 0.4473684210526316
3 (2009-09-17     42     77     01     52) 4 (2009-09-21     56     82     50     57) ratio de similitude: 0.4473684210526316
0 (2009-09-24     16     01     06     00) 2 (2009-09-23     47     47     05     12) ratio de similitude: 0.42105263157894735
2 (2009-09-22     59     71     44     41) 1 (2009-09-24     16     35     06     17) ratio de similitude: 0.42105263157894735
2 (2009-09-22     59     71     44     41) 6 (2009-09-17     42     77     32     52) ratio de similitude: 0.42105263157894735
3 (2009-09-17     42     77     01     52) 3 (2009-09-22     59     71     35     41) ratio de similitude: 0.42105263157894735

On voit dans les 1ers résultats que les 3 lignes de y et x les plus similaires sont:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
la ligne d'indice 1 de y (2009-09-23     47     47     05     13) et la ligne d'indice 2 de x (2009-09-23     47     47     05     12) avec un ratio de similitude: 0.9736842105263158
la ligne d'indice 2 de y (2009-09-22     59     71     44     41) et la ligne d'indice 3 de x (2009-09-22     59     71     35     41) avec un ratio de similitude: 0.9473684210526315
la ligne d'indice 3 de y (2009-09-17     42     77     01     52) et la ligne d'indice 6 de x (2009-09-17     42     77     32     52) avec un ratio de similitude: 0.9473684210526315

Ok?

[zargooo04]

Bonjour,



Trouver si 2 chaines de caractères sont "similaires" n'est vraiment pas un problème sous Python avec le module difflib.

Par exemple:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
import difflib
 
print(difflib.SequenceMatcher(None, "dupont", "dupont").ratio())
1.0
print(difflib.SequenceMatcher(None, "dupont", "dupond").ratio())
0.8333333333333334
print(difflib.SequenceMatcher(None, "dupont", "durand").ratio())
0.5
print(difflib.SequenceMatcher(None, "dupont", "albert").ratio())
0.16666666666666666

Reprenons ton exemple:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
from difflib import SequenceMatcher 
 
x = ["2009-09-25     10     20     83     86",
"2009-09-24     16     35     06     17",
"2009-09-23     47     47     05     12",
"2009-09-22     59     71     35     41",
"2009-09-21     56     82     50     57",
"2009-09-18     72     87     57     62",
"2009-09-17     42     77     32     52"
]
 
y = ["2009-09-24     16     01     06     00",
"2009-09-23     47     47     05     13",
"2009-09-22     59     71     44     41",
"2009-09-17     42     77     01     52",
]
 
result = []
for i, ligney in enumerate(y):
    for j, lignex in enumerate(x):
        ratio = SequenceMatcher(None, ligney, lignex).ratio()
        result.append([i, j, ratio])
result.sort(key=lambda v: v[2], reverse=True)
 
for i, j, ratio in result:
    print(i, "("+y[i]+")", j, "("+x[j]+")", "ratio de similitude:", ratio)

Ce qui affiche:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
1 (2009-09-23     47     47     05     13) 2 (2009-09-23     47     47     05     12) ratio de similitude: 0.9736842105263158
2 (2009-09-22     59     71     44     41) 3 (2009-09-22     59     71     35     41) ratio de similitude: 0.9473684210526315
3 (2009-09-17     42     77     01     52) 6 (2009-09-17     42     77     32     52) ratio de similitude: 0.9473684210526315
0 (2009-09-24     16     01     06     00) 1 (2009-09-24     16     35     06     17) ratio de similitude: 0.8947368421052632
0 (2009-09-24     16     01     06     00) 0 (2009-09-25     10     20     83     86) ratio de similitude: 0.8157894736842105
0 (2009-09-24     16     01     06     00) 4 (2009-09-21     56     82     50     57) ratio de similitude: 0.8157894736842105
1 (2009-09-23     47     47     05     13) 1 (2009-09-24     16     35     06     17) ratio de similitude: 0.8157894736842105
0 (2009-09-24     16     01     06     00) 3 (2009-09-22     59     71     35     41) ratio de similitude: 0.7894736842105263
1 (2009-09-23     47     47     05     13) 4 (2009-09-21     56     82     50     57) ratio de similitude: 0.7894736842105263
2 (2009-09-22     59     71     44     41) 0 (2009-09-25     10     20     83     86) ratio de similitude: 0.7631578947368421
3 (2009-09-17     42     77     01     52) 1 (2009-09-24     16     35     06     17) ratio de similitude: 0.7631578947368421
0 (2009-09-24     16     01     06     00) 5 (2009-09-18     72     87     57     62) ratio de similitude: 0.7368421052631579
0 (2009-09-24     16     01     06     00) 6 (2009-09-17     42     77     32     52) ratio de similitude: 0.7368421052631579
3 (2009-09-17     42     77     01     52) 0 (2009-09-25     10     20     83     86) ratio de similitude: 0.7368421052631579
3 (2009-09-17     42     77     01     52) 2 (2009-09-23     47     47     05     12) ratio de similitude: 0.7368421052631579
1 (2009-09-23     47     47     05     13) 6 (2009-09-17     42     77     32     52) ratio de similitude: 0.6842105263157895
1 (2009-09-23     47     47     05     13) 5 (2009-09-18     72     87     57     62) ratio de similitude: 0.6578947368421053
2 (2009-09-22     59     71     44     41) 5 (2009-09-18     72     87     57     62) ratio de similitude: 0.6578947368421053
2 (2009-09-22     59     71     44     41) 2 (2009-09-23     47     47     05     12) ratio de similitude: 0.5789473684210527
2 (2009-09-22     59     71     44     41) 4 (2009-09-21     56     82     50     57) ratio de similitude: 0.5789473684210527
3 (2009-09-17     42     77     01     52) 5 (2009-09-18     72     87     57     62) ratio de similitude: 0.5789473684210527
1 (2009-09-23     47     47     05     13) 0 (2009-09-25     10     20     83     86) ratio de similitude: 0.4473684210526316
1 (2009-09-23     47     47     05     13) 3 (2009-09-22     59     71     35     41) ratio de similitude: 0.4473684210526316
3 (2009-09-17     42     77     01     52) 4 (2009-09-21     56     82     50     57) ratio de similitude: 0.4473684210526316
0 (2009-09-24     16     01     06     00) 2 (2009-09-23     47     47     05     12) ratio de similitude: 0.42105263157894735
2 (2009-09-22     59     71     44     41) 1 (2009-09-24     16     35     06     17) ratio de similitude: 0.42105263157894735
2 (2009-09-22     59     71     44     41) 6 (2009-09-17     42     77     32     52) ratio de similitude: 0.42105263157894735
3 (2009-09-17     42     77     01     52) 3 (2009-09-22     59     71     35     41) ratio de similitude: 0.42105263157894735

On voit dans les 1ers résultats que les 3 lignes de y et x les plus similaires sont:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
la ligne d'indice 1 de y (2009-09-23     47     47     05     13) et la ligne d'indice 2 de x (2009-09-23     47     47     05     12) avec un ratio de similitude: 0.9736842105263158
la ligne d'indice 2 de y (2009-09-22     59     71     44     41) et la ligne d'indice 3 de x (2009-09-22     59     71     35     41) avec un ratio de similitude: 0.9473684210526315
la ligne d'indice 3 de y (2009-09-17     42     77     01     52) et la ligne d'indice 6 de x (2009-09-17     42     77     32     52) avec un ratio de similitude: 0.9473684210526315

Ok?

Merci.

Comme mes fichiers sont des suites de lignes. Mon idée est:
- Rendre chaque ligne dans les fichiers "cas" et "base" en type LIST.
- Chercher les listes (dans "base") similaires aux listes (dans "cas").