Discussion :

[zargooo04]

Bonjour.
J'ai deux fichiers Base et Cas
cas :cas.txt
base :cas.txt

J'ai écrit un petit programme pour:
- comparer ces deux fichiers TXT
- afficher les lignes similaires

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
# read files
db_new_cas = open('C:\\.......\\cas', 'r')
db_src_cas = open('C:\\........\\base', 'r')
 
# convert files to list
line_new_cas = db_new_cas.readlines()
line_src_cas = db_src_cas.readlines()
 
 
for new in line_new_cas:
	for src in line_src_cas:
		if new == src  and new <> "\n":
			print "----------similaires----------"
			print new.strip("\n")  
 
#close files
db_new_cas.close()
db_src_cas.close()

********
Proposez-moi des améliorations pour rendre le programme plus simple ou optimal.
Merci

[wiztricks]

Salut,

Proposez-moi des améliorations pour rendre le programme plus simple ou optimal.

Il sera préférable d'(apprendre à) utiliser la bibliothèque difflib ...

- W

[zargooo04]

Merci.
Aller les programmeurs je cherche d'autres idées.

Salut,



Il sera préférable d'(apprendre à) utiliser la bibliothèque difflib ...

- W

[zargooo04]

Par exemple si j'ai deux fichiers dans une structure de tableau format texte.
exemple:
----------base------------

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
 
2009-09-25     10     20     83     86
2009-09-24     16     35     06     17
2009-09-23     47     47     05     12
2009-09-22     59     71     35     41
2009-09-21     56     82     50     57
2009-09-18     72     87     57     62
2009-09-17     42     77     32     52

----------cas------------

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
 
2009-09-24     16     01     06     00
2009-09-23     47     47     05     13
2009-09-22     59     71     44     41
2009-09-17     42     77     01     52

- Dans les lignes non similaires montre les colonnes non similaires.
- Extraire la ligne la plus similaire

Y a-t-il des modules ou autres pour ça?

[wiztricks]

- Dans les lignes non similaires montre les colonnes non similaires.
- Extraire la ligne la plus similaire

Techniquement, la difficulté est de rendre "similaire", "calculable" pour qu'on puisse coder cela sans passer par de l'intelligence artificielle.
Mais pour les cas "simples", difflib sait faire des comparaisons "approximatives".
Après çà répond ou pas à votre besoin mais pour le savoir, il vous faut lire la documentation, essayer d'appliquer çà à de petits exemples,....
Ce qui va vous obliger à un peu plus formaliser "similaire"...

- W

[zargooo04]

Techniquement, la difficulté est de rendre "similaire", "calculable" pour qu'on puisse coder cela sans passer par de l'intelligence artificielle.
Mais pour les cas "simples", difflib sait faire des comparaisons "approximatives".
Après çà répond ou pas à votre besoin mais pour le savoir, il vous faut lire la documentation, essayer d'appliquer çà à de petits exemples,....
Ce qui va vous obliger à un peu plus formaliser "similaire"...

- W

Je parle de simple comparaison entre les nombres.
exemple

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
 
2009-09-17     42     77     01     52
 
2009-09-17     42     77     32     52

La différence dans la colonne (04). Les nombres 01 et 32.

Merci, je vais lire la documentation.
Documentation en anglais. Je peux lire et comprendre. Mais pour aller vite je préfère la documentation en français mais je pense il n'y a pas un bon site pour ça.

[wiztricks]

Salut,

Je parle de simple comparaison entre les nombres.

Des notions comme "colonne" et "nombre" signifient que vous ne comparez pas des fichiers textes quelconques mais des données représentant des informations dans un format particulier. Probable que la mise en forme de ces données sous un format ad hoc aide (ou pas) à "comparer"... mais il n'y a que vous qui sachiez ce que sont ces informations: ce n'est pas en montrant des suites d'octets qu'on va deviner ce qu'ils représentent!

- W

[tyrtamos]

Bonjour,

Extraire la ligne la plus similaire

Trouver si 2 chaines de caractères sont "similaires" n'est vraiment pas un problème sous Python avec le module difflib.

Par exemple:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
import difflib
 
print(difflib.SequenceMatcher(None, "dupont", "dupont").ratio())
1.0
print(difflib.SequenceMatcher(None, "dupont", "dupond").ratio())
0.8333333333333334
print(difflib.SequenceMatcher(None, "dupont", "durand").ratio())
0.5
print(difflib.SequenceMatcher(None, "dupont", "albert").ratio())
0.16666666666666666

Reprenons ton exemple:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
from difflib import SequenceMatcher 
 
x = ["2009-09-25     10     20     83     86",
"2009-09-24     16     35     06     17",
"2009-09-23     47     47     05     12",
"2009-09-22     59     71     35     41",
"2009-09-21     56     82     50     57",
"2009-09-18     72     87     57     62",
"2009-09-17     42     77     32     52"
]
 
y = ["2009-09-24     16     01     06     00",
"2009-09-23     47     47     05     13",
"2009-09-22     59     71     44     41",
"2009-09-17     42     77     01     52",
]
 
result = []
for i, ligney in enumerate(y):
    for j, lignex in enumerate(x):
        ratio = SequenceMatcher(None, ligney, lignex).ratio()
        result.append([i, j, ratio])
result.sort(key=lambda v: v[2], reverse=True)
 
for i, j, ratio in result:
    print(i, "("+y[i]+")", j, "("+x[j]+")", "ratio de similitude:", ratio)

Ce qui affiche:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
1 (2009-09-23     47     47     05     13) 2 (2009-09-23     47     47     05     12) ratio de similitude: 0.9736842105263158
2 (2009-09-22     59     71     44     41) 3 (2009-09-22     59     71     35     41) ratio de similitude: 0.9473684210526315
3 (2009-09-17     42     77     01     52) 6 (2009-09-17     42     77     32     52) ratio de similitude: 0.9473684210526315
0 (2009-09-24     16     01     06     00) 1 (2009-09-24     16     35     06     17) ratio de similitude: 0.8947368421052632
0 (2009-09-24     16     01     06     00) 0 (2009-09-25     10     20     83     86) ratio de similitude: 0.8157894736842105
0 (2009-09-24     16     01     06     00) 4 (2009-09-21     56     82     50     57) ratio de similitude: 0.8157894736842105
1 (2009-09-23     47     47     05     13) 1 (2009-09-24     16     35     06     17) ratio de similitude: 0.8157894736842105
0 (2009-09-24     16     01     06     00) 3 (2009-09-22     59     71     35     41) ratio de similitude: 0.7894736842105263
1 (2009-09-23     47     47     05     13) 4 (2009-09-21     56     82     50     57) ratio de similitude: 0.7894736842105263
2 (2009-09-22     59     71     44     41) 0 (2009-09-25     10     20     83     86) ratio de similitude: 0.7631578947368421
3 (2009-09-17     42     77     01     52) 1 (2009-09-24     16     35     06     17) ratio de similitude: 0.7631578947368421
0 (2009-09-24     16     01     06     00) 5 (2009-09-18     72     87     57     62) ratio de similitude: 0.7368421052631579
0 (2009-09-24     16     01     06     00) 6 (2009-09-17     42     77     32     52) ratio de similitude: 0.7368421052631579
3 (2009-09-17     42     77     01     52) 0 (2009-09-25     10     20     83     86) ratio de similitude: 0.7368421052631579
3 (2009-09-17     42     77     01     52) 2 (2009-09-23     47     47     05     12) ratio de similitude: 0.7368421052631579
1 (2009-09-23     47     47     05     13) 6 (2009-09-17     42     77     32     52) ratio de similitude: 0.6842105263157895
1 (2009-09-23     47     47     05     13) 5 (2009-09-18     72     87     57     62) ratio de similitude: 0.6578947368421053
2 (2009-09-22     59     71     44     41) 5 (2009-09-18     72     87     57     62) ratio de similitude: 0.6578947368421053
2 (2009-09-22     59     71     44     41) 2 (2009-09-23     47     47     05     12) ratio de similitude: 0.5789473684210527
2 (2009-09-22     59     71     44     41) 4 (2009-09-21     56     82     50     57) ratio de similitude: 0.5789473684210527
3 (2009-09-17     42     77     01     52) 5 (2009-09-18     72     87     57     62) ratio de similitude: 0.5789473684210527
1 (2009-09-23     47     47     05     13) 0 (2009-09-25     10     20     83     86) ratio de similitude: 0.4473684210526316
1 (2009-09-23     47     47     05     13) 3 (2009-09-22     59     71     35     41) ratio de similitude: 0.4473684210526316
3 (2009-09-17     42     77     01     52) 4 (2009-09-21     56     82     50     57) ratio de similitude: 0.4473684210526316
0 (2009-09-24     16     01     06     00) 2 (2009-09-23     47     47     05     12) ratio de similitude: 0.42105263157894735
2 (2009-09-22     59     71     44     41) 1 (2009-09-24     16     35     06     17) ratio de similitude: 0.42105263157894735
2 (2009-09-22     59     71     44     41) 6 (2009-09-17     42     77     32     52) ratio de similitude: 0.42105263157894735
3 (2009-09-17     42     77     01     52) 3 (2009-09-22     59     71     35     41) ratio de similitude: 0.42105263157894735

On voit dans les 1ers résultats que les 3 lignes de y et x les plus similaires sont:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
la ligne d'indice 1 de y (2009-09-23     47     47     05     13) et la ligne d'indice 2 de x (2009-09-23     47     47     05     12) avec un ratio de similitude: 0.9736842105263158
la ligne d'indice 2 de y (2009-09-22     59     71     44     41) et la ligne d'indice 3 de x (2009-09-22     59     71     35     41) avec un ratio de similitude: 0.9473684210526315
la ligne d'indice 3 de y (2009-09-17     42     77     01     52) et la ligne d'indice 6 de x (2009-09-17     42     77     32     52) avec un ratio de similitude: 0.9473684210526315

Ok?

[zargooo04]

Salut,



Des notions comme "colonne" et "nombre" signifient que vous ne comparez pas des fichiers textes quelconques mais des données représentant des informations dans un format particulier. Probable que la mise en forme de ces données sous un format ad hoc aide (ou pas) à "comparer"... mais il n'y a que vous qui sachiez ce que sont ces informations: ce n'est pas en montrant des suites d'octets qu'on va deviner ce qu'ils représentent!

- W

Merci.
Oui, je pense le mieux à faire. Élaborer mon programme seul et poser les questions sur des petits problèmes (problèmes spécifiques).
Comme mes fichiers sont des suites de lignes. Mon idée est:
- Rendre chaque ligne dans les fichiers "cas" et "base" en type LIST.
- Chercher les listes (dans "base") similaires aux listes (dans "cas").

[zargooo04]

Bonjour,



Trouver si 2 chaines de caractères sont "similaires" n'est vraiment pas un problème sous Python avec le module difflib.

Par exemple:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
import difflib
 
print(difflib.SequenceMatcher(None, "dupont", "dupont").ratio())
1.0
print(difflib.SequenceMatcher(None, "dupont", "dupond").ratio())
0.8333333333333334
print(difflib.SequenceMatcher(None, "dupont", "durand").ratio())
0.5
print(difflib.SequenceMatcher(None, "dupont", "albert").ratio())
0.16666666666666666

Reprenons ton exemple:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
from difflib import SequenceMatcher 
 
x = ["2009-09-25     10     20     83     86",
"2009-09-24     16     35     06     17",
"2009-09-23     47     47     05     12",
"2009-09-22     59     71     35     41",
"2009-09-21     56     82     50     57",
"2009-09-18     72     87     57     62",
"2009-09-17     42     77     32     52"
]
 
y = ["2009-09-24     16     01     06     00",
"2009-09-23     47     47     05     13",
"2009-09-22     59     71     44     41",
"2009-09-17     42     77     01     52",
]
 
result = []
for i, ligney in enumerate(y):
    for j, lignex in enumerate(x):
        ratio = SequenceMatcher(None, ligney, lignex).ratio()
        result.append([i, j, ratio])
result.sort(key=lambda v: v[2], reverse=True)
 
for i, j, ratio in result:
    print(i, "("+y[i]+")", j, "("+x[j]+")", "ratio de similitude:", ratio)

Ce qui affiche:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
1 (2009-09-23     47     47     05     13) 2 (2009-09-23     47     47     05     12) ratio de similitude: 0.9736842105263158
2 (2009-09-22     59     71     44     41) 3 (2009-09-22     59     71     35     41) ratio de similitude: 0.9473684210526315
3 (2009-09-17     42     77     01     52) 6 (2009-09-17     42     77     32     52) ratio de similitude: 0.9473684210526315
0 (2009-09-24     16     01     06     00) 1 (2009-09-24     16     35     06     17) ratio de similitude: 0.8947368421052632
0 (2009-09-24     16     01     06     00) 0 (2009-09-25     10     20     83     86) ratio de similitude: 0.8157894736842105
0 (2009-09-24     16     01     06     00) 4 (2009-09-21     56     82     50     57) ratio de similitude: 0.8157894736842105
1 (2009-09-23     47     47     05     13) 1 (2009-09-24     16     35     06     17) ratio de similitude: 0.8157894736842105
0 (2009-09-24     16     01     06     00) 3 (2009-09-22     59     71     35     41) ratio de similitude: 0.7894736842105263
1 (2009-09-23     47     47     05     13) 4 (2009-09-21     56     82     50     57) ratio de similitude: 0.7894736842105263
2 (2009-09-22     59     71     44     41) 0 (2009-09-25     10     20     83     86) ratio de similitude: 0.7631578947368421
3 (2009-09-17     42     77     01     52) 1 (2009-09-24     16     35     06     17) ratio de similitude: 0.7631578947368421
0 (2009-09-24     16     01     06     00) 5 (2009-09-18     72     87     57     62) ratio de similitude: 0.7368421052631579
0 (2009-09-24     16     01     06     00) 6 (2009-09-17     42     77     32     52) ratio de similitude: 0.7368421052631579
3 (2009-09-17     42     77     01     52) 0 (2009-09-25     10     20     83     86) ratio de similitude: 0.7368421052631579
3 (2009-09-17     42     77     01     52) 2 (2009-09-23     47     47     05     12) ratio de similitude: 0.7368421052631579
1 (2009-09-23     47     47     05     13) 6 (2009-09-17     42     77     32     52) ratio de similitude: 0.6842105263157895
1 (2009-09-23     47     47     05     13) 5 (2009-09-18     72     87     57     62) ratio de similitude: 0.6578947368421053
2 (2009-09-22     59     71     44     41) 5 (2009-09-18     72     87     57     62) ratio de similitude: 0.6578947368421053
2 (2009-09-22     59     71     44     41) 2 (2009-09-23     47     47     05     12) ratio de similitude: 0.5789473684210527
2 (2009-09-22     59     71     44     41) 4 (2009-09-21     56     82     50     57) ratio de similitude: 0.5789473684210527
3 (2009-09-17     42     77     01     52) 5 (2009-09-18     72     87     57     62) ratio de similitude: 0.5789473684210527
1 (2009-09-23     47     47     05     13) 0 (2009-09-25     10     20     83     86) ratio de similitude: 0.4473684210526316
1 (2009-09-23     47     47     05     13) 3 (2009-09-22     59     71     35     41) ratio de similitude: 0.4473684210526316
3 (2009-09-17     42     77     01     52) 4 (2009-09-21     56     82     50     57) ratio de similitude: 0.4473684210526316
0 (2009-09-24     16     01     06     00) 2 (2009-09-23     47     47     05     12) ratio de similitude: 0.42105263157894735
2 (2009-09-22     59     71     44     41) 1 (2009-09-24     16     35     06     17) ratio de similitude: 0.42105263157894735
2 (2009-09-22     59     71     44     41) 6 (2009-09-17     42     77     32     52) ratio de similitude: 0.42105263157894735
3 (2009-09-17     42     77     01     52) 3 (2009-09-22     59     71     35     41) ratio de similitude: 0.42105263157894735

On voit dans les 1ers résultats que les 3 lignes de y et x les plus similaires sont:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
la ligne d'indice 1 de y (2009-09-23     47     47     05     13) et la ligne d'indice 2 de x (2009-09-23     47     47     05     12) avec un ratio de similitude: 0.9736842105263158
la ligne d'indice 2 de y (2009-09-22     59     71     44     41) et la ligne d'indice 3 de x (2009-09-22     59     71     35     41) avec un ratio de similitude: 0.9473684210526315
la ligne d'indice 3 de y (2009-09-17     42     77     01     52) et la ligne d'indice 6 de x (2009-09-17     42     77     32     52) avec un ratio de similitude: 0.9473684210526315

Ok?

Merci.

Comme mes fichiers sont des suites de lignes. Mon idée est:
- Rendre chaque ligne dans les fichiers "cas" et "base" en type LIST.
- Chercher les listes (dans "base") similaires aux listes (dans "cas").

[zargooo04]

Mon type de fichiers (Conll) traitement du langage naturel.

[wiztricks]

Mon type de fichiers (Conll) traitement du langage naturel.

Alors les fichiers ne ressemblent pas à ce que vous nous avez montré.
De plus, avec CoNLL, ce qu'on pourrait vouloir comparer, c'est le contenu de certaines colonnes car une ligne correspond au mot d'une phrase.
Il faut définir ce que vous voulez comparer et ce que vous appelez "similaire".
Probable qu'il existe des choses côté traitement des langages mais sans savoir ce que vous voulez faire, vous ne saurez pas où ni quoi chercher.
Ici vous êtes dans un forum de programmation Python. Comparer des fichiers, c'est d'abord comparer des fichiers texte ou plutôt des fichiers sources (de programmes) difflib est un bon outil pour ce type de langages assez simples comparés aux langages naturels.

- W

[zargooo04]

Merci pour votre conseil.
J'ai une bonne idée sur le travail à faire.
J'essaie juste de diviser mon problème (programme) en petits problèmes.
J'ai une question, par exemple si j'ai des fichiers dans un dossier.
Comment faire pour ouvrir (open) tous les fichiers dans mon code?

Alors les fichiers ne ressemblent pas à ce que vous nous avez montré.
De plus, avec CoNLL, ce qu'on pourrait vouloir comparer, c'est le contenu de certaines colonnes car une ligne correspond au mot d'une phrase.
Il faut définir ce que vous voulez comparer et ce que vous appelez "similaire".
Probable qu'il existe des choses côté traitement des langages mais sans savoir ce que vous voulez faire, vous ne saurez pas où ni quoi chercher.
Ici vous êtes dans un forum de programmation Python. Comparer des fichiers, c'est d'abord comparer des fichiers texte ou plutôt des fichiers sources (de programmes) difflib est un bon outil pour ce type de langages assez simples comparés aux langages naturels.

- W

[wiztricks]

Merci pour votre conseil.
J'ai une bonne idée sur le travail à faire.
J'essaie juste de diviser mon problème (programme) en petits problèmes.
J'ai une question, par exemple si j'ai des fichiers dans un dossier.
Comment faire pour ouvrir (open) tous les fichiers dans mon code?

Je vous invite à consulter la FAQ et à apprendre que c'est une ressource qui peut vous aider plus rapidement sinon vous donner aussi des idées.

- W

[zargooo04]

Merci
Je n'ai pas trouvé une réponse directe. Mais après j'ai abouti à cela.

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
 
import glob
 
#liste de tous les fichiers avec le répertoire
fichiers2 = glob.glob("C:\\..............\\Python\\txt\\*")
 
#ouverture du premier fichier de la liste
fichiers_ouvert = open(fichiers2[0], 'r')

Vos avis!!!

Je vous invite à consulter la FAQ et à apprendre que c'est une ressource qui peut vous aider plus rapidement sinon vous donner aussi des idées.

- W

[wiztricks]

Je n'ai pas trouvé une réponse directe. Mais après j'ai abouti à cela.

L'entrée de la FAQ comment lister le fichiers/répertoires d'un répertoire répond a votre question. Elle montre glob.glob et os.listdir en mentionnant la différence entre les deux.

Vos avis!!!

Si je vous donne l'URL de la section de la FAQ qui parle des fichiers et que vous n'y trouvez pas "Comment lister les fichiers-répertoires d'un répertoire", pas facile de ne pas avoir l'impression de perdre son temps.

- W

[zargooo04]

Non, ma précédente question. c t, comment OUVRIR tous les fichiers d'un répertoire.
Mais bien sûr Comment lister les fichiers. Il m'a aidé à ouvrir.

L'entrée de la FAQ comment lister le fichiers/répertoires d'un répertoire répond a votre question. Elle montre glob.glob et os.listdir en mentionnant la différence entre les deux.



Si je vous donne l'URL de la section de la FAQ qui parle des fichiers et que vous n'y trouvez pas "Comment lister les fichiers-répertoires d'un répertoire", pas facile de ne pas avoir l'impression de perdre son temps.

- W

[zargooo04]

ah! peut-être vous m'aviez mal compris.
Quand j'ai dit vos avis. Je parle du petit programme pour lire les fichiers d'un dossier.

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
 
import glob
 
#liste de tous les fichiers avec le répertoire
fichiers2 = glob.glob("C:\\..............\\Python\\txt\\*")
 
#ouverture du premier fichier de la liste
fichiers_ouvert = open(fichiers2[0], 'r')

L'entrée de la FAQ comment lister le fichiers/répertoires d'un répertoire répond a votre question. Elle montre glob.glob et os.listdir en mentionnant la différence entre les deux.



Si je vous donne l'URL de la section de la FAQ qui parle des fichiers et que vous n'y trouvez pas "Comment lister les fichiers-répertoires d'un répertoire", pas facile de ne pas avoir l'impression de perdre son temps.

- W

[BufferBob]

salut,

Non, ma précédente question. c t, comment OUVRIR tous les fichiers d'un répertoire.

nuance de taille et ô combien importante en effet !

ah! peut-être vous m'aviez mal compris.

c'est toujours difficile de savoir si c'est l'autre qui comprend mal ou soi même qui ne s'exprime pas suffisamment bien, dans le doute...

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
 
import glob
 
#liste de tous les fichiers avec le répertoire
fichiers2 = glob.glob("C:\\..............\\Python\\txt\\*")
 
#ouverture du premier fichier de la liste
fichiers_ouvert = open(fichiers2[0], 'r')

franchement c'est beau, il est très joli ce code, chapeau