Discussion :

[VincentB29]

Bonjour,

J'ai un texte et j'aimerai trouver tous les mots en double.

J'ai commencé par faire un split() afin d'avoir tout le texte mots par mots dans une liste.
Je pensai faire une boucle afin de comparer chaque mots lettres par lettres dans la liste , mais je pense que c'est pas la bonne méthode...
Je n'ai pas trouvé de fonction appars findall() ou count() qui pourrait aider peut être.

Quelqu'un aurait-il une idée ?

Merci d'avance!

[fred1599]

Bonsoir,

Va voir du côté de counter

[VincentB29]

Oui mais cette fonction la marche que lorsque l'on cherche un mot précis dans le texte..

Je pensai faire ceux-ci:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
fichier=open('C:\\Users\\LATITUDE\\Desktop\\Le Diable au Corps.txt','r')
T=[]
for line in fichier:
    li=line.strip().split()
    T.append(li[:])
 
       for i in range len(T):
print T.find_all(i)

[fred1599]

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
from collections import Counter
 
example = ["mot", "test", "mot", "exemple", "autre", "test", "test"]
 
 
print(Counter(example))

donne

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

Counter({'test': 3, 'mot': 2, 'autre': 1, 'exemple': 1})

Quels sont les mots en double ?

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
res_dict = Counter(example)
 
for w in res_dict:
    if res_dict[w] == 2:
        print(w)

affiche bien "mot"

[VincentB29]

Merci super ça marche !

J'avais confondu la fonction count() et counter(). Une fonction bien pratique ...

Deuxième question :

Lorsque je décompose le texte j'ai des numéros et caractère comme : '\x92\xe0' qui apparaissent

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
['Jusqu\x92\xe0',
 'douze',
 'ans,',
 'je',
 'ne',
....]

Je pensais utiliser la fonction strip() , mais ça ne change rien...

Auriez-vous une idée ?

[fred1599]

la liste n'est pas un objet qu'on affiche, très souvent, on va formater pour avoir la réponse souhaitée avec un print pour son affichage.

Que fait un print(liste[0]) où liste est la liste que vous nous présentez ?

[VincentB29]

Je ne comprends pas bien votre première phrase, formater pour vous c'est changer le type de fichier ? Le fichier que j'ouvre est un .txt .

print(li[0]) me donne : Jusqu��

[fred1599]

Il faudrait regarder du côté des paramètres de open, encoding permettra d'ouvrir le fichier dans le mode 'utf8', 'latin1' ou 'iso8859-1' par exemple.

[VincentB29]

Merci , en fait j'ai enregistré mon fichier txt dans un autre format (UTF-8)
Du coup ça marche bien .

J'ai une question par rapport à ton code , J'aurai voulu le modifier pour que ça me sorte que des mots donc un "mots" qui a plus d'un caractère ( à , ou qu'elle )
Je pensai rajouter ceux-ci : if len(str(w))>1 , mais ça ne marche pas ..

Parce que la boucle compare un part un dans ton code c'est ça ? lorsque je fait print(w) je reçois 'se'.
Je vois pas trop comment faire une liste des mots double .. avec que ceux avec plus de 1 caractère et pas des mots comme : qu'elle etc

Désolé , j'ai de te poser autant de question d'un coup , mais j'ai pas encore beaucoup de niveau en Python .

Merci Fred

[fred1599]

Peux-tu montrer le code que tu as testé, ainsi que ta condition, et surtout sur quel type (liste ?) tu testes ton code ?

Donc ce qui serait intéressant aussi serait de présenter le test, en y ajoutant le résultat attendu.

Les questions, c'est la vie !

[VincentB29]

En fait j'envisageai de mettre les mots doubles dans une liste pour que ça soit plus facile par la suite de les manipuler.
Je pensai utiliser la fonction find() afin de trouver leurs emplacements dans le texte.

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
 
###
 
fichier=open('C:\\Users\\LATITUDE\\Desktop\\Le Diable au Corps utf8.txt','r')
#T=[]
y=[]
for line in fichier:
    li=line.strip().split()
    #T.append(li[:])
#print(Counter(li))
 
 
 
motsdouble = Counter(li)
 
for w in motsdouble:
    if motsdouble[w] == 2:
        #if len(str(w))>1: 
            print(w)
 
###

[fred1599]

Désolé je me cite, une information manquante et importante.

Donc ce qui serait intéressant aussi serait de présenter le test, en y ajoutant le résultat attendu.

EDIT: Un conseil, pour l'instant travaille sur une seule ligne.

[VincentB29]

A oui pardon , donc voici lorsque je print(li)

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
###
['Jusqu\xe2\x80\x99\xc3\xa0',
 'douze',
 'ans,',
 'je',
 'ne',
 'me',
 'vois',
 'aucune',
 'amourette,',
 ...]

Bon la il y a toujours un problème d'encodage mais c'est pas grave...
###

à
qu’elle
lui
une
lettre
qui
me
pour
un
###
Et voila ce qui sort avec la boucle des mots doubles .

Par contre quand je print(w) j'ai : 'se'

###

Avec , print(Counter(li))

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
 
Counter({'je': 3, '\xc3\xa0': 2, 'qu\xe2\x80\x99elle': 2, 'lui': 2, 'une': 2, 'lettre': 2, 'qui': 2, 'me': 2, 'pour': 2, 'un': 2, 'en': 1, ...})

###

[fred1599]

Je n'ai strictement rien compris, il va falloir être plus rigoureux quand tu présentes un problème...

Je ne vois pas comment tu pourrais avoir 3x le mot 'je' ou 2x le mot 'lettre', etc... dans l'exemple que tu me donnes.

Je veux la ligne exacte, brute, celle présentée dans le fichier, et le résultat attendu. J'ai du mal à comprendre que au bout de 5 ou 6 questions, on arrive toujours pas à avoir une présentation du problème propre définissant l'entrée et la sortie attendue. Je comprend ta difficulté à déterminer une solution.

Prends le temps, mais fais le bien, en plus ça t'aidera sans doute certaines fois à mieux comprendre ton problème de base.

Par contre quand je print(w) j'ai : 'se'

Met toi à notre place, d'où pourrait-il provenir avec l'exemple donné ? Je ne vois pas de 'se' dans ton exemple ???

[VincentB29]

Oui c'est vraie, excuse moi pour mon imprécision ..
Je t'envoie en pièce-jointe le texte dont je travaille dessus.
Encore merci de m'aider !

Le Diable au Corps.txtLe Diable au Corps.txt

Mes objectifs sont: Trouver les mots doubles ( supérieur à deux caractères , et pas de ' laquelle' lequel ' etc.) ainsi que leur emplacement dans le texte.

Donc les mots doubles c'est bon je les ai avec la fonction counter() et avec la boucle motsdouble. Sauf qu'il faut que je modifie le code pour n'avoir que des mots double avec plus de 2 caractères...
Je comptait mettre les mots double trouvé dans une liste pour faciliter la manipulation de ceux-ci. Pour trouver par la suite leur position dans le texte ...


Et voici ce que me donne le code pour li:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
['Jusqu\xe2\x80\x99\xc3\xa0','douze', 'ans,', 'je', 'ne', 'me', 'vois', 'aucune', 'amourette,','sauf', 'pour', 'une', 'petite', 'file,', 'nomm\xc3\xa9e', 'Carmen,', '\xc3\xa0', 'qui', 'je', 'fis', 'tenir,', 'par','un','gamin','plus','jeune','que','moi,','une','lettre','dans','laquelle','je','lui','exprimais','mon','amour.','Je','m\xe2\x80\x99autorisais','de','cet','amour','pour','solliciter','un','rendezvous.','Ma','lettre','lui',
 'avait','\xc3\xa9t\xc3\xa9','remise','le','matin','avant','qu\xe2\x80\x99elle','se','rend\xc3\xaet','en','classe.','J\xe2\x80\x99avais','distingu\xc3\xa9','la','seule','fillette','qui','me','ressembl\xc3\xa2t,','parce','qu\xe2\x80\x99elle','\xc3\xa9tait','propre,','et','allait','\xc3\xa0', 'l\xe2\x80\x99\xc3\xa9cole\xc2\xa0']

Voici ce que sort le code pour Counter(li):

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

Counter({'je': 3, '\xc3\xa0': 2, 'qu\xe2\x80\x99elle': 2, 'lui': 2, 'une': 2, 'lettre': 2, 'qui': 2, 'me': 2, 'pour': 2, 'un': 2, 'en': 1, 'm\xe2\x80\x99autorisais': 1, 'exprimais': 1, 'dans': 1, 'seule': 1, '\xc3\xa9t\xc3\xa9': 1, 'ressembl\xc3\xa2t,': 1, 'rend\xc3\xaet': 1, 'amourette,': 1, 'et': 1, 'amour': 1, 'matin': 1, 'moi,': 1, 'file,': 1, 'parce': 1, 'fis': 1, 'par': 1, 'le': 1, 'Carmen,': 1, 'aucune': 1, 'avait': 1, 'tenir,': 1, 'ne': 1, 'classe.': 1, 'nomm\xc3\xa9e': 1, 'J\xe2\x80\x99avais': 1, 'propre,': 1, 'Ma': 1, 'petite': 1, '\xc3\xa9tait': 1, 'fillette': 1, 'douze': 1, 'de': 1, 'cet': 1, 'que': 1, 'mon': 1, 'Je': 1, 'rendez-vous.': 1, 'vois': 1, 'solliciter': 1, 'gamin': 1, 'jeune': 1, 'la': 1, 'remise': 1, 'Jusqu\xe2\x80\x99\xc3\xa0': 1, 'avant': 1, 'allait': 1, 'l\xe2\x80\x99\xc3\xa9cole\xc2\xa0': 1, 'plus': 1, 'sauf': 1, 'ans,': 1, 'laquelle': 1, 'distingu\xc3\xa9': 1, 'amour.': 1, 'se': 1})

Je ne comprend pas bien la fonction counter() dans la façon de trouver les mots et de les arranger .. Je viens de me rendre compte que c'est pas dans le même ordre ( de mots ) que quand je print(li)
Bizarre , bizarre ..

J'ai donc pour la boucle un résultat comme ça:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
à
qu’elle
lui
une
lettre
qui
me
pour
un

[fred1599]

Bonjour,

C'est déjà mieux !

Voici une proposition qui demandera des recherches afin de bien comprendre. Faîtes aussi des petits tests sur interpréteur afin de voir ce que peut donner comme résultat une fonction.

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
from collections import defaultdict, Counter
from string import punctuation
 
 
def insert_dict(d, word, limit=2):
    if len(word) > limit:
        d[word] += 1
 
 
def parse(line):
    s = line[:].rstrip('\n')
    translator=str.maketrans('','', punctuation)
    s = s.translate(translator) # del punctuation
    return s.strip()
 
 
def display_words(d, n=2):
    for word in d:
        if d[word] == n:
            print(word)
 
 
if __name__ == "__main__":
    punctuation = punctuation.replace("'", '') # remove character simple quote of filter
    d = defaultdict(int)
    with open('test.txt', encoding='utf8') as f:
        for line in f:
            line = parse(line)
            for word in line.split():
                insert_dict(d, word, 2)
 
 
    display_words(d, 2)

Un exercice à faire, serait de faire une petite documentation des fonctions présentes...

[VincentB29]

Merci beaucoup Fred de m'aider , mais j'aimerai continuer le programme que j'ai commencé.
Je viens de commencer Python récemment je préfère utiliser les bases que j'ai acquises et continuer à m'améliorer , mais ton code pour l'instant n'est pas de mon "niveau"

Je préfère donc continuer sur mon programme , si tu veux bien m'aider à continuer sur celui-ci. Et faire petit à petit ..

J'essayerai forcément de comprendre ce que tu as fait sur ton programme, mais pour l'instant il faut que je continue à mon niveau .

En tout cas c'est vraiment sympa de m'aider !

[fred1599]

Bonsoir,

Ok, donc montre ton code qui travaille sur une seule ligne avec la condition que la longueur d'un mot doit dépasser deux caractères, comme je te l'ai conseillé auparavant.

[VincentB29]

Je pensai faire ceux-ci: ligne2

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
for w in motsdouble:
    if motsdouble[w] == 2:
        if len(str(w))>1: 
            print(w)

Ensuite, je dois regarder si, derrière ces mots doubles, la chaîne de caractère continue à être commune. L'idée est de trouver les plus longues chaînes de caractères qui se répètent.

J'ai commencé à travailler sur tes fonctions Fred.

[fred1599]

Bonjour,

Le str(...) n'est pas utile, tu peux retirer.

mais ton code pour l'instant n'est pas de mon "niveau"

Il est plus complexe, car j'ajoute des contraintes supplémentaires, ou si tu veux, je prévois des contraintes gênant à la réussite du programme qui pourraient se passer dans un fichier texte.
Sinon mon code ressemblerait au tiens, si je considère aucune contrainte.

L'idée est de trouver les plus longues chaînes de caractères qui se répètent.

Il faut que tu stockes ces mots dans une liste, ensuite tu les tries selon la longueur des mots, du plus grand au plus petit.
Un site bien connu pour t'aider à faire le tri ICI.