Analyse de texte "Mots doubles "

Version imprimable

Voir 40 message(s) de cette discussion en une page

04/02/2019, 19h51
VincentB29

Analyse de texte "Mots doubles "

Bonjour,

J'ai un texte et j'aimerai trouver tous les mots en double.

J'ai commencé par faire un split() afin d'avoir tout le texte mots par mots dans une liste.
Je pensai faire une boucle afin de comparer chaque mots lettres par lettres dans la liste , mais je pense que c'est pas la bonne méthode...
Je n'ai pas trouvé de fonction appars findall() ou count() qui pourrait aider peut être.

Quelqu'un aurait-il une idée ?

Merci d'avance!
04/02/2019, 20h04
fred1599

Bonsoir,

Va voir du côté de counter

Oui mais cette fonction la marche que lorsque l'on cherche un mot précis dans le texte..

Je pensai faire ceux-ci:
Code:

1 2 3 4 5 6 7 8 fichier=open('C:\\Users\\LATITUDE\\Desktop\\Le Diable au Corps.txt','r') T=[] for line in fichier: li=line.strip().split() T.append(li[:]) for i in range len(T): print T.find_all(i)

Code:

1
2
3
4
5
6
from collections import Counter
 
example = ["mot", "test", "mot", "exemple", "autre", "test", "test"]
 
 
print(Counter(example))

donne

Code:

Counter({'test': 3, 'mot': 2, 'autre': 1, 'exemple': 1})

Quels sont les mots en double ?

Code:

1
2
3
4
5
res_dict = Counter(example)
 
for w in res_dict:
    if res_dict[w] == 2:
        print(w)

affiche bien "mot"

06/02/2019, 12h18
VincentB29
Merci super ça marche !

J'avais confondu la fonction count() et counter(). Une fonction bien pratique ...

Deuxième question :

Lorsque je décompose le texte j'ai des numéros et caractère comme : '\x92\xe0' qui apparaissent
Code:

1 2 3 4 5 6 ['Jusqu\x92\xe0', 'douze', 'ans,', 'je', 'ne', ....]
Je pensais utiliser la fonction strip() , mais ça ne change rien...

Auriez-vous une idée ?
06/02/2019, 13h22
fred1599

la liste n'est pas un objet qu'on affiche, très souvent, on va formater pour avoir la réponse souhaitée avec un print pour son affichage.

Que fait un print(liste[0]) où liste est la liste que vous nous présentez ?
06/02/2019, 13h51
VincentB29

Je ne comprends pas bien votre première phrase, formater pour vous c'est changer le type de fichier ? Le fichier que j'ouvre est un .txt .

print(li[0]) me donne : Jusqu��
06/02/2019, 20h26
fred1599

Il faudrait regarder du côté des paramètres de open, encoding permettra d'ouvrir le fichier dans le mode 'utf8', 'latin1' ou 'iso8859-1' par exemple.
08/02/2019, 17h06
VincentB29

Merci , en fait j'ai enregistré mon fichier txt dans un autre format (UTF-8)
Du coup ça marche bien .

J'ai une question par rapport à ton code , J'aurai voulu le modifier pour que ça me sorte que des mots donc un "mots" qui a plus d'un caractère ( à , ou qu'elle )
Je pensai rajouter ceux-ci : if len(str(w))>1 , mais ça ne marche pas ..

Parce que la boucle compare un part un dans ton code c'est ça ? lorsque je fait print(w) je reçois 'se'.
Je vois pas trop comment faire une liste des mots double .. avec que ceux avec plus de 1 caractère et pas des mots comme : qu'elle etc

Désolé , j'ai de te poser autant de question d'un coup , mais j'ai pas encore beaucoup de niveau en Python .

Merci Fred
08/02/2019, 18h41
fred1599

Peux-tu montrer le code que tu as testé, ainsi que ta condition, et surtout sur quel type (liste ?) tu testes ton code ?

Donc ce qui serait intéressant aussi serait de présenter le test, en y ajoutant le résultat attendu.

Les questions, c'est la vie !

En fait j'envisageai de mettre les mots doubles dans une liste pour que ça soit plus facile par la suite de les manipuler.
Je pensai utiliser la fonction find() afin de trouver leurs emplacements dans le texte.
Code:

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 ### fichier=open('C:\\Users\\LATITUDE\\Desktop\\Le Diable au Corps utf8.txt','r') #T=[] y=[] for line in fichier: li=line.strip().split() #T.append(li[:]) #print(Counter(li)) motsdouble = Counter(li) for w in motsdouble: if motsdouble[w] == 2: #if len(str(w))>1: print(w) ###

08/02/2019, 19h04
fred1599

Désolé je me cite, une information manquante et importante.

Citation:

Envoyé par fred1599

Donc ce qui serait intéressant aussi serait de présenter le test, en y ajoutant le résultat attendu.

EDIT: Un conseil, pour l'instant travaille sur une seule ligne.
08/02/2019, 19h33
VincentB29
A oui pardon , donc voici lorsque je print(li)
Code:

1 2 3 4 5 6 7 8 9 10 11 ### ['Jusqu\xe2\x80\x99\xc3\xa0', 'douze', 'ans,', 'je', 'ne', 'me', 'vois', 'aucune', 'amourette,', ...]
Bon la il y a toujours un problème d'encodage mais c'est pas grave...
###

à
qu’elle
lui
une
lettre
qui
me
pour
un
###
Et voila ce qui sort avec la boucle des mots doubles .

Par contre quand je print(w) j'ai : 'se'

###

Avec , print(Counter(li))
Code:

1 2 Counter({'je': 3, '\xc3\xa0': 2, 'qu\xe2\x80\x99elle': 2, 'lui': 2, 'une': 2, 'lettre': 2, 'qui': 2, 'me': 2, 'pour': 2, 'un': 2, 'en': 1, ...})
###
08/02/2019, 21h08
fred1599

Je n'ai strictement rien compris, il va falloir être plus rigoureux quand tu présentes un problème...

Je ne vois pas comment tu pourrais avoir 3x le mot 'je' ou 2x le mot 'lettre', etc... dans l'exemple que tu me donnes.

Je veux la ligne exacte, brute, celle présentée dans le fichier, et le résultat attendu. J'ai du mal à comprendre que au bout de 5 ou 6 questions, on arrive toujours pas à avoir une présentation du problème propre définissant l'entrée et la sortie attendue. Je comprend ta difficulté à déterminer une solution.

Prends le temps, mais fais le bien, en plus ça t'aidera sans doute certaines fois à mieux comprendre ton problème de base.

Citation:

Par contre quand je print(w) j'ai : 'se'

Met toi à notre place, d'où pourrait-il provenir avec l'exemple donné ? Je ne vois pas de 'se' dans ton exemple ???

1 pièce(s) jointe(s)

Oui c'est vraie, excuse moi pour mon imprécision ..
Je t'envoie en pièce-jointe le texte dont je travaille dessus.
Encore merci de m'aider !

Pièce jointe 448548Pièce jointe 448548

Mes objectifs sont: Trouver les mots doubles ( supérieur à deux caractères , et pas de ' laquelle' lequel ' etc.) ainsi que leur emplacement dans le texte.

Donc les mots doubles c'est bon je les ai avec la fonction counter() et avec la boucle motsdouble. Sauf qu'il faut que je modifie le code pour n'avoir que des mots double avec plus de 2 caractères...
Je comptait mettre les mots double trouvé dans une liste pour faciliter la manipulation de ceux-ci. Pour trouver par la suite leur position dans le texte ...

Et voici ce que me donne le code pour li:
Code:

1 2 ['Jusqu\xe2\x80\x99\xc3\xa0','douze', 'ans,', 'je', 'ne', 'me', 'vois', 'aucune', 'amourette,','sauf', 'pour', 'une', 'petite', 'file,', 'nomm\xc3\xa9e', 'Carmen,', '\xc3\xa0', 'qui', 'je', 'fis', 'tenir,', 'par','un','gamin','plus','jeune','que','moi,','une','lettre','dans','laquelle','je','lui','exprimais','mon','amour.','Je','m\xe2\x80\x99autorisais','de','cet','amour','pour','solliciter','un','rendezvous.','Ma','lettre','lui', 'avait','\xc3\xa9t\xc3\xa9','remise','le','matin','avant','qu\xe2\x80\x99elle','se','rend\xc3\xaet','en','classe.','J\xe2\x80\x99avais','distingu\xc3\xa9','la','seule','fillette','qui','me','ressembl\xc3\xa2t,','parce','qu\xe2\x80\x99elle','\xc3\xa9tait','propre,','et','allait','\xc3\xa0', 'l\xe2\x80\x99\xc3\xa9cole\xc2\xa0']
Voici ce que sort le code pour Counter(li):

Code:

Counter({'je': 3, '\xc3\xa0': 2, 'qu\xe2\x80\x99elle': 2, 'lui': 2, 'une': 2, 'lettre': 2, 'qui': 2, 'me': 2, 'pour': 2, 'un': 2, 'en': 1, 'm\xe2\x80\x99autorisais': 1, 'exprimais': 1, 'dans': 1, 'seule': 1, '\xc3\xa9t\xc3\xa9': 1, 'ressembl\xc3\xa2t,': 1, 'rend\xc3\xaet': 1, 'amourette,': 1, 'et': 1, 'amour': 1, 'matin': 1, 'moi,': 1, 'file,': 1, 'parce': 1, 'fis': 1, 'par': 1, 'le': 1, 'Carmen,': 1, 'aucune': 1, 'avait': 1, 'tenir,': 1, 'ne': 1, 'classe.': 1, 'nomm\xc3\xa9e': 1, 'J\xe2\x80\x99avais': 1, 'propre,': 1, 'Ma': 1, 'petite': 1, '\xc3\xa9tait': 1, 'fillette': 1, 'douze': 1, 'de': 1, 'cet': 1, 'que': 1, 'mon': 1, 'Je': 1, 'rendez-vous.': 1, 'vois': 1, 'solliciter': 1, 'gamin': 1, 'jeune': 1, 'la': 1, 'remise': 1, 'Jusqu\xe2\x80\x99\xc3\xa0': 1, 'avant': 1, 'allait': 1, 'l\xe2\x80\x99\xc3\xa9cole\xc2\xa0': 1, 'plus': 1, 'sauf': 1, 'ans,': 1, 'laquelle': 1, 'distingu\xc3\xa9': 1, 'amour.': 1, 'se': 1})

Je ne comprend pas bien la fonction counter() dans la façon de trouver les mots et de les arranger .. Je viens de me rendre compte que c'est pas dans le même ordre ( de mots ) que quand je print(li)
Bizarre , bizarre ..

J'ai donc pour la boucle un résultat comme ça:
Code:

1 2 3 4 5 6 7 8 9 à qu’elle lui une lettre qui me pour un

Bonjour,

C'est déjà mieux !

Voici une proposition qui demandera des recherches afin de bien comprendre. Faîtes aussi des petits tests sur interpréteur afin de voir ce que peut donner comme résultat une fonction.

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
from collections import defaultdict, Counter
from string import punctuation
 
 
def insert_dict(d, word, limit=2):
    if len(word) > limit:
        d[word] += 1
 
 
def parse(line):
    s = line[:].rstrip('\n')
    translator=str.maketrans('','', punctuation)
    s = s.translate(translator) # del punctuation
    return s.strip()
 
 
def display_words(d, n=2):
    for word in d:
        if d[word] == n:
            print(word)
 
 
if __name__ == "__main__":
    punctuation = punctuation.replace("'", '') # remove character simple quote of filter
    d = defaultdict(int)
    with open('test.txt', encoding='utf8') as f:
        for line in f:
            line = parse(line)
            for word in line.split():
                insert_dict(d, word, 2)
 
 
    display_words(d, 2)

Un exercice à faire, serait de faire une petite documentation des fonctions présentes...

10/02/2019, 15h05
VincentB29

Merci beaucoup Fred de m'aider , mais j'aimerai continuer le programme que j'ai commencé.
Je viens de commencer Python récemment je préfère utiliser les bases que j'ai acquises et continuer à m'améliorer , mais ton code pour l'instant n'est pas de mon "niveau"

Je préfère donc continuer sur mon programme , si tu veux bien m'aider à continuer sur celui-ci. Et faire petit à petit ..

J'essayerai forcément de comprendre ce que tu as fait sur ton programme, mais pour l'instant il faut que je continue à mon niveau .

En tout cas c'est vraiment sympa de m'aider ! :)
10/02/2019, 20h14
fred1599

Bonsoir,

Ok, donc montre ton code qui travaille sur une seule ligne avec la condition que la longueur d'un mot doit dépasser deux caractères, comme je te l'ai conseillé auparavant.
15/02/2019, 08h25
VincentB29
Je pensai faire ceux-ci: ligne2
Code:

1 2 3 4 for w in motsdouble: if motsdouble[w] == 2: if len(str(w))>1: print(w)
Ensuite, je dois regarder si, derrière ces mots doubles, la chaîne de caractère continue à être commune. L'idée est de trouver les plus longues chaînes de caractères qui se répètent.

J'ai commencé à travailler sur tes fonctions Fred.
15/02/2019, 11h20
fred1599

Bonjour,

Le str(...) n'est pas utile, tu peux retirer.

Citation:

mais ton code pour l'instant n'est pas de mon "niveau"

Il est plus complexe, car j'ajoute des contraintes supplémentaires, ou si tu veux, je prévois des contraintes gênant à la réussite du programme qui pourraient se passer dans un fichier texte.
Sinon mon code ressemblerait au tiens, si je considère aucune contrainte.

Citation:

L'idée est de trouver les plus longues chaînes de caractères qui se répètent.

Il faut que tu stockes ces mots dans une liste, ensuite tu les tries selon la longueur des mots, du plus grand au plus petit.
Un site bien connu pour t'aider à faire le tri ICI.

Voir 40 message(s) de cette discussion en une page