repérer le mot qui revient le plus dans un texte

Version imprimable

21/09/2018, 20h27
UVision

repérer le mot qui revient le plus dans un texte

Bonjour à tous, je souhaiterais créer un petit script dont le but serait de repérer quel/quels est/sont le(s) mot(s) (marre des marques du pluriel;)) qui sont les plus présents dans un texte, et de conserver évidemment les résultats soit sous forme d'une variable que le programme pourrait réutiliser par la suite (ex : comparer la fréquence d'apparitions d'un mot dans deux textes différents), ou encore dans un fichier texte...

N'ayant rien trouvé après quelques recherches, je me permet de faire appel à vos conseils, en rappelant que je ne suis pas très expérimenté:D

Salut,
voici un code qui renvoie la liste de tous les mots du texte (d'un fichier .txt) avec leur nombre de répétions.

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
fichier=open("C:/Users/.../Documents/test.txt") # (attention à mettre des / ou des \\)
lignes=fichier.readlines()
texte=''.join(lignes)
mots=texte.split()
repetitions=[]
for mot in mots:
    dedans=0
    for repet in repetitions: #on regarde si le mot est déjà dans la listes des mots répétés (repetion)...
        if repet[0]==mot: # ...si ce mot est déjà dans répétions, on augmente son nombre d’apparitions de 1
            repet[1]+=1
            dedans=1
            break
    if dedans==0: # ... et s'il n'est pas déjà dedans, on le rajoute et on règle son nombre d'apparitions à 1.
        repetitions.append([mot,1])
print(repetitions)
fichier.close()

21/09/2018, 22h09
wiztricks
Salut,

Citation:

Envoyé par UVision

N'ayant rien trouvé après quelques recherches, je me permet de faire appel à vos conseils, en rappelant que je ne suis pas très expérimenté:D

"texte" et "mots" voilà qui mérite d'être défini pour savoir s'il faut utiliser un engin comme NLTK ou si un simple dictionnaire suffirait (si vous ne savez pas ce qu'est un dictionnaire Python: ouvrez un tuto).
Après si on veut écrire çà avec Python, on préférera utiliser collections.Counter un truc comme:
Code:

1 2 3 4 from collections import Counter with open('fichier.txt') as f: c = Counter(f.read().split()) print(c.most_common())
devrait le faire.
note: dans ce cas, on a une définition assez faible de ce qu'est un "mot".

- W
22/09/2018, 14h25
UVision

Merci pour vos réponses, je vais essayer votre script racine carrée, et par mot je voulais parler d'une suite de lettres compréhensibles pour un être humain, mais cela peut être tout et n'importe quoi comme "cornichon", "moutarde", "je", "il", donc à priori pas besoin d'une bibliothèque spéciale...
22/09/2018, 15h09
BufferBob

salut,

Citation:

Envoyé par UVision

Merci pour vos réponses, je vais essayer votre script racine carrée, et par mot je voulais parler d'une suite de lettres compréhensibles pour un être humain, mais cela peut être tout et n'importe quoi comme "cornichon", "moutarde", "je", "il", donc à priori pas besoin d'une bibliothèque spéciale...

et "aujourd'hui" ça doit compter pour 1 ou 2 mots ("aujourd" et "hui") ? même question pour "après-midi", "quelqu'un", "arc-en-ciel", "peut-être" etc.

en clair, si on veut considèrer "aujourd'hui" comme un seul mot, il faut utiliser un tokenizer lexical plus complexe que juste .split(), on en trouve effectivement dans les usines à gaz comme NLTK ou spaCy, mais on peut aussi bien trouver un tokenizer indépendant ou en coder un soi-même rapidement (c'est l'affaire de 20 lignes de code et un dico de mots composés en gros)
22/09/2018, 16h27
racine carrée

Si on veut décomposer selon les - , on fait un split(), puis un split('-') sur chaque élément de la liste obtenue et on regroupe chaque sous listes dans une seule liste.
23/09/2018, 09h32
UVision

Merci pour vos réponses;) Effectivement, "aujourd'hui" devrait par exemple être considéré comme un seul mot, mais après quelques tests, le script de wiztricks en prend bien compte.
25/09/2018, 22h02
racine carrée

Citation:

Merci pour vos réponses Effectivement, "aujourd'hui" devrait par exemple être considéré comme un seul mot, mais après quelques tests, le script de wiztricks en prend bien compte.

En effet, son code utilise le module collections, qui fait le même travail (autant utiliser les modules plutôt que de reprogrammer tout soi-même !):lol: