Discussion :

[UVision]

Bonjour à tous, je souhaiterais créer un petit script dont le but serait de repérer quel/quels est/sont le(s) mot(s) (marre des marques du pluriel) qui sont les plus présents dans un texte, et de conserver évidemment les résultats soit sous forme d'une variable que le programme pourrait réutiliser par la suite (ex : comparer la fréquence d'apparitions d'un mot dans deux textes différents), ou encore dans un fichier texte...

N'ayant rien trouvé après quelques recherches, je me permet de faire appel à vos conseils, en rappelant que je ne suis pas très expérimenté

[racine carrée]

Salut,
voici un code qui renvoie la liste de tous les mots du texte (d'un fichier .txt) avec leur nombre de répétions.

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
fichier=open("C:/Users/.../Documents/test.txt") # (attention à mettre des / ou des \\)
lignes=fichier.readlines()
texte=''.join(lignes)
mots=texte.split()
repetitions=[]
for mot in mots:
    dedans=0
    for repet in repetitions: #on regarde si le mot est déjà dans la listes des mots répétés (repetion)...
        if repet[0]==mot: # ...si ce mot est déjà dans répétions, on augmente son nombre d’apparitions de 1
            repet[1]+=1
            dedans=1
            break
    if dedans==0: # ... et s'il n'est pas déjà dedans, on le rajoute et on règle son nombre d'apparitions à 1.
        repetitions.append([mot,1])
print(repetitions)
fichier.close()

[wiztricks]

Salut,

N'ayant rien trouvé après quelques recherches, je me permet de faire appel à vos conseils, en rappelant que je ne suis pas très expérimenté

"texte" et "mots" voilà qui mérite d'être défini pour savoir s'il faut utiliser un engin comme NLTK ou si un simple dictionnaire suffirait (si vous ne savez pas ce qu'est un dictionnaire Python: ouvrez un tuto).
Après si on veut écrire çà avec Python, on préférera utiliser collections.Counter un truc comme:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
from collections import Counter
with open('fichier.txt') as f:
       c = Counter(f.read().split())
print(c.most_common())

devrait le faire.
note: dans ce cas, on a une définition assez faible de ce qu'est un "mot".

- W

[UVision]

Merci pour vos réponses, je vais essayer votre script racine carrée, et par mot je voulais parler d'une suite de lettres compréhensibles pour un être humain, mais cela peut être tout et n'importe quoi comme "cornichon", "moutarde", "je", "il", donc à priori pas besoin d'une bibliothèque spéciale...

[BufferBob]

salut,

Merci pour vos réponses, je vais essayer votre script racine carrée, et par mot je voulais parler d'une suite de lettres compréhensibles pour un être humain, mais cela peut être tout et n'importe quoi comme "cornichon", "moutarde", "je", "il", donc à priori pas besoin d'une bibliothèque spéciale...

et "aujourd'hui" ça doit compter pour 1 ou 2 mots ("aujourd" et "hui") ? même question pour "après-midi", "quelqu'un", "arc-en-ciel", "peut-être" etc.

en clair, si on veut considèrer "aujourd'hui" comme un seul mot, il faut utiliser un tokenizer lexical plus complexe que juste .split(), on en trouve effectivement dans les usines à gaz comme NLTK ou spaCy, mais on peut aussi bien trouver un tokenizer indépendant ou en coder un soi-même rapidement (c'est l'affaire de 20 lignes de code et un dico de mots composés en gros)

[racine carrée]

Si on veut décomposer selon les - , on fait un split(), puis un split('-') sur chaque élément de la liste obtenue et on regroupe chaque sous listes dans une seule liste.

[UVision]

Merci pour vos réponses Effectivement, "aujourd'hui" devrait par exemple être considéré comme un seul mot, mais après quelques tests, le script de wiztricks en prend bien compte.