Compter le nombre d’occurrences de chaque mot d'un texte.

Version imprimable

Salut,

Compter le nombre d’occurrences de chaque mot d'un texte...

J'ai fait ça :

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
import re
 
texte = "Salut tout le monde, c'est un texte pour tester le code... Salut tout le monde, c'est un texte pour tester le code..."
div = re.split('[^a-zA-Z]', texte)
dico = {}
 
for mot in div:
    if mot != "":
        if mot in dico:
            dico[mot] += 1
        else:
            dico[mot] = 1
print(dico)

Peut-on améliorer le code ?

Citation:

Envoyé par wiztricks

Ce problème de comptage d’occurrences est tellement récurent que Python à collections.Counter.

Bon ben j'ai regardé le lien et justement je l'applique ici :
Code:

1 2 3 4 5 6 7 8 9 10 11 from collections import Counter import re texte = "Salut tout le monde, c'est un texte pour tester le code... Salut tout le monde, c'est un texte pour tester le code..." div = re.split('[^a-zA-Z]', texte) cnt = Counter() for mot in div: if mot != "": cnt[mot] += 1 print(cnt)
Je ne sais pas si c'est mieux...

Waw je viens de voir encore une autre manière plus concise :

Code:

1
2
3
4
5
6
7
from collections import Counter
import re
 
texte = "Salut tout le monde, c'est un texte pour tester le code... Salut tout le monde, c'est un texte pour tester le code..."
 
mots = re.findall(r'\w+', texte)
print(Counter(mots))

02/11/2019, 12h18
Sve@r
Bonjour

Citation:

Envoyé par Beginner.

Waw je viens de voir encore une autre manière plus concise :

En fait tout dépend ton but. Si c'est pour un projet/boulot/truc officiel alors oui tu as intérêt à utiliser ce qui existe déjà sans avoir à réinventer le fil à couper l'eau chaude.

Mais si c'est pour exercer ta logique et affûter ton intuitivité, alors là tu as plus intérêt à tout faire toi-même ;)
Citation:
Envoyé par Beginner.

Code:

1 2 mots = re.findall(r'\w+', texte) print(Counter(mots))
print(Counter(re.findall(r'\w+', texte))) 8-)
02/11/2019, 17h50
Beginner.

Merci.
Effectivement tu as fait encore plus concis...

On pourrait faire ça aussi :
print(Counter(re.findall(r'\w+', "Salut tout le monde, c'est un texte pour tester le code... Salut tout le monde, c'est un texte pour tester le code...")))...
LOL

Bonsoir,

Niveau conception j'aime bien faire à la C,

Code:

1
2
3
4
5
6
7
8
texte = "Salut tout le monde, c'est un texte pour tester le code... Salut tout le monde, c'est un texte pour tester le code..."
counter = [0 for _ in range(0, 256)]
for char in bytearray(texte, 'ascii'):
    counter[char] += 1
 
for ind, n in enumerate(counter):
    if n:
        print('il y a {} {}'.format(n, chr(ind)))

Biensûr, si on veut éviter de le faire soi-même, quoi de plus efficace que Counter.

02/11/2019, 20h24
Beginner.

Salut,

Merci, le programme est court mais il a l'air de compter le nombre de lettres et non le nombres de mots, non ?

Ah oui sorry, j'ai effectivement compris lettre, ça m'apprendra de lire en diagonale les topics :lol:

Allez j'essaye de me rattraper,

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
In [1]: texte = "Salut tout le monde, c'est un texte pour tester le code... Salut tout le monde, c'est un texte pour tester le code..."     
 
In [2]: from string import punctuation                                                                                                                                                                    
 
 
In [3]: words = list(map(lambda s: s.rstrip(punctuation), texte.split()))                                                                   
 
 
In [4]: for word in set(words): 
    ...:     print("{}: {}".format(word, words.count(word))) 
    ...:                                                                                                                                     
pour: 2
tout: 2
le: 4
c'est: 2
Salut: 2
code: 2
un: 2
tester: 2
monde: 2
texte: 2

L'inconvénient est que count se retape la boucle à chaque fois, l'avantage est l'optimisation de la méthode count. Cependant Counter est plus performant, c'est pas négociable.

Désolé pour le passage à côté ;)

:salut:

Ma version (certainement perfectible par -W :ptdr:, car je suis toujours dans les débuts) pour traiter un texte accentué et ponctué :

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
from collections import Counter
import re
 
texte = '''
    C'est l'évadé, du Névada.
    Qui s'évada dans, la vallée
    Dans la vallée, du Névada ?
    Qu'il dévala, pour s'évader
    Sur un vilain vélo volé !
    Qu'il a volé, dans une villa
    Et le valet, qui fut volé.
    Vit l'évadé, qui s'envola
    '''
 
# lowercase
phrase = texte.lower()
# trouve les éléments du texte
z = re.findall('[a-zA-Z\u00C0-\u00FF]*', phrase)
# élimine les espaces et les éléments courts
lst = [x for x in z if x != '' and len(x) > 2]
# crée un dict contenant les mots et la fréquence des mots
cnt = Counter(lst)
# version lisible
for key, value in cnt.items():
    print('{} : {}'.format(key, value))
 
'''
est : 1
évadé : 2 
névada : 2
qui : 3
évada : 1
dans : 3
vallée : 2
dévala : 1
pour : 1
évader : 1
sur : 1
vilain : 1
vélo : 1
volé : 3
une : 1
villa : 1
valet : 1
fut : 1
vit : 1
envola : 1
'''

02/11/2019, 22h33
Sve@r

Citation:

Envoyé par Beginner.

On pourrait faire ça aussi :
print(Counter(re.findall(r'\w+', "Salut tout le monde, c'est un texte pour tester le code... Salut tout le monde, c'est un texte pour tester le code...")))...

Oui mais non. Philosophiquement il vaut mieux séparer les datas et leur traitement. Le texte peut très bien provenir de sources multiples (fichier, réseau, etc) tandis que le traitement lui reste toujours le même.
C'est le point de départ de la programmation MVC... ;)
02/11/2019, 22h43
Beginner.

Merci.

Version triée :

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
from collections import Counter
from re import findall
import locale
 
locale.setlocale(locale.LC_ALL, ('fr_FR', 'UTF-8'))
 
texte = '''
    C'est l'évadé, du Névada.
    Qui s'évada dans, la vallée
    Dans la vallée, du Névada ?
    Qu'il dévala, pour s'évader
    Sur un vilain vélo volé !
    Qu'il a volé, dans une villa
    Et le valet, qui fut volé.
    Vit l'évadé, qui s'envola
    '''
 
phrase = texte.lower()
 
# \u00C0-\u00D6\u00D8-\u00F6\u00F8-\u00FF can substitute for \u00C0-\u00FF to exclude ×÷
z = findall('[a-zA-Z\u00C0-\u00D6\u00D8-\u00F6\u00F8-\u00FF]*', phrase)
 
# dans l'ordre alphabéthique !
lst = sorted([x for x in z if x != '' and len(x) > 2], key=locale.strxfrm)
 
cnt = Counter(lst)
for key, value in cnt.items():
    print('{} : {}'.format(key, value))
 
'''
dans : 3
dévala : 1
envola : 1
est : 1
évada : 1
évadé : 2
évader : 1
fut : 1
névada : 2
pour : 1
qui : 3
sur : 1
une : 1
valet : 1
vallée : 2
vélo : 1
vilain : 1
villa : 1
vit : 1
volé : 3
'''

03/11/2019, 21h09
Beginner.

Merci.