Discussion :

[romses2]

Bonjour,

J'ai un fichier énoooorme (6 millions de lignes) qui vient d'une base de donnée, et chaque ligne se compose d'un mot.

Exemple:
bla
bla
blop
blip
toto
test

Je voudrais savoir quelle est la meilleure méthode pour parser ce fichier rapidement (je peux le trier en amont avec un "cat fichier | sort" sans problème)
afin d'obtenir le nombre d'occurences pour chaque mot.
(En gros j'aurai un output du style:
bla: 2
blop: 1
blip: 1
etc...)

Comme je suis débutant, je suis sûr que ça ne prend que quelques lignes de code Python mais j'aimerais que ce soit plutôt rapide si possible...

Merci de vos conseils/aide :-)

[anthyme]

euh merde j ai mal lu la question attend je te pond une bonne réponse ^^

[anthyme]

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
f = open("myfile",'r')
 
keys = {}
 
for line in f.readlines():
     if line in keys:
        keys[line] += 1
     else:
        keys[line] = 1
 
print keys

à testé je le fait dans la boite du forum ^^

[romses2]

ok ça marche... c'est juste imbuvable de faire un print à la fin, mais je vais me débrouiller pour l'output ;-)

Merci encore :-)

[anthyme]

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
for key in keys:
    print key + " : " + keys[key]

voila

[romses2]

oui c'est exactement ça.

Merci beaucoup, ça m'a permis de mieux comprendre ce type de listes. :-)

[anthyme]

Il s'agit plus precisement d un dictionnaire (table de hashage pour etre plus precis)
cela fonctionne de cette façon :
un ensemble de clefs (unique) pointant vers une valeur

Voila bon apprentissage

[oiffrig]

Juste une chose à ajouter (vu que tu as parlé de 6 millions de lignes), c'est que readlines stocke le contenu du fichier en mémoire sous forme de liste, donc il vaut mieux utiliser un itérateur, à partir de Python 2.4 tu peux faire

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
f = open("myfile",'r')
 
keys = {}
 
for line in f:
     if line in keys:
        keys[line] += 1
     else:
        keys[line] = 1
 
for key in keys:
    print key + " : " + keys[key]

[Haze.]

Vu qu'on doit traiter un très grand nombre de données, je propose cette version, qui je pense sera un peu plus rapide (et qui fait aussi sauter les retours à la ligne à l'affichage) :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
f = open("myfile", 'r')
dic = {}
for ligne in f:
    dic[ligne] = dic.get(ligne, 0) + 1
 
for i in dic:
    print "%s : %d" % (i.strip(), dic[i])

[GnuVince]

Voici comment faire (l'output sera ordonné du mot le plus courant au moins courant):

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
 
import operator
 
f = open('fichier')
words = {}
 
for line in f:
    words[line] = words.get(line, 0) + 1
f.close()
 
word_list = words.items()
word_list.sort(key=operator.itemgetter(1))
word_list.reverse()
 
for word, count in word_list:
    print '%s: %s' % (word, count)