méthode de comptage de lignes dans un fichier

Version imprimable

07/08/2007, 14h28
romses2

méthode de comptage de lignes dans un fichier

Bonjour,

J'ai un fichier énoooorme (6 millions de lignes) qui vient d'une base de donnée, et chaque ligne se compose d'un mot.

Exemple:
bla
bla
blop
blip
toto
test

Je voudrais savoir quelle est la meilleure méthode pour parser ce fichier rapidement (je peux le trier en amont avec un "cat fichier | sort" sans problème)
afin d'obtenir le nombre d'occurences pour chaque mot.
(En gros j'aurai un output du style:
bla: 2
blop: 1
blip: 1
etc...)

Comme je suis débutant, je suis sûr que ça ne prend que quelques lignes de code Python mais j'aimerais que ce soit plutôt rapide si possible...

Merci de vos conseils/aide :-)
07/08/2007, 16h23
anthyme

euh merde j ai mal lu la question attend je te pond une bonne réponse ^^

Code:

1
2
3
4
5
6
7
8
9
10
11
f = open("myfile",'r')
 
keys = {}
 
for line in f.readlines():
     if line in keys:
        keys[line] += 1
     else:
        keys[line] = 1
 
print keys

à testé je le fait dans la boite du forum ^^

07/08/2007, 16h37
romses2

ok ça marche... c'est juste imbuvable de faire un print à la fin, mais je vais me débrouiller pour l'output ;-)

Merci encore :-)

Code:

1
2
for key in keys:
    print key + " : " + keys[key]

voila ;)

07/08/2007, 17h07
romses2

oui c'est exactement ça.

Merci beaucoup, ça m'a permis de mieux comprendre ce type de listes. :-)
07/08/2007, 17h36
anthyme

Il s'agit plus precisement d un dictionnaire (table de hashage pour etre plus precis)
cela fonctionne de cette façon :
un ensemble de clefs (unique) pointant vers une valeur

Voila bon apprentissage ;)

Juste une chose à ajouter (vu que tu as parlé de 6 millions de lignes), c'est que readlines stocke le contenu du fichier en mémoire sous forme de liste, donc il vaut mieux utiliser un itérateur, à partir de Python 2.4 tu peux faire
Code:

1 2 3 4 5 6 7 8 9 10 11 12 f = open("myfile",'r') keys = {} for line in f: if line in keys: keys[line] += 1 else: keys[line] = 1 for key in keys: print key + " : " + keys[key]

09/08/2007, 18h28
Haze.
Vu qu'on doit traiter un très grand nombre de données, je propose cette version, qui je pense sera un peu plus rapide (et qui fait aussi sauter les retours à la ligne à l'affichage) :
Code:

1 2 3 4 5 6 7 f = open("myfile", 'r') dic = {} for ligne in f: dic[ligne] = dic.get(ligne, 0) + 1 for i in dic: print "%s : %d" % (i.strip(), dic[i])

Voici comment faire (l'output sera ordonné du mot le plus courant au moins courant):

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
 
import operator
 
f = open('fichier')
words = {}
 
for line in f:
    words[line] = words.get(line, 0) + 1
f.close()
 
word_list = words.items()
word_list.sort(key=operator.itemgetter(1))
word_list.reverse()
 
for word, count in word_list:
    print '%s: %s' % (word, count)