Discussion :

[romses2]

Bonjour,

J'ai un fichier énoooorme (6 millions de lignes) qui vient d'une base de donnée, et chaque ligne se compose d'un mot.

Exemple:
bla
bla
blop
blip
toto
test

Je voudrais savoir quelle est la meilleure méthode pour parser ce fichier rapidement (je peux le trier en amont avec un "cat fichier | sort" sans problème)
afin d'obtenir le nombre d'occurences pour chaque mot.
(En gros j'aurai un output du style:
bla: 2
blop: 1
blip: 1
etc...)

Comme je suis débutant, je suis sûr que ça ne prend que quelques lignes de code Python mais j'aimerais que ce soit plutôt rapide si possible...

Merci de vos conseils/aide :-)

[anthyme]

euh merde j ai mal lu la question attend je te pond une bonne réponse ^^

[anthyme]

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
f = open("myfile",'r')
 
keys = {}
 
for line in f.readlines():
     if line in keys:
        keys[line] += 1
     else:
        keys[line] = 1
 
print keys

à testé je le fait dans la boite du forum ^^

[romses2]

ok ça marche... c'est juste imbuvable de faire un print à la fin, mais je vais me débrouiller pour l'output ;-)

Merci encore :-)

[anthyme]

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
for key in keys:
    print key + " : " + keys[key]

voila

[romses2]

oui c'est exactement ça.

Merci beaucoup, ça m'a permis de mieux comprendre ce type de listes. :-)