Discussion :

[nicom1752]

Bonjour à tous, je suis étudiant en license de bio et j'ai un programme de parsing de données a faire sous python.

J'arrive à un résultat plutôt correct, le problème est le temps d'exécution du programme, près d'une demi heure, sur un macbook intel a 2GHZ et 2Go de ram...

Et je trouve ça long...
J'ai donc regardé un peu sur internet, le multithreading et l'optimisation de code python mais je dois avouer que c'est un peu du charabia pour moi et en plus dans un anglais pas toujours facile d'accès à mon goût...

Alors si vous avez un peu de temps pour m'aider ce serai sympa de jeter un coup d'oeil au code, que j'ai mis en download sur free :
http://dl.free.fr/rDwQyoKEx
Les quatre zipés postés sont a mettre dans le même dossier (je l'ai testé sous mac et normalement, python étant portable, ca ne devrais pas poser de problème sous d'autres OS).

Merci à tous de votre aide,
nicom

ps: tout commentaire sur le code est bienvenue mais faut savoir que je comprends vite si on m'explique lentement...
pps: bien sur le code vous pouvez en faire ce que vous voulez, aucune propriété intellectuelle ou quoi ce soit...
ppps : faites pas gaffe au nom du programme, j'étais un peu fatigué

[kango]

Bonjour,

avant d'envisager le multithreading, je te suggère de profiler ton code. Python inclut dans sa lib standard le nécessaire:

http://docs.python.org/library/profile.html

ceci va te permettre de localiser les bouts de code les plus gourmands en temps. du coup, tu peux concentrer tes efforts "localement", plutôt que "globalement".

on apprend toujours des choses intéressantes en profilant son code (et notamment que la méthode "index" des listes est une horreur en terme d'optimisation)

[Matthieu Brucher]

Effectivement, avant de paralléliser (ce qui reste un énorme travail, puisque le multi-threading est inutile en Python pur), il est indispensable que tu aies déjà un code optimisé.
Par exemple, tu passes ton temps à faire des boucles for imbriquées. C'est vraiment pas optimal du tout.
Par la suite, tu peux aussi passer par Cython pour compiler ton parseur et gagner encore de la perf, une fois le code optimisé.

[eyquem]

Bonjour ,



Pardon, mais où voyez vous du multithreading ?
Je crois que vous vous laissez induire en erreur par l'emploi très mauvais et trompeur des nom "threads" et "threading" que fait nicom. Mais "threads" est avec un "s" , ce qui ne correspond, sauf erreur de ma part, à aucune instruction Python.
Et "threading" est le nom d'une fonction que définit nicom, pas le nom du module threading puisque de toutes façons nicom ne fait aucune importation et que ce module est non-built-in.


Par contre, j'ai commencé à analyser le code, ça me fait penser à la formule des Shadocks. Il y a une grosse insuffisance de conception, il va falloir corriger l'algorithme au plus haut niveau, c'est à dire la fonction La-Mal-Nommée (threading).

À mon avis, l'objectif poursuivi par ce code doit pouvoir être exécuté en moins de 4 secondes, et je ne serais pas étonné que je dise 10 fois trop.

[Matthieu Brucher]

Pardon, mais où voyez vous du multithreading ?

Dans le premier message.

[nicom1752]

Tout d'abords merci a tous pour vos réponses.
En effet il y a confusion sur le multithreading.
En fait pendant que je tentais de glaner des information pour améliorer mon code, je suis tombé sur plusieurs forum (lunixfr par ex) qui rapportaient que python 2.5, que j'utilise, n'utilise qu'un seul des 2 coeur de mon core 2 duo... Alors j'y ai vu un moyen pour booster un peu mon code...

Mais apparemment il y est possible d'améliorer mon code plus facilement.

J'ai suivi les conseil de kangoo voici le résultat :

Je n'y comprends pas grands chose, mais je crois que la procédure la plus longue est le traitement des mots clefs, mais c'est assez logique puisque je dois parcourir une longue liste de mot clefs et chaque phrase de chaque article.
Ensuite vient (la mal nommée ^^) threads() : et c'est là que le bas blesse... J'ai retourné le problème dans tout les sens, parce que je me suis rapidement rendu compte que ce code était lourd et avec l'info de kangoo sur les index et le profiling qu'il était bon de revoir sa conception.

Mais ce que je vois pas c'est comment...
En effet mon code fonctionne selon le modèle suivant : il y a n article.
Je sais que chaque article débute par n1: , n2: , ..., n: . Donc je met en cache dans une variable le texte entre chaque n1, n2...

Le problème c'est pour le dernier, du coup je recours à l'index du dernier pour créer une exception qui me permet de mettre le dernier dans mon dictionnaire.

@eyquem : merci d'avoir lu mon code. Si tu pouvait me décrire le raisonnement qui te permet de gagner tout ce temps...
Pour l'insuffisance de conception (vexation powaaa ), je l'ai assez mal pris au début puisque j'y ai quand même passer pas mal de temps (environ 10h).
Certes mon niveau en programmation, notamment python, est assez naze mais bon je pensais quand même avoir produit un algorithme logique et assez bien construit...

Par exemple, tu passes ton temps à faire des boucles for imbriquées. C'est vraiment pas optimal du tout.

Les boucles while sont mieux ?


Merci encore à tous pour vos réponses,
nicom