Discussion :

[gingko41]

bonjour à tous,


Je fais appel à vous pour avoir des infos sur le multithreaing (ou toute foncitionnalité pouvant répondre à mon problème).

Pour faire simple, j'ai un gros fichier texte que je peux splitter en phrases du style

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

["J'adore python", "il fait beau", "python c'est trop bien"...]

J'ai une fonction "cherchePython" qui prend en entrée la liste précédente et renvoie un dictionnaire où la clé est le numéro de la phrase et la valeur est la position du mot "python".
Ici par exemple, j'ai le mot "python" en 3e position de la 1ère phrase. Le résultat final serait donc :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

 d = {1:[3], 3 : [1]}

Mon problème c'est que comme je traite chaque phrase sucessivement, ça va me prendre un temps fou (3 jours...)

J'ai vu que le multithreading pourrait m'être utile mais je ne comprends pas comment ça s'utilise pour lancer ma fonction "cherchePython" sur chaque phrase séparément en actualisant le dictionnaire en parallèle.

Merci d'avance pour vos conseils éclairés !

[wiztricks]

Salut,

J'ai vu que le multithreading pourrait m'être utile mais je ne comprends pas comment ça s'utilise pour lancer ma fonction "cherchePython" sur chaque phrase séparément en actualisant le dictionnaire en parallèle.

Ben vous avez (par exemple):

1. un thread qui lit le fichier et qui poste les phrases avec leur numéro de ligne dans une Queue.
2. n-threads qu vident la Queue pour trouver "python" (ou pas), fabriquer les informations à insérer dans le dico et les poster dans une autre Queue.
3. Puis un dernier thread qui récupère les informations et qui les entre dans le dictionnaire.

Tout çà pour dire que c'est d'abord une organisation des flux d'informations et la définition des différentes activités effectuées par les différents threads en espérant que le résultat soit plus rapide (ce qui n'est pas si évident que çà avec Python). Donc c'est un sujet de conception plus qu'un soucis de programmation (les bibliothèques threading et queue vous donnant des exemples assez bons pour commencer).

- W

[gingko41]

Merci Wiztricks,

je regarderai les librairies mentionnées.
J'espérais que ce serait la solution miracle en rapidité mais visiblement ce n'est pas garanti. Dommage !

Bonne soirée

[VinsS]

Salut,

Python peut aisément parser 50.000 lignes de texte en faisant trois comparaisons sur chacune d'elles en 8 centièmes de seconde (0.076441 sec.).