paralléliser un programme en python

Version imprimable

24/12/2016, 14h53
mido1951

paralléliser un programme en python
Bonjour,

j'ai un problème de parallélisation d'un programme en pyhton.
Voici mon problème:
J'ai deux fichier f1.fa et f2.fa qui contient chacun des séquences en format FASTA.
Je veux boucler chaque séquence de f1.fa sur toutes les séquences du f2.fa puis je vais ecrire un resultat sur un autre fichier f3.fa.
Ici, je veux savoir est-ce que si je boucle en prallèle sur le f1.fa est-ce que je vais avoir une parallélisation?
par exemple: c'est juste un petit code parce que je ne sais pas faire encore la parallélisation
Code:

1 2 3 4 Parallel for line1 in mon_fichier1: for line2 in mon_fichier2: traitement
ici est-ce que cette solution marche? selon vous?
merci pour vos réponse
24/12/2016, 15h57
wiztricks

Salut,

Citation:

Envoyé par mido1951

Ici, je veux savoir est-ce que si je boucle en prallèle sur le f1.fa est-ce que je vais avoir une parallélisation?
par exemple: c'est juste un petit code parce que je ne sais pas faire encore la parallélisation

Contrairement à d'autres langages, Python n'a pas d'instruction équivalente à un "parallel foreach" (VB, C#,.... ont cela) mais le module concurrent.futures permet de paralléliser assez simplement.

- W
24/12/2016, 17h10
mido1951

est-ce qu'ici, je peux prendre chaque séquence et tout le fichier f2.fa sur chaque thread par exemple??
c'est à dire :
thread1: séquence 1 de f1.fa avec toutes les séquences de f2.fa
thread2: séquence 2 de f1.fa avec toutes les séquences de f2.fa
thread3: séquence 3 de f1.fa avec toutes les séquences de f2.fa
thread4: séquence 4 de f1.fa avec toutes les séquences de f2.fa
thread5: séquence 5 de f1.fa avec toutes les séquences de f2.fa
puis:
thread1: séquence 6 de f1.fa avec toutes les séquences de f2.fa
thread2: séquence 7 de f1.fa avec toutes les séquences de f2.fa
thread3: séquence 8 de f1.fa avec toutes les séquences de f2.fa
thread4: séquence 9 de f1.fa avec toutes les séquences de f2.fa
thread5: séquence 10 de f1.fa avec toutes les séquences de f2.fa
....
est-ce que je peux faire ça?
c'est ce que je veux faire afin de ne pas prendre tout en séquentiel.
Merci pour vos réponse.
24/12/2016, 19h45
wiztricks

Salut,

Citation:

Envoyé par mido1951

est-ce que je peux faire ça?
c'est ce que je veux faire afin de ne pas prendre tout en séquentiel.

Comme c'est vous qui codez, vous avez une certaine liberté (tant que çà respecte les lois de la physique...)

- W
25/12/2016, 07h28
tyrtamos

Bonjour,

Pour info, il y a eu une discussion sur ce type de sujet il y a peu:

http://www.developpez.net/forums/d15...sing-qprocess/
25/12/2016, 12h09
mido1951

merci pour votre aide.
Je vais voir l'autre discussion et je vais essayer de comprendre un peu. Mon problème c'est que j'ai jamais utilisé le parallélisme en pyhton ou dans un autre programme.
juste une question:
si thread1,thread2,thread3,thread4,thread5 ont accès en meme temps au f2.fa en mode lecture c'est à dire qu'ils partagent la meme ressource. Est-ce qu'il y a un problème lors de la lecture ici?ou ça ne pose pas de problème?
Merci

voici mon programme que je veux paralléliser.
c'est programme qui compare des séquences trés longues en essayant d'extraire des sous-chaines de taille k.

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
import os
import sys
 
k=15
 
mon_fichier1=open(sys.argv[1],"r")
 
for line1 in mon_fichier1:
    mon_fichier2=open(sys.argv[2],"r")
    if line1[0]=='>':
         seq1id=line1[:-2]
    else:
        for line2 in mon_fichier2:
            if line2[0]=='>':
                seq2id=line2[:-2]
            else:
                print ("seq1id :",seq1id)
                print ("seq2id :",seq2id)
                if seq1[0]!='>' and seq2[0]!='>':
                    L1=[]
                    L2=[]
                    for i in range(0, len(seq1)-k+1,k):
                        item=seq1[i:i+k]
                        if item not in L1:
                            L1.append(item)
                    for i in range(0, len(seq2)-k+1):
                        item=seq2[i:i+k]
                        if item not in L2:
                            L2.append(item)
                    C=0
                    for kmer1 in L1:
                        for kmer2 in L2:
                            if kmer1==kmer2:
                                C=C+1
                    print ("C= ",C)
                    if C>5:
                        print("il y a une ressemblence!!") #je vais ajouter d'autres traitement
 
 
mon_fichier1.close()
mon_fichier2.close()

ce que je faire ici c'est prendre chaque séquence de la première boucle c'est à dire je veux paralléliser la première boucle for.
est-ce que vous pouez m'aider comment faire dans ce cas?
MERCI

Citation:
Envoyé par mido1951
voici mon programme que je veux paralléliser.
c'est programme qui compare des séquences trés longues en essayant d'extraire des sous-chaines de taille k.
Code:

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 import os import sys k=15 mon_fichier1=open(sys.argv[1],"r") for line1 in mon_fichier1: mon_fichier2=open(sys.argv[2],"r") if line1[0]=='>': seq1id=line1[:-2] else: for line2 in mon_fichier2: if line2[0]=='>': seq2id=line2[:-2] else: print ("seq1id :",seq1id) print ("seq2id :",seq2id) if seq1[0]!='>' and seq2[0]!='>': L1=[] L2=[] for i in range(0, len(seq1)-k+1,k): item=seq1[i:i+k] if item not in L1: L1.append(item) for i in range(0, len(seq2)-k+1): item=seq2[i:i+k] if item not in L2: L2.append(item) C=0 for kmer1 in L1: for kmer2 in L2: if kmer1==kmer2: C=C+1 print ("C= ",C) if C>5: print("il y a une ressemblence!!") #je vais ajouter d'autres traitement mon_fichier1.close() mon_fichier2.close()
ce que je faire ici c'est prendre chaque séquence de la première boucle c'est à dire je veux paralléliser la première boucle for.
est-ce que vous pouez m'aider comment faire dans ce cas?
MERCI
Avant d'essayer de paralléliser, il faudrait déjà que votre programme fonctionne!
Vu qu'à la ligne 19, vous accédez à des variables seq1 et seq2 qui n'ont jamais été assignées: c'est pas gagné.

Pour commencer, çà serait bien de réduire fichier1 et fichier2 à des jeux de données significatives qui vont vous permettre de tester sans avoir à attendre des plombes.

Lorsque votre programme sera tombé en marche, il sera temps d'essayer d'optimiser.
Cela fait, il sera enfin temps de voir si paralléliser apportera quelque chose.

- W

oui, j'ai effacé seq1 et seq2.

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
import os
import sys
 
k=15
 
mon_fichier1=open(sys.argv[1],"r")
 
for line1 in mon_fichier1:
    mon_fichier2=open(sys.argv[2],"r")
    if line1[0]=='>':
         seq1id=line1[:-2]
    else:
        seq1=line1
        for line2 in mon_fichier2:
            if line2[0]=='>':
                seq2id=line2[:-2]
            else:
                seq2=line2
                print ("seq1id :",seq1id)
                print ("seq2id :",seq2id)
                if seq1[0]!='>' and seq2[0]!='>':
                    L1=[]
                    L2=[]
                    for i in range(0, len(seq1)-k+1,k):
                        item=seq1[i:i+k]
                        if item not in L1:
                            L1.append(item)
                    for i in range(0, len(seq2)-k+1):
                        item=seq2[i:i+k]
                        if item not in L2:
                            L2.append(item)
                    C=0
                    for kmer1 in L1:
                        for kmer2 in L2:
                            if kmer1==kmer2:
                                C=C+1
                    print ("C= ",C)
                    if C>5:
                        print("il y a une ressemblence!!") #je vais ajouter d'autres traitement
 
 
mon_fichier1.close()
mon_fichier2.close()

oui, j'ai essayé de travailler sur des jeux de données très réduit et ça marche très bien. Mais avec des fichiers très gros en taille. il prend bcp de temps en exécution peut la parallélisation est la solution.
vous en penez quoi?
MErci

25/12/2016, 19h22
wiztricks

Citation:

Envoyé par mido1951

vous en pensez quoi?

ligne21 vous savez déjà que vos ligne ne commencent pas par '>'.
ligne24 vous faites un traitement sur la ligne du premier fichier qui se répétera autant de fois qu'il y a de lignes dans le 2ème fichier qui...
C'est sûr qu'en programmant comme çà, il faut plein de CPUs.

Si quelqu'un veut prendre le temps de comprendre ce que vous essayez de faire pour vous proposer quelque chose de plus performant... pourquoi pas? Il faut peut être aussi regarder les idées que pourraient avoir ceux qui traînent dans le forum algo.

- W
25/12/2016, 22h39
mido1951

merci pout vos conseils.
Est-ce que vous pouvez au moins m'aider sur une programmation parallèle de programme?
mon problème est que j'ai pas pu paralléliser ça!
est-ce que vous avez le temps pour m'aider sur le code de parallélisation? Je ne sais pas meme pas par ou commencer!!
merci
26/12/2016, 09h16
tyrtamos

Bonjour,

Citation:

Envoyé par mido1951

Je ne sais pas même pas par ou commencer!!

Juste un coup de pouce.

Il faudrait commencer par comprendre comment se passe ce genre de solution avec Python: as-tu essayé un exemple simple avec concurrent.future?

Si oui, tu as compris que pour utiliser tous les CPU, il faut déjà séparer ton problème en morceaux indépendants.

Par exemple, pour utiliser "map", il faut d'abord créer une fonction dont l'exécution ne dépendra pas des autres exécutions.

Si ton problème c'est: je prends chaque ligne du 1er fichier et je cherche dans toutes les lignes du 2ème fichier des séquences communes de 15 caractères, les arguments de ton fichier sont: une ligne du 1er fichier et la liste de toutes les lignes du 2ème fichier. Il te suffira de boucler sur toutes les lignes du 1er fichier pour avoir tous tes résultats en utilisant pour ça tous tes CPU.

Il faudra voir, bien sûr, si la taille du 2ème fichier permet de l'avoir entièrement en mémoire. Mais si ce n'était pas le cas, il est possible que le temps total de calcul dépende plus du temps de lecture du disque que de l'utilisation des CPU, ce qui rendrait ta tentative inutile pour gagner du temps.

Ne cherche pas à coder au hasard: on ne sait pas coder quelque chose qu'on ne comprend pas!
26/12/2016, 09h41
wiztricks

Citation:

Envoyé par mido1951

merci pout vos conseils.
Est-ce que vous pouvez au moins m'aider sur une programmation parallèle de programme?
mon problème est que j'ai pas pu paralléliser ça!
est-ce que vous avez le temps pour m'aider sur le code de parallélisation? Je ne sais pas meme pas par ou commencer!!

Il faut commencer par lire la documentation de concurrent.futures qui contient des exemples de cas d'utilisation de base (que je vous avais déjà indiqué).

Pour le reste, la biologie moléculaire n'est pas un sujet "nouveau", vous avez des bibliothèques regroupées sous le générique BioPython qui disposent déjà de fonctionnalités à regarder avant de vouloir de faire mieux.

- W