Lancer des scripts en parallèle

Bonjour,
j'ai un programme en python qui reçoit en entrer deux fichiers f1 et f2 et retourne un seul fichier f3.
je veux faire la meme chose pour plusieurs fichiers de meme type de f1.
c'est cette commande :

Code:

---

1 2 3 4 5

python mon_prog.py f1 f0 f10 python mon_prog.py f2 f0 f20 python mon_prog.py f3 f0 f30 python mon_prog.py f4 f0 f40 python mon_prog.py f5 f0 f50

---

je veux lancer ça en parallèle.
Comment je peux faire s'il vous plait?
J'ai essayé avec GNU Parallel mais ça marche pas je pense la commande est fausse.
Sinon est-ce que vous avez d'autres idées?
Merci

Bonjour,

Citation:

---

[...]la commande est fausse

---

quelle commande ?
comment sais-tu qu'elle est "fausse" ?

Bonjour,

Question: pourquoi ne fais-tu pas ça en python ?

Citation:

---

Envoyé par N_BaH

Bonjour,

quelle commande ?
comment sais-tu qu'elle est "fausse" ?

---

La commande parallel de GNU Parallel. Elle ne marche pas parceque je ne sais pas comment l'utiliser. Je l'ai testé mais ça marche pas. Je ne sais pas le problème.
D'abord, je voulais savoir est-ce que ma solution de lancer ces commandes est exacte ou pas?
j'ai essayé de paralléliser avec "|"

Code:

---

python mon_prog.py f1 f0 f10 | python mon_prog.py f2 f0 f20 | python mon_prog.py f3 f0 f30 | python mon_prog.py f4 f0 f40 | python mon_prog.py f5 f0 f50

---

mais je n'ai pas bien compris parce que d'après le web le "|" attend la fin de la première pour commencer la seconde commade donc ce n'est pas parallèle.
pour moi, je veux toutes le commandes en parallèle.
Est-ce que c'est possible?

Citation:

---

Envoyé par disedorgue

Bonjour,

Question: pourquoi ne fais-tu pas ça en python ?

---

Comment faire ça en Python??
c'est un programme python sur plusieurs Fichiers avec différentes sorties.

J'ai modifié mon_prog.py.
la première fois il prend 3 arguments comme vous voyez dans un peu plus haut. je l'ai modifié et il prend qu'un seul argument parce que je n'ai pas pu lancer la commande parallel à plusieurs argument.
voici ma commande:

Code:

---

cat file.fasta | parallel -j 20 --cat --pipe --block 3M --recstart '>' time python mon_prog.py

---

est-ce que vous pouvez m'aider pour que mon prog prend un autre argument(la sortie) comme dans mon cas ? c'est à dire à chaque block de 3M il me donne un fichier de sortie à part?
Comment faire s'il vous plait?
Merci

Citation:

---

Envoyé par mido1951

je veux lancer ça en parallèle.

---

J'ai pas tout compris (je ne connais pas GNU Parallel), mais, àmha, il suffit de mettre de "&" à la fin de chaque ligne:

Code:

---

1 2 3 4 5

python mon_prog.py f1 f0 f10 & python mon_prog.py f2 f0 f20 & python mon_prog.py f3 f0 f30 & python mon_prog.py f4 f0 f40 & python mon_prog.py f5 f0 f50 &

---

Ensuite, tu tapes la commande jobs et tu verras la liste des tâches qui tournent en parallèle

Je pense "&" attend la fin de la première tâche puis commence la deuxième ... etc
du coup ils ne sont pas en parallèle.
n'est-ce pas?

Au contraire, comme écrit à juste titre par jack-ft, le caractère & est explicitement invoqué pour "redonner" la main.

Citation:

---

L’exécution en arrière-plan permet à un utilisateur de lancer une commande et de récupérer immédiatement la main pour lancer « en parallèle » la commande suivante (parallélisme logique). On utilise le caractère & pour lancer une commande en arrière-plan.

---

http://eric-sanchis.developpez.com/l...duction#LI-4-2
I-4-2. Exécution en arrière-plan


et plus globalement pour le contrôle des tâches :

http://man.developpez.com/man1/bash/#L26
26. CONTRÔLE DES TÂCHES

D'accord si "&" marche en parallèle.
Alors si vous pouvez m'aider sur mon problème de cette façon.
donc j'ai deux fichier f.fa et f0.fa et une sortie sortie_prog.fa. le problème ici c'est que f.fa est très gros donc l'idée est de découper f.fa en taille égale par exemple 20 fichiers en tailles égale puis lancer les différents fichiers sur f0.fa(doit etre entier) et biensur pour chaque commande j'ai une sortie différente. Donc le nombre de sortie est égale au nombre de fichiers découper.
Comment je peux faire ça?
d'abord il faut faire un programme qui découpe un fichier en des fichiers en tailles egale. est-ce qu'il y a une commande en shell qui fait ça?
puis lancer en parallèle les commandes sur les différents fichiers découpés.

Est-ce que vous pouvez m'aider sur ça?
Merci

Si on reprend ton premier exemple, on peut le faire comme ceci:

Code:

---

1 2 3 4 5

for i in 1 2 3 4 5 do python mon_prog.py f${i} f0 f${i}0 & done wait

---

Ici, la boucle for do ... done execute en parallèle les commandes:

Code:

---

1 2 3 4 5

mon_prog.py f1 f0 f10 mon_prog.py f2 f0 f20 mon_prog.py f3 f0 f30 mon_prog.py f4 f0 f40 mon_prog.py f5 f0 f50

---

puis la commande wait sans paramètres attend que tous les process soient finis pour rendre la main.

Il ne te reste plus qu'à étudier la commande split pour le découpage de ton fichier initial, car ici, on ne peut pas t'aider puisqu'on ne sait pas si tu veux découper ton fichier en n fichier de taille identique en nombre d'octets ou en nombre de lignes.

merci pour votre réponse.
et ici la commande en parallèle combien de processus prend pour lancer mes commandes en parallèle.
par exemple: Je decouper mes fichiers en 20 parties identiques en taille puis je lance ces fichiers sur 20 noeuds différents.
c'est à dire je veux spécifier le nombre de noeud. parce que j'utilise un serveur de calcul et j'utilise qsub comme commande et dans qsub je dois mettre le nombre de noeuds.
Comment faire dans ce cas?`
en plus je vais voir split parce que mes fichiers de type FASTA donc je dois les découper en tailles egale et en respenctant ">".
Merci

Ouais, super...
On a répondu à ta question initiale, pour d'autres questions, ouvre un nouveau POST...
Comme ça, tu exposeras peut-être entièrement ton problème avec des exemples partiels de ce que tu as en entrée et ce que tu veux en sortie.

non pas vraiment.
ma question sur le premier problème est :
combien de processeurs prend la boucle for avec "&". si j'ai 5 jobs est-ce qu'elle prend 5 processeeurs ou moins? et si j'ai 30 jobs est-ce qu'elle prend les 30 processeurs disponible sur le serveur ou pas`?
merci

Citation:

---

Envoyé par disedorgue

Si on reprend ton premier exemple, on peut le faire comme ceci:

Code:

---

1 2 3 4 5

for i in 1 2 3 4 5 do python mon_prog.py f${i} f0 f${i}0 & done wait

---

---

Bonjour, ici le lancement en parallèle des opérations. Est-ce qu'elle prend tous les noeuds libres et les utilisent ou elle ne lance qu'un nombre bien determiné d'opérations en parallèle?
J'ai un serveur de 20 noeuds et on suppose qu'ils sont libre, si je fais:

Code:

---

1 2 3 4 5

for i in ''seq 1 100' do python mon_prog.py f${i} f0 f${i}0 & done wait

---

est-ce qu'elle prend les opérations par 20?
cmerci pour votre réponse.

Il y a une erreur, il faut écrire:

Code:

---

for i in `seq 1 100`

---

Cela te donnera le décompte de 1 à 100, donc dans le principe, tes 20 coeurs auront au moins 1 process à traiter, mais pas garanti que chacun en traitera 5 (même si en règle générale c'est le cas) ...

Par contre, tu vas rencontrer un autre genre de souci suite au nommage de tes fichiers, en exemple, prend le cas de i=1 et de i=10, ceux-ci, vont entrer en collision car:
i=1

Code:

---

python mon_prog.py f1 f0 f10

---

i=10

Code:

---

python mon_prog.py f10 f0 f100

---

Comme tu peux le voir, le fichier de sortie de i=1 est le fichier d'entrée de i=10.

oui c'est vrai. Je n'ai pas fait attention.
Merci.
Peut etre que je peux changer de cette façon:

Code:

---

1 2 3 4 5

for i in 'seq 1 100' do python mon_prog.py f${i} f0 f${i}0_s & done wai

---

Je pense de cette façon je ne vais pas avoir de problème de collision entre les fichiers.

Oui, ça devrait le faire.
Par contre attention, ce n'est pas des ' mais des ` et il y a un t à wait.

Je conseillerais plutôt:

Code:

---

for i in $(seq 1 100)

---

qui a l'avantage d'être plus facile à saisir au clavier et aussi d'éviter le problème de confusion entre « ` » et « ' ».

bonjour,
Est-ce que vous pouvez dans l'ecriture de cette commande?
c'est une boucle qui lance plusieurs fois qsub sans parallélisme je vais utiliser les processeurs du serveur et à chaque je lance un Job.
sachant que cette boucle dans un autre fichier que je vais le lancer et qui lancera à son tour ces commandes.

Code:

---

1 2 3 4 5 6

for i in $(seq 1 50) do qsub -cwd -V -S /bin/bash -N test_python -b y "time python mon_prog.py fichier1.part-${i}.fasta fichier2.fa ftemp${i}.fasta ftemp${i}_2.fasta results${i}_s log${i}.txt ff${i}" done wait

---

Merci pour votre aide

Pourrais-tu relire tranquillement ta demande et la corriger (cliquer "modifier le message") en ajoutant les mots et la ponctuation qui manquent?
Merci d'avance.

je n'ai pas trouvé le bouton "modifier le message"!!
je reprend mon message.

Mon problème est de faire plusieurs fois qsub.

Code:

---

1 2 3 4

for i in $(seq 1 5) do qsub python_prog_submit.sh -F "f1_${i}.fasta f2.fa ftemp${i}.fasta ftemp${i}_2.fasta results${i}_s log${i}.txt ff_${i} file3.txt" done

---

ici le serveur ne cannait pas la commande -F malgré que dans un autre serveur cette option a marché.
Sinon comment passer en parametres des arguments à un script avec la commande qsub.

merci pour votre aide

Citation:

---

Envoyé par mido1951

Mon problème est de faire plusieurs fois qsub.

Code:

---

1 2 3 4

for i in $(seq 1 5) do qsub python_prog_submit.sh -F "f1_${i}.fasta f2.fa ftemp${i}.fasta ftemp${i}_2.fasta results${i}_s log${i}.txt ff_${i} file3.txt" done

---

ici le serveur ne cannait pas la commande -F malgré que dans un autre serveur cette option a marché.

---

Euh... -F n'est pas une commande, mais une option.
Et j'ai un peu de mal à comprendre comment un serveur pourrait connaître ou ne pas connaître une option...

Citation:

---

Sinon comment passer en parametres des arguments à un script avec la commande qsub.

---

Hum... Je ne connais pas qsub, mais, d'après le manuel, il semble qu'il attende un script sans argument.

Si c'est bien le cas, du coup, il faudrait peut-être envisager de faire quelque chose comme:

Code:

---

1 2 3 4 5 6

for i in $(seq 1 5) do script=python_script_submit_$i.txt echo "python_prog_submit.sh -F 'f1_${i}.fasta' 'f2.fa' 'ftemp${i}.fasta ftemp${i}_2.fasta results${i}_s log${i}.txt' 'ff_${i}' 'file3.txt'" > "${script}" qsub "${script}" done

---