Discussion :

[mido1951]

Bonjour,
j'ai un programme en python qui reçoit en entrer deux fichiers f1 et f2 et retourne un seul fichier f3.
je veux faire la meme chose pour plusieurs fichiers de meme type de f1.
c'est cette commande :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
python mon_prog.py f1 f0 f10
python mon_prog.py f2 f0 f20
python mon_prog.py f3 f0 f30
python mon_prog.py f4 f0 f40
python mon_prog.py f5 f0 f50

je veux lancer ça en parallèle.
Comment je peux faire s'il vous plait?
J'ai essayé avec GNU Parallel mais ça marche pas je pense la commande est fausse.
Sinon est-ce que vous avez d'autres idées?
Merci

[N_BaH]

Bonjour,

[...]la commande est fausse

quelle commande ?
comment sais-tu qu'elle est "fausse" ?

[disedorgue]

Bonjour,

Question: pourquoi ne fais-tu pas ça en python ?

[mido1951]

Bonjour,

quelle commande ?
comment sais-tu qu'elle est "fausse" ?

La commande parallel de GNU Parallel. Elle ne marche pas parceque je ne sais pas comment l'utiliser. Je l'ai testé mais ça marche pas. Je ne sais pas le problème.
D'abord, je voulais savoir est-ce que ma solution de lancer ces commandes est exacte ou pas?
j'ai essayé de paralléliser avec "|"

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

python mon_prog.py f1 f0 f10 | python mon_prog.py f2 f0 f20 | python mon_prog.py f3 f0 f30 | python mon_prog.py f4 f0 f40 | python mon_prog.py f5 f0 f50

mais je n'ai pas bien compris parce que d'après le web le "|" attend la fin de la première pour commencer la seconde commade donc ce n'est pas parallèle.
pour moi, je veux toutes le commandes en parallèle.
Est-ce que c'est possible?

[mido1951]

Bonjour,

Question: pourquoi ne fais-tu pas ça en python ?

Comment faire ça en Python??
c'est un programme python sur plusieurs Fichiers avec différentes sorties.

[mido1951]

J'ai modifié mon_prog.py.
la première fois il prend 3 arguments comme vous voyez dans un peu plus haut. je l'ai modifié et il prend qu'un seul argument parce que je n'ai pas pu lancer la commande parallel à plusieurs argument.
voici ma commande:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

cat file.fasta | parallel -j 20 --cat --pipe --block 3M --recstart '>' time python mon_prog.py

est-ce que vous pouvez m'aider pour que mon prog prend un autre argument(la sortie) comme dans mon cas ? c'est à dire à chaque block de 3M il me donne un fichier de sortie à part?
Comment faire s'il vous plait?
Merci

[jack-ft]

je veux lancer ça en parallèle.

J'ai pas tout compris (je ne connais pas GNU Parallel), mais, àmha, il suffit de mettre de "&" à la fin de chaque ligne:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
python mon_prog.py f1 f0 f10 &
python mon_prog.py f2 f0 f20 &
python mon_prog.py f3 f0 f30 &
python mon_prog.py f4 f0 f40 &
python mon_prog.py f5 f0 f50 &

Ensuite, tu tapes la commande jobs et tu verras la liste des tâches qui tournent en parallèle

[mido1951]

Je pense "&" attend la fin de la première tâche puis commence la deuxième ... etc
du coup ils ne sont pas en parallèle.
n'est-ce pas?

[Escapetiger]

Au contraire, comme écrit à juste titre par jack-ft, le caractère & est explicitement invoqué pour "redonner" la main.

L’exécution en arrière-plan permet à un utilisateur de lancer une commande et de récupérer immédiatement la main pour lancer « en parallèle » la commande suivante (parallélisme logique). On utilise le caractère & pour lancer une commande en arrière-plan.

http://eric-sanchis.developpez.com/l...duction#LI-4-2
I-4-2. Exécution en arrière-plan


et plus globalement pour le contrôle des tâches :

http://man.developpez.com/man1/bash/#L26
26. CONTRÔLE DES TÂCHES

[mido1951]

D'accord si "&" marche en parallèle.
Alors si vous pouvez m'aider sur mon problème de cette façon.
donc j'ai deux fichier f.fa et f0.fa et une sortie sortie_prog.fa. le problème ici c'est que f.fa est très gros donc l'idée est de découper f.fa en taille égale par exemple 20 fichiers en tailles égale puis lancer les différents fichiers sur f0.fa(doit etre entier) et biensur pour chaque commande j'ai une sortie différente. Donc le nombre de sortie est égale au nombre de fichiers découper.
Comment je peux faire ça?
d'abord il faut faire un programme qui découpe un fichier en des fichiers en tailles egale. est-ce qu'il y a une commande en shell qui fait ça?
puis lancer en parallèle les commandes sur les différents fichiers découpés.

Est-ce que vous pouvez m'aider sur ça?
Merci

[disedorgue]

Si on reprend ton premier exemple, on peut le faire comme ceci:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
for i in 1 2 3 4 5
do
  python mon_prog.py f${i} f0 f${i}0 &
done
wait

Ici, la boucle for do ... done execute en parallèle les commandes:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
mon_prog.py f1 f0 f10
mon_prog.py f2 f0 f20
mon_prog.py f3 f0 f30
mon_prog.py f4 f0 f40
mon_prog.py f5 f0 f50

puis la commande wait sans paramètres attend que tous les process soient finis pour rendre la main.

Il ne te reste plus qu'à étudier la commande split pour le découpage de ton fichier initial, car ici, on ne peut pas t'aider puisqu'on ne sait pas si tu veux découper ton fichier en n fichier de taille identique en nombre d'octets ou en nombre de lignes.

[mido1951]

merci pour votre réponse.
et ici la commande en parallèle combien de processus prend pour lancer mes commandes en parallèle.
par exemple: Je decouper mes fichiers en 20 parties identiques en taille puis je lance ces fichiers sur 20 noeuds différents.
c'est à dire je veux spécifier le nombre de noeud. parce que j'utilise un serveur de calcul et j'utilise qsub comme commande et dans qsub je dois mettre le nombre de noeuds.
Comment faire dans ce cas?`
en plus je vais voir split parce que mes fichiers de type FASTA donc je dois les découper en tailles egale et en respenctant ">".
Merci

[disedorgue]

Ouais, super...
On a répondu à ta question initiale, pour d'autres questions, ouvre un nouveau POST...
Comme ça, tu exposeras peut-être entièrement ton problème avec des exemples partiels de ce que tu as en entrée et ce que tu veux en sortie.

[mido1951]

non pas vraiment.
ma question sur le premier problème est :
combien de processeurs prend la boucle for avec "&". si j'ai 5 jobs est-ce qu'elle prend 5 processeeurs ou moins? et si j'ai 30 jobs est-ce qu'elle prend les 30 processeurs disponible sur le serveur ou pas`?
merci

[mido1951]

Si on reprend ton premier exemple, on peut le faire comme ceci:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
for i in 1 2 3 4 5
do
  python mon_prog.py f${i} f0 f${i}0 &
done
wait

Bonjour, ici le lancement en parallèle des opérations. Est-ce qu'elle prend tous les noeuds libres et les utilisent ou elle ne lance qu'un nombre bien determiné d'opérations en parallèle?
J'ai un serveur de 20 noeuds et on suppose qu'ils sont libre, si je fais:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
for i in ''seq 1 100'
do
  python mon_prog.py f${i} f0 f${i}0 &
done
wait

est-ce qu'elle prend les opérations par 20?
cmerci pour votre réponse.

[disedorgue]

Il y a une erreur, il faut écrire:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

for i in `seq 1 100`

Cela te donnera le décompte de 1 à 100, donc dans le principe, tes 20 coeurs auront au moins 1 process à traiter, mais pas garanti que chacun en traitera 5 (même si en règle générale c'est le cas) ...

Par contre, tu vas rencontrer un autre genre de souci suite au nommage de tes fichiers, en exemple, prend le cas de i=1 et de i=10, ceux-ci, vont entrer en collision car:
i=1

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

python mon_prog.py f1 f0 f10

i=10

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

python mon_prog.py f10 f0 f100

Comme tu peux le voir, le fichier de sortie de i=1 est le fichier d'entrée de i=10.

[mido1951]

oui c'est vrai. Je n'ai pas fait attention.
Merci.
Peut etre que je peux changer de cette façon:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
for i in 'seq 1 100'
do
  python mon_prog.py f${i} f0 f${i}0_s &
done
wai

Je pense de cette façon je ne vais pas avoir de problème de collision entre les fichiers.

[disedorgue]

Oui, ça devrait le faire.
Par contre attention, ce n'est pas des ' mais des ` et il y a un t à wait.

[jlliagre]

Je conseillerais plutôt:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

for i in $(seq 1 100)

qui a l'avantage d'être plus facile à saisir au clavier et aussi d'éviter le problème de confusion entre « ` » et « ' ».

[mido1951]

bonjour,
Est-ce que vous pouvez dans l'ecriture de cette commande?
c'est une boucle qui lance plusieurs fois qsub sans parallélisme je vais utiliser les processeurs du serveur et à chaque je lance un Job.
sachant que cette boucle dans un autre fichier que je vais le lancer et qui lancera à son tour ces commandes.

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
 
for i in $(seq 1 50)
do
  qsub -cwd -V -S /bin/bash -N test_python -b y "time python mon_prog.py fichier1.part-${i}.fasta fichier2.fa ftemp${i}.fasta ftemp${i}_2.fasta results${i}_s log${i}.txt ff${i}"
done
wait

Merci pour votre aide