Discussion :

[mido1951]

Bonjour,
j'ai un programme en python qui reçoit en entrer deux fichiers f1 et f2 et retourne un seul fichier f3.
je veux faire la meme chose pour plusieurs fichiers de meme type de f1.
c'est cette commande :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
python mon_prog.py f1 f0 f10
python mon_prog.py f2 f0 f20
python mon_prog.py f3 f0 f30
python mon_prog.py f4 f0 f40
python mon_prog.py f5 f0 f50

je veux lancer ça en parallèle.
Comment je peux faire s'il vous plait?
J'ai essayé avec GNU Parallel mais ça marche pas je pense la commande est fausse.
Sinon est-ce que vous avez d'autres idées?
Merci

[N_BaH]

Bonjour,

[...]la commande est fausse

quelle commande ?
comment sais-tu qu'elle est "fausse" ?

[disedorgue]

Bonjour,

Question: pourquoi ne fais-tu pas ça en python ?

[mido1951]

Bonjour,

Question: pourquoi ne fais-tu pas ça en python ?

Comment faire ça en Python??
c'est un programme python sur plusieurs Fichiers avec différentes sorties.

[mido1951]

J'ai modifié mon_prog.py.
la première fois il prend 3 arguments comme vous voyez dans un peu plus haut. je l'ai modifié et il prend qu'un seul argument parce que je n'ai pas pu lancer la commande parallel à plusieurs argument.
voici ma commande:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

cat file.fasta | parallel -j 20 --cat --pipe --block 3M --recstart '>' time python mon_prog.py

est-ce que vous pouvez m'aider pour que mon prog prend un autre argument(la sortie) comme dans mon cas ? c'est à dire à chaque block de 3M il me donne un fichier de sortie à part?
Comment faire s'il vous plait?
Merci

[mido1951]

Bonjour,

quelle commande ?
comment sais-tu qu'elle est "fausse" ?

La commande parallel de GNU Parallel. Elle ne marche pas parceque je ne sais pas comment l'utiliser. Je l'ai testé mais ça marche pas. Je ne sais pas le problème.
D'abord, je voulais savoir est-ce que ma solution de lancer ces commandes est exacte ou pas?
j'ai essayé de paralléliser avec "|"

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

python mon_prog.py f1 f0 f10 | python mon_prog.py f2 f0 f20 | python mon_prog.py f3 f0 f30 | python mon_prog.py f4 f0 f40 | python mon_prog.py f5 f0 f50

mais je n'ai pas bien compris parce que d'après le web le "|" attend la fin de la première pour commencer la seconde commade donc ce n'est pas parallèle.
pour moi, je veux toutes le commandes en parallèle.
Est-ce que c'est possible?

[jack-ft]

je veux lancer ça en parallèle.

J'ai pas tout compris (je ne connais pas GNU Parallel), mais, àmha, il suffit de mettre de "&" à la fin de chaque ligne:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
python mon_prog.py f1 f0 f10 &
python mon_prog.py f2 f0 f20 &
python mon_prog.py f3 f0 f30 &
python mon_prog.py f4 f0 f40 &
python mon_prog.py f5 f0 f50 &

Ensuite, tu tapes la commande jobs et tu verras la liste des tâches qui tournent en parallèle

[mido1951]

Je pense "&" attend la fin de la première tâche puis commence la deuxième ... etc
du coup ils ne sont pas en parallèle.
n'est-ce pas?

[Escapetiger]

Au contraire, comme écrit à juste titre par jack-ft, le caractère & est explicitement invoqué pour "redonner" la main.

L’exécution en arrière-plan permet à un utilisateur de lancer une commande et de récupérer immédiatement la main pour lancer « en parallèle » la commande suivante (parallélisme logique). On utilise le caractère & pour lancer une commande en arrière-plan.

http://eric-sanchis.developpez.com/l...duction#LI-4-2
I-4-2. Exécution en arrière-plan


et plus globalement pour le contrôle des tâches :

http://man.developpez.com/man1/bash/#L26
26. CONTRÔLE DES TÂCHES

[mido1951]

D'accord si "&" marche en parallèle.
Alors si vous pouvez m'aider sur mon problème de cette façon.
donc j'ai deux fichier f.fa et f0.fa et une sortie sortie_prog.fa. le problème ici c'est que f.fa est très gros donc l'idée est de découper f.fa en taille égale par exemple 20 fichiers en tailles égale puis lancer les différents fichiers sur f0.fa(doit etre entier) et biensur pour chaque commande j'ai une sortie différente. Donc le nombre de sortie est égale au nombre de fichiers découper.
Comment je peux faire ça?
d'abord il faut faire un programme qui découpe un fichier en des fichiers en tailles egale. est-ce qu'il y a une commande en shell qui fait ça?
puis lancer en parallèle les commandes sur les différents fichiers découpés.

Est-ce que vous pouvez m'aider sur ça?
Merci

[disedorgue]

Si on reprend ton premier exemple, on peut le faire comme ceci:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
for i in 1 2 3 4 5
do
  python mon_prog.py f${i} f0 f${i}0 &
done
wait

Ici, la boucle for do ... done execute en parallèle les commandes:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
mon_prog.py f1 f0 f10
mon_prog.py f2 f0 f20
mon_prog.py f3 f0 f30
mon_prog.py f4 f0 f40
mon_prog.py f5 f0 f50

puis la commande wait sans paramètres attend que tous les process soient finis pour rendre la main.

Il ne te reste plus qu'à étudier la commande split pour le découpage de ton fichier initial, car ici, on ne peut pas t'aider puisqu'on ne sait pas si tu veux découper ton fichier en n fichier de taille identique en nombre d'octets ou en nombre de lignes.