Utilisation de GNU parallel pour executer un programme python

Bonjour à tous,

J'ai un programme python qui me fait du traitement d'image et je souhaite automatiser un peu tout ça puisqu'un traitement dure à l'heure actuelle une vingtaine de minutes.
J'ai utilisé GNU Parallel pour me permettre d'avoir quelque chose du genre

Code:

---

1 2	parallel "monprogramme --option1 --option2 --option3=2" ::: *.tif

---

Ce qui me permet de lancer mon programme sur tous les fichiers tif du folder.
Maintenant le problème c'est que pour un seul fichier je souhaite modifier la valeur d'option3 et enregistrer tout ça dans des dossiers séparés.

J'ai déjà essayé pas mal de choses:

Code:

---

1 2	parallel -- results outputdir "monprogramme --option1 --option2 --option3={.}" ::: {1.10}

---

Ceci ne fonctionne pas il n'enregistre pas les outputs dans le bon dossier du coup chaque output écrase l'ancien dans le répertoire courant.

J'ai pensé mettre tout ceci dans une grosse boucle en faisant un parallel d'un for mais j'ai peur que ce soit compliqué et inutile. J'ai aussi envisagé quelque chose comme

Code:

---

1 2	parallel --results outputdir "mkdir output{} | cd output{}/ | monprogramme --option1 --option2 --option3={} | cd .."

---

mais ça me parait complètement stupide même si ça permet peut-être de bien voir ce que je souhaite faire.

J'ai tenté également avec un mv après le code dans parallel mais je ne sais pas si c'est utile, j'ai peur qu'il y ait une différence entre l'itération réelle et celle du calcul parallèle.

Si quelqu'un connait un petit GNU parallel ou même les script shell je suis preneur.

Merci !

Bonjour :coucou:

• D'abord, pour lancer une tâche en arrière plan, donc en parallèle, nul besoin de parallel. Une simple esperluette suffit.
  
  Code:

  ---

  ./ma_commande.bash &

  ---

  Je ne vois pas, dans ton explication, de raison spécifique d'utiliser parallel.
• Peux-tu être plus précis sur les entrées/sorties ?
  Par exemple, en quoi l'option 3 est-elle spécifique ? Sur quoi est-elle indexée ?
• Un simple script bash devrait te suffire.

Merci de la réponse rapide,

J'ai 24 coeurs sur mon processeur donc cela me permet de lancer les tâches en simultané le code n'étant pas programmé pour le multithreading.
Les entrées sont le fichiers .tif et différentes valeurs à rentrer par l'utilisateur qui sont des paramètres de l'image acquise. En particulier ce que je souhaite changer est une sorte de seuil pour un filtrage. Et je cherche à trouver la valeur optimale. La valeur pouvant aller de 1 à 100 je n'ai pas envie de lancer des dizaines de programmes de 20 minutes à la main.

Maintenant parallel me semble la meilleure chose à faire pour gagner un facteur 24 sur le temps total même si la durée reste à 20 minutes, je fais cela sur des ensembles de centaines d'images donc j'ai un gros intérêt à utiliser cette commande.

Honnêtement, ce n'est pas beaucoup plus clair.

Citation:

---

Et je cherche à trouver la valeur optimale. La valeur pouvant aller de 1 à 100

---

Soit "script.bin" qui prend un dossier en entrée et qui renvoie une valeur en sortie.
Pourquoi le code suivant ne répond pas à ton problème ?

Code:

---

1 2 3 4

for ((tour=1;tour<=100;tour++)) do script.bin --option3=$tour $dossier/*.tiff >> /tmp/resultats.txt & done

---

Et voici le test. On lance 100 processus simultanément. Et on récupère la valeur. Puis on calcule le max.
(Le "programme" ne fait que attendre 5 secondes)

Code:

---

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21

#!/bin/bash   fic=/tmp/resultats.txt > "$fic" for ((tour=1;tour<=100;tour++)) do { sleep 5 echo $tour $tour #script.bin --option3=$tour $dossier/*.tiff } >> "$fic" & done wait   head "$fic" echo tail "$fic" echo   awk 'BEGIN{max=0;} {if ($2>max){max=$2;gagnant=$1;}} END{print "GAGNANT",gagnant,"MAX",max;}' "$fic" rm -f "$fic"

---

Et voici la console:

Code:

---

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23

2 2 1 1 3 3 4 4 5 5 6 6 7 7 8 8 9 9 10 10   98 98 42 42 94 94 95 95 99 99 77 77 96 96 97 97 100 100 86 86   GAGNANT 100 MAX 100

---

Comprends-tu la démarche ?

J'avoue que je ne suis pas certain de comprendre ce dont tu parles.

Pour faire au plus simple si ce que j'ai dit n'était pas clair: J'ai une image en entrée, mon programme fait beaucoup de choses sur cette image puis me ressort plusieurs nouvelles images dans le même dossier sans supprimer la première. Le calcul total pour faire cela prend entre 20 minutes et 1 heure.
Pour le lancer j'utilise tout le temps un script qui est de la forme:

Code:

---

1 2 3 4

#!/bin/... #blabla date "..." monprogramme --option1=2 --options(etc.) monimage.tif

---

En sortie j'aurais dans mon dossier: monimage.tif, monimagefiltreact.tif, monimagefiltredesact.tif par exemple.
Mon désir, c'est de faire cela pour différentes valeurs de option1 allant de 1 à 100 et en enregistrant à chaque fois les nouvelles images dans un dossier spécifique.

Si j'utilise parallel c'est parce que j'ai habituellement des centaines d'images. Quand on a parfois 1 heure par image et bien je préfère que ce soit lancé sur plusieurs coeurs en simultané car le PC a cette capacité. Après si tu me dis quand dans une boucle for,en utilisant &, le terminal lance de lui-même les itérations dans des processus différents, tu me l'apprends et je n'avais pas besoin de parallel effectivement.

Citation:

---

Soit "script.bin" qui prend un dossier en entrée et qui renvoie une valeur en sortie.
Pourquoi le code suivant ne répond pas à ton problème ?

---

Dans ce cas je dois envisager quelque chose comme:

Code:

---

1 2 3 4 5

for ((tour=1;tour<=100;tour++)) do mkdir $tour monprogramme monimage.tif --option1=$tour | mv *filt .tif $tour/ & #en considerant que mes images finissant par filt done

---

Compte tenu de la densité du programme il ne va pas y avoir de plantage général ?

Merci encore une fois de ta réponse complète et désolé si ce n'est pas clair parfois :aie:

Bonjour,

Je confirme que tu n'as pas besoin de parallel, puisque l'esperluette lance un process fils à part entière.

Par contre, il reste une inconnue de taille: la commande mv ne prend pas un flux en entrée mais des paramètres, tu ne peux donc pas rediriger une sortie vers mv via un pipe.

Mais, bon ça c'est un détail, ce que je vois de bloquant c'est que ton script python semble créer le même nom de fichier pour un même fichier en entrée ?

Si c'est le cas et que l'on ne peut pas paramétrer le nommage, comment peux-tu lancer des commandes en concurrence alors qu'elles vont de toutes façon écrire dans les mêmes fichiers de façon concurrentielle ?

Bonjour !

Citation:

---

Je confirme que tu n'as pas besoin de parallel, puisque l'esperluette lance un process fils à part entière.

---

D'accord très bien merci de cela je ne pensais pas que c'était le cas, merci à vous deux de me l'apprendre du coup.

Citation:

---

Mais, bon ça c'est un détail, ce que je vois de bloquant c'est que ton script python semble créer le même nom de fichier pour un même fichier en entrée ?

---

Oui c'est un problème il faudrait que je copie n fois l'image pour espérer avoir n outputs qui ne sont pas concurrents...

Citation:

---

Si c'est le cas et que l'on ne peut pas paramétrer le nommage, comment peux-tu lancer des commandes en concurrence alors qu'elles vont de toutes façon écrire dans les mêmes fichiers de façon concurrentielle ?

---

Mon idée de base c'était d'écrire les outputs dans des dossiers spécifiques, d'avoir un cd dans ma commande. Comme cela je lance à partir d'un endroit et avec l'image dans ce dossier et j'écris dans un autre dossier.

Code:

---

1 2 3 4 5 6 7

for ((tour=1;tour<=100;tour++)) do mkdir $tour cd $tour/ monprogramme ~/monimage.tif --option1=$tour | mv *filt .tif $tour/ & # cd ..#? done

---

Je n'ai aucune idée de la validité de ce code mais je vais essayer des choses

Cela semble presque bon, si tu retires le | mv ...., et si tu rajoutes un wait après ta boucle :

Code:

---

1 2 3 4 5 6 7 8

for ((tour=1;tour<=100;tour++)) do mkdir $tour cd $tour/ monprogramme ~/monimage.tif --option1=$tour & # cd ..#? done wait

---

Mais bon, ici, tu auras 100 process en cours simultanément répartis sur tes 24 processeurs, par contre, ça ne durera pas 20 minutes si en temps normal ton process occupe 100% de cpu (et sans compter les latence des I/O).

Oui j'avoue avoir oublié de retirer le mv qui ne sert plus du coup... Ok je tente ça, je verrais demain matin :mouarf:

Oupss...

Retire la typo:

Code:

---

cd ..#?

---

par

Code:

---

cd ..

---

car non séparé par un espace, le # fait parti intégrante de la chaine et n'est pas un commentaire dans ce cas.

Citation:

---

J'avoue que je ne suis pas certain de comprendre ce dont tu parles.

---

Pardon. J'ai été un peu vite. Voici les détails.

J'assimile ton traitement à une boîte noire qui prend un paramètre en entrée et qui envoie une valeur de sortie. (Quelque soit les traitements sur l'image)
L'entrée était symbolisée par $tour.
La sortie était symbolisée par une ligne qui contient l'entrée et la sortie (ici echo $tour $tour) car la sortie égale l'entrée. (c'est un exemple)
Cette ligne est écrite dans un fichier temporaire.

Quand tous les processus sont finis (wait), il faut encore trouver le gagnant.

head et tail montre le début et la fin du fichier résultat.
On constate bien que les processus ne finissent pas dans l'ordre dans lequel ils sont lancés.

Mais quelle est l'optimal ?
C'est là que le script awk intervient.
Il dit que la valeur de sortie maximale (100) est obtenue pour la valeur d'entrée 100.

Puis on détruit le fichier temporaire.
Fin !

Ahhh Merci tu étais allé bien loin en fait et en réalité l'optimal ne peut pas se calculer directement depuis un traitement classique sur la console il faudra observer les images et faire de la caractérisation dessus mais je vois bien du coup ce à quoi cela sert à ça pourrait m'être utile en lisant un output directement dans le terminal.

Merci à vous deux je pense que le problème est résolu, finalement il faut toujours aller au plus simple :mrgreen: je pensais que parallel était nécessaire mais visiblement ce sera tout aussi efficace sans et moins lourdingue !