Lancer en parallèle des exécutables dans un script python

Bonjour,

Je suis un peu perdu dans la programmation parallèle avec python et j'aurai besoin de conseils pour m'orienter.

Je dispose d'un gros programme écrit en fortran qui prend en entrée plusieurs fichiers de données et qui me produit en sortie une série de données que je traite par la suite avec python.

Mon script python prépare les données d'entrée, puis je souhaite que de façon parallèle il fasse tourner plusieurs copie de mon programme fortran situées dans différents dossiers temporaires. Une fois les séries de données produites, mon script python traite les données.

Pour cela j'ai utilisé des threads

th1=lanceProg(data1)
th2=lanceProg(data2)

th1.start()
th2.start()

th1.join()
th2.join()

Le problème est le suivant. Les lignes suivantes exécutée dans chaque thread posent problème :

ex: dans le k-ième thread

os.chdir('dossier_k')
os.system('./monProgramme_copie_k')
os.chdir('../')

il y a sans doute mieux comme approche pour exécuter en parallèle différents programmes avec python.

Les Threads en python sont une mauvaise idée pour accélérer un programme, python(cpython) ne peut s'exécuter que sur un seul 'cœur':aie:.

Il vaut mieux se tourné faute de mieux vert le package multiprocessing :
https://docs.python.org/3.4/library/...rocessing.html

Salut,

Citation:

---

Envoyé par Andarus

Les Threads en python sont une mauvaise idée pour accélérer un programme, python(cpython) ne peut s'exécuter que sur un seul 'cœur':aie:.

---

En fait, si vous regardez mieux ce que fait le PO, il n'utilise les threads que pour executer os.system. Dans ce cas, le système d'exploitation parallélise des process indépendants sur différents processeurs. Les threads Python attendent que çà se termine.

Citation:

---

Envoyé par halleck314

Les lignes suivantes exécutée dans chaque thread posent problème :

ex: dans le k-ième thread

os.chdir('dossier_k')
os.system('./monProgramme_copie_k')
os.chdir('../')

il y a sans doute mieux comme approche pour exécuter en parallèle différents programmes avec python.

---

En supposant que le problème soit du à os.chdir qui sera "global", il serait judicieux de remplacer cela par:

Code:

---

os.system('cd dossier_k; ./monProgramme_copie_k')

---

dit autrement, on change le répertoire courant dans le contexte de l'appelé...

- W

edit: les threads ne permettent ici que de lancer les appels à os.system sans se retrouver bloqué à attendre la fin de la commande exécutée. Appeler directement subprocess.Popen serait bien plus simple.

Merci ça répond parfaitement à ma question. Le problème venait bien de os.chdir.

Et merci pour le tuto plus clair que ceux que j'avais vu jusqu'à présent.