[multi Proc] cherche conseil!?

bonjour, je développe un logiciel de traitement qui fonctionne sur le principe de canaux de traitement.
Dans la V1 (oui, j'ecris la v2), le logiciel ne contenait qu'un seul canal de traitement.
Avec l'apparition des dual core,etc... ll me parait important de pouvoir utiliser les nouvelles architectures matériels pour gagner en productivité.
Mon approche consiste, a pouvoir exécuter un script de traitement (canal) comme s'il était un programme externe a mon interface de contrôle. (contrairement a la v1).
Je pense que normalement ce script devrait s'exécuter sur le processeur le moins chargé voir disponible!?
Attention, je parle bien de travailler en multi processeurs, et non en multi threads.
Cependant, comment récupérer une sortie a la fin du traitement?

Quelqu'un a t il expérimenté la chose et pourrait il me conseiller!

Le module multiprocessing t'apportera très certainement des réponses intéressantes.

Hello,
Python ne peux pas placer ses threads sur plusieurs processeurs différents a cause du GIL (Global Interpreter Lock), le seul moyen de faire ca, c'est d'avoir plusieurs processus python totalement indépendants les uns des autres

Enfin si c'est bien de ca que tu parle, car je suis pas sure de bien avoir comprit.

c'est bien ce qui me semble, je crois que meme le multiprossecing ne permet pas de répartir la charge sur plusieurs processeur (je crois avoir lu, que c'est une des améliorations majeure de Python3, mais j'en suis pas sur du tout).

Je vais quand meme tester,
Je me dirige aussi vers le piste des "popen", cependant il me faudrait pour le coup scinder mon programme en deux programmes distincts (un gérant l'interface et les entrées des flux et un autre gérant les canaux de traitement.)

seulement, comment faire pour faire communiquer les deux programmes pour que le 2eme puisse envoyer des informations (avancement du traitement) dans l'interface (prog 1). et puis est ce que je peux passer un objet python en argument a un script exécuter via un console (genre : python monscript.py)

Citation:

---

Envoyé par airod

c'est bien ce qui me semble, je crois que meme le multiprossecing ne permet pas de répartir la charge sur plusieurs processeur (je crois avoir lu, que c'est une des améliorations majeure de Python3, mais j'en suis pas sur du tout).

---

Il me semble bien que Guido Van Rossum ne fera rien pour le GIL. Le module multiprocessing a été justement fait pour outrepasser cette limitation. Ce module offre une interface simillaire aux threads, mais se sert de processus à la place de threads. Ca signifie donc que l'OS est libre de répartir ces processus sur différents cores.

Pour passer des données de l'un à l'autre, tout est inclus dans le même module.

PS: D'ailleurs, ta signature me fait penser que...
http://docs.python.org/library/multiprocessing.html
Deuxième phrase.

On a parlé il y a peu ici même du multi processing : http://www.developpez.net/forums/d82...s-recursivite/

hum, ok, j'ai fait mes tests hier soir, et en effet je conclus que le module multiprocessing est sans doute ce qu'il me faut.
J'ai pécher un comparatif du temps d'exécution entre des threads et des process, et les process correspondent effectivement a ce que je recherche.

Merci.

Citation:

---

Envoyé par airod

J'ai pécher un comparatif du temps d'exécution entre des threads et des process, et les process correspondent effectivement a ce que je recherche.

---

On fait dire ce qu'on veut aux chiffres :roll: L'utilisation de processus ne sera pas toujours bénéfique.

Citation:

---

Envoyé par Antoine_935

On fait dire ce qu'on veut aux chiffres :roll: L'utilisation de processus ne sera pas toujours bénéfique.

---

Sur un système muli processeur, je ne vois pas d'autre solutions que les process. Le thread étant par nature exécuté sur le même processeur que le process parent.

Citation:

---

Envoyé par DelphiManiac

Le thread étant par nature exécuté sur le même processeur que le process parent.

---

Je ne connais aucune spécification qui fixe cette propriété. Un OS pourrait très bien décider de répartir les threads sur les deux processeurs. En tout cas, je ne vois aucune contrainte technique l'en empêchant.

Il est vrai que "par nature" étais sans doute inapproprié.

Donc je corrige le tir; Sur les systèmes d'exploitation que je connais et de ce que j'en sais, les theads s'exécutent sur le même processeur que celui du processus parent.

Maintenant il est fort possible que dans 10 ans, 1 an, 5 ans, l'os dispatche les threads sur les 32 processeurs de notre pc familial.