[MPI] Gestion dynamique de process

Bonjour,
Mon problème est le suivant: je souhaite savoir s'il est possible de commencer l'exécution d'un programme, contenant des directives MPI, sur un seul processeur, pour ensuite lorsque l'utilisateur le désire (par une interface graphique simple par exemple), lancer d'autre processeur pour éxécuter un bou du programme en parallèle.
Je souhaite en fait réaliser un programme avec une légère interface graphique pour résoudre des système linéaires. L'utilisateur aurait le choix entre plusieurs solveurs numériques pour résoudre son système, certains séquentiels, d'autres parallèles. En fait ce qui m'embête c'est le mpirun du début. Je souhaite lancer mon programme principale sur un seul processeur, et lorsque l'utilisateur décide d'utiliser un solveur numérique parallèle, je lance plusieurs processeurs qui interpreteront les directives mpi de ce solveur.
J'espère avoir été assez clair.
Merci par avance!!!
PS: Il n'y a pas de rubrique MPI ou calcul parallèle dans le forum donc j'ai posté ici car mon code est en c. Si il y a un meilleur endroit dans ce forum pour ça, ou même si vous connaissez un forum actif sur ces problématique, merci de m'en faire part.

Deja concernant la section, je dirai que ca a plus a voir avec la section bibliotheque ;)

Concernant ton souci de nombres de processeurs je ne pense pas que cela soit possible comme tu le veux.
Etant donné que l'utilisation de MPI fait intervenir pas mal de fonctions pour le transfert des données/infos entre les CPU, est ce que tu ne pourrais pas voir pour que ton code puisse etre lancé de 2 manieres differentes :
1-compilation afin d'obtenir un programme qui n'utilise pas la librairie MPI
2-compilation en utilisant "l'arsenal" MPI

Dans tous les cas, si tu gardes une seule version de ton code, ou que tu passes par la méthode 2 de compilation, le parametre transmis a mpirun est le nombre maximal de processeurs utilisable par ton appli, mais cela ne veut pas dire que tout tes processeurs seront utilisés à 100% en continu, tout dépendra de tes fonctions et de l'organisation de ton code.

Je ne vois pas trop ce qui te "gene" avec le parametre a donner a mpirun, rien ne t'empeche de faire ton interface graphique qui lance via la commande system par ex ton code de calcul en indiquant le nombre voulu de proc :

Code:

---

1 2	system("mpirun -np nombre_de_proc chemin_vers_executable");

---

Bon courage ;)

Merci GuiYom00 pour ta participation.
En fait mon code marche déjà pour les solveurs série. Je souhaite rajouter un solveur parallèle. Je ne souhaite pas changer la structure de mon code pour "un" solveur parallèle. Je veux garder la même philosophie car c'est celle utilisé par SUNDIALS, https://computation.llnl.gov/casc/sundials/main.html, qui est un ensemble de solveurs numérique pour les ODE et DAE sur lequel est basé mon code.
Le solveur est choisi par l'utilisateur disons par l'interface graphique. Le solveur parallèle ne sera juste qu'une option parmi beaucoup d'autres. Et lorsqu'elle est choisi Je souhaiterais à ce moment la lancer MPI avec le nombre de processeur donné par l'utilisateur.
J'ai trouvé la fonction MPI_Comm_spawn qui permet une gestion dynamique des processus, à savoir qu'un process peut lancer d'autre process gràce à cette fonction. ça me semble intéressant. Connais tu cette fonction??
Le truc auquel je pense c'est ça: je lance mon programme principal sur un seul proc. Lorsque l'utilisateur choisis un solveur parallèle je lance plusieurs autre proc grace à MPI_Comm_Spawn, je les récupère grace à MPI_comm_merge et je travaille dessus le temps qu'il me faut.
Je ne sais pas si c'est vraiment faisble.
Qu'en pensez vous?

Je ne connais pas MPI_Comm_Spawn mais apres avoir un peu regardé le man associé, il semblerait que il soit quand meme necessaire que le processeur pere soit lancé via mpirun (en particulier vu les parametres necessaires pour la fonction)

Mais la aussi, a mon avis le nombre maximal de processeur que tu vas pouvoir lancer dependra du nombre de processeur indiqué au mpirun, sinon ca serait un peu trop facile d'utiliser cette fonctions pour outrepasser les limites autorisées à un utilisateur sur une machine par ex. Donc on en reviendrait à mon post d'avant.

Sinon, as tu regardé du cote de PETSc? http://www-unix.mcs.anl.gov/petsc/petsc-as/
Je ne sais pas si ca convient au type d'equations que tu veux résoudre mais en tout cas c'est un solveur gratuit, réputé, et qui est deja parallele ;)

Une question quand meme, pour quelle architecture développes tu? si c'est pour du dual/quadricore ou tout architecture en memoire partagée, il serait peut etre plus facile pour toi de te tourner du cote de OpenMP ;)
A l'inverse si ton code est fait pour etre employé sur des "super calculateurs", est tu sur que tu pourras faire la partie graphique comme tu veux deja? et qu'en est il de la gestion des files d'attentes?

Edit : lien vers la bibliotheque PETSc

Tu as raison pour MPI_Comm_Spawn, il faut que le processus père soit lancée via un mpirun. Cela ne pose pas de problème je le lancerai sur un seul processeur, ça reviendra au même.

Il existe une option, je ne sais plus son nom, qui te permet de spécifier le nombre max de proc utilisable par les processus père. Je pourrais lancer mon processus père avec:
$mpi -np 1 -nomdeloptionquejaioublié 4 prog.exe
Dans ce cas la je lance bien mon prog sur un seul processeur et je peux définir quand j'ai envie le nombre de processeur sur lequel lancer mes processus ouvriers dans une limite de 4 (ou 3 :roll:).

Sinon je ne connaissais pas PETSc, je vais regarder de plus prêt, mais mon but est plus de comprendre comment faire ça. Le programme final m'importe peu en fait.

Concernant l'architecture, je ne suis pas du tout un expert, ce que je sais c'est que le solveur parallèle (que je n'ai pas écrit moi même) est écrit en MPI. De plus comme je te le disais principalement mon code est basé sur Sundials, qui lui aussi possèdent certaines fonctionnalité de calcul parallèle écrite en MPI.
Donc c'est ça qui a dicté mon choix.:D

Pour l'architecture je voulais dire sur quel type de machine veux tu faire tourner ton code? ton PC, un cluster? une machine d'un centre de calcul?

Je viens un peu de regarder plus en detail les specifications de MPI_Comm_Spawn, et je pense que j'ai mal compris une chose dans ce que tu veux faire, ton interface graphique et tes fonctions de resolutions sont un seul et meme programme ou alors l'interface graphique te permet de choisir quel programme lancer?

Fais attention à une chose, c'est que la machine sur laquelle tu compiles supporte la version 2 de MPI, sinon pas de MPI_Comm_Spawn...

Oui mon interface graphique et mes fonctions de résolutions sont un seul et même programme.

Pour l'architecture je pense faire tourner mon code sur mon pc ou éventuellement un cluster.

Pour la version de MPI j'ai ce qu'il faut pour le 2.;)

Ok, ca se précise tout ca :D

Tu as un soft unique, donc fait bien attention a l'utilisation de MPI_Comm_Spawn , si je regarde le man ( http://pwet.fr/man/linux/fonctions_b...mpi_comm_spawn ) il est clairement marqué que cette fonction permet de lancer plusieurs process d'un meme binaire, et non pas plusieurs instances d'une meme fonction.
Donc ton code peut-il deja etre utilisé en ligne de commande? Sinon il faudra que tu fasse ca aussi.

Tu m'enleveras pas de l'idée que ce systeme afin de s'affranchir d'une utilisation "variable" de mpirun est un peu complexe ;)

En fait c'est la solution que je vais devoir adopter je crois, à savoir modifier mon code de façon à mettre mon solveur parallèle dans un autre programme qui sera exécutable en paralèle sur plusieurs processeurs à l'appel d'un MPI_Comm_spawn.

MAIS...j'aimerais tout de même ne pas avoir à changer ce code et garder la même philosophie, c'est à dire laisser mon solveur parallèle dans une fonction et trouver un moyen d'éxécuter cette fonction sur plusieurs proc.

A tu regardé la fonction MPI_Comm_merge? Ne crois tu pas qu'il soit possible grace à cette fonction, d'utiliser dans le code principal les processeur lancé par un mpi_comm spawn???

Je continue donc mon investigation de ce coté la. Si des experts de MPI sont dans le coin et ont pitié de moi....merci de me faire signe.

Je viens de regarder MPI_Comm_merge et non ce n'est pas ca qui va t'avancer, MPI_Comm_Merge te permet juste de "jouer" sur les canaux de communication inter process mais je résoudra pas ton souci.

De même, si tu t'orientes vers le développement d'un programme "a part", tu peux alors partir vers les fonction MPI "classiques" dans un premier temps comme MPI_Send, MPI_Recv etc etc...

Le type de probleme que tu as est du type "Multiple Instruction Stream, Single Data Stream" donc un type de probleme qui n'est pas le plus adapté à l'utilisation de fonctions comme MPI_Comm_Spawn.
Pour les détails du classement des différents types de parallélisation si tu ne connais pas, tu peux le trouver à http://www.emse.fr/~corbel/COURS/parallel.html#MISD

Hello,

I want to create a new process that will communicate with all processes in the group like that schema:
process 0: create process (with mpi_comm_spawn) (intercommunicate: everyone)

all other processses in the group of process 0 can communicate with the new process with the communicator: everyone

But i have problem, how to add other processes to the communicatot everyone, because like that, i can just communicate between 0 and the new process

thanks in advance