Paralléliser une application en C++

Version imprimable

12/01/2008, 19h11
fatjoe

Paralléliser une application en C++

bonjour,
je cherche la procédure pour commencer à paralléliser une application en c++, en utilisant MPI
en fait, ya plein de petit exemples mais je sais pas d'oû je doit commencer pour mon application
je commence par la fonction main() ? :? :?
merci d'avance
12/01/2008, 21h04
yan

Resalut.
Tu trouvera pas mal de chose ici dont des tutorial
http://en.wikipedia.org/wiki/Message_Passing_Interface
Que cherche tu as faire exactement?
12/01/2008, 21h24
fatjoe

c'est vrai mais toujours de petit exemples, pas de procédure ou bien une petite application comme exemple.:?
12/01/2008, 22h13
yan

Citation:

Envoyé par fatjoe

c'est vrai mais toujours de petit exemples, pas de procédure ou bien une petite application comme exemple.:?

C'est un bon début pour comprendre, non?
essaie de faire discuter deux appli différente par exemple.
Qu'es que tu veut faire avec? (c'est pour t'orienter)
12/01/2008, 22h35
fatjoe

en fait j'ai une application à paralléliser, je sais pas comment commencer et quelle sont les parties que je doit pas les paralléliser
12/01/2008, 22h54
yan

Pour MPI,
essaie de petit programme pour commencer. Genre les tutorial :aie: pour comprendre comment cela fonctionne et surtout à quoi ça sert.

Ensuite pour ton applie (je suppose que ce n'est pas toi qui la faite), commence par voir comment elle est structuré (fait un schéma de class par exemple).
Ensuite regarde ce qui doit être parallélisée. Et découpe ces zones en module indépendant.

Essaie d'utiliser MPI pour exécuter ces "module indépendant " sur différente machine.

Juste pour être sur, ce que tu veut faire c'est de la parallélisation entre ordinateur (MPI) ou sur processeur (OpenMP)
13/01/2008, 14h26
fatjoe

premièrement merci pour votre aide,
secondo l'application c'est moi qui la fait mais je sais pas ça change quoi?
troisièmement ce que je voudrais faire c'est de la parallélisation entre ordinateur (MPI)
13/01/2008, 18h23
yan

Citation:

Envoyé par fatjoe

secondo l'application c'est moi qui la fait mais je sais pas ça change quoi?

Ben tu n'as pas a décortiqué la structure du programme :king: c'est déjà ca de gagné

Citation:

Envoyé par fatjoe

troisièmement ce que je voudrais faire c'est de la parallélisation entre ordinateur (MPI)

Essaie de voir ce que je t'ai dit. Faut que tu définisse ce qui est parallélisable dans ton code.

J'ai trouvé ca :
http://people.scs.fsu.edu/~burkardt/...c/mpi/mpi.html
14/01/2008, 20h40
souviron34
en gros ce qui est parallelisable facilement c'est :
- les boucles
- les traitements independants successifs
  (exemple : A = B*C, D=B+3*C/2 (si par exemple A,B,C,D sont des matrices)
  (par contre : A = B*C et D=A+3*C/2 n'est parallelisable qu'en partie (chaque operation separee)).
  (pareil pour les boucles : si l'iteration i+1 se sert de i, difficile a paralleliser...)
En gros, il y a 3 instructions de base :
- demarrer le parallelisme
- synchroniser
- finir
16/01/2008, 10h53
yan

Salut,
il y as une personne qui connaît MPI
http://www.developpez.net/forums/sho...d.php?t=474338
Tu peut peut être lui demander de l'aide?
pour de la doc

Bonjour,

Je t'invite à aller voir ce lien là :

http://www2.lifl.fr/west/courses/cshp/mpi.pdf

qui présente entre autre une parallélisation d'un calcul d'intégrale.
J'ai commencé MPI il y a peu, mais en gros il y a toujours une structure de base à mettre dans chaque programme, qui est à peu de chose près :
Code:

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 int main(int argc, char* argv[]) { int my_rank; int p; // nombre de processeurs int N; // nombre de simulations int N_local; // nombre de simulations pour chaque processeur int source; int dest=0; // c'est le proc 0 qui prend tout int tag=0; MPI_Status status; /* Déclaration des fonctions*/ // inutile, je les ai declarees avant le main /* A mettre dans chaque début programme MPI*/ MPI_Init(&argc,&argv); MPI_Comm_rank(MPI_COMM_WORLD,&my_rank); MPI_Comm_size(MPI_COMM_WORLD,&p); /***********************************************/ /* ICI TU METS LE PROGRAMME QUE FERA CHAQUE PROCESSUS*/ /***********************************************/ /* A mettre dans chaque fin programme MPI*/ MPI_Barrier(MPI_COMM_WORLD); MPI_Finalize(); return 0; }
et les processus s'échangent les données via les fonctions :
Code:

1 2 3 MPI_Send(&donnee,1,MPI_DOUBLE,dest,tag,MPI_COMM_WORLD); // et : MPI_Recv(&donnee,1,MPI_DOUBLE,source,tag,MPI_COMM_WORLD,&status);
En gros ça c'est la base de MPI, tu retrouveras toujours ces fonctions là.
Après, il faudra que tu sois plus précis sur le programme que tu veux paralléliser, parce que certains sont simples à faire, d'autres demandent bien plus de réflexion. :mrgreen:

Enfin, il est bien de faire avant le programme en séquentiel, et quand tu es sur que ça marche, le paralléliser.

18/01/2008, 16h47
maxrider

Bonjour à tous,

Voici quelques pistes :
Des cours de supelec Metz sur MPI et OpenMP
http://www.metz.supelec.fr/metz/pers...CPDG/index.htm

Ceci est un autre lien pour comprendre MPI, mais en fortran.
Je le mets en lien car il explique concrétement le fonctionnement des fonctions les plus utilisées en MPI.
http://www.idris.fr/data/cours/paral...choix_doc.html

Le travail préparatoire pour parallèliser une application, c'est de trouver les dépendances entre les données. Je te conseil de faire un schéma.
Après celà, tu pourras établir un graphe de dépendance des données.
Il te restera plus qu'à synchroniser les données qui doivent l'etre avec des MPI_Wait, MPI_Senc, MPI_Recv, ...
18/01/2008, 17h32
yan

Bonjour et bien venu sur le forum.
Merci beaucoup maxrider pour tes liens.
Ca servira sûrement
:king::king:
21/01/2008, 21h04
Invité

Citation:

Envoyé par rouliane

Enfin, il est bien de faire avant le programme en séquentiel, et quand tu es sur que ça marche, le paralléliser.

Hmmm, je me méfierais de cette affirmation. L'architecture temporelle (dont le parallélisme fait partie) est plus rebelle aux évolutions de conception que l'architecture de classes ou de données et nécessite souvent une saine dose de réflexion en amont pour éviter les dépendances inutiles entre données, par exemple.

L'affirmation n'est pas complètement fausse, mais peut-être un peu simpliste.

Carl
27/01/2008, 02h13
TheOyoStyledMan

Bonjour,

une partie de mon travail consiste à paralléliser des programmes (en gros, je vois cela tous les jours quoi ;) ). Cela ne veut pas dire que je suis spécialiste mais bon, je peux quand même en discuter. Je donne aussi des cours de MPI de temps à autre :oops:

En lisant ce fil, j'ai vu des choses intéressantes (ca me donne des idées pour mes futurs cours notamment pour voir comment les gens voient MPI).

Ce que je voudrais préciser, c'est au sujet de MPI. Il ne faut pas tomber dans le piège : "Je connais MPI = je sais programmer en parallèle!". MPI est juste un outil qui permet de faire du parallélisme au sens où même si on connait par coeur MPI, on ne va pas forcément pondre un programme parallèle plus performant que si on l'avait fait en séquentiel.

Sinon, je suis assez d'accord avec le reste (tu peux faire de la parallélisation sur processeur comme tu dis avec MPI ;) ) et surtout avec le précédent message concernant la parallélisation d'un programme séquentiel.
28/08/2019, 18h16
Invité

Désoler de déterrer le sujet mais aucun de vos tutos existe encore ... , c'est le défaut d'avoir un exam qui porte sur l'utilisation de bibliothèque tels que MPI qui est un vrai fossile :x
28/08/2019, 22h33
dourouc05

Un fossile ? La norme MPI 3.0 est sortie en 2012, l'implémentation OpenMPI 4.0 est sortie en mars 2019, MPICH 3.3 en janvier, Intel continue le développement de son implémentation. MPI est indispensable dans les supercalculateurs actuels, notamment parce que ces machines sont beaucoup plus fiables (alors que Hadoop part presque de l'hypothèse qu'on ne peut faire confiance à personne — d'où une grosse perte d'efficacité par rapport à MPI). MPI reste d'actualité pour du calcul sur trente-six machines, même si ce n'est pas la bibliothèque la plus agréable à utiliser (très loin de là, d'ailleurs… je ne compte plus les neurones que j'ai perdus avec ce truc :aie:).
29/08/2019, 12h27
Invité

Merci pour votre retour , vous avez des tuto ou documentation pour l'utilisation des fonctions de base tels que Scater , Gather , send , recv etc ?
29/08/2019, 15h20
dourouc05

Sur https://hpc.developpez.com/tutoriels/#parallele-message, tu as un lien vers ftp://ftp-developpez.com/semelin/cours-parallelisme.pdf, regarde dès la page 53. Ce n'est pas du MPI moderne, mais ça devrait te dépatouiller.