Créer forum MPI ?

Yin Zhen · 20/12/2010, 12h29

Bonjour

J'ai lancé trois discussions récemment, dont deux concernant le MPI.

Or, bien que ces discussions soient visitées, personne n'y apporte de réponse.

Le MPI est-il à ce point exotique ?

Je ne le crois pas...

Comme le MPI peut être appelé aussi bien avec C qu'avec FORTRAN (et Python, aussi ???), peut-être faudrait-il créer un forum dédié au MPI ?

Évidemment, s'il est visité par 10 internautes par an, ça ne vaut pas le coup.

Des avis sur la question ?

Marc Lussac · 21/12/2010, 06h15

Donc déjà pour commencer il nous manque un expert en MPI qui veulent bien répondre aux questions ?

Bluedeep · 21/12/2010, 14h46

Quelqu'un aurait-il l'obligeance d'expliquer ce que c'est que ce MPI ?

Midi Pyrénées Inovation ?
Mesure Physique et Informatique
Message Passing Interface ?
Media Partners International ?
Autre ?

J'inclinerais pour le 3. , mais sans garanties.

Yin Zhen · 21/12/2010, 14h47

Dans ces conditions, je comprends l'absence de réponse à mes questions.

Question naïve : comment recrutez-vous les experts ?? Si, à l'occasion, je prends contact avec une personne qui pourrait convenir, pourrais-je la proposer ?

Yin Zhen · 21/12/2010, 14h50

Réponse : ce n'est pas "Mixeur Pulsé Inverse", ni "Mouillette de Pain Indien", ni encore "Montagne Polonaise Inconnue", mais bel et bien "Message Passing Interface" : un jeu de routines d'échanges de messages entre serveurs d'un cluster de PC interconnectés en vue d'accumuler une forte puissance de calcul avec plusieurs machines...

Bluedeep · 21/12/2010, 15h24

Citation:

Envoyé par Yin Zhen

mais bel et bien "Message Passing Interface" : un jeu de routines d'échanges de messages entre serveurs d'un cluster de PC interconnectés en vue d'accumuler une forte puissance de calcul avec plusieurs machines...

Merci, je me coucherais donc moins bête ce soir.

Bon, comme cela semble de facto réservé à Fortran (à la rigueur Java et Python, donc des technos qui me sont tout à fait étrangères) et de plus dans un contexte quand même assez marginal, je comprends d'une part que je n'en ai jamais entendu parler et d'autre part que cela émeuve assez peu les foules.

ricky78 · 21/12/2010, 15h39

Moi j'ai ça derrière ma LOGAN (1.4 MPI) , donc suis déjà à la version 1.4 ?

Donc comme Bluedeep je serai un peu moins bête ce soir.

Marc Lussac · 21/12/2010, 16h04

Citation:

Envoyé par Yin Zhen

Question naïve : comment recrutez-vous les experts ?? Si, à l'occasion, je prends contact avec une personne qui pourrait convenir, pourrais-je la proposer ?

On les recrutent pas, ils arrivent par google ou Bing, et ils décident de participer ou pas.

Il y à des personnes expérimentés dans tous les domaines la c'est juste pas de bol.

Si tu peu faire venir des gens sur developpez sur ce sujet oui c'est très constructif, c'est déjà un très bon début

Mat.M · 21/12/2010, 16h09

Salut,

Citation:

Envoyé par Yin Zhen

mais bel et bien "Message Passing Interface" : un jeu de routines d'échanges de messages entre serveurs d'un cluster de PC interconnectés en vue d'accumuler une forte puissance de calcul avec plusieurs machines...

je n'en vois pas trop l'intérêt; cela risque de ne pas intéresser grand monde

Cette API se programme en C/C++ apparemment
http://en.wikipedia.org/wiki/Message_Passing_Interface

ceci dit ce n'est pas moi qui décide c'est Marc

Marc Lussac · 21/12/2010, 16h11

décide de quoi ?

Si c'est pour c++, parlez de MPI sur les forums C+ et s'il y à trop de messages demandez au resp c++ de vous faire créer le sous forum quelque part...

LooserBoy · 21/12/2010, 16h16

Citation:

Envoyé par Yin Zhen

J'ai lancé trois discussions récemment, dont deux concernant le MPI.

Or, bien que ces discussions soient visitées, personne n'y apporte de réponse.

Le MPI est-il à ce point exotique ?

Je ne le crois pas...

Le développement spécifique aux clusters est quand même un peu exotique...

Même si nous utilisons beaucoup les clusters (banques, bourse,...), il est de plus en plus courant que l'OS masque toute la mécanique nécessaire au fonctionnement de ceux-ci...

Voila pourquoi tu disposes de peu de réponses à tes questions...

Par contre, m'intéressant aussi au développement sur cluster en amateur et quand le temps m'est donné

, je tâcherais de suivre plus attentivement le sujet sur le forum... Je n'avais pas vu que le sujet était abordé...

Yin Zhen · 21/12/2010, 16h17

Juste une précision :

En termes de langages d'appel, les routines MPI peuvent s'appeler aussi bien depuis Fortran que C et C++. Il me semble bien que des programmes Python peuvent aussi y faire appel, mais malgré plusieurs tentatives sincères, je n'ai pas trouvé d'intérêt dans le choix de Python vu ma façon de développer, aussi n'ai-je que peu de connaissances des appels MPI depuis Python.
Cela dit, Python est un très bon langage...

Yin Zhen · 21/12/2010, 16h32

Réponse au sujet du caractère "marginal" du MPI et le caractère "inutile" du clustering :

Mettre des PC en cluster pour faire tourner Excel est en effet ridicule, mais le clustering a tout de même une petite utilité : il permet juste que le temps d'exécution des calculs scientifiques massifs ne se chiffre pas en siècles ou en années... Pour des codes bien parallélisés, le temps de calcul est divisé par le nombre de processeurs impliqués. Un calcul qui tourne 10 jours sur 4 000 processeurs tournerait sur un PC... 40 000 jours !!! Soit un peu plus que 109 ans !!!

D'autre part, il est vrai que peu de personnes programment avec le MPI, il est donc "marginal"... sauf que TOUS les codes de calcul scientifique de haute performance s'appuient sur le MPI ou un équivalent.

Pour ceux qui aurait un peu de curiosité, je conseille vivement le cours de MPI de l'IDRIS :
http://www.idris.fr/data/cours/paral...choix_doc.html

LooserBoy · 21/12/2010, 16h39

Citation:

Envoyé par Yin Zhen

Pour ceux qui aurait un peu de curiosité, je conseille vivement le cours de MPI de l'IDRIS :
http://www.idris.fr/data/cours/paral...choix_doc.html

Merci beaucoup!

Yin Zhen · 21/12/2010, 16h46

Réponse à LooserBoy :

Dans les applications numériques critiques, la méthode vraiment efficace consiste à programmer directement en MPI. Cela dit, il existe des approches où le MPI est masqué, mais ce n'est pas l'OS qui le fait : le MPI est "caché" dans des routines et intégré à la compilation. Je connais des exemples, mais c'est une façon de faire qui m'intéresse peu pour mes applications. Dans la majorité des cas, la parallélisation automatique ne marche pas, ou très peu... Mais s'il existe des voies vraiment efficaces, je suis curieux de les connaître tout de même !!!

Évidemment, on peut lancer des milliers de petites tâches séquentielles en même temps sur un cluster, et là, l'OS (enfin, un outil de l'OS) se charge de répartir les tâches aux serveurs.

Concernant l'utilité du MPI, l'idée n'est pas de donner naissance au cluster : il n'a pas une utilité "informatique", mais strictement calculatoire. Par exemple : dans les messages, on n'envoie pas des objets, mais des tableaux. C'est du "bourrin"... cela dit, je suis persuadé qu'on peut imiter l'envoi d'objets en Fortran+MPI... avec une bonne dose de select case !!!

Enfin, je suis ravi de trouver dans ce forum quelqu'un qui s'intéresse aux clusters !!! Même dans les labos de recherche, c'est effectivement, un peu exotique...

LooserBoy · 21/12/2010, 17h10

Citation:

Envoyé par Yin Zhen

Dans la majorité des cas, la parallélisation automatique ne marche pas, ou très peu... Mais s'il existe des voies vraiment efficaces, je suis curieux de les connaître tout de même !!!

Évidemment, on peut lancer des milliers de petites tâches séquentielles en même temps sur un cluster, et là, l'OS (enfin, un outil de l'OS) se charge de répartir les tâches aux serveurs.

Effectivement, je me suis mal exprimé, ce n'est pas l'OS...

Pour avoir déjà joué à paralléliser des tâches pouvant être traitées séquentiellement (compression et chiffrement de fichiers) sur un petit cluster (4 noeuds, de vieux pcs qui trainaient dans un coin...) avec PVM, on a quelque chose d'assez amusant à mettre en oeuvre et à utiliser.

Yin Zhen · 21/12/2010, 18h47

Intéressant... l'algorithme est-il très communiquant ??

Je connais PVM de nom, mais pas plus. Est-ce très différent du MPI ? Les performances sont-elles comparables ???

LooserBoy · 22/12/2010, 10h33

Citation:

Envoyé par Yin Zhen

Intéressant... l'algorithme est-il très communiquant ??

Très peu donc très simple à mettre en oeuvre. J'ai voulu faire simple pour commencer.

Citation:

Envoyé par Yin Zhen

Je connais PVM de nom, mais pas plus. Est-ce très différent du MPI ? Les performances sont-elles comparables ???

Justement le lien que j'ai fournit mène au site officiel où ils effectuent un comparatif entre PVM et MPI.

Yin Zhen · 22/12/2010, 11h07

Désolé, je n'avais pas vu le lien

Si je comprends bien : MPI est plus performant en puissance brute, mais moins tolérant aux pannes que PVM. Il est vrai que ce dernier aspect n'est pas à négliger, surtout quand on veut exécuter le code sur des centaines de serveurs...

gbdivers · 25/08/2011, 15h49

Pour information : concernant MPI, je pense que l'idéal est d'aller sur le forum C++ threads & processus. Même si le PO s'intéresse plus au Fortran, il ne doit pas être trop difficile d'adapter le code.

20/12/2010, 12h29	#1
Yin Zhen Candidat au titre de Membre du Club Chercheur Inscription : septembre 2008 Messages : 35 Détails du profil Informations personnelles : Sexe : Localisation : France Informations professionnelles : Activité : Chercheur Informations forums : Inscription : septembre 2008 Messages : 35 Points : 11 Points : 11	Créer forum MPI ? Bonjour J'ai lancé trois discussions récemment, dont deux concernant le MPI. Or, bien que ces discussions soient visitées, personne n'y apporte de réponse. Le MPI est-il à ce point exotique ? Je ne le crois pas... Comme le MPI peut être appelé aussi bien avec C qu'avec FORTRAN (et Python, aussi ???), peut-être faudrait-il créer un forum dédié au MPI ? Évidemment, s'il est visité par 10 internautes par an, ça ne vaut pas le coup. Des avis sur la question ?
	04

21/12/2010, 06h15	#2
Marc Lussac Directeur Marketing Marc Lussac Responsable marketing opérationnel Inscription : mars 2002 Messages : 26 356 Détails du profil Informations personnelles : Nom : Marc Lussac Localisation : Canada Informations professionnelles : Activité : Responsable marketing opérationnel Secteur : Communication - Médias Informations forums : Inscription : mars 2002 Messages : 26 356 Points : 23 180 Points : 23 180	Donc déjà pour commencer il nous manque un expert en MPI qui veulent bien répondre aux questions ? __________________ -> Ne pas me contacter pour le forum et je ne répondrai à aucune question technique -> Comment nous contacter -> Pour partenariat ou publicité : Mon Email
	20

21/12/2010, 14h46	#3
Bluedeep Expert Confirmé Sénior François Chef de projet NTIC Inscription : janvier 2007 Messages : 5 354 Détails du profil Informations personnelles : Nom : François Âge : 51 Localisation : France Informations professionnelles : Activité : Chef de projet NTIC Informations forums : Inscription : janvier 2007 Messages : 5 354 Points : 9 745 Points : 9 745	Quelqu'un aurait-il l'obligeance d'expliquer ce que c'est que ce MPI ? Midi Pyrénées Inovation ? Mesure Physique et Informatique Message Passing Interface ? Media Partners International ? Autre ? J'inclinerais pour le 3. , mais sans garanties. __________________ Je ne réponds pas aux questions techniques par MP ! Le forum est là pour ça... Une réponse vous a aidé ? utiliser le bouton "L’ennui dans ce monde, c’est que les idiots sont sûrs d’eux et les gens sensés pleins de doutes". B. Russel
	00

21/12/2010, 14h47	#4
Yin Zhen Candidat au titre de Membre du Club Chercheur Inscription : septembre 2008 Messages : 35 Détails du profil Informations personnelles : Sexe : Localisation : France Informations professionnelles : Activité : Chercheur Informations forums : Inscription : septembre 2008 Messages : 35 Points : 11 Points : 11	Gasp... en effet... Dans ces conditions, je comprends l'absence de réponse à mes questions. Question naïve : comment recrutez-vous les experts ?? Si, à l'occasion, je prends contact avec une personne qui pourrait convenir, pourrais-je la proposer ?
	00

21/12/2010, 14h50	#5
Yin Zhen Candidat au titre de Membre du Club Chercheur Inscription : septembre 2008 Messages : 35 Détails du profil Informations personnelles : Sexe : Localisation : France Informations professionnelles : Activité : Chercheur Informations forums : Inscription : septembre 2008 Messages : 35 Points : 11 Points : 11	Qu'est-ce que le MPI ? Réponse : ce n'est pas "Mixeur Pulsé Inverse", ni "Mouillette de Pain Indien", ni encore "Montagne Polonaise Inconnue", mais bel et bien "Message Passing Interface" : un jeu de routines d'échanges de messages entre serveurs d'un cluster de PC interconnectés en vue d'accumuler une forte puissance de calcul avec plusieurs machines...
	30

21/12/2010, 15h39	#7
ricky78 Membre confirmé Inscription : mars 2004 Messages : 388 Détails du profil Informations forums : Inscription : mars 2004 Messages : 388 Points : 287 Points : 287	Moi j'ai ça derrière ma LOGAN (1.4 MPI) , donc suis déjà à la version 1.4 ? Donc comme Bluedeep je serai un peu moins bête ce soir.
	10

21/12/2010, 16h11	#10
Marc Lussac Directeur Marketing Marc Lussac Responsable marketing opérationnel Inscription : mars 2002 Messages : 26 356 Détails du profil Informations personnelles : Nom : Marc Lussac Localisation : Canada Informations professionnelles : Activité : Responsable marketing opérationnel Secteur : Communication - Médias Informations forums : Inscription : mars 2002 Messages : 26 356 Points : 23 180 Points : 23 180	décide de quoi ? Si c'est pour c++, parlez de MPI sur les forums C+ et s'il y à trop de messages demandez au resp c++ de vous faire créer le sous forum quelque part... __________________ -> Ne pas me contacter pour le forum et je ne répondrai à aucune question technique -> Comment nous contacter -> Pour partenariat ou publicité : Mon Email
	00

21/12/2010, 16h17	#12
Yin Zhen Candidat au titre de Membre du Club Chercheur Inscription : septembre 2008 Messages : 35 Détails du profil Informations personnelles : Sexe : Localisation : France Informations professionnelles : Activité : Chercheur Informations forums : Inscription : septembre 2008 Messages : 35 Points : 11 Points : 11	Commentaires Juste une précision : En termes de langages d'appel, les routines MPI peuvent s'appeler aussi bien depuis Fortran que C et C++. Il me semble bien que des programmes Python peuvent aussi y faire appel, mais malgré plusieurs tentatives sincères, je n'ai pas trouvé d'intérêt dans le choix de Python vu ma façon de développer, aussi n'ai-je que peu de connaissances des appels MPI depuis Python. Cela dit, Python est un très bon langage...
	00

21/12/2010, 16h32	#13
Yin Zhen Candidat au titre de Membre du Club Chercheur Inscription : septembre 2008 Messages : 35 Détails du profil Informations personnelles : Sexe : Localisation : France Informations professionnelles : Activité : Chercheur Informations forums : Inscription : septembre 2008 Messages : 35 Points : 11 Points : 11	Commentaires (2) Réponse au sujet du caractère "marginal" du MPI et le caractère "inutile" du clustering : Mettre des PC en cluster pour faire tourner Excel est en effet ridicule, mais le clustering a tout de même une petite utilité : il permet juste que le temps d'exécution des calculs scientifiques massifs ne se chiffre pas en siècles ou en années... Pour des codes bien parallélisés, le temps de calcul est divisé par le nombre de processeurs impliqués. Un calcul qui tourne 10 jours sur 4 000 processeurs tournerait sur un PC... 40 000 jours !!! Soit un peu plus que 109 ans !!! D'autre part, il est vrai que peu de personnes programment avec le MPI, il est donc "marginal"... sauf que TOUS les codes de calcul scientifique de haute performance s'appuient sur le MPI ou un équivalent. Pour ceux qui aurait un peu de curiosité, je conseille vivement le cours de MPI de l'IDRIS : http://www.idris.fr/data/cours/paral...choix_doc.html
	00

21/12/2010, 16h46	#15
Yin Zhen Candidat au titre de Membre du Club Chercheur Inscription : septembre 2008 Messages : 35 Détails du profil Informations personnelles : Sexe : Localisation : France Informations professionnelles : Activité : Chercheur Informations forums : Inscription : septembre 2008 Messages : 35 Points : 11 Points : 11	Masquer MPI ??? Réponse à LooserBoy : Dans les applications numériques critiques, la méthode vraiment efficace consiste à programmer directement en MPI. Cela dit, il existe des approches où le MPI est masqué, mais ce n'est pas l'OS qui le fait : le MPI est "caché" dans des routines et intégré à la compilation. Je connais des exemples, mais c'est une façon de faire qui m'intéresse peu pour mes applications. Dans la majorité des cas, la parallélisation automatique ne marche pas, ou très peu... Mais s'il existe des voies vraiment efficaces, je suis curieux de les connaître tout de même !!! Évidemment, on peut lancer des milliers de petites tâches séquentielles en même temps sur un cluster, et là, l'OS (enfin, un outil de l'OS) se charge de répartir les tâches aux serveurs. Concernant l'utilité du MPI, l'idée n'est pas de donner naissance au cluster : il n'a pas une utilité "informatique", mais strictement calculatoire. Par exemple : dans les messages, on n'envoie pas des objets, mais des tableaux. C'est du "bourrin"... cela dit, je suis persuadé qu'on peut imiter l'envoi d'objets en Fortran+MPI... avec une bonne dose de select case !!! Enfin, je suis ravi de trouver dans ce forum quelqu'un qui s'intéresse aux clusters !!! Même dans les labos de recherche, c'est effectivement, un peu exotique...
	10

21/12/2010, 18h47	#17
Yin Zhen Candidat au titre de Membre du Club Chercheur Inscription : septembre 2008 Messages : 35 Détails du profil Informations personnelles : Sexe : Localisation : France Informations professionnelles : Activité : Chercheur Informations forums : Inscription : septembre 2008 Messages : 35 Points : 11 Points : 11	PVM vs MPI ??? Intéressant... l'algorithme est-il très communiquant ?? Je connais PVM de nom, mais pas plus. Est-ce très différent du MPI ? Les performances sont-elles comparables ???
	00

22/12/2010, 11h07	#19
Yin Zhen Candidat au titre de Membre du Club Chercheur Inscription : septembre 2008 Messages : 35 Détails du profil Informations personnelles : Sexe : Localisation : France Informations professionnelles : Activité : Chercheur Informations forums : Inscription : septembre 2008 Messages : 35 Points : 11 Points : 11	Merci !!! Désolé, je n'avais pas vu le lien Si je comprends bien : MPI est plus performant en puissance brute, mais moins tolérant aux pannes que PVM. Il est vrai que ce dernier aspect n'est pas à négliger, surtout quand on veut exécuter le code sur des centaines de serveurs...
	00

25/08/2011, 15h49	#20
gbdivers Responsable C++ Guillaume Belz Biochimiste Inscription : novembre 2008 Messages : 2 831 Détails du profil Informations personnelles : Nom : Guillaume Belz Âge : 36 Localisation : France, Rhône (Rhône Alpes) Informations professionnelles : Activité : Biochimiste Secteur : Santé Informations forums : Inscription : novembre 2008 Messages : 2 831 Points : 12 877 Points : 12 877	Pour information : concernant MPI, je pense que l'idéal est d'aller sur le forum C++ threads & processus. Même si le PO s'intéresse plus au Fortran, il ne doit pas être trop difficile d'adapter le code. __________________ Vous souhaitez rejoindre l'équipe de bénévoles qui fait vivre Developpez (traduction, rédaction, modération) ? Contactez moi par MP. Ma page personnelle avec la liste de mes articles - Mon blog sur la programmation des GPU. Je suis régulièrement sur le chat pour les questions C++/Qt.
	00

Outils de la discussion
Afficher une version imprimable Envoyer un lien vers cette page par email