Performances Interprocess / MPI

Version imprimable

15/03/2013, 12h51
oodini

Performances Interprocess / MPI

Hello,

Je dois scinder un programme en deux. Il utilise beaucoup de données, et je voudrais mettre les données en RAM dans un processus, et les utiliser dans un autre. Boost Interprocess semble être la solution.

Toutefois, je me demande si ce n'est pas également l'occasion de déporter les données sur une autre machine. Ou d'anticiper ce besoin.

Quelle est la différence en performance entre IPC et MPI, les deux processus étant sur la même machine ?

Quelle est la différence en performance entre IPC et MPI, les deux processus étant sur des machines différentes ?

J'aimerais avoir des ordres de grandeur. Merci.
15/03/2013, 15h51
Emmanuel Deloget

Citation:

Envoyé par oodini

Hello,

Je dois scinder un programme en deux. Il utilise beaucoup de données, et je voudrais mettre les données en RAM dans un processus, et les utiliser dans un autre. Boost Interprocess semble être la solution.

Toutefois, je me demande si ce n'est pas également l'occasion de déporter les données sur une autre machine. Ou d'anticiper ce besoin.

Quelle est la différence en performance entre IPC et MPI, les deux processus étant sur la même machine ?

Quelle est la différence en performance entre IPC et MPI, les deux processus étant sur des machines différentes ?

J'aimerais avoir des ordres de grandeur. Merci.

Je dirais qu'il y a une facteur 12, voire 13-13,5. Par contre, je ne saurais pas te dire entre quoi et quoi :)

Soyons sérieux quelques minutes.

IPC est un terme générique qui veut dire Inter Process Communication. MPI est un mécanisme particulier d'IPC. Du coup, donner un ordre de grandeur (des performances ou de la différence de performance) me semble un peu complexe - tout comme je ne saurais dire si le plus rapide est une voiture ou une ferrari 430 modena.

Il existe plusieurs systèmes d'IPC. MPI en est un, mais tu as aussi les sockets, la mémoire partagée, (sous Windows) les event/pipe/objet nommés, (sous Unix) les IPC System V (sémaphore, message queue...) etc.

Je te conseille donc d'implémenter un système particulier (mémoire partagée + socket locale ou non par exemple) et de mettre ce système en concurrence avec un système similaire réalisé avec MPI. Tu pourra donc voir lequel est le plus performant, et faire ton choix en connaissance de cause.

A noter que si tu as besoin de faire un système distribué, alors les sockets sont le mécanisme que tu devras utiliser. Les limites en performances seront alors celle des tuyaux, pas celles de la machine (en considérant que tu utilises des machines dimensionnées correctement). Les serveurs de facebook ne sont pas énormissimes - par contre, ils disposent d'une bande passante entre eux qui est tous simplement phénoménale..
15/03/2013, 16h05
oodini

Citation:

Envoyé par Emmanuel Deloget

IPC est un terme générique qui veut dire Inter Process Communication.

Je voulais parler de boost::shared_memory.
Désolé pour mon manque de précision.
15/03/2013, 18h18
Emmanuel Deloget

Citation:

Envoyé par oodini

Je voulais parler de boost::shared_memory.
Désolé pour mon manque de précision.

Pardon, je me suis emporté :)

Je n'ai aucune idée des performances de boost::shared_memory. Ceci dit, vu l'interface, c'est une interface très légère construite au dessus de l'interface POSIX shmem. Sous UNIX, il y a des chances que les performances soient importantes ; par contre, sous Windows, l'interface POSIX n'est pas disponible - à voir si Windows fournit les même services, accessible aussi simplement (notamment le truncate()). Ca manque aussi d'allocateurs spécialisés qui seraient un peu intelligent pour créer des conteneurs dans la zone de mémoire partagée (tiens, ça pourrait être intéressant...).