Discussion :

[Arnaud F.]

Bonjour,

dans quelques jours (vendredi pour être précis), l'Europe aura un nouveau supercalculateur, et pas des moindres puisque ça sera le plus puissant jamais utilisé en Europe.

Il est nommé Jugene et sera basé en Allemagne.

Il est capable d'effectuer un petaflop (un million de milliards) d'opérations par seconde. C'est le troisième supercalculateur le plus puissant au monde derrière Roadrunner et Jaguar (Etats-Unis).

Jugene est équivalant à 50.000 ordinateurs de bureau et contrairement aux nôtres, il dispose de 295.000 processeurs répartis dans 72 racks, rien que ça (cf la photo) !

Il servira à la recherche sur les origines de l'univers, les prévisions météo et même à la recherche sur les batteries pour les voitures électriques.

Petite image de la bête :


La configuration précise :

# 72 Racks with 32 nodecards x 32 compute nodes (total 73728)

• Compute node: 4-way SMP processor
• Processortype: 32-bit PowerPC 450 core 850 MHz
• Processors: 294912
• Overall peak performance: 1 Petaflops
• Linpack: ... Teraflops
• Main memory: 2 Gbytes per node (aggregate 144 TB)
• I/O Nodes: 600
• Networks:
  
  • Three-dimensonal torus (compute nodes)
  • Global tree / Collective network (compute nodes, I/O nodes)
  • 10 Gigabit ethernet / Functional network (I/O Nodes)

• Power Consumption: max. 35 kW per rack

# 2 Service nodes IBM p6 550:

• Total number of processors: 8
• Processortype: Power6 4.2 GHz
• Total amount of memory: 128 GB
• Operating System: SuSE Linux Enterprise (SLES 10)

# 2 Login nodes IBM p6 550:

• Total number of processors: 8
• Processortype: Power6 4.2 GHz
• Total amount of memory: 32 GB
• Operating System: SuSE Linux Enterprise (SLES 10)

Joli non?

P.S : Site officiel

[Janitrix]

Des détails sur le constructeur (on voit bien que c'est IBM mais bon) et sur les composants ?

Sinon c'est une bonne nouvelle que l'Europe se rapproche un peu des Etats-Unis sur ce point

[Arnaud F.]

J'en ai profité pour mettre le premier post à jour avec les informations fournies par le constructeur

Et oui, c'est du IBM !

[Matthieu Brucher]

Cool, mais du 32 bits ??? T'es sûr ? Et les frontales sont en 64bits ?
Et la mémoire par noeud est vraiment très faible, ça fait 512Mo par processeur et donc 128Mo par thread ! Autant dire qu'ils ne vont pas aller très loin (déjà que 2Go par thread, on considère que c'est pas suffisant chez nous)... Limite les frontales ont plus de mémoire qu'un noeud ou qu'un rack...
Franchement, je ne comprends pas trop à quoi ce calculateur va servir, vu comme certains éléments sont sous-dimensionnés (à mon avis). Tu as des détails sur le reste ? J'imagine que le tore est entre les racks et l'arbre entre les noeuds d'un rack ? Ou c'est le contraire ?

[Arnaud F.]

Cool, mais du 32 bits ??? T'es sûr ? Et les frontales sont en 64bits ?
Et la mémoire par noeud est vraiment très faible, ça fait 512Mo par processeur et donc 128Mo par thread ! Autant dire qu'ils ne vont pas aller très loin (déjà que 2Go par thread, on considère que c'est pas suffisant chez nous)... Limite les frontales ont plus de mémoire qu'un noeud ou qu'un rack...
Franchement, je ne comprends pas trop à quoi ce calculateur va servir, vu comme certains éléments sont sous-dimensionnés (à mon avis). Tu as des détails sur le reste ? J'imagine que le tore est entre les racks et l'arbre entre les noeuds d'un rack ? Ou c'est le contraire ?

Matthieu, et oui, ça paraît bien "faible", mais j'ai tiré tout ça du site officiel, partie configuration ...

[shkyo]

ça doit être sympa ce genre de machine pour faire des rendus 3D !!! Quand je pense à ma dernière image qui a mis 4h de calcul sur mon Athlon 64 6600+, avec cette bête, cela prendrait quoi ? 1 ms ?

La maintenance aussi doit être sympa, il n'y a pas de quoi s'ennuyer...

[Matthieu Brucher]

Bien vu... La maintenance sur ce nombre de racks et de blades doit être impressionnante. Bon courage à IBM.

Sinon, pour en revenir à l'utilité, les modèles météorologiques sont gourmands en mémoire, non ? Idem pour les modèles 3D, ça m'étonnerait que ça tienne dans 128Mo de RAM !

[daredare]

Tout comme le calcul est réparti sur les différents noeuds, l'utilisation mémoire est également répartie sur les différents noeuds.

Et si cela ne suffit pas, je pense qu'il est également possible d'agréger la mémoire de différents noeuds en une mémoire visible/addressable par tous, ce qui étend largement la capacité disponible (d'ailleurs les détails de config indiquent un 144 TB agrégé, non ?).

Donc à mon humble avis, c'est pas ces 2 Go qui vont limiter !

[Qwert]

Cool, mais du 32 bits ??? T'es sûr ? Et les frontales sont en 64bits ?
Et la mémoire par noeud est vraiment très faible, ça fait 512Mo par processeur et donc 128Mo par thread ! Autant dire qu'ils ne vont pas aller très loin (déjà que 2Go par thread, on considère que c'est pas suffisant chez nous)... Limite les frontales ont plus de mémoire qu'un noeud ou qu'un rack...
Franchement, je ne comprends pas trop à quoi ce calculateur va servir, vu comme certains éléments sont sous-dimensionnés (à mon avis). Tu as des détails sur le reste ? J'imagine que le tore est entre les racks et l'arbre entre les noeuds d'un rack ? Ou c'est le contraire ?

Hmmm Pareil que toi.... j'ai du mal avec les caractéristiques. Sachant que nous sommes en mai, attendons la sortie de juin 2009 du top500. On aura plus d'informations, parce que cette configuration me laisse perplexe

EDIT : en fait, il y en a déjà un dans le top 500
http://www.top500.org/system/8835
mais installer en 2007 ....
Tu es sur de ne pas avoir réécris les caracs de l'ancien?
J'suis perdue la

EDIT 2 : non, c'est bien les caracs du nouveau. L'ancien qui se trouve sur top500 est a 65k core.
En fait ce centre va concentrer 3 super calculateurs
Je reste tout de même étonnée de trouver des proc 32bits....

[Matthieu Brucher]

Tout comme le calcul est réparti sur les différents noeuds, l'utilisation mémoire est également répartie sur les différents noeuds.

Et si cela ne suffit pas, je pense qu'il est également possible d'agréger la mémoire de différents noeuds en une mémoire visible/addressable par tous, ce qui étend largement la capacité disponible (d'ailleurs les détails de config indiquent un 144 TB agrégé, non ?).

Donc à mon humble avis, c'est pas ces 2 Go qui vont limiter !

Ben si...
Par noeud, tu as 2Go, et c'est dans ce noeud que tu es en SMP. De totue manière, tu vas difficilement avoir plus de 2Go par entité puisque les processeurs sont des 32bits.
Maintenant, en ce qui concerne les calculs, ceux qui sont effectués là nécessitent énormément de mémoire. On a beaucoup plus chez nous sur notre dernier cluster, et pourtant on envie le précédent qui avait 64Go pour 32 threads.
L'objectif est de faire beaucoup de calcul, mais si tu passes la majeure partie de ton temps à communiquer, tu n'atteindras jamais la puissance crête.

[kain_tn]

Ben si...
De toute manière, tu vas difficilement avoir plus de 2Go par entité puisque les processeurs sont des 32bits.

Après, il reste toujours la possibilité de passer sur un kernel PAE pour repousser la limite à 64GB...

[Matthieu Brucher]

Après, il reste toujours la possibilité de passer sur un kernel PAE pour repousser la limite à 64GB...

C'est sûr, mais apparemment ce n'est pas l'objectif ici, puisqu'il n'y a que 2Go par SMP.

[Seb33300]

Je crois que ya un soucis dans la phrase :

il diSpose de 295.000 ??? répartis dans 72 racks

[Arnaud F.]

Je crois que ya un soucis dans la phrase :

Corrigé...


Je suis étonné de voir qu'ils se "cantonnent" à 2Go par SMP, ça fait peu, surtout pour un supercalculateur...


Qwert > Je suis sûr de ne pas m'être trompé

[daredare]

Ben si...
Par noeud, tu as 2Go, et c'est dans ce noeud que tu es en SMP. De totue manière, tu vas difficilement avoir plus de 2Go par entité puisque les processeurs sont des 32bits.
Maintenant, en ce qui concerne les calculs, ceux qui sont effectués là nécessitent énormément de mémoire. On a beaucoup plus chez nous sur notre dernier cluster, et pourtant on envie le précédent qui avait 64Go pour 32 threads.
L'objectif est de faire beaucoup de calcul, mais si tu passes la majeure partie de ton temps à communiquer, tu n'atteindras jamais la puissance crête.

Désolé, mais "ben non !"...
IBM n'est pas un amateur des supercalculateurs, donc :
- Ils ont dimensionné correctement la RAM par noeud en fonction des applications visées
- et/ou les calculs qui vont être faits sur ces noeuds peuvent être partitionnés (tant en termes de calculs proprement dits que de données à manipuler)

Edit :
Je vous invite à aller voir ici : http://en.wikipedia.org/wiki/Blue_Gene , pour vous rendre compte que ce supercalculateur n'est pas très différent de ce qu'IBM fait "classiquement" et qui a fait ses preuves !

Edit 2 :
Par ailleurs, les specs réseaux montrent que l'échange massif d'informations entre les noeuds est prévu, et le réseau dimensionné en conséquence, cf. le tore 3D entre les noeuds...

Networks:
* Three-dimensonal torus (compute nodes)
* Global tree / Collective network (compute nodes, I/O nodes)
* 10 Gigabit ethernet / Functional network (I/O Nodes)

[Matthieu Brucher]

Plus, c'est pas possible parce que 32bits (même si 36bits serait possible, mais en SMP, ça ne fonctionnerait de toute manière pas avec OpenMp par ex).

Apparemment, IBM fonctionne surtout en 32bits pour le HPC...

[Qwert]

Qwert > Je suis sûr de ne pas m'être trompé

d'où mes edits...
En cherchant un peu, j'ai trouvé confirmation ... Désolée d'avoir mis en doute tes écrits mais l'étonnement était là!
Plus qu'à attendre le top 500 pour voir quelle place de choix il va avoir...

[zerocoolyoussef]

bonjour
juste une question ces super calculateur sont livrées avec leur OS car à ce que je sache ni unix ni windows ne pourra pendre en charge cette bête

[daredare]

Pour info, un lien vers des infos complémentaires sur l'architecture de l'IBM BlueGene/P, qui est l'infra mise en oeuvre chez nos voisins allemands : http://community.anitaborg.org/wiki/...e_salapura.pdf

@zerocoolyoussef
Les noeuds de calcul utilisent un OS spécifique allégé, par contre les autres noeuds (I/O & co) sont basés sur Linux...

Edit : pour ce qui est de la problématique mémoire/échange inter cores/CPU/noeuds sur ce système, je vous renvoie plus particulièrement à la page 18 du doc cité ci-dessus, où l'on voit clairement l'interconnexion des cores avec la RAM (via la L3) et le tore 3D (via la L2 / le DMA !) entre autres...

[Arnaud F.]

bonjour
juste une question ces super calculateur sont livrées avec leur OS car à ce que je sache ni unix ni windows ne pourra pendre en charge cette bête

Ces supercalculateurs sont conçus par IBM, je pense que l'OS, y a pas de trop de choix, mais c'est marqué dans la configuration poussée, l'OS utilisé est : SuSE Linux Enterprise (SLES 10)


@Qwert > pas grave