Discussion :

[Arnaud F.]

Bonjour,

dans quelques jours (vendredi pour être précis), l'Europe aura un nouveau supercalculateur, et pas des moindres puisque ça sera le plus puissant jamais utilisé en Europe.

Il est nommé Jugene et sera basé en Allemagne.

Il est capable d'effectuer un petaflop (un million de milliards) d'opérations par seconde. C'est le troisième supercalculateur le plus puissant au monde derrière Roadrunner et Jaguar (Etats-Unis).

Jugene est équivalant à 50.000 ordinateurs de bureau et contrairement aux nôtres, il dispose de 295.000 processeurs répartis dans 72 racks, rien que ça (cf la photo) !

Il servira à la recherche sur les origines de l'univers, les prévisions météo et même à la recherche sur les batteries pour les voitures électriques.

Petite image de la bête :


La configuration précise :

# 72 Racks with 32 nodecards x 32 compute nodes (total 73728)

• Compute node: 4-way SMP processor
• Processortype: 32-bit PowerPC 450 core 850 MHz
• Processors: 294912
• Overall peak performance: 1 Petaflops
• Linpack: ... Teraflops
• Main memory: 2 Gbytes per node (aggregate 144 TB)
• I/O Nodes: 600
• Networks:
  
  • Three-dimensonal torus (compute nodes)
  • Global tree / Collective network (compute nodes, I/O nodes)
  • 10 Gigabit ethernet / Functional network (I/O Nodes)

• Power Consumption: max. 35 kW per rack

# 2 Service nodes IBM p6 550:

• Total number of processors: 8
• Processortype: Power6 4.2 GHz
• Total amount of memory: 128 GB
• Operating System: SuSE Linux Enterprise (SLES 10)

# 2 Login nodes IBM p6 550:

• Total number of processors: 8
• Processortype: Power6 4.2 GHz
• Total amount of memory: 32 GB
• Operating System: SuSE Linux Enterprise (SLES 10)

Joli non?

P.S : Site officiel

[Janitrix]

Des détails sur le constructeur (on voit bien que c'est IBM mais bon) et sur les composants ?

Sinon c'est une bonne nouvelle que l'Europe se rapproche un peu des Etats-Unis sur ce point

[Arnaud F.]

J'en ai profité pour mettre le premier post à jour avec les informations fournies par le constructeur

Et oui, c'est du IBM !

[Matthieu Brucher]

Cool, mais du 32 bits ??? T'es sûr ? Et les frontales sont en 64bits ?
Et la mémoire par noeud est vraiment très faible, ça fait 512Mo par processeur et donc 128Mo par thread ! Autant dire qu'ils ne vont pas aller très loin (déjà que 2Go par thread, on considère que c'est pas suffisant chez nous)... Limite les frontales ont plus de mémoire qu'un noeud ou qu'un rack...
Franchement, je ne comprends pas trop à quoi ce calculateur va servir, vu comme certains éléments sont sous-dimensionnés (à mon avis). Tu as des détails sur le reste ? J'imagine que le tore est entre les racks et l'arbre entre les noeuds d'un rack ? Ou c'est le contraire ?

[Arnaud F.]

Cool, mais du 32 bits ??? T'es sûr ? Et les frontales sont en 64bits ?
Et la mémoire par noeud est vraiment très faible, ça fait 512Mo par processeur et donc 128Mo par thread ! Autant dire qu'ils ne vont pas aller très loin (déjà que 2Go par thread, on considère que c'est pas suffisant chez nous)... Limite les frontales ont plus de mémoire qu'un noeud ou qu'un rack...
Franchement, je ne comprends pas trop à quoi ce calculateur va servir, vu comme certains éléments sont sous-dimensionnés (à mon avis). Tu as des détails sur le reste ? J'imagine que le tore est entre les racks et l'arbre entre les noeuds d'un rack ? Ou c'est le contraire ?

Matthieu, et oui, ça paraît bien "faible", mais j'ai tiré tout ça du site officiel, partie configuration ...

[shkyo]

ça doit être sympa ce genre de machine pour faire des rendus 3D !!! Quand je pense à ma dernière image qui a mis 4h de calcul sur mon Athlon 64 6600+, avec cette bête, cela prendrait quoi ? 1 ms ?

La maintenance aussi doit être sympa, il n'y a pas de quoi s'ennuyer...

[Qwert]

Cool, mais du 32 bits ??? T'es sûr ? Et les frontales sont en 64bits ?
Et la mémoire par noeud est vraiment très faible, ça fait 512Mo par processeur et donc 128Mo par thread ! Autant dire qu'ils ne vont pas aller très loin (déjà que 2Go par thread, on considère que c'est pas suffisant chez nous)... Limite les frontales ont plus de mémoire qu'un noeud ou qu'un rack...
Franchement, je ne comprends pas trop à quoi ce calculateur va servir, vu comme certains éléments sont sous-dimensionnés (à mon avis). Tu as des détails sur le reste ? J'imagine que le tore est entre les racks et l'arbre entre les noeuds d'un rack ? Ou c'est le contraire ?

Hmmm Pareil que toi.... j'ai du mal avec les caractéristiques. Sachant que nous sommes en mai, attendons la sortie de juin 2009 du top500. On aura plus d'informations, parce que cette configuration me laisse perplexe

EDIT : en fait, il y en a déjà un dans le top 500
http://www.top500.org/system/8835
mais installer en 2007 ....
Tu es sur de ne pas avoir réécris les caracs de l'ancien?
J'suis perdue la

EDIT 2 : non, c'est bien les caracs du nouveau. L'ancien qui se trouve sur top500 est a 65k core.
En fait ce centre va concentrer 3 super calculateurs
Je reste tout de même étonnée de trouver des proc 32bits....

[Seb33300]

Je crois que ya un soucis dans la phrase :

il diSpose de 295.000 ??? répartis dans 72 racks

[Arnaud F.]

Je crois que ya un soucis dans la phrase :

Corrigé...


Je suis étonné de voir qu'ils se "cantonnent" à 2Go par SMP, ça fait peu, surtout pour un supercalculateur...


Qwert > Je suis sûr de ne pas m'être trompé

[Matthieu Brucher]

Plus, c'est pas possible parce que 32bits (même si 36bits serait possible, mais en SMP, ça ne fonctionnerait de toute manière pas avec OpenMp par ex).

Apparemment, IBM fonctionne surtout en 32bits pour le HPC...

[Qwert]

Qwert > Je suis sûr de ne pas m'être trompé

d'où mes edits...
En cherchant un peu, j'ai trouvé confirmation ... Désolée d'avoir mis en doute tes écrits mais l'étonnement était là!
Plus qu'à attendre le top 500 pour voir quelle place de choix il va avoir...

[zerocoolyoussef]

bonjour
juste une question ces super calculateur sont livrées avec leur OS car à ce que je sache ni unix ni windows ne pourra pendre en charge cette bête

[Arnaud F.]

bonjour
juste une question ces super calculateur sont livrées avec leur OS car à ce que je sache ni unix ni windows ne pourra pendre en charge cette bête

Ces supercalculateurs sont conçus par IBM, je pense que l'OS, y a pas de trop de choix, mais c'est marqué dans la configuration poussée, l'OS utilisé est : SuSE Linux Enterprise (SLES 10)


@Qwert > pas grave

[daredare]

Pour info, un lien vers des infos complémentaires sur l'architecture de l'IBM BlueGene/P, qui est l'infra mise en oeuvre chez nos voisins allemands : http://community.anitaborg.org/wiki/...e_salapura.pdf

@zerocoolyoussef
Les noeuds de calcul utilisent un OS spécifique allégé, par contre les autres noeuds (I/O & co) sont basés sur Linux...

Edit : pour ce qui est de la problématique mémoire/échange inter cores/CPU/noeuds sur ce système, je vous renvoie plus particulièrement à la page 18 du doc cité ci-dessus, où l'on voit clairement l'interconnexion des cores avec la RAM (via la L3) et le tore 3D (via la L2 / le DMA !) entre autres...