Discussion :

[Christian Olivier]

Linux équipe 100 % du Top500 des meilleurs supercalculateurs au monde
Car il serait plus aisé de modifier et d’optimiser son code source libre

Le 50^e classement du Top500 des superordinateurs les plus puissants au monde est disponible depuis peu. Outre le fait qu’il permet de comparer la puissance des 500 supercalculateurs les plus puissants qui existent actuellement, ce classement fournit également un lot d’informations intéressantes qui peuvent être exploitées pour se faire une idée sur les différents processeurs qui équipent ces machines, identifier leurs fabricants ou encore déterminer dans quelle région du globe elles ont été construites.

En se focalisant, par exemple, sur la nature du système d’exploitation sous lequel chacun de ces supercalculateurs tourne on s’aperçoit très vite que le seul OS listé est Linux. Cela veut dire que désormais Linux équipe les 500 superordinateurs les plus puissants au monde. Qu’il s’agisse des 202 superordinateurs détenus par la Chine, des 143 supercalculateurs que les États-Unis possèdent ou du superordinateur Japonais K Computer qui est actuellement considéré comme le plus puissant du monde (d’après le classement du benchmark HPCG), toutes ces machines tournent sous Linux.

Les deux derniers systèmes de calcul non Linux, deux superordinateurs chinois IBM POWER qui tournaient sous AIX, ont été supprimés de ce dernier classement qui s’appuie sur les résultats fournis par le benchmark LINPACK. Lorsque la première liste de supercalculateurs Top500 a été établie en juin 1993, personne n’aurait pu s’imaginer qu’en l’espace d’une vingtaine d’années, Linux aurait autant de succès sur le marché du supercalcul.

Depuis sa première apparition dans ce classement Top500 en 1998, le nombre de machines tournant sous Linux a constamment augmenté. En 2004, les chiffres indiquaient que Linux était présent sur plus de la moitié des 500 supercalculateurs comparés. Six années plus tard, Linux tournait déjà sur 90 % des 500 meilleurs supercalculateurs du monde. Au moins deux raisons permettent d’expliquer ce phénomène.

D’abord, il faut rappeler que les meilleurs supercalculateurs du monde sont pour la plupart des machines de recherche. Elles ont été construites pour réaliser des tâches bien spécifiques. De ce fait, chaque supermachine est un projet autonome avec des caractéristiques et des exigences d’optimisation uniques. En optant pour Linux, les équipes de recherche peuvent réaliser des économies non négligeables notamment parce qu’il serait plus aisé de modifier et d’optimiser le code source libre de Linux pour ce genre de travaux. De plus, le coût de la licence d’une distribution Linux personnalisée et la qualité du support resteraient les mêmes, que vous utilisiez 20 nœuds ou 20 millions de nœuds.

D’autre part, il faut noter que, depuis l’introduction de Linux 4.14, les supercalculateurs tournant sous Linux peuvent utiliser la technologie HMM (Heterogeneous Memory Management). Celle-ci permet la copie d’un espace d’adressage de processus et l’utilisation transparente de la mémoire système par n’importe quel processus de périphérique (GPU et CPU). Environ 20 % des 500 supercalculateurs classés dans le Top500 de HPCG utilisent cette technologie.

Même si Linux n’a toujours pas réussi à s’imposer sur le marché des OS de Bureau, Linux devrait encore avoir de beaux jours devant lui sur le marché des supercalculateurs en attendant l’avènement des machines quantiques.

Source : Top 500, Fondation Linux

Et vous ?

Qu’en pensez-vous ?

[Aeson]

Cool... je vais utiliser un super calculateur pour mettre faire tourner mon DC....

[Aeson]

les équipes de recherche peuvent réaliser des économies non négligeables

Vous avez vu le nombre de CPU et de RAM de ces machines ? Ni Windows ni les Distribution Linux standard ne supporte ce nombre. Donc ils doivent faire leur propre OS...

Encore du vent....

[Namica]

Cool... je vais utiliser un super calculateur pour mettre faire tourner mon DC....

Un DC (Data Center ?) ne relève pas du domaine des supercalculateurs. Ce n'est vraiment pas le même domaine d'application.

Vous avez vu le nombre de CPU et de RAM de ces machines ? Ni Windows ni les Distribution Linux standard ne supporte ce nombre. Donc ils doivent faire leur propre OS...

Encore du vent....

Ce n'est pas du vent : ces supercalculateurs existent (on parle de GNU-Linux et non d'une distribution standard).

• Et non : ni windows, ni MacOS, ni une distribution standard telles que Ubuntu ou autre ne sont prévus pour cela.
• Et oui, même si GNU-Linux est gratuit,
  
  • cela a un coût matériel très élevé;
  • cela nécessite des compétences rares et couteuses (pléonasme) pour mettre au point l'architecture et l'OS.

Ça reste hors de portée des windows, MacOS et GNU-Linux "standards" mais aussi des petits utilisateurs tels que nous, car en plus il faut les applis pour tirer parti de ces monstres, et là, ce n'est pas Windows ou MacOS ou Ubuntu qui peuvent aider (à part, peut-être comme front ou back end, et encore, à ce niveau, pourquoi s'encombrer d'eux ?)

N'oublions pas que :

[B][SIZE=4]
D’abord, il faut rappeler que les meilleurs supercalculateurs du monde sont pour la plupart des machines de recherche. Elles ont été construites pour réaliser des tâches bien spécifiques. De ce fait, chaque supermachine est un projet autonome avec des caractéristiques et des exigences d’optimisation uniques. En optant pour Linux, les équipes de recherche peuvent réaliser des économies non négligeables notamment parce qu’il serait plus aisé de modifier et d’optimiser le code source libre de Linux pour ce genre de travaux. De plus, le coût de la licence d’une distribution Linux personnalisée et la qualité du support resteraient les mêmes, que vous utilisiez 20 nœuds ou 20 millions de nœuds.

Donc, effectivement, cela n'affecte pas la majorité d'entre-nous, sauf dans la reconnaissance/confiance que l'on peut accorder à GNU-Linux, même si nos machines à nous sont à une galaxie de distance de ces supercalculateurs.
D'ailleurs Microsoft n'est-il pas en train de s'ouvrir de plus en plus à GNU-Linux ? (Cf. nombreuses références sur DVP).

Voir aussi :
https://www.developpez.com/actu/1734...enchmark-HPCG/
Et des tas d'autres références sur DVP ou ailleurs.

[Jipété]

Vous avez vu le nombre de CPU et de RAM de ces machines ? Ni Windows ni les Distribution Linux standard ne supportent ce nombre. Donc ils doivent faire leur propre OS...

Encore du vent....

Rhôôôô, après un bête make menuconfig, on peut générer le noyau qui va bien :

1. valider la ligne en surbrillance ;
2. changer le nombre de la dernière ligne ;
3. enregistrer, sortir, recompiler et hop !

[RyzenOC]

On peut utiliser des distribution linux grand publique dans des super calculateur. j'en ai qui tournent sous debian et redhat.
Un super calculateur c'est pas 1 machine mais des centaines de machines/noeuds.

J'ai des debian qui supporte très bien 2000coeurs cpu (a base de xeons phi) et 3TB de ram/noeuds.
Meme chose du coté de redhat.
Ces machines, vous n'avez plus qu'a les relier par un réseaux haute vitesse (infiniband par exemple) et à installer un ordonnanceur/scheduler comme torque/slurm (c'est gratuit, vous avez juste à télécharger le paquet et configurer un fichier .conf)

vous pouvez au passage le faire chez vous pour vous amuser avec 2 machines linux relier en simple ethernet. Vous pouvez lancer n'importe quel programmes linux et slurm répartira la charge cpu sur vos 2 machines.

[AoCannaille]

Vous avez vu le nombre de CPU et de RAM de ces machines ? Ni Windows ni les Distribution Linux standard ne supporte ce nombre.

N'importe quel OS 64Bit est sensé savoir adresser 2^64 Octets de ram, soit 16 millions de tera octets de ram (18 446 744 073 709 551 616 Octets).

Je ne sais pas si certains data center on dépassé ça... A verifier, mais pour l'instant je pense que ce ne sont pas les OS qui limitent la gestion de cette masse de mémoire, mais plus le hardware. En particulier sur du cluster...
En admettant des serveurs de 10 slot de ram qui accueillent chacun des barrette de 1To de ram (ce qui n'est pas atteint il me semble), celà necessite encore 1,8 milions de serveurs différents à clusteriser pour adresser tout ça... le temps d'accès pour une machine sur le réseaux nécessairement loin va commencer à bien peser dans l'équation...

[RyzenOC]

N'importe quel OS 64Bit est sensé savoir adresser 2^64 Octets de ram, soit 16 millions de tera octets de ram (18 446 744 073 709 551 616 Octets).

Je ne sais pas si certains data center on dépassé ça... A verifier, mais pour l'instant je pense que ce ne sont pas les OS qui limitent la gestion de cette masse de mémoire, mais plus le hardware. En particulier sur du cluster...
En admettant des serveurs de 10 slot de ram qui accueillent chacun des barrette de 1To de ram (ce qui n'est pas atteint il me semble), celà necessite encore 1,8 milions de serveurs différents à clusteriser pour adresser tout ça... le temps d'accès pour une machine sur le réseaux nécessairement loin va commencer à bien peser dans l'équation...

16 millions de TB non on est très très loin d'atteindre un tels chiffre.

Avant l'os tu sera bridé par la carte mere : nombre de slot de ram et taille des barettes. Débit et latence des bus aussi
Le cpu, le max que peut supporter un cpu à ma connaissance c'est dans les 6TB de ram
Tu peut tricher en utilisant la vram des gpu, mais même les gpu nvidia ont leurs limite, je crois que tu ne peut pas relier plus de 128 tesla entre elle.

Dernière limitation et pas des moindre : l'énergie. Si l'argent n'étais pas un probleme, on pourrais atteindre facilement l'exascale mais pour cela faudrait 1 centrale nucléaire complète dédié à la machine. Dont la plus grosse partie de cette énergie servira à la refroidir

Si on utilise pas Windows c'est pas parce que Windows est un os gourmand et occupe 20go d'espace disque et 1Go de ram mais tous simplement qu'on ne peut pas le paramétrer => modifier les algorithmes d’ordonnancement des processus (dans la ram et le cpu) et windows ne dispose pas de Sheduler aussi puissant que Linux. Et que tu ne peut pas le connecter à des système de fichiers spécifiques pour HPC comme lustre.
Globalement avec Windows on ne peut strictement rien faire dans ce domaine. Mais si il offrait ces possibilités de customisation il serait je pense parfaitement utilisable.

[papy88140]

Je dirais même qu'avec un petit retour en arrière, on voit bien que Linux peut à peu près tout faire (sauf le café, en encore ...)
Genre un supercalculateur avec des consoles de jeu.

https://www.developpez.com/actu/3044...ee-americaine/

[SurferIX]

N'importe quel OS 64Bit est sensé savoir adresser 2^64 Octets de ram, soit 16 millions de tera octets de ram (18 446 744 073 709 551 616 Octets).

Je ne sais pas si certains data center on dépassé ça... A verifier, mais pour l'instant je pense que ce ne sont pas les OS qui limitent la gestion de cette masse de mémoire, mais plus le hardware. En particulier sur du cluster...
En admettant des serveurs de 10 slot de ram qui accueillent chacun des barrette de 1To de ram (ce qui n'est pas atteint il me semble), celà necessite encore 1,8 milions de serveurs différents à clusteriser pour adresser tout ça... le temps d'accès pour une machine sur le réseaux nécessairement loin va commencer à bien peser dans l'équation...

Tu as certainement raison, le discours est surtout de dire que c'est possible (pas forcément ultra efficace, mais possible). Et en terme d'efficacité, (temps d'envoi le boulot à faire + attente + réception du boulot fait) peut parfois être plus rentable que de tout calculer sur le même ordinateur (je suppose, mais je ne sais pas vraiment, j'ai jamais testé...).

Linux équipe 100 % du Top500 des meilleurs supercalculateurs au monde

Et dire que j'ai encore quelques étudiants qui ne comprennent pas l'intérêt de Linux... d'ailleurs il y en a pas mal qui n'ont pas du tout apprécié quand j'ai dit "pour le prochain cours NodeJS, Linux obligatoire vous vous débrouillez comme vous voulez, mais j'ai toujours, depuis 2 ans que je fais des cours NodeJS, au moins 1/4 des élèves (dans les 4 établissements où j'interviens), qui passent entre une et trois heures à réussir à installer NodeJS, à cause de cette daube de Windows, donc Linux = obligatoire pour les cours NodeJS"

..

Et à l'IUT j'ai adoré quand la prof de programmation réseau a sorti à tous les élèves pour qui ça faisait râler de se connecter sur Linux : "si vous ne voulez pas apprendre Linux dans le monde professionnel, laissez tout de suite tomber les études en informatiques !".

Linux devrait encore avoir de beaux jours devant lui sur le marché des supercalculateurs en attendant l’avènement des machines quantiques.

Pourquoi "en attendant l’avènement des machines quantiques", comme si à ce moment là, seulement Windows et Mac arriveront à gérer les machines quantiques ? Faut se renseigner sur IBM et les OS avec lesquels ils travaillent, hein...

[domi65]

Pourquoi "en attendant l’avènement des machines quantiques", comme si à ce moment là, seulement Windows et Mac arriveront à gérer les machines quantiques ?

Les machines quantiques ne reposeront ni sur Windows, ni sur MacOS ni sur Linux, mais d'autres OS qu'il reste à inventer. Linux perdra donc sa place.

[Jo6466]

Si Linux n’accompagne pas les machines de tout le monde c’est tout simplement parce que cette catégorie de personnes considère qu’un ordinateur doit servir son quotidien (web,jeux,tableur,photos,traitement de texte) sans avoir besoin de savoir comment «*ca fonctionne*» et sans avoir besoin de plonger son nez dans des lignes de codes ... comme parallèle, je dirai qu’un conducteur achete une voiture pour le conduire au boulot pas pour passer sa journée, la clé plate à la main

[Jipété]

je dirai qu’un conducteur achete une voiture pour le conduire au boulot pas pour passer sa journée, la clé plate à la main

D'accord mais tu oublies de préciser que le conducteur en question a quand même été formé à la conduite des automobiles, ne serait-ce qu'en préparant son permis de conduire.

Le pinpin dont tu parles :

[...] considère qu’un ordinateur doit servir son quotidien (web, jeux, tableur, photos, traitement de texte) sans avoir besoin de savoir comment « ça fonctionne » [...]

il peut aller dans n'importe quelle grande surface et repartir avec une machine de la mort qui tue sans rien y connaître du tout, la ramener à la maison, la démarrer et 5 minutes après, hop !, elle fait partie d'un botnet...

[...] et sans avoir besoin de plonger son nez dans des lignes de codes

Tu abuses, là, ce n'est pas tous les jours qu'on y farfouille, et c'est souvent juste par curiosité.

[Jo6466]

D'accord mais tu oublies de préciser que le conducteur en question a quand même été formé à la conduite des automobiles, ne serait-ce qu'en préparant son permis de conduire.
Je parle de la clé plate pour trifouiller ou réparer en permanence sa mécanique ... l'utilisateur lambda d'un ordinateur VEUT juste allumer son ordi, faire ce qu'il a affaire avec lui et puis l'éteindre ... qu'est-ce qu'il s'en fout de comment on règle les soupapes!

Le pinpin dont tu parles :

il peut aller dans n'importe quelle grande surface et repartir avec une machine de la mort qui tue sans rien y connaître du tout, la ramener à la maison, la démarrer et 5 minutes après, hop !, elle fait partie d'un botnet...
C'est exactement ce que font 90% des gens qui s'achètent un ordi personnel


Tu abuses, là, ce n'est pas tous les jours qu'on y farfouille, et c'est souvent juste par curiosité
Et les quelques jours où tu y farfouilles, la plupart des utilisateurs lambda ne veulent même pas les passer
.

[Pierre GIRARD]

Si Linux n’accompagne pas les machines de tout le monde c’est tout simplement parce que cette catégorie de personnes considère qu’un ordinateur doit servir son quotidien (web,jeux,tableur,photos,traitement de texte)

Je serais vraiment très étonné d'apprendre que Munich (pour citer un exemple récent) soit passé de Linux à Windows à cause des jeux. Quant aux supercalculateurs, ce ne sont effectivement pas les machines de tout le monde et je doute fort que leur utilisation ai quelque rapport que ce soit avec le jeux, pas plus que le WEB, les tableurs, les photos, ou le traitement de texte. Donc, réponse 100% hors sujet.

... et sans avoir besoin de plonger son nez dans des lignes de codes ...

Après 20 ans de Linux, je n'ai jamais mis le nez (ni rien d'autre) dans le code. D'ailleurs, en parlant de code, je n'ai jamais travaillé que :

• Sur mes propres applications
• Sur Delphi (ou Lazarus maintenant)
• Et sous Windows.

Et professionnellement, sous ksh ou bash dans le cadre de mon travail d'administrateur système. Sous Linux, j'ai pratiquement tout ce dont j'ai besoin sans même chercher à savoir comment ça marche et la ligne de commande, c'est pour gagner du temps dans certaines tâches (idem sous Windows d'ailleurs).

[Jipété]

--snip--

Tu m'as tout cité, n'importe comment, entrelardé de tes réponses en rouge, et tu as zappé la chose la plus importante de ma réponse, alors je la remets ici toute seule, pour voir si tu vas encore la zapper :

et 5 minutes après, hop !, elle [sa machine] fait partie d'un botnet...

[Jo6466]

Tu m'as tout cité, n'importe comment, entrelardé de tes réponses en rouge, et tu as zappé la chose la plus importante de ma réponse, alors je la remets ici toute seule, pour voir si tu vas encore la zapper :

Avez-vous réfléchit à pourquoi la plupart des gens achètent un ordinateur personnel? .... si vous pensez que c'est pour se prendre plus intelligent que son voisin qui n'en a pas, vous avez tout faux
Il y a ceusses qui se la roule des mécaniques parce qu'ils connaissent quelques termes et fonctions pointues et il y a des ceusses qui l'ont acquis pour simplement pour en faire vraiment quelque chose d'utile et que se se la pêter n'intéresse pas

Internet ou les jeux sont la chose qui motive tout nouveau jeune acheteur privé ... même les entreprises ne s'équipent que pour faire tourner des logiciels utiles à l'entreprise et rien d'autre

Alors Linux qui pourrait soit-disant laver plus blanc que blanc, tout le monde s'en balance ... ce qui importe chez l'acheteur aujourd'hui,c'est de ne pas se faire ch... (excusez l'expression) avec des messages d'erreurs et autres joyeuseries qui n'ont jamais été le but des fondateurs de l'informatique ... le mot PC exprime à mes yeux parfaitement l'esprit initial ce ceux-ci

Perso, je suis depuis quelques années chez Apple et je fais enfin ce qu'il me plait sans devoir me torcher les neurones avec cet anti-diluvien Windows et sa base de registre imbécile ... Un mac ça s'allume, s'utilise et puis s'éteint point barre

[Marco46]

Un mac ça s'allume, s'utilise et puis s'éteint point barre

Comme mon Ubuntu en fait

[Jo6466]

Comme mon Ubuntu en fait

Déjà que si tu prends n'importe quel utilisateur lambda et que tu lui balances "fait comme moi va chez Ubuntu" .... le mec te regardes et te demandes si "c'est un nouveau bar africain"
Et si tu lui expliques ce qu'est Ubuntu, il te répondra : "pourquoi prendrais-je Ubuntu? pour ce que je fais, windows ou Osx ne font-ils pas la même chose?"

Ca me fait marrer ceusses qui expliquent à grands renforts de termes techniques qu'il existe des OS libres et gratuits à des gens qui ont acheté leur PC clé sur porte et dont le seul intérêt est de consulter des mails et surfer sur internet,voire rédiger une lettre de temps à autre
Comme l'explique très bien l'article, ces OS sont destinés à des utilisations niches pour lesquelles il serait vain de demander à Bill ou Steve de modifier les leurs pour y répondre

[Marco46]

Déjà que si tu prends n'importe quel utilisateur lambda et que tu lui balances "fait comme moi va chez Ubuntu" .... le mec te regardes et te demandes si "c'est un nouveau bar africain"
Et si tu lui expliques ce qu'est Ubuntu, il te répondra : "pourquoi prendrais-je Ubuntu? pour ce que je fais, windows ou Osx ne font-ils pas la même chose?"

Tu leur parles de Linux, tout le monde connaît, et tu leur expliques que ça changera rien à leurs habitudes et que ça fonctionnera pendant des plombes avec très peu de maintenance (faut juste leur apprendre à se servir de l'IHM de téléchargement des mises à jours ça prend 5 mins) pour pas un rond et ils seront pas obligé de changer de machine tous les 3 ans ni de se faire escroquer par les vendeurs d'OS habituels aka MS et la Pomme.

Ma moman utilise un Ubuntu depuis presque 10 ans et croit le ou pas c'est toujours la même machine depuis 10 ans. Bon ça commence à ramer un peu mais il y a eu je sais plus combien de migration de versions d'Ubuntu en 10 ans il n'y a eu un problème de drivers nvidia qu'une seule fois qui a nécessité une intervention technique. En 10 ans ! Essaie d'obtenir le même résultat avec un windows ou un mac c'est simple c'est juste impossible.

Les gens n'utilisent pas les Linux non pas parce qu'ils ne savent pas faire, ils ne savent pas mieux installer un windows, mais simplement parce qu'ils pensent que c'est réservé aux geeks ce qui est faux.

Ca me fait marrer ceusses qui expliquent à grands renforts de termes techniques qu'il existe des OS libres et gratuits à des gens qui ont acheté leur PC clé sur porte et dont le seul intérêt est de consulter des mails et surfer sur internet,voire rédiger une lettre de temps à autre

Ben justement, si ton seul intérêt c'est un browser et un peu de filesystem pour décharger quelques photos / vidéos aucun intérêt d'aller mettre du pognon chez MS. Un Ubuntu tout bête fera parfaitement l'affaire.