+ Répondre à la discussion Actualité déjà publiée
  1. #1
    Chroniqueur Actualités

    Homme Profil pro
    Webmaster
    Inscrit en
    janvier 2014
    Messages
    754
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : Côte d'Ivoire

    Informations professionnelles :
    Activité : Webmaster
    Secteur : High Tech - Éditeur de logiciels

    Informations forums :
    Inscription : janvier 2014
    Messages : 754
    Points : 17 445
    Points
    17 445

    Par défaut BitsCope conçoit un superordinateur avec 750 cartes Raspberry Pi

    BitsCope conçoit un superordinateur avec 750 cartes Raspberry Pi
    et ouvre ainsi une nouvelle porte dans le champ des possibilités offertes par ces cartes

    Depuis l’apparition des cartes Raspberry Pi, toutes sortes de projets ont vu le jour sur la toile. Sur la liste des projets mis en œuvre par les détenteurs de ces cartes, nous avons par exemple le développement de talkie-walkie, la conception de caméras, la mise en œuvre de média centre, la création de robots ou encore un miroir « magique » intégrant une interface de communication.


    Bien que les possibilités offertes par ces cartes ne semblent limitées que par l’imagination de leurs créateurs, il est toutefois un domaine où ces cartes ne semblent pas avoir encore été bien utilisées. C’est celui des superordinateurs.

    En général, lorsque vous avez besoin de puissance de calcul dans un matériel, soit vous ajoutez un processeur plus puissant, soit vous combinez plusieurs processeurs. Et pour ce qui concerne les superordinateurs, c’est la dernière solution qui est généralement utilisée.

    Aussi, lorsque le laboratoire Los Alamos National a souhaité concevoir un superordinateur, pour permettre à ses développeurs de concevoir et tester des logiciels sur des ordinateurs de haute performance, l’entité était limitée par certains facteurs comme les moyens financiers. Il faut préciser qu’avec les superordinateurs, les coûts peuvent partir de dizaines de millions de dollars à des milliards de dollars pour les plus véloces. En plus d’être chers, ils sont également assez imposants et très énergivores.

    En réfléchissant à comment concilier les différentes contraintes, à savoir mettre en œuvre des appareils de haute performance à moindres coûts, Gary Grider, chef de la Division informatique haute performance du Los Alamos National Laboratory, a « soudainement réalisé que le Raspberry Pi était un ordinateur peu coûteux utilisant 2 à 3 watts que vous pouviez utiliser pour construire un système de plusieurs milliers de nœuds assez grands pour fournir un banc d’essai à faible coût et de faible puissance. »

    Los Alamos National Laboratory a donc porté son dévolu sur les cartes Raspberry Pi. Techniquement, les cartes Raspberry Pi offrent des puissances de calcul relativement faibles avec leur processeur ARM. Mais ce qui fait l’attrait de ces cartes, c’est qu’elles sont de petite taille, permettant ainsi de les adapter à souhait ou de les intégrer à d’autres supports. En outre, elles sont moins chères et ont une consommation énergétique très basse.

    Et pour construire le supercalculateur, Los Alamos National Laboratory s’est tourné vers l’entreprise australienne bitsCope qui conçoit des solutions embarquées d’acquisition de données, de mesure et de tests pour la recherche, l’éducation et l’industrie. Bruce Tulloch, PDG de bitscope, qui a déjà eu à tester ces cartes déclare qu’ayant « travaillé avec Raspberry Pi pendant un certain temps, je l’ai longtemps considéré comme le candidat idéal pour construire des solutions cloud et cluster à faible coût pour la recherche et l’éducation. »

    Après avoir planché sur les exigences de Los Alamos National Laboratory pendant trois mois, bitsCope a sorti un superordinateur composé de « cinq modules Cluster Pi montés en rack, chacun comportant 150 nœuds à quatre cœurs sur des cartes de processeurs ARM pour Raspberry Pi. Elles sont entièrement intégrées à l’infrastructure de commutation de réseau avec un total de 750 CPU ou 3 000 cœurs travaillant ensemble. »

    Bien évidemment, le cluster Raspberry Pi conçu ne pourra pas remplacer le plus petit superordinateur figurant dans la liste du top 500 des supercalculateurs les plus performants au monde. Mais comme l’indique Grider, cette solution basée sur Raspberry Pi permettra « à ses développeurs de construire, de dimensionner et de tester des logiciels avant de les lancer sur Trinity, Crossroads et d’autres grands systèmes. »

    Il faut souligner que si le cluster avait été construit avec d’autres composants, il aurait coûté un quart de milliard de dollars et utiliserait 25 mégawatts d’électricité, note Los Alamos. Avec cette nouvelle application trouvée aux cartes Raspberry Pi, l’on se demande quel projet pourrait limiter ces cartes.

    Source : Los Alamos National Laboratory, BitsCope

    Et vous ?

    Utilisez-vous les cartes Raspberry Pi ?

    Quel projet avez-vous conçu avec ces cartes ?

    Voir aussi

    Le Raspberry Pi fête ses 5 ans avec un nouveau modèle : Le Raspberry Pi Zero W, disponible à 10 $
    La fondation Raspberry Pi lance le Compute Module 3, la dernière version du module Raspberry Pi destiné à être intégré dans d'autres produits
    Le Raspberry Pi enregistre 12,5 millions de ventes en 5 ans, quelle place dans l'écosystème des ordinateurs sur le long terme ?
    Contribuez au club : Corrections, suggestions, critiques, ... : Contactez le service news et Rédigez des actualités

  2. #2
    Expert éminent
    Avatar de transgohan
    Homme Profil pro
    Développeur Temps réel Embarqué
    Inscrit en
    janvier 2011
    Messages
    2 319
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Maine et Loire (Pays de la Loire)

    Informations professionnelles :
    Activité : Développeur Temps réel Embarqué

    Informations forums :
    Inscription : janvier 2011
    Messages : 2 319
    Points : 6 398
    Points
    6 398

    Par défaut

    Intéressant comme résultat.
    Toujours se souvenir que la majorité des ennuis viennent de l'espace occupé entre la chaise et l'écran de l'ordinateur.

  3. #3
    Inactif
    Femme Profil pro
    Administrateur de base de données
    Inscrit en
    novembre 2017
    Messages
    64
    Détails du profil
    Informations personnelles :
    Sexe : Femme
    Âge : 29
    Localisation : France, Landes (Aquitaine)

    Informations professionnelles :
    Activité : Administrateur de base de données
    Secteur : Aéronautique - Marine - Espace - Armement

    Informations forums :
    Inscription : novembre 2017
    Messages : 64
    Points : 0
    Points
    0

    Par défaut

    n'importe quoi.
    J’imagine même pas la latence de l’Ethernet.

    Si infiniband existe c'est qu'il y'a une raison.Avec de l'e'thernet tous ce qu'ils ferons n'aura aucune valeur, mème d'expérimentation car cela fausse complètement tous.
    Quand on a pas de tune on se lance dans des recherches plus modeste a sa portée.

  4. #4
    Membre actif
    Profil pro
    Inscrit en
    juin 2006
    Messages
    111
    Détails du profil
    Informations personnelles :
    Localisation : France

    Informations forums :
    Inscription : juin 2006
    Messages : 111
    Points : 256
    Points
    256

    Par défaut

    @ilapasle25 : T'as pas tout a fait compris l'objectif de ce «super calculateur». Ce n'est absolument pas d'exploiter sa puissance de calcul, mais de servir de banc de test/calibrage/affinage des programmes écrits qui devront être exécuter sur de vrai système qui facture leur temps d'utilisation très cher. Et si on devait se limiter a faire des «petites» recherche car on a pas d'€€€ on en serais pas là aujourd'hui et toi tu ne pourrais pas écrire ton commentaire sur le monstre de puissance que tu utilise.

  5. #5
    Inactif
    Femme Profil pro
    Administrateur de base de données
    Inscrit en
    novembre 2017
    Messages
    64
    Détails du profil
    Informations personnelles :
    Sexe : Femme
    Âge : 29
    Localisation : France, Landes (Aquitaine)

    Informations professionnelles :
    Activité : Administrateur de base de données
    Secteur : Aéronautique - Marine - Espace - Armement

    Informations forums :
    Inscription : novembre 2017
    Messages : 64
    Points : 0
    Points
    0

    Par défaut

    sauf que l'ethernet rend ces tests compétement faussé et donc invalide/incomparable avec une vrai machine. Tu ne pourra rien en tirer de tes tests/ùesures et ils s'en rendrons tres vite compte et quelqu'un postera sur instagram cette chose dans une décharge.

  6. #6
    Membre du Club
    Homme Profil pro
    Administrateur systèmes et réseaux
    Inscrit en
    juin 2017
    Messages
    13
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Deux Sèvres (Poitou Charente)

    Informations professionnelles :
    Activité : Administrateur systèmes et réseaux
    Secteur : High Tech - Produits et services télécom et Internet

    Informations forums :
    Inscription : juin 2017
    Messages : 13
    Points : 44
    Points
    44

    Par défaut

    le but ici je pense n'est pas de tester les performances de leurs logiciels mais comment un supercalculateurs avec plusieurs milliers de nœud réagis à leurs programme , et même si avec ethernet les résultat ne seront pas les même qu'avec infiniband sa leurs permettra surement de leurs donné une idée des performances de leurs programmes , l'utilisation d'ethernet ralentie le processus et augmente le nombre d'erreurs mais sur plusieurs dizaines voir centaines de test tu peux commencez à calculer la marge d'erreur que tu as avec ethernet et donc tu peux te faire une idée des performances de ton programme sur un vrai supercalculateurs je dit bien une "idée" c'est toujours mieux que d'y allez à l'aveugle.

  7. #7
    Inactif
    Femme Profil pro
    Administrateur de base de données
    Inscrit en
    novembre 2017
    Messages
    64
    Détails du profil
    Informations personnelles :
    Sexe : Femme
    Âge : 29
    Localisation : France, Landes (Aquitaine)

    Informations professionnelles :
    Activité : Administrateur de base de données
    Secteur : Aéronautique - Marine - Espace - Armement

    Informations forums :
    Inscription : novembre 2017
    Messages : 64
    Points : 0
    Points
    0

    Par défaut

    ce n'est pas de la performance que je parle !
    Mais des algorithmes du Scheduler qui sont complètement pas adapté a l’Ethernet.
    Leurs machine fera n'importe quoi.

  8. #8
    Membre du Club
    Homme Profil pro
    Administrateur systèmes et réseaux
    Inscrit en
    juin 2017
    Messages
    13
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Deux Sèvres (Poitou Charente)

    Informations professionnelles :
    Activité : Administrateur systèmes et réseaux
    Secteur : High Tech - Produits et services télécom et Internet

    Informations forums :
    Inscription : juin 2017
    Messages : 13
    Points : 44
    Points
    44

    Par défaut

    je pense qu'il sont pas complètement teubé et qu'il utilisent des algorithme adapté aux capacité de leur machines .
    il ont un minimum étudié les truc en amont j’espère.

  9. #9
    Expert éminent
    Avatar de transgohan
    Homme Profil pro
    Développeur Temps réel Embarqué
    Inscrit en
    janvier 2011
    Messages
    2 319
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Maine et Loire (Pays de la Loire)

    Informations professionnelles :
    Activité : Développeur Temps réel Embarqué

    Informations forums :
    Inscription : janvier 2011
    Messages : 2 319
    Points : 6 398
    Points
    6 398

    Par défaut

    Citation Envoyé par ilapasle25 Voir le message
    ce n'est pas de la performance que je parle !
    Mais des algorithmes du Scheduler qui sont complètement pas adapté a l’Ethernet.
    Leurs machine fera n'importe quoi.
    Des communications ethernet à la place de lien série pour communiquer entre plusieurs processeurs cela se fait depuis très longtemps en embarqué...

    De plus on ne schédule pas des traitements entre divers processeurs comme on le ferrai avec des tâches sur un processeur, on les distribue ce qui est totalement différent...
    Tu ne connais visiblement rien au domaine.
    Toujours se souvenir que la majorité des ennuis viennent de l'espace occupé entre la chaise et l'écran de l'ordinateur.

  10. #10
    Inactif
    Femme Profil pro
    Administrateur de base de données
    Inscrit en
    novembre 2017
    Messages
    64
    Détails du profil
    Informations personnelles :
    Sexe : Femme
    Âge : 29
    Localisation : France, Landes (Aquitaine)

    Informations professionnelles :
    Activité : Administrateur de base de données
    Secteur : Aéronautique - Marine - Espace - Armement

    Informations forums :
    Inscription : novembre 2017
    Messages : 64
    Points : 0
    Points
    0

    Par défaut

    toi tu ne connais pas le sujet car cela s'appelle bien un....scheduler justement comme je le disait.
    tu as torque par exemple http://www.adaptivecomputing.com/pro...source/torque/

    avant de balancer ta désinformation renseigne toi bien la prochaine fois.

  11. #11
    Expert éminent
    Avatar de transgohan
    Homme Profil pro
    Développeur Temps réel Embarqué
    Inscrit en
    janvier 2011
    Messages
    2 319
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Maine et Loire (Pays de la Loire)

    Informations professionnelles :
    Activité : Développeur Temps réel Embarqué

    Informations forums :
    Inscription : janvier 2011
    Messages : 2 319
    Points : 6 398
    Points
    6 398

    Par défaut

    C'est un sérieux abus de langage justement...
    On n'ordonnance pas des processeurs, on leur distribue des traitements.

    Et au passage : Terascale Open-source Resource and QUEue Manager est un DRMS (distributed ressource management system), ce n'est pas vraiment un scheduler justement.
    Par abus de langage beaucoup l'appelerons un job scheduler mais c'est foncièrement différent d'un ordonnanceur de tâches.

    Bref un scheduler cela ordonne des tâches sans se soucier du résultat, alors qu'un DRMS cela distribue des tâches sur des ressources et en récupère le résultat.

    Vois le DRMS comme un scheduler évolué si ça peut te faire plaisir...
    Mais c'est comme dire qu'un camion 3.5T c'est une voiture.
    Toujours se souvenir que la majorité des ennuis viennent de l'espace occupé entre la chaise et l'écran de l'ordinateur.

  12. #12
    Inactif
    Femme Profil pro
    Administrateur de base de données
    Inscrit en
    novembre 2017
    Messages
    64
    Détails du profil
    Informations personnelles :
    Sexe : Femme
    Âge : 29
    Localisation : France, Landes (Aquitaine)

    Informations professionnelles :
    Activité : Administrateur de base de données
    Secteur : Aéronautique - Marine - Espace - Armement

    Informations forums :
    Inscription : novembre 2017
    Messages : 64
    Points : 0
    Points
    0

    Par défaut

    oui mais cela ne change rien au fait, cela s’appelle bien ordonnanceur.
    même chose avec slurm, c'est bien écrit Slurm Scheduling https://slurm.schedmd.com/

  13. #13
    Expert éminent
    Avatar de transgohan
    Homme Profil pro
    Développeur Temps réel Embarqué
    Inscrit en
    janvier 2011
    Messages
    2 319
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Maine et Loire (Pays de la Loire)

    Informations professionnelles :
    Activité : Développeur Temps réel Embarqué

    Informations forums :
    Inscription : janvier 2011
    Messages : 2 319
    Points : 6 398
    Points
    6 398

    Par défaut

    Tu coupes encore en deux pour ne garder que la partie qui t'intéresses...
    Slurm is an open source, fault-tolerant, and highly scalable cluster management and job scheduling system for large and small Linux clusters.
    Toujours se souvenir que la majorité des ennuis viennent de l'espace occupé entre la chaise et l'écran de l'ordinateur.

  14. #14
    Provisoirement toléré Avatar de MikeRowSoft
    Homme Profil pro
    sans profession ou en recherche d'emploi
    Inscrit en
    avril 2013
    Messages
    1 297
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Âge : 39
    Localisation : France, Puy de Dôme (Auvergne)

    Informations professionnelles :
    Activité : sans profession ou en recherche d'emploi

    Informations forums :
    Inscription : avril 2013
    Messages : 1 297
    Points : 164
    Points
    164

    Par défaut

    C'est vrai que mes souvenirs de M.P.I. date, mais c'est bien du distribué et non du "chef d'orchestre" puisque chaque thread/application chargé sur chaque "calculateurs" à la marche à suivre de tous (ou son groupe) et les délais de tous (ou son groupe) pour une meilleure synchro...

    En fait le bus Ethernet ne fait pas de chaque "calculateur" un registre de CPU et donc avoir une gestion multi threads façon système d'exploitation... Le distribué est principalement des échanges d'informations entre participants pour finir par ériger la "pyramide" avec au sommet la ou les solutions finals.

    Fibre optique pour réduire la latence ?

  15. #15
    Membre averti
    Profil pro
    Inscrit en
    juillet 2008
    Messages
    131
    Détails du profil
    Informations personnelles :
    Localisation : France, Ille et Vilaine (Bretagne)

    Informations forums :
    Inscription : juillet 2008
    Messages : 131
    Points : 331
    Points
    331

    Par défaut Micro cluster

    ça me fait toujours rigoler les gars qui arrivent et qui disent "ça ne marchera jamais". donc je vais faire un petit rappel historique. Le premier cluster Linux dont on a entendu parler, c'était beowulf. C'était avec des 486DX4-100 avec des cartes éthernet en 10base2, celui avec un média partagé sur un câble coaxial. à l'époque, rien de tel n'existait et je ne doute pas que des grands yaka chez cray, ibm, hp, sun, etc ont bien rigolé à l'époque devant ce cluster motorisé par un freeware et monté avec du matériel réformé. Et nous voilà, 20 ans après, avec le top100 motorisé à 100% Linux. Alors monter un cluster avec des RPI pour vérifier que le programme distribue bien sur tous les noeuds et que ça ne bloque pas sur 1 plus chargé que les autres, c'est une bonne idée. C'est en tout cas une meilleure idée que de ne rien faire. L'autre solution aurait été de faire comme pour beowulf, récupérer dans le stock un lot de vieilles machines, mettre un scientific linux dessus, un switch gigabit entre elles, et consommer un peu de courant en plus.
    https://fr.wikipedia.org/wiki/Cluster_Beowulf
    De mon coté j'ai une maquette pour valider le projet sur lequel je travaille. évidemment, ce n'est pas avec les 5 VM sur la maquette que je vais pouvoir extrapoler les mesures de vitesse vers la production avec ses 5000 clients, et les 22 serveurs de mon projet. Par contre, je peux tester que la stratégie B de stockage des archives libère 40% d'espace en plus que la stratégie A, et c'est vérifié en production. Et si je n'ai pas de comparaison possible en valeur absolue, je peux tout de même tester que la méthode de transfert B entre serveurs est beaucoup plus rapide que la méthode A (au minimum 2 fois plus rapide sur la maquette), et c'est vérifié en production avec un gain en vitesse d'un facteur 3.
    Sans maquette, ces tests ne sont tout simplement pas possibles et il ne faut pas prendre ce cluster de RPi pour autre chose que ce qu'il est : une maquette.
    J'ai étudié l'électronique dans ma jeunesse et il y a 2 méthodes identifiables : synchrones et asynchrones. En synchrone, il est obligatoire d'accorder la chaîne de traitement à la vitesse du maillon le plus lent. Et donc, du temps est perdu. En asynchrone, la distribution se fait avec des indicateurs "j'ai terminé". J'espère juste que leur scheduler est asynchrone pour se caler avec toutes les latences induites par la chaîne de traitement.

  16. #16
    Inactif
    Femme Profil pro
    Administrateur de base de données
    Inscrit en
    novembre 2017
    Messages
    64
    Détails du profil
    Informations personnelles :
    Sexe : Femme
    Âge : 29
    Localisation : France, Landes (Aquitaine)

    Informations professionnelles :
    Activité : Administrateur de base de données
    Secteur : Aéronautique - Marine - Espace - Armement

    Informations forums :
    Inscription : novembre 2017
    Messages : 64
    Points : 0
    Points
    0

    Par défaut

    Citation Envoyé par MikeRowSoft Voir le message
    C'est vrai que mes souvenirs de M.P.I. date, mais c'est bien du distribué et non du "chef d'orchestre" puisque chaque thread/application chargé sur chaque "calculateurs" à la marche à suivre de tous (ou son groupe) et les délais de tous (ou son groupe) pour une meilleure synchro...

    En fait le bus Ethernet ne fait pas de chaque "calculateur" un registre de CPU et donc avoir une gestion multi threads façon système d'exploitation... Le distribué est principalement des échanges d'informations entre participants pour finir par ériger la "pyramide" avec au sommet la ou les solutions finals.

    Fibre optique pour réduire la latence ?
    Yes

Discussions similaires

  1. Réponses: 2
    Dernier message: 11/02/2017, 21h49
  2. Réponses: 33
    Dernier message: 30/03/2004, 17h09
  3. construire 1 gateway avec 1 carte réseaux sous débian
    Par regular dans le forum Développement
    Réponses: 4
    Dernier message: 28/08/2003, 02h05

Partager

Partager
  • Envoyer la discussion sur Viadeo
  • Envoyer la discussion sur Twitter
  • Envoyer la discussion sur Google
  • Envoyer la discussion sur Facebook
  • Envoyer la discussion sur Digg
  • Envoyer la discussion sur Delicious
  • Envoyer la discussion sur MySpace
  • Envoyer la discussion sur Yahoo