IdentifiantMot de passe
Loading...
Mot de passe oublié ?Je m'inscris ! (gratuit)
Navigation

Inscrivez-vous gratuitement
pour pouvoir participer, suivre les réponses en temps réel, voter pour les messages, poser vos propres questions et recevoir la newsletter

  1. #1
    Chroniqueur Actualités

    Homme Profil pro
    Dirigeant
    Inscrit en
    Juin 2016
    Messages
    3 160
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : Bénin

    Informations professionnelles :
    Activité : Dirigeant
    Secteur : Aéronautique - Marine - Espace - Armement

    Informations forums :
    Inscription : Juin 2016
    Messages : 3 160
    Points : 66 256
    Points
    66 256
    Par défaut L'université de Kyoto, au Japon, perd 77 To de données de recherche à la suite d'une erreur de sauvegarde
    L'université de Kyoto, au Japon, perd 77 To de données de recherche à la suite d'une erreur de sauvegarde
    son superordinateur Hewlett-Packard les aurait effacées malencontreusement

    L'université de Kyoto, un institut de recherche de premier plan au Japon, a récemment perdu un grand nombre de travaux de recherche après que son superordinateur a accidentellement effacé 77 téraoctets de données au cours d'une procédure de sauvegarde de routine. L'incident s'est produit entre le 14 et le 16 décembre 2021, et a entraîné l'effacement de 34 millions de fichiers de 14 groupes de recherche du système et du fichier de sauvegarde.

    Selon les informations disponibles sur l'incident, l'université de Kyoto exploite des systèmes informatiques Hewlett-Packard Cray et un système de stockage DataDirect ExaScaler, qui peuvent être utilisés par des équipes de recherche à des fins diverses. Après avoir enquêté pour déterminer l'impact de la perte, l'université a conclu que le travail de quatre des groupes affectés ne pouvait plus être restauré. Pour l'instant, l'on ignore quels types de fichiers ont été spécifiquement supprimés ou ce qui a provoqué le dysfonctionnement.

    Nom : supercomputer.png
Affichages : 48913
Taille : 149,4 Ko

    Tous les utilisateurs concernés ont été informés individuellement de l'incident par courrier électronique, et l'université a par la suite publié sur son site Web les détails de ce malheureux incident. « Chers utilisateurs du service de calcul intensif ! Aujourd'hui, un bogue survenu dans le programme de sauvegarde du système de stockage a provoqué un incident dans lequel certains fichiers du stockage /LARGE0 ont été perdus. Nous avons cessé de traiter le problème, mais il est possible que nous ayons perdu près de 100 To de fichiers, et nous enquêtons sur l'étendue de l'impact », a écrit l'université de Kyoto dans un billet de blogue à la mi-décembre.

    À l'heure actuelle, le processus de sauvegarde a été arrêté. Pour éviter que la perte de données ne se reproduise, l'université a mis au rebut le système de sauvegarde et prévoit d'y apporter des améliorations et de le réintroduire au cours de ce mois. Il est également prévu de conserver des sauvegardes incrémentielles - qui couvrent les fichiers qui ont été modifiés depuis la dernière sauvegarde - en plus des miroirs de sauvegarde complète. « Nous continuerons à travailler pour éviter que cela ne se reproduise afin qu'une telle situation ne se reproduise plus à l'avenir. Merci de votre compréhension », a-t-elle déclaré dans un second billet fin décembre.

    Par ailleurs, bien que les détails du type de données perdues n'aient pas été révélés au public, la recherche sur les superordinateurs coûte plusieurs centaines de dollars par heure. Cet incident a donc dû causer de la détresse aux groupes concernés. L'université de Kyoto est considérée comme l'une des plus importantes institutions de recherche du Japon et bénéficie du deuxième plus grand investissement dans la recherche scientifique grâce aux subventions nationales. Selon certaines sources, l'excellence et l'importance de sa recherche se distinguent particulièrement dans le domaine de la chimie, où elle se classe au quatrième rang mondial.



    Dans le domaine des supercalculateurs, le Japon est en tête du peloton. Il possède actuellement le superordinateur le plus puissant du monde, appelé "Fugaku", exploité par le "Riken Center for Computational Science", à Kobe. Fugaku a été construit par Fujitsu en coopération avec l'institut RIKEN et écrase la concurrence avec une puissance maximale de calcul de 442 pétaflops (nombre d'opérations en virgule flottante par seconde), une capacité trois fois supérieure à celle du système numéro deux de la liste. Le deuxième de la liste mondiale est le "Summit" d'IBM, doté d'une capacité de calcul maximal de 148 pétaflops.

    La construction de Fugaku aurait coûté 1,2 milliard de dollars et il a été utilisé jusqu'à présent pour la recherche sur la Covid-19, le diagnostic, la thérapeutique et les simulations de propagation de virus. De son côté, le supercalculateur Jean Zay de la France, actuellement classé 105e dans le Top500, est récemment devenu le premier superordinateur qui peut fonctionner à la lumière, plutôt qu'au courant électrique. Jean Zay est le premier calculateur haute performance à disposer d'un coprocesseur photonique.

    Source : Communiqués de l'université de Kyoto (1, 2)

    Et vous ?

    Quel est votre avis sur le sujet ?

    Voir aussi

    Le supercalculateur Jean Zay de la France est maintenant le premier HPC qui peut fonctionner à la lumière, plutôt qu'au courant électrique

    Top500 : Fugaku reste le superordinateur le plus rapide du monde, Perlmutter fait son entrée et se positionne à la 5e place

    La France positionne un supercalculateur dans le TOP 15 mondial, fruit du partenariat entre CEA/DAM et Atos
    Contribuez au club : corrections, suggestions, critiques, ... Contactez le service news et Rédigez des actualités

  2. #2
    Expert confirmé
    Avatar de GLDavid
    Homme Profil pro
    Service Delivery Manager
    Inscrit en
    Janvier 2003
    Messages
    2 852
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Âge : 47
    Localisation : France, Seine Saint Denis (Île de France)

    Informations professionnelles :
    Activité : Service Delivery Manager
    Secteur : Industrie Pharmaceutique

    Informations forums :
    Inscription : Janvier 2003
    Messages : 2 852
    Points : 4 759
    Points
    4 759
    Par défaut
    Bonjour

    Dans ce cas, je m'étonne:
    1) qu'il n'y ait pas de mirroring
    2) ont-ils prévu un DRP (Disaster Recovery Plan)?
    77 To, outch!
    Donc, c'est un processus de sauvegarde? Aucune doc? Quelqu'un a t'il validé ce processus? Ca sent le script bricolé qui aurait mal tourné...

    @++
    GLDavid
    Consultez la FAQ Perl ainsi que mes cours de Perl.
    N'oubliez pas les balises code ni le tag

    Je ne répond à aucune question technique par MP.

  3. #3
    Invité
    Invité(e)
    Par défaut
    77 To, ça va vite sur les calculs scientifiques lourds. Donner un équivalent heures de calculs aurait été plus pertinent.

  4. #4
    Invité
    Invité(e)
    Par défaut
    Citation Envoyé par Jeff_67 Voir le message
    77 To, ça va vite sur les calculs scientifiques lourds. Donner un équivalent heures de calculs aurait été plus pertinent.
    certes, mais moins parlant pour les néophytes. idéalement il faudrait les deux...
    à choisir entre les deux, parler en taille de fichier me parait cependant plus approprié pour une news écrite pour le plus grand nombre.

  5. #5
    Membre à l'essai
    Homme Profil pro
    Ingénieur développement logiciels
    Inscrit en
    Septembre 2016
    Messages
    7
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Âge : 40
    Localisation : France, Sarthe (Pays de la Loire)

    Informations professionnelles :
    Activité : Ingénieur développement logiciels

    Informations forums :
    Inscription : Septembre 2016
    Messages : 7
    Points : 18
    Points
    18
    Par défaut
    À leur décharge, les scripts bash s'exécute ligne par ligne et si on modifie la ligne 35 alors que le backup, exécutée par cron, en est à la ligne 34 alors la nouvelle ligne de code sera prise en compte... Et ça c'est un gros gros piège.

    À noter qu'il est possible de forcer l'évaluation complète du script avec des accolades, mais ça ne prend pas en compte les appels à d'autres scripts.

  6. #6
    Membre expérimenté
    Homme Profil pro
    retraité
    Inscrit en
    Septembre 2014
    Messages
    605
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Paris (Île de France)

    Informations professionnelles :
    Activité : retraité

    Informations forums :
    Inscription : Septembre 2014
    Messages : 605
    Points : 1 446
    Points
    1 446
    Par défaut
    Citation Envoyé par Jeff_67 Voir le message
    77 To, ça va vite sur les calculs scientifiques lourds. Donner un équivalent heures de calculs aurait été plus pertinent.
    Toutes les heures de calcul ne se valent pas, c'est selon ce qui est calculé, qui peut être ou non fonction du volume de données. La volumétrie est un peu plus facile à apprécier.

  7. #7
    Membre expérimenté
    Homme Profil pro
    retraité
    Inscrit en
    Septembre 2014
    Messages
    605
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Paris (Île de France)

    Informations professionnelles :
    Activité : retraité

    Informations forums :
    Inscription : Septembre 2014
    Messages : 605
    Points : 1 446
    Points
    1 446
    Par défaut
    Citation Envoyé par yann.papouin Voir le message
    À leur décharge, les scripts bash s'exécute ligne par ligne et si on modifie la ligne 35 alors que le backup, exécutée par cron, en est à la ligne 34 alors la nouvelle ligne de code sera prise en compte... Et ça c'est un gros gros piège.

    À noter qu'il est possible de forcer l'évaluation complète du script avec des accolades, mais ça ne prend pas en compte les appels à d'autres scripts.
    Merci de l'information, je ne savais pas. Mais en général, on ne modifie pas un script qui tourne non plus. Il y a des procédures de tests, de validation, et de mise en production. Là, si ça se trouve, c'est un sabotage. Oh ! le vilain "complotiste" !!!

  8. #8
    Membre éclairé Avatar de Christian_B
    Homme Profil pro
    Retraité
    Inscrit en
    Octobre 2016
    Messages
    288
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Paris (Île de France)

    Informations professionnelles :
    Activité : Retraité

    Informations forums :
    Inscription : Octobre 2016
    Messages : 288
    Points : 679
    Points
    679
    Par défaut
    Moi ce qui m'effare c'est :
    Il est également prévu de conserver des sauvegardes incrémentielles
    Les administrateurs d'un gros site de recherches étaient-ils les seuls à ne pas avoir pensé à le faire, alors que tous les gens un peu organisés utilisent ce type de sauvegarde ?
    Mais on en sait peu, l'ensemble du système de sauvegarde n'est pas décrit même sommairement et on ne sait pas non plus quel volume total est conservée et donc quelle part des données est perdue.
    Linux Mint 21.3 Mate 1.26.
    Les armes nucléaires sont interdites depuis le 22 janvier 2021. Y a plus qu'à ...

Discussions similaires

  1. Ecole Privée D'informatique ou Université?
    Par beachboy dans le forum Etudes
    Réponses: 10
    Dernier message: 17/05/2005, 23h41
  2. [FLASH MX] L'export en swf perd du texte
    Par khayyam90 dans le forum Flash
    Réponses: 4
    Dernier message: 02/05/2005, 18h02
  3. [POURSUITE] Informatique via l'Université
    Par Loceka dans le forum Etudes
    Réponses: 6
    Dernier message: 01/02/2005, 09h28
  4. je m'y perd un peu dans tous ces plugin
    Par Stessy dans le forum Eclipse Java
    Réponses: 7
    Dernier message: 30/09/2003, 23h33

Partager

Partager
  • Envoyer la discussion sur Viadeo
  • Envoyer la discussion sur Twitter
  • Envoyer la discussion sur Google
  • Envoyer la discussion sur Facebook
  • Envoyer la discussion sur Digg
  • Envoyer la discussion sur Delicious
  • Envoyer la discussion sur MySpace
  • Envoyer la discussion sur Yahoo