Discussion :

[Coriolan]

Une mégapanne frappe à nouveau l'hébergeur Internet OVH
Suite à la perte d'alimentation électrique, des milliers de sites ont été mis hors ligne

Ce matin, l’hébergeur Roubaix OVH a connu une panne de grande envergure suite à une coupure électrique géante qui a affecté deux de ses datacenters à Strasbourg. En conséquence, plusieurs sites Internet hébergés par l’entreprise sont devenus inaccessibles.

Octave Klaba , PDG d’OVH a annoncé sur Twitter que les deux datacenters strasbourgeois (SGB1 et SGB4) sont tombés en panne après que leurs deux arrivées électriques sont tombées. Apparemment, les deux groupes électrogènes censés pallier ce genre d’ennuis n’ont pas fonctionné puisqu’ils « se sont mis en défaut ». En conséquence, l’alimentation a été coupée sur la salle de routage.

De plus, le réseau optique qui relie deux autres datacenters et par lequel transite un très grand nombre de données a également fait défaut, a informé Klaba sans toutefois indiquer les raisons d'une telle panne, ni si les deux événements étaient liés. Le PDG de l’entreprise a fait savoir également que tous les points optiques 100 Gb/s dans la région Europe ont cessé de fonctionner. Le réseau optique qui se charge de transporter les données entre les différents centres de données de l'entreprise a été donc down, affectant plusieurs liaisons et paralysant les connexions.

Sur Twitter, plusieurs personnes ont rapporté avoir été affectées par cette panne, à savoir que même le site web de l'hébergeur a été inaccessible cette matinée.

Ocatave Klaba à travers une série de tweets a informé que ses équipes travaillent pour rétablir la situation à la normale, notamment en essayant de redémarrer ses deux groupes électrogènes le temps que la panne électrique soit réparée et les liens en fibre optique partant de Roubaix soient restaurés.

OVH est le premier hébergeur européen spécialisé dans l’hébergement de site et d’autres services de cloud. La société qui revendique plus d’un million de clients dans le monde a dû faire face en juin dernier à une autre panne qui a paralysé des serveurs dans l’un de ses datacenters pendant plusieurs heures.

Source : Le Figaro

Et vous ?

Avez-vous été affectés par cette panne ?

Voir aussi :

Panne OVH : l'hébergeur Web revient sur le dernier incident avec plus de détails

[Chuck_Norris]

Les serveurs situés à Roubaix ou Strasbourg ont été hors ligne toute la matinée. Ceux de Roubaix sont revenus à partir de 10h30, l'heure exacte dépendant du datacenter précis. Ceux de Strasbourg semblaient toujours hors ligne à midi suivant un retour qu'on m'a fait.

Les serveurs affectés n'ont pas rebooté, ce qui prouve bien qu'OVH n'a pas menti, le problème vient bien de la connexion réseau, pas les serveurs eux-même ou leur datacenter.

[toutwd]

Mon site est hébergé chez OVH, j'ai donc été impacté ce matin.
J'ai fait les 3/4 de ma carrière professionnel dans la maintenance chaud/froid/multi-services et il est pour moi absolument aberrent qu'une société de premier plan dans un secteur stratégique puisse "tomber" en panne de courant.
L’explication première de Mr KLAKA est dénuer de professionnalisme, dire "Nous avons un souci d'alimentation..." quant les groupes électrogène n'ont pas assurer le relais de la carence d'EDF est incompréhensible de la part du PDG.
C'est quoi cette explication à deux balles...
Cette panne n'est pas la conséquence d'une tempête, d'un ouragan ou d'un élément météo hors de contrôle c'est une SIMPLE RUPTURE de service d'EDF presque prévisible dont les conséquences ne doit pas être ni mutualisée ni sociabilisée et encore moins minimisées.
Je dirais à Mr KLAKA qu'il est urgent au maintien de la pérennité de son leadership en France de revoir ces contras de maintenances et d'y adjoindre une GARANTIE DE RÉSULTAT sans quoi...

[tomyum]

Il n'y a pas mort d'homme, notre société héberge plusieurs sites et applications chez OVH et nous avons aussi été impacté. Tous les professionnels à un moment ou un autre sont confrontés à un imprévu qui endommage la qualité de service envers ses clients et ce, quelles que soient les mesures prises pour y palier en amont, c'est le côté facteur humain. L'important c'est de communiquer rapidement et de se bouger pour résoudre le problème au plus vite ce qui a été fait chez OVH, et donc merci à eux.

[Drolls]

Je travaille dans une usine, nous utilisons un ERP en ligne hébergé chez... OVH !

Non seulement notre site n'est plus accessible, mais de plus nous ne pouvons plus envoyer ni recevoir de mails, nos clients ne peuvent être informés que par téléphone, et surtout la production est à l'arrêt. Un de nos serveurs à Strasbourg n'est pas reparti, l'usine va fermer d'ici quelques heures le temps que tout revienne à la normale, nous sommes au chômage technique. Tout aurait dû être remis en route hier en fin d'après midi d'après les informations de Klaba, apparemment il y a encore quelques soucis...

[ManyTwo]

C'est vrai que c'est potentiellement très impactant pour certains (des clients à nous ont choisis d'être hébergés, tout leur SI était indisponible).

Mais malheureusement, se sont des choses qui peuvent arriver. Je pense que le niveau de qualification chez OVH est plutôt élevé, et des enchainements de défaillances ca peut arriver même aux meilleurs, n'en déplaise à toutwd. Faut être de mauvaise fois pour dire le contraire.

Malheureusement beaucoup de personnes partent du principe que ces infrastructures sont infaillibles. Si c'est un système critique que vous hébergez dans le cloud, il faut calculer si l'indisponibilité de votre SI pendant une journée ou deux et "plus rentable" que de payer une redondance chez un autre hébergeur, ou en local en dégradé par exemple.

Drolls, je ne sais pas si votre usine est "grosse" et productive, mai_s certains de nos clients préfèrent subir une indispo temporaire, qui a peu de chance d'arriver sur une grande durée et régulièrement, que de voir leurs contrats doublés.

[jbyvosges]

Bonjour. J'ai 5 sites hébergés chez OVH, plus un Cloud perso. J'ai été assez énervé par cette panne, ne sachant pas, au départ, que c'était une panne chez OVH. Lorsque j'ai vu que même leurs sites étaient inaccessibles, je me suis bien douté que ça venait de chez eux et j'ai pris mon mal en patience. Je me suis informé et, au vu de l'étendue du désastre, j'ai trouvé que le rétablissement a été assez rapide. Bien sûr, j'aurais préféré qu'il n'y ait pas de panne, mais j'ai eu une pensée pour Octave Klaba et son équipe qui ont du avoir des sueurs ...

[nyakoumo]

Ceci m'a bien fais rire car je pense qu'en faites, c'est une panne de réseau et si oui, la faute n'est pas EDF qui n'est qu'un fournisseur mais à ENEDIS (ex: ERDF) qui est le distributeur. Il faut bien faire la différence entre les deux entités. Travaillant chez ENEDIS, je peux vous le dire EDF et ENEDIS sont deux entités bien distinct, il ne faut pas les confondre. La relation a ENEDIS avec tout les fournisseurs sont les mêmes, nous ne faisons pas de favoritisme, c'est dans nous 6 engagements.

J'espère vous avoir appris quelque chose !

[Bubu017]

Je n'ai rien compris à ta dernière phrase.

Sinon, à mon avis OVH va demander à son fournisseur de groupe électrogène de tous les vérifier.

[toutwd]

C'est vrai que c'est potentiellement très impactant pour certains (des clients à nous ont choisis d'être hébergés, tout leur SI était indisponible).

Mais malheureusement, se sont des choses qui peuvent arriver. Je pense que le niveau de qualification chez OVH est plutôt élevé, et des enchainements de défaillances ca peut arriver même aux meilleurs, n'en déplaise à toutwd. Faut être de mauvaise fois pour dire le contraire.

Malheureusement beaucoup de personnes partent du principe que ces infrastructures sont infaillibles. Si c'est un système critique que vous hébergez dans le cloud, il faut calculer si l'indisponibilité de votre SI pendant une journée ou deux et "plus rentable" que de payer une redondance chez un autre hébergeur, ou en local en dégradé par exemple.

Drolls, je ne sais pas si votre usine est "grosse" et productive, mai_s certains de nos clients préfèrent subir une indispo temporaire, qui a peu de chance d'arriver sur une grande durée et régulièrement, que de voir leurs contrats doublés.

Je confirme et s'enfonce le clou car si j'ai bien compris, ce n'est pas une panne informatique serveurs mais juste l'absence de maîtrise des sources d'énergies, certains pays partent en guerre pour ça...
Qu'il me plaise ou qu'il me déplaise c'est pas l'objet, moi je dresse un constat en tant que client d'OVH.
OVH doit la continuité de service à ses clients, c'est propre à tous les prestataires de services, toutes autres explications reste blabla ou de la com, seul compte le résultat.
Il n'est pas respectueux envers ses clients de vouloir minimiser une rupture de service prolongée et donc pénalisante en la nommant gentiment "souci", moi mon site web me fait vivre...
Tout le monde sait d'EDF ne garantie pas à 100 % la fourniture d'électricité, les groupes électrogène assurent cette carence, EDF elle même en installe en cas rupture persistante, mais les leurs démarrent...
Vous pensez peut-être que la réponse faite sur Twitter par Mr KLABA serait acceptable par un responsable d’exploitation d'un service énergie d'un hôpital ou les blocs opératoires seraient plongés dans le noir
plusieurs heures, de même pour des ascenseurs bloqués, c'est du grand n’importe quoi.
Moi en tant que PDG, je convoquerait sur le champ la société en charge des groupes électrogène pour lui signifier la rupture du contrat qui nous lie pour "défaillance grave".
A l'heure ou le numérique est présent dans tous les secteurs sensibles, défense, énergie, renseignement, vous trouvez cette défaillance normale vous...

[Desboys]

Bonjour,

pour répondre aux détracteurs, impactés ou non, il faut ne pas oublier une chose importante: cette panne peut arriver à tous, qu'on héberge son infrastructure chez soi ou en extérieur. Vérifiez vos contrats, et notamment les niveaux de services engagés ( typiquement nommé SLA ), pour vérifier s'il y a rupture des termes sur ce point.

En tant qu'architecte solution, une panne ou une erreur ne doit jamais être exclue, quand bien même le service soit managé par un intervenant tiers. Ca doit faire au moins l'objet d'un risque identifié, avec, s'il est décidé d'y apporter une solution palliative, une stratégie de reprise d'activité.

Lorsque tout va bien, on a tendance à oublier cette épée de Damoclès... jusqu'au jour où elle arrive. Et généralement, ça s'enchaîne en cascade avec d'autres.

Bon courage à ceux qui ont été lourdement impactés, et bravo à OVH pour être assez transparent pour rapporter cet incident et remonter le service aussi rapidement.

Sébastien

[Invité]

A l'heure ou le numérique est présent dans tous les secteurs sensibles, défense, énergie, renseignement, vous trouvez cette défaillance normale vous...

En fait, oui.
Un système infaillible ça n'existe pas. Ce qui n'est pas normal c'est mettre du numérique partout et de prétendre que l'infrastrure matérielle est le problème du prestataire, qui doit être infaillible, bon marché, écologique, soigner le cancer et lutter contre la faim dans le monde.

[Stéphane le calme]

Panne OVH : l'hébergeur revient sur le dernier incident qu'il a connu
avec plus de détails

Le 9 novembre dernier, l’hébergeur OVH a connu une panne de grande envergure suite à une coupure électrique qui a affecté deux de ses datacenters à Strasbourg. En conséquence, plusieurs sites Internet hébergés par l’entreprise sont devenus inaccessibles.

Dans un premier temps, Octave Klaba , PDG d’OVH a annoncé sur Twitter que les deux datacenters strasbourgeois (SGB1 et SGB4) sont tombés en panne après que leurs deux arrivées électriques sont tombées. Apparemment, les deux groupes électrogènes censés pallier ce genre d’ennuis n’ont pas fonctionné puisqu’ils « se sont mis en défaut ». En conséquence, l’alimentation a été coupée sur la salle de routage.

Par la suite, l’entreprise a mené son enquête et Klaba a partagé les résultats de celle-ci. Il a commencé par parler de l’architecture du site SBG. « Le site SBG est alimenté par une ligne de 20 kV composée de deux câbles délivrant chacun 10 MVA. Les deux câbles fonctionnent ensemble, et sont connectés à la même source et sur le même disjoncteur chez ELD (Strasbourg Electricity Networks). Ce matin, l'un des deux câbles a été endommagé et le disjoncteur a coupé l'alimentation du centre de données.

« Le site SBG est conçu pour fonctionner, sans limites de temps, sur les générateurs. Pour SBG1 et SBG4, nous avons mis en place un premier système de sauvegarde de deux générateurs de 2 MVA chacun, configurés en N + 1 et 20 kV. Pour SBG2, nous avons mis en place trois groupes en configuration N + 1 de 1,4 MVA chacun. En cas de coupure de courant externe, les cellules haute tension sont automatiquement reconfigurées par un système de basculement motorisé. En moins de 30 secondes, les datacenters SBG1, SBG2 et SBG4 peuvent être restaurés avec 20 KV. Pour effectuer ce basculement sans couper l'alimentation des serveurs, nous avons mis en place des alimentations sans interruption (UPS) qui peuvent maintenir l'alimentation jusqu'à huit minutes. »

Malgré toutes ces précautions, le système de basculement motorisé n’a pas fonctionné comme prévu ce matin-là. Pour être plus précis, la commande de démarrage des générateurs de secours n'a pas été donnée par l'automate. Raison pour laquelle OVH s’est tourné vers le fabricant pour comprendre l’origine de ce problème. L’hébergeur reconnaît toutefois qu’il s’agit là d’un défaut qui aurait dû être détecté lors de tests de simulation de pannes périodiques sur la source externe.

« Le dernier test de récupération de sauvegarde de SBG a eu lieu fin mai 2017. Lors de ce dernier test, nous avons alimenté SBG uniquement depuis les générateurs pendant huit heures sans aucun problème et chaque mois, nous testons les générateurs de secours vides. Et malgré tout, ce système n'était pas suffisant pour éviter la panne », a regretté Klaba.

La commande automatique n’ayant pas été passée à l’automate, OVH a été obligé de procéder manuellement pour alimenter le centre de données à partir de générateurs. L’hébergeur a ensuite contacté ELD pour lui demander de déconnecter le câble défectueux des cellules haute tension et de remettre en marche le disjoncteur avec seulement un des deux câbles, et donc limité à 10 MVA. « Cette action a été effectuée par ELD et le courant a été rétabli vers 10 h 30. Les routeurs de SBG étaient de retour en ligne à partir de 10 h 58 », a-t-il assuré.

« Afin d'éviter des scénarios catastrophiques comme celui-ci, OVH a développé au cours des 18 dernières années des architectures électriques capables de résister à toutes sortes de pannes de courant. Chaque test, chaque défaut, chaque nouvelle idée ont enrichi notre expérience nous permettant de construire des datacentres fiables aujourd'hui.

« Alors pourquoi cet échec? Pourquoi SBG n'a-t-il pas supporté une simple coupure de courant ? Pourquoi toute l'intelligence que nous avons développée chez OVH ne pourrait-elle pas empêcher cette catastrophe ?

« La réponse courte : le réseau électrique de SBG a hérité de tous les défauts de conception qui étaient le résultat des petites ambitions initialement prévues pour cet endroit. »

Donnant plus de détails, Klaba a rappelé qu’en 2011, OVH a planifié le déploiement de nouveaux centres de données en Europe. « Afin de tester l'appétit pour chaque marché, avec de nouvelles villes et de nouveaux pays, nous avons inventé une nouvelle technologie de déploiement de centres de données. Avec l'aide de cette technologie développée en interne, nous espérions obtenir la flexibilité nécessaire pour déployer un datacenter sans les contraintes de temps associées aux permis de construire. À l'origine, nous voulions avoir la possibilité de valider nos hypothèses avant de faire des investissements substantiels dans un endroit particulier. »

« C'est ainsi que début 2012, nous avons lancé le datacenter SBG1 constitué de conteneurs maritimes. Nous avons déployé huit conteneurs maritimes et SBG1 était opérationnel en moins de deux mois. Grâce à ce déploiement ultrarapide qui a pris moins de six mois, nous avons pu confirmer que SBG est bien un emplacement stratégique pour OVH. À la fin de 2012, nous avons décidé. »

Le problème était que, en déployant SBG1 avec la technologie basée sur les conteneurs maritimes, OVH était incapable de préparer le site pour un projet à grande échelle.

Aussi, Klaba a reconnu que son entreprise a fait deux erreurs :

1. Nous n'avons pas rendu le site SBG conforme aux normes internes qui requièrent deux alimentations électriques séparées de 20 KV, comme tous nos sites DC, qui sont équipés de deux alimentations électriques. C'est un investissement majeur d'environ 2 à 3 millions d'euros par alimentation électrique, mais nous pensons que cela fait partie de notre standard interne ;
2. Nous avons construit le réseau électrique de SBG2 en le plaçant sur le réseau électrique de SBG1 au lieu de les rendre indépendants l'un de l'autre, comme dans tous nos centres de données. Chez OVH, chaque numéro de centre de données indique que la grille d'alimentation est indépendante des autres centres de données. Partout sauf sur le site SBG.

La technologie basée sur les conteneurs maritimes n'a été utilisée que pour construire SBG1 et SBG4. « En fait, nous avons réalisé que le datacenter de conteneur ne correspond pas aux exigences de notre métier. Sur la base du taux de croissance de SBG, la taille minimale d'un site doit être égale à celle de plusieurs centres de données, et donc avoir une capacité totale de 200 000 serveurs. C'est pourquoi, pour déployer un nouveau centre de données aujourd'hui, nous n'utilisons que deux types de conceptions qui ont été largement testés et planifiés pour des projets de grande envergure et de fiabilité :

1. La construction de tours de cinq à six étages (RBX4, SBG2-3, BHS1-2), pour 40 000 serveurs ;
2. L'achat de bâtiments (RBX1-3,5-7, P19, GRA1-2, LIM1, ERI1, WAW1, BHS3-7, VIH1, HIL1) pour 40 000 ou 80 000 serveurs. »

Raison pour laquelle, même si l'incident qui a frappé OVH a été causé par un automate tiers, l’hébergeur assure qu’il ne peut pas nier sa propre responsabilité pour la panne. « Nous avons un peu de travail à faire sur SBG pour atteindre le même niveau de qualité que les autres sites OVH », a reconnu Klaba.

Un plan d’action à hauteur de 4 à 5 millions d’euros a été adopté pour « nous permettre de redonner confiance à SBG et à OVH ». Il s’agit notamment :

1. De l'installation d'une deuxième alimentation électrique 20 MVA complètement séparée ;
2. De séparer le réseau électrique SBG2 de SBG1/SBG4, ainsi que la séparation du futur SBG3 de SBG2 et SBG1/SBG4 ;
3. D’effectuer une migration des clients SBG1/SBG4 vers SBG3 ;
4. de fermer SBG1/SBG4 et de désinstaller des conteneurs maritimes.

Source : message d'Octave Klaba

[toutwd]

A l'attention de Mr KLABA

Merci pour le développement technique de votre explication.

Pour ma part, si mon site est "out", je perd de d'argent et donc j'ai du mal à régler mes factures et notamment celle relative à mon hébergement chez d'OVH, mais ça je pense que vous êtes conscient...

Donc c'est l'automate qui a dysfonctionné, je vous conseille vivement, et en toute modestie, de le supprimer pour le remplacer par un système purement électro-mécanique qui a fait ses preuves suivant le schéma électrique de principe ci-dessous.

Avec ce système si le relais de contrôle de présence du secteur (KA1) "tombe" cela enclenche simplement la séquence de démarrage des groupes de secours, pas de numérique, pas d'automate capricieux, pourquoi faire simple quant on peut faire compliqué...

[Invité]

A l'attention de Mr KLABA

Merci pour le développement technique de votre explication.

Pour ma part, si mon site est "out", je perd de d'argent et donc j'ai du mal à régler mes factures et notamment celle relative à mon hébergement chez d'OVH, mais ça je pense que vous êtes conscient...

A l'attention de Mr toutwd

Merci pour le développement technique de votre explication.

Donc OVH est responsable des erreurs de ses prestataires. Je suis d'accord avec vous. Vous êtes donc également responsable des erreurs de votre prestataire (OVH) et auriez dû prévoir un serveur de secours pour votre site mais ça je pense que vous êtes conscient...

[toutwd]

A l'attention de Mr toutwd

Merci pour le développement technique de votre explication.

Donc OVH est responsable des erreurs de ses prestataires. Je suis d'accord avec vous. Vous êtes donc également responsable des erreurs de votre prestataire (OVH) et auriez dû prévoir un serveur de secours pour votre site mais ça je pense que vous êtes conscient...

Pffff, pour qui vous roulez ?

[Invité]

Pffff, pour qui vous roulez ?

Oui j'avoue, je suis Octave KLABA et j'use de toute ma mauvaise foi pour sauver l'image d'OVH face aux gentils utilisateurs qui reprochent aux autres des erreurs qu'eux-mêmes font.

(c'est de l'humour, hein, ne m'envoyez pas des schémas électriques pour datacenter...)

[Picarunix]

Quand on cherche un hébergeur pour son site, on prend en compte le prix, l'espace alloué, la qualité du support etc ...
Il faudra aussi se souvenir qu'une panne totale est possible et que si elle survient, comme chez OVH, l'hébergeur explique le comment du pourquoi de sa panne au lieu de proposer une contre-partie financière aux sites victimes.
Après tout, les hébergés payent pour obtenir un service de qualité. Couper le site c'est une rupture du service mais surtout une rupture dans la confiance dans le service.

Rester chez OVH c'est accepter ce genre de situation, les quitter c'est leur faire bien comprendre leur faute. C'est ce que nous faisons tous quand un opérateur (téléphonie, ADSL) ne nous convient pas, soit il est bon, soit il est mauvais.

[toutwd]

Quand on cherche un hébergeur pour son site, on prend en compte le prix, l'espace alloué, la qualité du support etc ...
Il faudra aussi se souvenir qu'une panne totale est possible et que si elle survient, comme chez OVH, l'hébergeur explique le comment du pourquoi de sa panne au lieu de proposer une contre-partie financière aux sites victimes.
Après tout, les hébergés payent pour obtenir un service de qualité. Couper le site c'est une rupture du service mais surtout une rupture dans la confiance dans le service.

Rester chez OVH c'est accepter ce genre de situation, les quitter c'est leur faire bien comprendre leur faute. C'est ce que nous faisons tous quand un opérateur (téléphonie, ADSL) ne nous convient pas, soit il est bon, soit il est mauvais.

OVH tu l'aime ou tu la quitte, c'est vrai et possible également.
Je ne voudrais entrer dans une discution stérile voir puérile selon les intervenants, mais là il s'agit du fond comment le "souci" est présenté et géré, le twitte est un outil dont il faut se méfier.
Une société qui a pour besoin en "matière première" l'électricité et dont elle dépend essentiellement, doit impérativement disposer de redondance sans faille, c'est une question de survie me semble t'il.
Pour moi aussi, seul compte les actes et il est vrai que si dans un futur proche si je devais être de nouveau "victime" d'une rupture de service significative, je prendrais alors toutes les mesures nécessaires au maintien serein de mon activité car moi aussi j'ai des clients qui me font confiance et ils se moquent bien de savoir qui est OVH.

[Aeson]

OVH c'est un produit blanc. Comme le Lidl ou Aldi. C'est pas nouveaux. Pour ce prix il faut pas s'attendre a de la qualité

Vu leurs prix (et le charactere d'Octave) cette grosse panne etait tout a fait previsible. Du plus leur expension gigantesque n'a certainement pas aider.

Cela fait longtemp que j'ai quitté OVH car il est impossible d'avoir confience en une societe pareil. Il n'on jamais reussis a donner un support convenable meme a leur debut. Et leur politique de gestion mode girouette est bien un signe.

Les erreures et les problemes ca arrive. C'est pas la question. Mais perdre 2 DC pendant 48 h c'est pas une une simple erreur.... ca prouve des probleme graves et profond.

La qualité a un prix et elle n'est certainement pas chez OVH.

Donc OVH est responsable des erreurs de ses prestataires

Oui. Si OVH n'a pas prevu ces possibles erreurs et n'a pas mit en place des systeme de secours c'est totalement leurs faute. Ici les systemes mits en place n'ont pas fonctionnés. Ils mettent partout des video pour montrer que leur systeme de secours est au point et tous le tralala. Donc les client font confiance au systeme de secour mit en place par OVH. Ils n'auraient pas du faire confiance a OVH et passer vers des vraix fournisseurs comme Aws ou Azure. C'est plus cher mais le risque est moindre.