Discussion :

[Stéphane le calme]

Plus de 50 000 sites Web qui ont opté pour une offre d'hébergement mutualisé sont affectés par une panne chez OVH,
suite au plantage d'une baie EMC

Jeudi soir, l’hébergeur français OVH a fait face à une panne importante qui a touché une baie de stockage EMC VNX 5400 utilisée pour stocker une partie des bases de données des hébergements mutualisés au datacenter de Paris (il s'agit d'un ensemble composé de 96 disques SSD configurés en active/active sur plusieurs baies physiques). Conséquence, 50 000 des 3 millions de sites ont été paralysés.

Dans un communiqué, Octave Klaba, le fondateur et directeur général de la structure, a donné quelques précisions. « Pour héberger les 3 millions de sites web en hébergement mutualisé nous utilisons deux datacentres : le DC historique à Paris (P19) et le nouveau DC à Gravelines (GRA1). Sur P19, nous utilisons différentes technologies pour stocker les données pour les sites web et les bases de données. Dans la majorité des cas nous utilisons notre technologie NAS ou NAS-HA basée sur le ZFS. »

« Aussi sur P19, dans certains cas nous utilisons les baies de stockage propriétaires d'EMC VNX 5400 avec les disques SSD. Il s'agit d'une solution que nous avons mise en place en 2012 pour pallier les problèmes de performances de stockage que nous avons eus en 2012 sur les bases de données. Depuis nous avons fixé la performance sur nos NAS-HA et sur GRA nous n'utilisons plus que nos solutions internes. »

Il a précisé que « La technologie d'EMC n'est pas à l'origine de l'incident. Nos datacentres ne sont pas adaptés pour héberger ce type d'infrastructure. Seules certaines salles sont spécialement préparées pour ce genre d'hébergement, mais cette baie de stockage n'y a pas été hébergée ce qui est l'origine du problème », avant de remercier EMC pour son aide dans la résolution de l’incident.

Pour résoudre ce problème, OVH a lancé deux actions :

1. L’entreprise s’est mise en contact avec EMC avec qui elle a essayé de redémarrer le système. Une équipe de RBX a pris une baie de stockage EMC VNX 5400 qu’elle a eu en spare à Roubaix pour la transporter à P19. La baie est arrivée à P19 vers 3 heures du matin et OVH a essayé de redémarrer les disques dans cette nouvelle baie de stockage. La structure a demandé l'intervention d'EMC sur le site pour le faire au plus vite. « Nous ne savons pas encore combien de temps va prendre le redémarrage de la baie et si nous arriverons à récupérer les données », avait admis Klaba ;
2. C'est pourquoi OVH a lancé la restauration de bases de données à partir de backup. Cette restauration a commencé vers minuit du matin. Ce matin à 9 heures, environ 15 % de bases de données ont été remises en route en mode « lecture seule » c'est-à-dire que les sites web peuvent lire les données dans les bases de données, mais ne peuvent pas encore les modifier. « Nous continuons la restauration qui va prendre jusqu'à environ ce soir 20 heures. L'ensemble de process est désormais automatisé et nous avons assez de stockage pour déployer toutes ces bases de données sur P19. »

Il est possible de suivre l’avancée des travaux ici.

« Nous sommes sincèrement désolés pour cette panne. La dernière panne de cette ampleur date de 2006 et à l’époque, nous avions remis en question toutes les technologies de stockage que nous utilisons chez Ovh. Cette panne est une leçon de plus et nous allons vous communiquer les changements qui vont s’opérer dès la fin de cet incident pour éviter de revivre la prochaine panne de cette ampleur dans 10 ans encore », a conclu le fondateur.

Source : OVH

Et vous ?

Avez-vous été affecté par cette panne ?

Voir aussi :

OVH : l'hébergeur français met la main sur le Cloud public de VMware, pour accélérer son implantation aux États-Unis
OVH victime de la plus violente attaque DDoS jamais enregistrée, par un botnet de caméras connectées qui n'étaient pas sécurisées
OVH va lever 300 millions d'euros, l'hébergeur va ouvrir son capital à des investisseurs tiers pour accélérer son développement à l'international

[abbe2017]

en 10ans d'hébergement pour moi et mon entourage, je n'ai toujours pas compris pourquoi les gens allaient chez OVH plutôt que j'ai 1&1.
même moi, avant j'étais chez Amen et c'est devenu une galère jusqu'au jour où j'ai découvert 1&1.

Alors OVH, quand ça plante comme ça , bun ça ne m'étonne pas. Et biensur, pas de redondance chez ovh...

OVH c'est le Senseo du café : quand t'as gouté à NEspresso, tu te démerdes de finir ton sachet de dosettes pour pas gacher et tu files en urgence acheter une nespresso.

[solstyce39]

Dénigrer OVH au profit de 1&1 c'est tellement gros que je ne sais même pas quoi répondre ....

Pour le reste aucune entreprise n'est à l'abri d'une panne, d'une erreur humaine ou autre ...

[ideeaugram]

Je suis chez OVH depuis plus de 7 ans maintenant, et je n'ai jamais eu de panne sur mes sites !

Je sauvegarde régulièrement ceux-ci en local au cas ou

Et comme dit le proverbe marseillais : "Il n'y a que ceux qui ne font rien qui ne se trompent pas "

[Pat_AfterMoon]

J'ai plusieurs site hébergés en mutualisé chez OVH depuis un moment (plus de 10 ans) et d'après mes logs ils n'ont pas été impactés par cette panne.

Par contre ils ont été impacté par ça :
http://travaux.ovh.net/?do=details&id=25736

Suite aux restaurations des bases de données, il est possible que vous rencontriez une incohérence dans le nom de votre base au niveau de votre fichier de configuration.
:
Si vous utilisez un serveur dans votre fichier de configuration nommé "sql**-**.**", vous devez le remplacer par le host "classique" à savoir NomDeLaBase.mysql.db

Si j'ai bien compris, à une époque on indiquait en "host" pour les BDD un nom de serveur "physique" alors que depuis des années c'est plutôt un nom de host "logique" en rapport avec le nom d'hébergement. En réparant la panne, ils ont supprimé la gestion des vieux nom physiques.

Pour mes "vieux" sites, ça a été radical, aux alentours de 20h30, plus aucune BDD accessible.
J'ai pu corrigé mes sites rapidement, mais bon, c'est un effet de bord qui n'est quand même pas très cool.

[e101mk2]

J'ai déjà héberger chez 1&1 et OVH pour des pro.
Alors chez 1&1 temps de réponse degeux, mail inutilisée remplit de spam spécialisée dans le domaines professionnel (assurance, aides, et autres...), donc ils vendent notre adresse mail "inclut dans l'offre". Sans parler du système de résiliations à perdre des cheveux.
Peut être qu'ils se sont amélioré, mais sur le coup je reste rancunier.

Alors que chez OVH pas trop de soucie, le temps de réponse est acceptable, par contre j'ai pas vérifier les adresses mails non utilisé..., et je n'ai jamais entamé la procédure de résiliation.

[TiranusKBX]

Je n'utilise plus OVH depuis longtemps car leur offre est trop limitée pour mes usages(ou trop chère pour du serveur dédié) mais je n'ai pas vraiment eus de problème avec eux, par contre j'ai dus administrer des comptes 1&1 de plusieurs clients et tu à souvent envie de te pendre

[seikida]

Je suis egalement chez OVH et hormis quelque soucie (que je trouve raisonnable) je n'ai jamais eu de gros probleme.
Pour ce qui est de 1&1 je ne le conseil vraiment pas. Je ne sais pas ce qu'il en est maintenant donc c'est a prendre avec des pincettes, mais a l'epoque ou j'avais teste leur service :

- le service client etait vraiment mauvais
- ensuite je me suis fais escroquer et j'ai du assister plus d'une annee et demi pour etre remboursse

Pour info, je vis au Japon et j'utilise OVH pour mes sites perso qui fonctionnent tres tres bien (Je n'utilise pas les services japonais car ils coutent bien trop cher et je ne les trouve pas hyper performant par rapport a OVH ...).

[Paul TOTH]

personnellement j'aime beaucoup la transparence de OVH, dès que mes sites sont tombés, je me suis rendu sur travaux.ovh.com et j'ai pu suivre le détail de tout ce qu'il se passait en temps réel...ce n'était certes pas rassurant, mais inutile de passer des heures au téléphone avec la hotline, tout était sur le site.

avec 1&1 je n'ai qu'une seule expérience avec eux, le transfert d'un nom de domaine de chez eux à chez OVH...ça a foiré pour un problème d'email invalide chez eux, et c'est OVH qui m'a trouvé une solution. Certes, ils avaient plus intérêt que 1&1 à ce que cela fonctionne, mais j'avais au téléphone quelqu'un facile à joindre qui savait de quoi il parle face a des réponses bidon et sans solution du côté 1&1 après une attente extrêmement longue.

[Coriolan]

OVH : l'hébergeur assure que la panne qu'il a connue est entièrement de sa faute
Après avoir accusé le matériel d'EMC

Jeudi dernier, plus de 50 000 sites Web qui ont opté pour une offre d'hébergement mutualisé ont été affectés par une panne chez OVH. Cet incident a laissé les sites inaccessibles pendant plusieurs heures, une crise d’envergure pour l’hébergeur roubaisien qui n’a pas connu d’incident pareil depuis 2006.

Cette panne a été liée à une baie de stockage EMC VNX 5400 utilisée pour stocker une partie des bases de données des hébergements mutualisés au datacenter de Paris (il s'agit d'un ensemble composé de 96 disques SSD configurés en active/active sur plusieurs baies physiques). Plus de trois millions de sites web répartis sur deux datacenters utilisent cette offre d’hébergement mutualisé d’OVH.

Au début de l’incident, le PDG d’OVH Octave Klaba a pointé du doigt le matériel EMC suite aux soucis rencontrés avec la baie de 96 disques EMC : « Il ne veut plus redémarrer, nous avons contacté le constructeur et essayons de trouver une solution pour récupérer les données hébergées sur cette baie », écrivait-il.

Il faut savoir que ces disques SSD sont configurés en active/active sur plusieurs baies physiques, une façon d’éviter la catastrophe et assurer un service opérationnel tout le temps même au cas où une baie physique tombe en panne. Mais malheureusement pour OVH, ils ont eu des soucis avec les deux baies physiques en même temps, un scénario très rare et qui « n’arrive jamais », affirme Octave Klaba sur Twitter.

Après avoir accusé EMC dans son message initial, OVH informe désormais que cette panne est entièrement de sa faute. « La technologie d'EMC n'est pas à l'origine de l'incident. Nos datacentres ne sont pas adaptés pour héberger ce type d'infrastructure. Seules certaines salles sont spécialement préparées pour ce genre d'hébergement, mais cette baie de Stockage n'y a pas été hébergée ce qui est l'origine du problème. »

Suite à cette ambiguïté de la communication d’OVH, on ne sait pas si l’hébergeur est vraiment responsable de cette panne (et s’est donc trompé d’analyse) ou bien il a dû rétropédaler suite à la pression d’EMC. Une chose est sûre, l’hébergeur informe que cette panne va servir de leçon pour l’hébergeur et qu’il va communiquer les changements qui vont s’opérer dès la fin de cet incident pour éviter de revivre la prochaine panne de cette ampleur dans 10 ans encore.

Cette crise constitue un coup dur pour OVH qui vient de lever 300 millions d’euros pour accélérer son développement à l’international, notamment sur le marché américain.

Source : OVH

Et vous ?

Avez-vous été affecté par cette panne ?

Voir aussi :

OVH : l'hébergeur français met la main sur le cloud public de VMware, pour accélérer son implantation aux États-Unis
OVH victime de la plus violente attaque DDoS jamais enregistrée, par un botnet de caméras connectées qui n'étaient pas sécurisées
OVH va lever 300 millions d'euros, l'hébergeur va ouvrir son capital à des investisseurs tiers pour accélérer son développement à l'international

[XanatosAO]

Impacté sur deux sites clients « non critique » (même si pour les clients c'est toujours critique et ça se comprend).
A part attendre, il n'y a pas grand chose d'autre à faire vu que les données n'étaient pas accessibles.

D'ailleurs je ne sais pas si OVH propose des offres avec redondance des serveurs ? pour justement pallier à cela.

[hotcryx]

C'est déjà la 3e grosse catastrophe de serveurs avec précédemment un admin qui a tout effacé les données clients de son entreprise et le gros plantage de gitlab en début d'année.

[Patrick Ruiz]

Panne OVH : l’hébergeur Web revient sur le dernier incident
Avec plus de détails

Le 29 juin dernier, des dizaines de milliers de sites Web hébergés chez OVH sont passés hors ligne pendant une période prolongée, ce qui a mobilisé les équipes d’OVH pour ramener la situation à la normale. Parallèlement aux actions sur le terrain, l’hébergeur avait brièvement évoqué une panne survenue sur une baie du constructeur EMC. On en sait un peu plus depuis hier puisque OVH a refait surface avec un billet de blog plus détaillé sur l’incident.

« Nous avons eu un incident sur l’une des baies de stockage EMC VNX 5400 que nous utilisons pour stocker une partie des bases de données des hébergements mutualisés à P19 », s’était alors exprimé OVH à propos des origines de l’incident telles que communiquées le 30 juin dernier. Et d’ajouter que « seules certaines salles sont spécialement préparées pour ce genre d’hébergement, mais cette baie de stockage n’y a pas été hébergée, ce qui est à l’origine du problème ».

La dernière communication d’OVH évoque des soucis avec le système de refroidissement à eau de la salle dans laquelle la baie de stockage EMC VNX 5400 à l’origine de la panne avait été logée.

« À 18 h 48, le jeudi 29 juin, dans la salle 3 du datacenter P19, en raison d’une fissure sur un tuyau en plastique souple de notre système de watercooling, une fuite de liquide de refroidissement entraîne la présence de fluide dans l’une des deux baies de stockage propriétaires, lesquelles n’étaient pas refroidies par ce procédé, mais se trouvaient à proximité immédiate. Cela a eu pour conséquence directe la détection d’un défaut électrique entraînant l’arrêt complet de la baie », peut-on y lire.

La baie EMC VNX 5400, mise hors service par les systèmes de protection électrique, n’a pas pu être contrôlée à temps en raison d’une défaillance du système d’alerte audio relié aux sondes de détection de liquide en son sein. OVH évoque le fait qu’une mise à jour de ce système, réalisée le jour même où l’incident s’est produit, n’a pas fonctionné correctement. Le premier technicien n’a donc pu arriver sur les lieux que onze minutes après la détection de la fuite, ce qui a certainement eu un impact important sur la panne.

Entre établissement de l’ampleur des dégâts, rapatriement d’une baie similaire depuis Roubaix sur le site de Paris et restauration des données, il a fallu à OVH un peu plus de 24 heures pour que la situation revienne à la normale à 23 h 40 le vendredi soir.

Bien évidemment, OVH s’excuse pour les désagréments causés et promet un « geste commercial » pour dédommager ses clients de l’indisponibilité du service pendant près de 24 heures. Ces derniers se verront accorder une prolongation de leur offre d’hébergement de deux mois.

OVH annonce également des réaménagements internes dans le dessein de passer du matériel propriétaire vers l’open source, ce qui, d’après lui, permettra une meilleure maîtrise sur les aspects hardware et software de sa chaîne de production.

Source : OVH

Et vous ?

Qu’en pensez-vous ?

Voir aussi :

OVH victime de la plus violente attaque DDoS jamais enregistrée par un botnet de caméras connectées qui n'étaient pas sécurisées

[jm_zz]

Sans aucune rancune.
Moi je vous remercie de nous expliciter votre incident
Il y a des mystères récents pe : le bug massif TeamViewer que personne n à pour le moment explicite mais vous au moins vous nous faîtes grandir
Oui cela peut arriver ( pour ceux qui explicitement savent ce qu est un bug) merci OVH ! Vous faîtes grandir la communauté et avez toute ma confiance bien plus que bien d autres du monde it

[jm_zz]

C'est déjà la 3e grosse catastrophe de serveurs avec précédemment un admin qui a tout effacé les données clients de son entreprise et le gros plantage de gitlab en début d'année.

Quid de l étiqu it ?