50 000 sites Web qui ont opté pour une offre d'hébergement mutualisé sont affectés par une panne chez OVH
Plus de 50 000 sites Web qui ont opté pour une offre d'hébergement mutualisé sont affectés par une panne chez OVH,
suite au plantage d'une baie EMC
Jeudi soir, l’hébergeur français OVH a fait face à une panne importante qui a touché une baie de stockage EMC VNX 5400 utilisée pour stocker une partie des bases de données des hébergements mutualisés au datacenter de Paris (il s'agit d'un ensemble composé de 96 disques SSD configurés en active/active sur plusieurs baies physiques). Conséquence, 50 000 des 3 millions de sites ont été paralysés.
Dans un communiqué, Octave Klaba, le fondateur et directeur général de la structure, a donné quelques précisions. « Pour héberger les 3 millions de sites web en hébergement mutualisé nous utilisons deux datacentres : le DC historique à Paris (P19) et le nouveau DC à Gravelines (GRA1). Sur P19, nous utilisons différentes technologies pour stocker les données pour les sites web et les bases de données. Dans la majorité des cas nous utilisons notre technologie NAS ou NAS-HA basée sur le ZFS. »
« Aussi sur P19, dans certains cas nous utilisons les baies de stockage propriétaires d'EMC VNX 5400 avec les disques SSD. Il s'agit d'une solution que nous avons mise en place en 2012 pour pallier les problèmes de performances de stockage que nous avons eus en 2012 sur les bases de données. Depuis nous avons fixé la performance sur nos NAS-HA et sur GRA nous n'utilisons plus que nos solutions internes. »
Il a précisé que « La technologie d'EMC n'est pas à l'origine de l'incident. Nos datacentres ne sont pas adaptés pour héberger ce type d'infrastructure. Seules certaines salles sont spécialement préparées pour ce genre d'hébergement, mais cette baie de stockage n'y a pas été hébergée ce qui est l'origine du problème », avant de remercier EMC pour son aide dans la résolution de l’incident.
Pour résoudre ce problème, OVH a lancé deux actions :
- L’entreprise s’est mise en contact avec EMC avec qui elle a essayé de redémarrer le système. Une équipe de RBX a pris une baie de stockage EMC VNX 5400 qu’elle a eu en spare à Roubaix pour la transporter à P19. La baie est arrivée à P19 vers 3 heures du matin et OVH a essayé de redémarrer les disques dans cette nouvelle baie de stockage. La structure a demandé l'intervention d'EMC sur le site pour le faire au plus vite. « Nous ne savons pas encore combien de temps va prendre le redémarrage de la baie et si nous arriverons à récupérer les données », avait admis Klaba ;
- C'est pourquoi OVH a lancé la restauration de bases de données à partir de backup. Cette restauration a commencé vers minuit du matin. Ce matin à 9 heures, environ 15 % de bases de données ont été remises en route en mode « lecture seule » c'est-à-dire que les sites web peuvent lire les données dans les bases de données, mais ne peuvent pas encore les modifier. « Nous continuons la restauration qui va prendre jusqu'à environ ce soir 20 heures. L'ensemble de process est désormais automatisé et nous avons assez de stockage pour déployer toutes ces bases de données sur P19. »
Il est possible de suivre l’avancée des travaux ici.
« Nous sommes sincèrement désolés pour cette panne. La dernière panne de cette ampleur date de 2006 et à l’époque, nous avions remis en question toutes les technologies de stockage que nous utilisons chez Ovh. Cette panne est une leçon de plus et nous allons vous communiquer les changements qui vont s’opérer dès la fin de cet incident pour éviter de revivre la prochaine panne de cette ampleur dans 10 ans encore », a conclu le fondateur.
Source : OVH
Et vous ?
:fleche: Avez-vous été affecté par cette panne ?
Voir aussi :
:fleche: OVH : l'hébergeur français met la main sur le Cloud public de VMware, pour accélérer son implantation aux États-Unis
:fleche: OVH victime de la plus violente attaque DDoS jamais enregistrée, par un botnet de caméras connectées qui n'étaient pas sécurisées
:fleche: OVH va lever 300 millions d'euros, l'hébergeur va ouvrir son capital à des investisseurs tiers pour accélérer son développement à l'international
Le risque de panne zero n'existe pas
Je suis chez OVH depuis plus de 7 ans maintenant, et je n'ai jamais eu de panne sur mes sites ! :D
Je sauvegarde régulièrement ceux-ci en local au cas ou 8-)
Et comme dit le proverbe marseillais : "Il n'y a que ceux qui ne font rien qui ne se trompent pas " :mrgreen:
OVH : l'hébergeur assure que la panne qu'il a connue est entièrement de sa faute
OVH : l'hébergeur assure que la panne qu'il a connue est entièrement de sa faute
Après avoir accusé le matériel d'EMC
Jeudi dernier, plus de 50 000 sites Web qui ont opté pour une offre d'hébergement mutualisé ont été affectés par une panne chez OVH. Cet incident a laissé les sites inaccessibles pendant plusieurs heures, une crise d’envergure pour l’hébergeur roubaisien qui n’a pas connu d’incident pareil depuis 2006.
Cette panne a été liée à une baie de stockage EMC VNX 5400 utilisée pour stocker une partie des bases de données des hébergements mutualisés au datacenter de Paris (il s'agit d'un ensemble composé de 96 disques SSD configurés en active/active sur plusieurs baies physiques). Plus de trois millions de sites web répartis sur deux datacenters utilisent cette offre d’hébergement mutualisé d’OVH.
Au début de l’incident, le PDG d’OVH Octave Klaba a pointé du doigt le matériel EMC suite aux soucis rencontrés avec la baie de 96 disques EMC : « Il ne veut plus redémarrer, nous avons contacté le constructeur et essayons de trouver une solution pour récupérer les données hébergées sur cette baie », écrivait-il.
Il faut savoir que ces disques SSD sont configurés en active/active sur plusieurs baies physiques, une façon d’éviter la catastrophe et assurer un service opérationnel tout le temps même au cas où une baie physique tombe en panne. Mais malheureusement pour OVH, ils ont eu des soucis avec les deux baies physiques en même temps, un scénario très rare et qui « n’arrive jamais », affirme Octave Klaba sur Twitter.
Après avoir accusé EMC dans son message initial, OVH informe désormais que cette panne est entièrement de sa faute. « La technologie d'EMC n'est pas à l'origine de l'incident. Nos datacentres ne sont pas adaptés pour héberger ce type d'infrastructure. Seules certaines salles sont spécialement préparées pour ce genre d'hébergement, mais cette baie de Stockage n'y a pas été hébergée ce qui est l'origine du problème. »
Suite à cette ambiguïté de la communication d’OVH, on ne sait pas si l’hébergeur est vraiment responsable de cette panne (et s’est donc trompé d’analyse) ou bien il a dû rétropédaler suite à la pression d’EMC. Une chose est sûre, l’hébergeur informe que cette panne va servir de leçon pour l’hébergeur et qu’il va communiquer les changements qui vont s’opérer dès la fin de cet incident pour éviter de revivre la prochaine panne de cette ampleur dans 10 ans encore.
Cette crise constitue un coup dur pour OVH qui vient de lever 300 millions d’euros pour accélérer son développement à l’international, notamment sur le marché américain.
Source : OVH
Et vous ?
:fleche: Avez-vous été affecté par cette panne ?
Voir aussi :
:fleche: OVH : l'hébergeur français met la main sur le cloud public de VMware, pour accélérer son implantation aux États-Unis
:fleche: OVH victime de la plus violente attaque DDoS jamais enregistrée, par un botnet de caméras connectées qui n'étaient pas sécurisées
:fleche: OVH va lever 300 millions d'euros, l'hébergeur va ouvrir son capital à des investisseurs tiers pour accélérer son développement à l'international
Panne OVH : l’hébergeur Web revient sur le dernier incident
Panne OVH : l’hébergeur Web revient sur le dernier incident
Avec plus de détails
Le 29 juin dernier, des dizaines de milliers de sites Web hébergés chez OVH sont passés hors ligne pendant une période prolongée, ce qui a mobilisé les équipes d’OVH pour ramener la situation à la normale. Parallèlement aux actions sur le terrain, l’hébergeur avait brièvement évoqué une panne survenue sur une baie du constructeur EMC. On en sait un peu plus depuis hier puisque OVH a refait surface avec un billet de blog plus détaillé sur l’incident.
« Nous avons eu un incident sur l’une des baies de stockage EMC VNX 5400 que nous utilisons pour stocker une partie des bases de données des hébergements mutualisés à P19 », s’était alors exprimé OVH à propos des origines de l’incident telles que communiquées le 30 juin dernier. Et d’ajouter que « seules certaines salles sont spécialement préparées pour ce genre d’hébergement, mais cette baie de stockage n’y a pas été hébergée, ce qui est à l’origine du problème ».
La dernière communication d’OVH évoque des soucis avec le système de refroidissement à eau de la salle dans laquelle la baie de stockage EMC VNX 5400 à l’origine de la panne avait été logée.
« À 18 h 48, le jeudi 29 juin, dans la salle 3 du datacenter P19, en raison d’une fissure sur un tuyau en plastique souple de notre système de watercooling, une fuite de liquide de refroidissement entraîne la présence de fluide dans l’une des deux baies de stockage propriétaires, lesquelles n’étaient pas refroidies par ce procédé, mais se trouvaient à proximité immédiate. Cela a eu pour conséquence directe la détection d’un défaut électrique entraînant l’arrêt complet de la baie », peut-on y lire.
La baie EMC VNX 5400, mise hors service par les systèmes de protection électrique, n’a pas pu être contrôlée à temps en raison d’une défaillance du système d’alerte audio relié aux sondes de détection de liquide en son sein. OVH évoque le fait qu’une mise à jour de ce système, réalisée le jour même où l’incident s’est produit, n’a pas fonctionné correctement. Le premier technicien n’a donc pu arriver sur les lieux que onze minutes après la détection de la fuite, ce qui a certainement eu un impact important sur la panne.
Entre établissement de l’ampleur des dégâts, rapatriement d’une baie similaire depuis Roubaix sur le site de Paris et restauration des données, il a fallu à OVH un peu plus de 24 heures pour que la situation revienne à la normale à 23 h 40 le vendredi soir.
Bien évidemment, OVH s’excuse pour les désagréments causés et promet un « geste commercial » pour dédommager ses clients de l’indisponibilité du service pendant près de 24 heures. Ces derniers se verront accorder une prolongation de leur offre d’hébergement de deux mois.
OVH annonce également des réaménagements internes dans le dessein de passer du matériel propriétaire vers l’open source, ce qui, d’après lui, permettra une meilleure maîtrise sur les aspects hardware et software de sa chaîne de production.
Source : OVH
Et vous ?
:fleche: Qu’en pensez-vous ?
Voir aussi :
:fleche: OVH victime de la plus violente attaque DDoS jamais enregistrée par un botnet de caméras connectées qui n'étaient pas sécurisées
