Discussion :

[Patrick Ruiz]

Google Cloud supprime accidentellement le compte en ligne d'UniSuper en raison d'une « mauvaise configuration sans précédent »
Ce qui ravive le débat sur les avantages et les inconvénients du cloud computing

Une mauvaise configuration de Google Cloud a entraîné la suppression du compte d'UniSuper la semaine dernière, ce qui a perturbé les activités de plus d'un demi-million de membres du prestataire de services financiers. « Les services ont commencé à être rétablis pour les clients d'UniSuper jeudi, plus d'une semaine après que le système a été mis hors ligne », selon des rapports en la matière. C’est un nouvel incident en lien avec ce type de services chez le géant technologique qui vient raviver le débat sur les avantages et les inconvénients de l’informatique en nuage.

Le PDG d'UniSuper, Peter Chun, a écrit aux 620 000 membres du fonds mercredi soir, expliquant que la panne n'était pas le résultat d'une cyberattaque et qu'aucune donnée personnelle n'avait été exposée à la suite de la panne. Il a désigné le service cloud de Google comme étant à l'origine de la panne. Dans une déclaration commune conjointe avec le directeur général de Google Cloud, Thomas Kurian, les deux hommes se sont excusés auprès des membres pour la panne et ont déclaré qu'elle avait été « extrêmement frustrante et décevante ». Ils ont déclaré que la panne avait été causée par une mauvaise configuration qui a entraîné la suppression du compte cloud d'UniSuper, ce qui n'était jamais arrivé à Google Cloud auparavant.

This is something I’ve not year heard before. Australian trading service UniSuper is down for the second day because of… Google Cloud.

Their outage was caused by a Google Cloud issue, as confirmed by the GC team.

GC meanwhile provides no details beyond “we’re really sorry!” pic.twitter.com/i4yuoSQQuQ

— Gergely Orosz (@GergelyOrosz) May 8, 2024

Cette situation chez UniSuper fait suite à des signalements des utilisateurs de Google Drive selon lesquels des fichiers disparaissent de façon subite du service. Certains internautes, sur les forums d'assistance du géant technologique, ont affirmé que six mois de travail, voire plus, ont disparu sans crier gare au cours du mois de novembre de l’année précédente.

« Mes fichiers Google Drive ont disparu de façon soudaine. Les données de mai à aujourd'hui ont disparu, et la structure des dossiers est revenue à l'état du mois de mai de l’année en cours. L'activité de Google Drive ne montre aucun changement. Seule l'activité du mois de mai est visible. Aucun fichier n'a été supprimé de façon manuelle, donc aucun fichier dans la corbeille. Je n'ai jamais synchronisé ou partagé mes fichiers et mon disque avec qui que ce soit. J’en fais un usage local. J'ai suivi la procédure de récupération indiquée par l'équipe d'assistance de Google (équipe de Corée du Sud). Ils m'ont demandé de sauvegarder et de restaurer le dossier DriveFS, mais rien n'a changé. J'ai remonté la situation à l'équipe d'assistance de Google, probablement aux États-Unis, et ils m'ont demandé de signaler le problème à leur ingénieur. Mais l'ingénieur n'a pas répondu et je ne peux pas savoir s'il est en train d'examiner mon problème. J'ai utilisé le disque il y a quelques jours et ce problème horrible s'est produit le matin dernier. J'ai besoin d'aide pour le résoudre », se plaiganait un utilisateur du service en ligne qu’offre le géant technologique.

Il peut même arriver que Google décide de mettre en place de façon inattendue une limite de fichiers, ce qui a pour conséquence d’empêcher les utilisateurs de son service de stockage dans le nuage de créer de nouveaux fichiers. C’est ce qui s’est vu au début du deuxième trimestre de l’année en cours. Google a discrètement plafonné le nombre de fichiers qu’il est possible de créer et stocker dans Google Drive.

Résultat : perte de contrôle des utilisateurs sur ce qui est en principe leur espace de stockage attribué par l’entreprise. Ce changement aurait été mis en place depuis le mois de février de l’année en cours, et ce, sans communication explicative de l’entreprise. C’est à la dure que les utilisateurs l’ont découvert. Ces situations ravivent le débat sur les avantages et les inconvénients du cloud computing.

Les avantages du cloud computing sont une évidence. Les plus notables sont : la réduction des coûts de maintenance d’une infrastructure informatique, la réduction de la consommation énergétique, la disposition rapide d'une plateforme prête à l'emploi pour le déploiement des applications, la disposition d'une solution de sauvegarde simple et accessible à tous, même aux non-informaticiens, etc. Cependant, devant toutes les possibilités offertes, il demeure des réticences dans son adoption. Ces réticences sont liées, pour la plupart, au facteur de sécurité, qui reste encore un véritable défi :

• a fragilité dans la gestion des accès et des identités, bien que certains fournisseurs renforcent les interfaces d’authentification avec d’autres moyens tels que les certificats, les smartcards, la technologie OTP et bien d’autres ;
• ’utilisation d’API non sécurisées pour l’intégration des applications avec les services cloud ;
• l’exploit de vulnérabilités des systèmes d’exploitation sur les serveurs du cloud et même sur les applications hébergées ;
• le piratage de compte, qui est un vieux type d’attaque informatique, vient avec une forte recrudescence depuis l’avènement d’Internet et encore celui du cloud computing ;
• une action malveillante lancée en interne dans les effectifs du fournisseur. Une personne malveillante dans l’équipe de gestion du Datacenter peut facilement nuire à la confidentialité et l’intégrité des environnements hébergés ;
• les menaces persistantes avancées qui consistent en une forme d’attaque où le hacker réussit à installer d’une façon ou d’une autre un dispositif dans le réseau interne de l’organisation, à partir duquel il peut extirper des données importantes ou confidentielles. C’est une forme d’attaques difficile à détecter pour un fournisseur de services cloud ;
• la perte de données qui peut être causée par une attaque informatique (logique) du Datacenter, une attaque physique (incendie ou bombardement), une catastrophe naturelle, ou même simplement un facteur humain chez le fournisseur de services, par exemple en cas de faillite de la société ;
• les insuffisances dans les stratégies internes d’adoption ou de passage au cloud. Les entreprises ou les organisations ne prennent pas souvent en compte tous les facteurs de sécurité liés à leur fonctionnement avant de souscrire à un service cloud. Certaines négligences, tant au niveau du développement d’application qu’au niveau de l’utilisation basique, leur sont parfois fatales ;
• utilisation frauduleuse des technologies cloud en vue de cacher l'identité et de perpétrer des attaques à grande échelle. Généralement, il s’agit de comptes créés pendant les périodes d’évaluation (la plupart des FAI proposent 30 jours d’essai gratuits) ou des accès achetés frauduleusement ;
• le déni de service qui est une attaque qui consiste à rendre indisponible un service par une consommation abusive des ressources telles que les processeurs, la mémoire ou le réseau. L’idée, pour le pirate, c’est de réussir à surcharger les ressources du Datacenter en vue d’empêcher d’autres utilisateurs de profiter des services ;
• les failles liées à l’hétérogénéité des technologies imbriquées dans l’architecture interne du cloud, et l'architecture externe d'interfaçage avec les utilisateurs.

Source : UniSuper

Et vous ?

Que pensez-vous du cloud computing ? Votre entreprise s’appuie-t-elle sur une offre d’informatique dans le nuage ? Si oui, quels en sont les usages ? Quelles sont les précautions qu’elle préconise pour bénéficier des avantages de l’approche tout en minimisant l’impact des inconvénients ?

Voir aussi :

Le Danemark interdit les Chromebooks et Google Workspace dans les écoles en raison des risques de transfert de données, et ravive le débat sur les possibilités offertes par Linux et l'open source

L'Éducation nationale confirme la fin des offres gratuites Office365 et Google Workspace dans les écoles en raison du non-respect du RGPD, emboîtant le pas à l'Allemagne, au Danemark et aux Pays-Bas

L'armée américaine choisit Google Workspace pour une poignée de ses soldats qui n'ont pas besoin des capacités de collaboration complètes d'Army365, la solution cloud proposée par Microsoft 365

Google estime qu'il est temps de facturer les petites entreprises qui se servent de sa messagerie et d'autres applications, après plus d'une décennie d'utilisation gratuite

[Aiekick]

la preuve qu'une fois de plus google et les autres font ce qu'ils veulent et qu'on a aucun recours. le seule chose a faire est de ce passer de leur services.

[chrtophe]

Tu as un recours : ne pas utiliser un service qui ne te convient pas.

Chaque service a ses contraintes, ses inconvénients mais aussi ses avantages. IL faut le choisir en connaissance de cause.

Si les entreprises utilisent massivement le cloud, c'est que les avantages surpassent les inconvénients.

Par contre en cas de changement de règles, on peut toujours quitter le service, mais vu l'impact technique, il faut vraiment que le nouvel inconvénient vaille le coup de changer. Il y a une forme de captivité.

[weed]

Tu as un recours : ne pas utiliser un service qui ne te convient pas.

Chaque service a ses contraintes, ses inconvénients mais aussi ses avantages. IL faut le choisir en connaissance de cause.

Si les entreprises utilisent massivement le cloud, c'est que les avantages surpassent les inconvénients.

Je dirais que les entreprises ont une vision court terme.
Sur le court terme, on délégue tout cela à la prestation, pas besoin de payer une personne de l'infra, ou de se former . On utilise des micro services très simples d'utilisations.
Mais sur le long terme, difficile de quitter le prestataire pour aller voir si l'herbe est plus verte ailleurs, ou de rappatrier chez soit puisque l'on a perdu la connaissance.

[Stéphane le calme]

Google Cloud explique comment il a accidentellement supprimé le compte d'un client,
les 647 000 utilisateurs d'UniSuper ont dû faire face à deux semaines d'indisponibilité à cause d'un bogue de Google Cloud

Google Cloud explique comment il a accidentellement supprimé un compte client : UniSuper, un fonds de pension australien de 135 milliards de dollars, a subi deux semaines d’interruption à cause d’un bug chez Google Cloud. Cette suppression a eu des conséquences dramatiques, entraînant deux semaines d’interruption pour les 647 000 membres d’UniSuper.

Plus tôt ce mois-ci, le PDG d'UniSuper, Peter Chun, a écrit aux membres du fonds, expliquant que la panne n'était pas le résultat d'une cyberattaque et qu'aucune donnée personnelle n'avait été exposée à la suite de la panne. Il a désigné le service cloud de Google comme étant à l'origine de la panne. Dans une déclaration commune conjointe avec le directeur général de Google Cloud, Thomas Kurian, les deux hommes se sont excusés auprès des membres pour la panne et ont déclaré qu'elle avait été « extrêmement frustrante et décevante ».

Ils ont déclaré que la panne avait été causée par une mauvaise configuration qui a entraîné la suppression du compte cloud d'UniSuper, ce qui n'était jamais arrivé à Google Cloud auparavant : « la perturbation est survenue à la suite d'une séquence d'événements sans précédent où une mauvaise configuration par inadvertance pendant le provisionnement des services de Cloud privé d'UniSuper a finalement entraîné la suppression de l'abonnement de Cloud privé d'UniSuper ».

Quelques semaines plus tard, l'examen interne du problème par Google Cloud a pris fin et l'entreprise a publié un billet de blog détaillant ce qui s'est passé :

« Lors du déploiement initial d'un cloud privé Google Cloud VMware Engine (GCVE) pour le client à l'aide d'un outil interne, les opérateurs de Google ont mal configuré le service GCVE par inadvertance en laissant un paramètre vide. Cette erreur a eu pour conséquence involontaire et inconnue à l'époque de faire passer par défaut le cloud privé GCVE du client à une durée fixe, avec suppression automatique à la fin de cette période. Le déclencheur de l'incident et le comportement du système en aval ont tous deux été corrigés afin d'éviter que cela ne se reproduise.

« Cet incident n'a pas eu d'incidence sur d'autres services Google Cloud que le cloud privé GCVE de ce client. Les autres clients n'ont pas été affectés par cet incident ».

Il faut également noter d'autres éléments :

Suppression soudaine et irréversible

Le plus choquant dans cette erreur de Google a été la suppression soudaine et irréversible du compte client. On pourrait s’attendre à des protections, des notifications et des confirmations pour éviter toute suppression accidentelle. Google affirme qu’elles existent, mais ces avertissements sont destinés à une « suppression initiée par le client » et n’ont pas fonctionné lors de l’utilisation de l’outil d’administration. Aucune notification n’a été envoyée au client, car la suppression a été déclenchée par un paramètre laissé vide par les opérateurs de Google, et non par une demande de suppression du client.

Récupération difficile

Pendant les nombreuses mises à jour de la période d’interruption, UniSuper a indiqué qu’il n’avait pas accès aux sauvegardes de Google Cloud et a dû se tourner vers un stockage tiers (probablement moins à jour) pour reprendre ses activités. UniSuper a déclaré qu'il avait mis en place une duplication dans deux zones géographiques pour se protéger contre les pannes et les pertes, mais la suppression de l’abonnement au GCVE Private Cloud d’UniSuper a entraîné la suppression dans les deux zones géographiques.

« La restauration de l'instance de Cloud privé d'UniSuper a nécessité une quantité incroyable de concentration, d'efforts et de partenariat entre nos équipes pour permettre une restauration complète de tous les systèmes centraux. Le dévouement et la collaboration entre UniSuper et Google Cloud ont permis une restauration complète de notre Cloud privé qui comprend des centaines de machines virtuelles, de bases de données et d'applications. UniSuper avait mis en place des sauvegardes avec un autre fournisseur de services. Ces sauvegardes ont permis de minimiser la perte de données et d'améliorer de manière significative la capacité d'UniSuper et de Google Cloud à mener à bien la restauration ».

Pourtant, dans son rapport d'incident, Google déclare : « les sauvegardes de données stockées dans Google Cloud Storage dans la même région n'ont pas été affectées par la suppression et, avec les logiciels de sauvegarde tiers, ont contribué à une restauration rapide ». Il est difficile de concilier ces deux affirmations, notamment en ce qui concerne la période de restauration de deux semaines. L'objectif d'une sauvegarde est d'être rapidement restaurée ; donc soit les sauvegardes d'UniSuper n'ont pas été supprimées et n'ont pas été efficaces, ce qui a entraîné deux semaines d'indisponibilité, soit elles auraient été efficaces si elles n'avaient pas été partiellement ou complètement effacées.

Google a souligné à plusieurs reprises dans son message que ce problème n'affectait qu'un seul client, qu'il ne s'était jamais produit auparavant, qu'il ne devrait jamais se reproduire et qu'il ne s'agissait pas d'un problème systémique lié à Google Cloud. Voici l'intégralité de la section « remédiation » du billet de blog :

Google Cloud a depuis pris plusieurs mesures pour s'assurer que cet incident ne se produise pas et ne puisse pas se reproduire :

• Nous avons supprimé l'outil interne qui a déclenché cette séquence d'événements. Cet aspect est désormais entièrement automatisé et contrôlé par les clients via l'interface utilisateur, même lorsqu'une gestion spécifique de la capacité est requise.
• Nous avons nettoyé la base de données du système et examiné manuellement tous les cloud privés GCVE pour nous assurer qu'aucun autre déploiement GCVE n'est en danger.
• Nous avons corrigé le comportement du système qui définit les cloud privés GCVE pour la suppression pour de tels flux de travail de déploiement.

Des signalements des utilisateurs de Google Drive évoquant des fichiers qui disparaissent

Cette situation chez UniSuper fait suite à des signalements des utilisateurs de Google Drive selon lesquels des fichiers disparaissent de façon subite du service. Certains internautes, sur les forums d'assistance du géant technologique, ont affirmé que six mois de travail, voire plus, ont disparu sans crier gare au cours du mois de novembre de l’année précédente.

« Mes fichiers Google Drive ont disparu de façon soudaine. Les données de mai à aujourd'hui ont disparu, et la structure des dossiers est revenue à l'état du mois de mai de l’année en cours. L'activité de Google Drive ne montre aucun changement. Seule l'activité du mois de mai est visible. Aucun fichier n'a été supprimé de façon manuelle, donc aucun fichier dans la corbeille. Je n'ai jamais synchronisé ou partagé mes fichiers et mon disque avec qui que ce soit. J’en fais un usage local. J'ai suivi la procédure de récupération indiquée par l'équipe d'assistance de Google (équipe de Corée du Sud). Ils m'ont demandé de sauvegarder et de restaurer le dossier DriveFS, mais rien n'a changé. J'ai remonté la situation à l'équipe d'assistance de Google, probablement aux États-Unis, et ils m'ont demandé de signaler le problème à leur ingénieur. Mais l'ingénieur n'a pas répondu et je ne peux pas savoir s'il est en train d'examiner mon problème. J'ai utilisé le disque il y a quelques jours et ce problème horrible s'est produit le matin dernier. J'ai besoin d'aide pour le résoudre », se plaignait un utilisateur du service en ligne qu’offre le géant technologique.

Il peut même arriver que Google décide de mettre en place de façon inattendue une limite de fichiers, ce qui a pour conséquence d’empêcher les utilisateurs de son service de stockage dans le nuage de créer de nouveaux fichiers. C’est ce qui s’est vu au début du deuxième trimestre de l’année en cours. Google a discrètement plafonné le nombre de fichiers qu’il est possible de créer et stocker dans Google Drive.

Résultat : perte de contrôle des utilisateurs sur ce qui est en principe leur espace de stockage attribué par l’entreprise. Ce changement aurait été mis en place depuis le mois de février de l’année en cours, et ce, sans communication explicative de l’entreprise. C’est à la dure que les utilisateurs l’ont découvert. Ces situations ravivent le débat sur les avantages et les inconvénients du cloud computing.

Conclusion

Cette erreur de Google Cloud souligne l’importance de la vigilance lors de la configuration des services cloud et la nécessité de mettre en place des mécanismes de protection robustes pour éviter de telles catastrophes. Espérons que des leçons ont été tirées et que des mesures ont été prises pour éviter que cela ne se reproduise à l’avenir.

Sources : Google, déclaration conjointe

Et vous ?

Quelles précautions les entreprises devraient-elles prendre pour éviter de telles erreurs dans le cloud ?
Comment les fournisseurs de services cloud peuvent-ils améliorer leurs processus pour minimiser les risques de suppression accidentelle ?
Quelles sont les conséquences potentielles pour les clients lorsque leurs données sont supprimées par inadvertance ?