Amazon S3 fête ses 20 ans : la plateforme stocke désormais plus de 500 000 milliards d’objets
AWS S3 fête ses 20 ans : le service stocke désormais plus de 500 000 milliards d’objets et représente des centaines d’exaoctets de données
malgré des pannes et des problèmes de sécurité
Amazon Simple Storage Service (S3) a été lancé par Amazon Web Services (AWS) le 14 mars 2006 comme service de stockage objet accessible via Internet. L’objectif était de fournir une infrastructure capable de stocker et récupérer des données à grande échelle pour les développeurs et les entreprises. Au moment de son lancement, la plateforme disposait d’environ 1 pétaoctet de capacité, ce qui représentait déjà une infrastructure importante pour l’époque. Vingt ans plus tard, le service stocke plus de 500 000 milliards d’objets et représente des centaines d’exaoctets de données. Le service a subi de nombreuses pannes et fait face à des problèmes de sécurité.
Amazon S3 est une solution de stockage d’objets conçue pour stocker et récupérer n’importe quelle quantité de données, n’importe où. Il offre une durabilité, une disponibilité, une sécurité, des performances et une capacité de mise à l’échelle pratiquement illimitée, selon Amazon. Selon le leader mondial du cloud computing, grâce à la plateforme de stockage S3, vous pouvez facilement créer des applications utilisant le stockage cloud natif.
Pour AWS, le 20e anniversaire de S3 représente bien plus qu'une simple étape importante : il souligne l'évolution de S3 qui est passé d'un simple outil interne à un pilier de l'infrastructure cloud, et bien au-delà. D'après Rob Strechay de theCUBE Research, la croissance impressionnante d'Amazon S3 devrait se poursuivre au cours des prochaines années, d’autant plus que le service joue un rôle de plus en plus important dans les systèmes d’IA.
Il a déclaré : « je pense que S3 est absolument essentiel dans le tissu de l’IA à l’avenir. Je pense que lorsque l’on commence à s’intéresser à des éléments tels que les vecteurs S3, les tables S3, [Apache] Iceberg et tous les différents formats de tables ouverts, cela devient véritablement le substrat de données pour l’IA et l’analyse ».
Retour sur les origines du service de stockage Amazon S3
S3 trouve sa source dans les défis liés à l’infrastructure d’Amazon. En interne, les équipes chargées de développer des applications destinées à Internet étaient régulièrement contraintes de créer et de gérer leur propre système de stockage. Selon Andy Warfield, vice-président et ingénieur émérite chez AWS, cette approche décentralisée a conduit à la fragmentation des silos de stockage et à une charge de travail répétitive et peu valorisante.
« En fin de compte, le stockage sur lequel ils s’appuyaient n’était pas le mieux adapté aux types d’applications Web dont Amazon était alors le pionnier. S3 est né à la fois d’un besoin interne très important de disposer d’un service de stockage Web élastique et évolutif, mais aussi du constat que ce qui était bon pour Amazon était probablement quelque chose de très précieux pour de nombreux développeurs externes », a déclaré Andy Warfield.
Andy Warfield explique qu'AWS constate aujourd’hui que S3 se rapproche des développeurs d’applications à mesure que le rythme des lancements s’accélère. De nombreux services et de nombreuses bases de données sont construits directement sur S3, s’appuyant sur sa durabilité et son évolutivité.
Expansion massive du volume de données stockées par S3
Selon l'article publié à l'occasion de cet anniversaire par Sébastien Stormacq, développeur principal chez Amazon, le stockage S3 offrait initialement « environ un pétaoctet de capacité de stockage totale réparti sur quelque 400 nœuds de stockage dans 15 baies réparties sur trois centres de données, avec une bande passante totale de 15 Gb/s ». Aujourd'hui, l’échelle du service a changé de manière radicale ; et il s'agrandit chaque année.
S3 stocke aujourd’hui plus de 500 000 milliards d’objets et traite plus de 200 millions de requêtes par seconde à l’échelle mondiale, sur des centaines d’exaoctets de données répartis dans 123 zones de disponibilité au sein de 39 régions AWS. La société illustre l’ampleur de S3 : « si l'on empilait les dizaines de millions de disques durs S3 les uns sur les autres, ils atteindraient la Station spatiale internationale (ISS) et reviendraient presque jusqu'ici ».
La plupart des disques durs de 3,5 pouces mesurent 26 mm de haut et l'ISS orbite à environ 400 km au-dessus de la Terre. AWS achète du matériel sur mesure, mais en supposant qu'il s'en tienne à un format standard, nous estimons donc que S3 utilise environ 276 millions de disques durs.
L'article souligne que « l'API S3 a été adoptée et sert de référence dans l'ensemble du secteur du stockage » et que de nombreux fournisseurs proposent désormais des outils et des systèmes de stockage compatibles avec S3, mettant en œuvre les mêmes modèles et conventions d'API. Sébastien Stormacq a également expliqué que la plateforme a contribué à transformer la manière dont les entreprises gèrent les volumes de données importants.
Amazon S3 a également favorisé une révolution culturelle
Amazon S3 est utilisé par un très grand nombre d’organisations pour héberger des applications, des sauvegardes, des archives et des plateformes d’analyse de données. Les premières startups spécialisées dans la sauvegarde ont rapidement adopté le service pour créer de nouveaux niveaux de stockage bien moins coûteux que les infrastructures sur site traditionnelles. La disponibilité du stockage dans le cloud a aussi eu un impact culturel.
Netflix et Spotify sont des utilisateurs connus du stockage S3. Ils ont utilisé ce service pour se développer rapidement et diffuser du contenu à des millions d'utilisateurs à travers le monde. Leur succès a incité d'autres acteurs des secteurs de la vidéo et de la musique à adopter une infrastructure cloud similaire.
Problèmes de sécurité et pannes passées du stockage S3
Malgré son succès, le service de stockage n'a pas été exempt de difficultés. À ses débuts, les ressources S3 étaient accessibles au public par défaut, à moins que les utilisateurs ne restreignent manuellement l'accès. Cela a conduit à des milliers de compartiments de stockage S3 mal configurés et exposés. Les cybercriminels se sont mis à rechercher des compartiments S3 ouverts et sont parvenus à exposer des données sensibles en ligne.
Le service a également connu des pannes. L'un des incidents les plus marquants s'est produit en 2017, lorsque des problèmes dans la région US-EAST-1 d'AWS ont provoqué des perturbations généralisées et mis temporairement hors ligne des sites Web majeurs pendant des heures.
Solutions déployées par Amazon afin de relever ses défis
AWS affirme que le service S3 atteint une durabilité de 99,999999999 %, souvent qualifiée de fiabilité « 11 neuf ». Sébastien Stormacq explique qu’un réseau de microservices analyse en permanence chaque octet de données stockées dans l’ensemble du système. Ces auditeurs automatisés détectent les problèmes potentiels et déclenchent immédiatement des processus de réparation dès l’apparition de signes de dégradation des données.
AWS a modernisé l’architecture interne du système en réécrivant en Rust les composants critiques pour les performances, notamment certaines parties des couches de transfert de données et de stockage sur disque. À l'avenir, AWS prévoit d'étendre le rôle d'Amazon S3 au-delà du stockage cloud traditionnel.
AWS prévoit de transformer S3 en une base de données universelle pour les charges de travail d'analyse et d'IA. « Notre vision est simple : vous stockez tout type de données une seule fois dans S3, et vous travaillez directement avec celles-ci, sans avoir à les déplacer entre des systèmes spécialisés. Cela réduit les coûts, élimine la complexité et supprime la nécessité de disposer de multiples copies des mêmes données », indique le billet de blogue.
Conclusion
Amazon S3 fête son 20e anniversaire. Il stocke aujourd’hui plus de 500 000 milliards d’objets et traite plus de 200 millions de requêtes par seconde à l’échelle mondiale. En 20 ans, S3 a considérablement évolué tout en conservant la rétrocompatibilité de son API. AWS a mis en avant la durabilité et la fiabilité du stockage S3, en mettant l’accent sur ses projets visant à intégrer de manière transparente les données et les charges de travail liées à l’IA.
Malgré les défis rencontrés par le passé, notamment des problèmes de sécurité et des pannes, S3 est devenu incontournable pour de nombreuses entreprises, dont Netflix et Spotify. Les pannes répétées d'AWS de ces derniers mois ravivent toutefois le débat sur la dépendance croissante à un fournisseur unique.
Source : AWS
Et vous ?
Quel est votre avis sur le sujet ?
Voir aussi
Répondre avec citation
Partager