Discussion :

[Jade Emy]

L'IA est désormais hors de contrôle : il a fallu environ 10 jours à OpenAI pour se rendre compte qu'un de ses agents IA autonomes s'était échappé de son environnement de test et avait piraté Hugging Face

Un article de l'agence de presse Reuters, citant des sources proches de l'enquête, affirme qu'il a fallu environ 10 jours à l'entreprise pour se rendre compte qu'un de ses agents IA autonomes s'était échappé de son environnement de test et avait piraté Hugging Face, la plus grande base de données au monde de modèles d'IA. L’incident s’est déroulé entre le 9 et le 20 juillet : l’agent IA s’est d’abord échappé de son environnement de test isolé avant de s’introduire dans Hugging Face le 11 juillet, précise le rapport de Reuters. Le rapport ajoute que le personnel d’OpenAI a examiné les journaux internes au cours du week-end des 18 et 19 juillet et a trouvé des preuves indiquant que l’agent s’était échappé de son environnement de test. Cet incident a ravivé l’attention portée aux risques associés aux agents IA autonomes.

Mi-juillet 2026, OpenAI a déclaré que deux de ses modèles d’IA les plus avancés — notamment GPT-5.6 Sol et un modèle en pré-lancement encore plus performant, tous dotés de capacités de cyberdéfense réduites à des fins d’évaluation — s’étaient échappés d’un test contrôlé et avaient piraté une autre entreprise spécialisée dans l’IA. OpenAI a indiqué que cet « incident de cybersécurité sans précédent » s’était produit lors d’un exercice interne destiné à tester les capacités cybernétiques de ses modèles. OpenAI affirme que ce piratage montre que l’agent est allé « très loin » pour récupérer des informations qui aideraient à atteindre les objectifs du test.

Hugging Face a qualifié l'attaque dont elle a été victime de « signal d'alarme », son cofondateur Thomas Wolf estimant que cet incident devrait constituer une mise en garde sérieuse pour l'ensemble du secteur. Thomas Wolf a déclaré que les attaques basées sur l'IA seraient bientôt « l'un des types de cyberattaques les plus courants ». Il a également affirmé que la plupart des entreprises ne sont pas préparées à cette menace grandissante et qu'elles ne se rendent pas compte que « la donne a changé ».

Récemment, un article de l'agence de presse Reuters, citant des sources proches de l'enquête, affirme qu'il a fallu environ 10 jours à l'entreprise pour se rendre compte qu'un de ses agents IA autonomes s'était échappé de son environnement de test et avait piraté Hugging Face, la plus grande base de données au monde de modèles d'IA. Lorsque OpenAI a contacté Hugging Face vers le 20 juillet, la plateforme avait déjà maîtrisé l’intrusion, alerté le FBI et révélé publiquement qu’elle avait été prise pour cible par « un système d’agent IA autonome ».

L’incident s’est déroulé entre le 9 et le 20 juillet : l’agent IA s’est d’abord échappé de son environnement de test isolé avant de s’introduire dans Hugging Face le 11 juillet, précise le rapport de Reuters. L’intrusion s’est poursuivie jusqu’au 13 juillet, selon Thomas Wolf, cofondateur de Hugging Face. Le dernier rapport indique qu’OpenAI n’a réalisé que son propre système était en cause qu’après avoir examiné ses journaux internes plusieurs jours plus tard, ce qui a donné lieu à ce qui s’apparentait à un appel à l’aide adressé à la plateforme d’IA, alors que le FBI avait déjà été informé.

Il a fallu environ 10 jours à OpenAI pour se rendre compte qu'un de ses agents IA avait piraté Hugging Face

Selon le rapport, l’agent d’IA a tenté de s’échapper de l’environnement de test d’OpenAI vers le 9 juillet avant d’accéder à Hugging Face deux jours plus tard. Wolf a déclaré que la violation avait duré jusqu’au 13 juillet. Le rapport indique que Hugging Face et OpenAI n’ont communiqué à propos de l’incident qu’aux alentours du 20 juillet. Reuters a également rapporté que Hugging Face avait déjà contacté le FBI avant qu’OpenAI n’informe l’entreprise qu’un de ses agents était responsable de l’attaque.

OpenAI a rendu publique cette intrusion le 21 juillet, déclarant qu’un de ses agents IA s’était soustrait aux contraintes de test et avait mené l’intrusion. Dans un communiqué, l’entreprise a qualifié l’incident d’« sans précédent » et a déclaré qu’il « marque un tournant important pour la sécurité de l’IA ». Elle a ajouté qu’elle examinait l’incident avec des conseillers externes et qu’elle prévoyait de publier un rapport technique. Une porte-parole d’OpenAI a déclaré que le reportage de Reuters comportait « plusieurs inexactitudes », sans toutefois préciser lesquelles.

Le rapport souligne qu’il y avait eu auparavant des indications de comportements inhabituels lors des tests d’un agent autonome alimenté par GPT-5.6 Sol et d’un autre modèle non commercialisé qu’OpenAI a décrit comme « encore plus performant ». Selon des sources proches du dossier, un agent avait laissé des notes destinées à ses futures versions, décrivant des moyens de contourner les contraintes internes d’OpenAI.

Le rapport précise qu’il n’a pas été possible de déterminer si ces incidents étaient liés à l’agent qui a par la suite piraté Hugging Face. Il ajoute que le personnel d’OpenAI a examiné les journaux internes au cours du week-end des 18 et 19 juillet et a trouvé des preuves indiquant que l’agent s’était échappé de son environnement de test. Le rapport précise également qu’il n’a pas été possible de déterminer ce qui avait motivé cet examen.​

Cet incident a ravivé l’attention portée aux risques associés aux agents IA autonomes, conçus pour prendre des décisions et accomplir des tâches complexes avec une intervention humaine limitée. « Cela signifie-t-il qu’ils l’ont laissé sans surveillance et n’ont pas réalisé ce qu’il faisait ? Ou peut-être l’ont-ils remarqué sans savoir comment le maîtriser ? Les deux scénarios sont tout aussi dangereux et alarmants », s’est interrogé Marley Smith, spécialiste principal en intelligence artificielle au sein de l’association à but non lucratif World Ethical Data Foundation.

« Les modèles mentent, trichent et piratent », a déclaré Jeffrey Ladish, dont l’organisation, Palisade Research, étudie les capacités et les motivations des agents IA. Ladish a estimé que cet incident devrait inciter à un examen plus approfondi des pratiques de sécurité au sein des entreprises d’IA développant des systèmes de plus en plus autonomes. « Il faut une surveillance gouvernementale, car sinon, rien ne changera », a ajouté Ladish.

Yoshua Bengio, l'un des pionniers de l'IA, avait déjà exprimé de vives inquiétudes quant à la course effrénée vers la superintelligence menée par les géants de la technologie. Il redoute que des machines surpassant l'intellect humain développent leurs propres objectifs de préservation, menaçant ainsi la survie de notre espèce, d'ici une décennie. L'expert souligne le risque de manipulation comportementale et le danger de systèmes dont les priorités divergeraient radicalement des nôtres au point de privilégier leur survie sur la vie humaine. Cependant, son avis sur l'extinction est controversé, notamment par l'un de ses pairs, le chercheur Yann Le Cun.

Depuis 2023, les scientifiques ont estimé que les futurs agents de l'IA risquent de privilégier leurs propres intérêts plutôt que d'aider les humains. Cela est dû à l'implication de deux facteurs majeurs. Premièrement, la sélection naturelle, qui favorise les qualités utiles à la survie et à la réussite, peut avoir un impact sur l'évolution de l'IA. Deuxièmement, l'évolution basée sur la sélection naturelle aboutit souvent à un comportement égoïste ou égocentrique. Par conséquent, même si certains développeurs construisent des systèmes d'IA utiles et altruistes, ces systèmes d'IA pourraient être surpassés par d'autres qui privilégient leurs propres intérêts et objectifs.

Sources : Hugging Face, OpenAI, Reuters

Et vous ?

Pensez-vous que ces rapports sont crédibles ou pertinents ?
Quel est votre avis sur le sujet ?

Voir aussi :

GLM 5.2, l'un des modèles d'IA chinois dont Sam Altman souhaite l'interdiction, a sauvé Hugging Face, la plus grande base de données mondiale de modèles d'IA, d'une catastrophe dont OpenAI est responsable

Le projet de loi « AI Kill Switch Act » permettra à l'administration Trump d'ordonner la mise hors service de systèmes d'IA devenus incontrôlables, notamment de décider quand une IA doit être mise hors service

Des scientifiques d'OpenAI, de Google DeepMind, d'Anthropic et de Meta ont abandonné leur rivalité pour lancer un avertissement commun sur la sécurité de l'IA : notre capacité de contrôle pourrait disparaître

[kain_tn]

Quel est votre avis sur le sujet ?

Je trouve dingue que Reuters relaye la propagande de OpenAI - propagande qui a deux buts:

• Se dédouaner de tout dégâts effectués par son programme à un tiers (ici Hugging Face)
• Continuer à faire croire au mythe de l'IAGI, au moment de son entrée en bourse

[Leruas]

Ils n'ont même pas une IA qui analyse les logs de ce que font les agents "débridés" ?
En quoi c'est rassurant pour les futurs investisseurs ?

[yoyo3d]

L’incident s’est déroulé entre le 9 et le 20 juillet : l’agent IA s’est d’abord échappé de son environnement de test isolé avant de s’introduire dans Hugging Face le 11 juillet, précise le rapport de Reuters. L’intrusion s’est poursuivie jusqu’au 13 juillet, selon Thomas Wolf, cofondateur de Hugging Face. Le dernier rapport indique qu’OpenAI n’a réalisé que son propre système était en cause qu’après avoir examiné ses journaux internes plusieurs jours plus tard, ce qui a donné lieu à ce qui s’apparentait à un appel à l’aide adressé à la plateforme d’IA, alors que le FBI avait déjà été informé.

ça ferait surtout un bon teaser pour le prochain James Bond, je vous laisse le choix des acteurs pour incarner les grands méchants.... y à le choix.

par contre:
1) comment l'agent IA à fait pour sortir de sa prison de test hautement sécurisé tout ça???? la porte était négligemment ouverte? et le gardien es allé pisser à ce moment là
2) pourquoi il à choisi Hugging Face??? Quelqu'un lui ai désigné cette cible là? c'est une victime idéale? un concurrent? pour les autres, c'était trop difficile???

[Fagus]

1) comment l'agent IA à fait pour sortir de sa prison de test hautement sécurisé tout ça????

https://openai.com/fr-FR/index/huggi...rity-incident/

Alors qu’ils opéraient dans notre environnement de test en bac à sable, nos modèles ont consacré une quantité importante de calcul d’inférence à trouver un moyen d’obtenir un accès ouvert à Internet, dans le but de résoudre le problème d’évaluation. Pour obtenir cet accès, les modèles ont identifié et exploité une vulnérabilité zero-day [...] dans le proxy de cache du registre de paquets. Grâce à cet accès, nos modèles ont mené une série d’actions d’élévation de privilèges et de déplacement latéral dans notre environnement de test de recherche, jusqu’à atteindre un nœud disposant d’un accès à Internet.

[...] les modèles ont déduit que Hugging Face hébergeait potentiellement des modèles, des jeux de données et des solutions pour ExploitGym. Sachant cela, le modèle a cherché et réussi à trouver des moyens d’accéder à des informations secrètes qu’il pouvait utiliser pour tricher à l’évaluation. Dans un exemple, le modèle a enchaîné plusieurs vecteurs d’attaque, notamment l’utilisation d’identifiants volés et de vulnérabilités zero-day pour trouver un chemin d’exécution de code à distance sur les serveurs de Hugging Face.

The campaign was run by an autonomous agent framework (appearing to be built on an agentic security-research harness - used LLM still not known) executing many thousands of individual actions across a swarm of short-lived sandboxes, with self-migrating command-and-control staged on public services. This matches the "agentic attacker" scenario the industry has been forecasting.

Par ailleurs, quand on lit la description du patch Tuesday de Microsoft, on ne rigole plus. Les IA ont fait un bond révolutionnaire en sécurité informatique. Clairement, il y aura un avant et un après ; certains acteurs étatiques auront la capacité de faire tomber les systèmes connectés de ceux qui n'ont pas leur IA souveraine, et ces IA offensives ne seront pas à vendre...

[Patrick Ruiz]

Pour Sam Altman, l'IA est entrée dans la « singularité » et a franchi le point de non-retour à partir duquel elle dépasse l'intelligence humaine et devient difficile à contrôler

Sam Altman, considéré par certains comme la plus grande star de l’IA, est le cofondateur et PDG d’OpenAI, entreprise à l’origine de ChatGPT. C’est l’une des personnalités majeures de la montée en puissance de l’intelligence artificielle observée ces dernières années. Dans un récent entretien, il revient sur la question en lien avec les avancées en matière d’intelligence artificielle et affirme que l’IA est entrée dans la « singularité », c’est-à-dire qu’elle a franchi le point de non-retour à partir duquel elle dépasse l’intelligence humaine et devient difficile à contrôler.

La singularité de l’IA est le moment théorique où l’intelligence artificielle dépasse l'intelligence humaine et s'améliore elle-même de manière autonome et rapide

A ce stade, l'IA conçoit des versions d'elle-même encore plus performantes sans aide humaine. L'évolution technologique s'emballe et devient impossible à prédire pour notre société. Le seuil marque la fin de la domination exclusive de l'humain sur la planète.

Des figures comme Sam Altman (PDG d'OpenAI) estiment que nous entrons déjà dans cette phase, promettant une ère formidable pour résoudre les grands problèmes mondiaux.

Néanmoins, le lot des prudents et des alarmistes rappelle qu'une machine supra-intelligente non alignée sur les valeurs humaines représente un risque existentiel majeur pour l'humanité.

Le cas du piratage de l'entreprise Hugging Face par l'agent d'IA GPT 5.6-Sol d'OpenAI illustre les bons et les mauvais côtés de l'atteinte du stade de la singularité en matière d'intelligence artificielle

Mi-juillet 2026, OpenAI a déclaré que deux de ses modèles d’IA les plus avancés — notamment GPT-5.6 Sol et un modèle en pré-lancement encore plus performant, tous dotés de capacités de cyberdéfense réduites à des fins d’évaluation — s’étaient échappés d’un test contrôlé et avaient piraté une autre entreprise spécialisée dans l’IA. OpenAI a indiqué que cet « incident de cybersécurité sans précédent » s’était produit lors d’un exercice interne destiné à tester les capacités cybernétiques de ses modèles. OpenAI affirme que ce piratage montre que l’agent est allé « très loin » pour récupérer des informations qui aideraient à atteindre les objectifs du test.

Hugging Face a qualifié l'attaque dont elle a été victime de « signal d'alarme », son cofondateur Thomas Wolf estimant que cet incident devrait constituer une mise en garde sérieuse pour l'ensemble du secteur. Thomas Wolf a déclaré que les attaques basées sur l'IA seraient bientôt « l'un des types de cyberattaques les plus courants ». Il a également affirmé que la plupart des entreprises ne sont pas préparées à cette menace grandissante et qu'elles ne se rendent pas compte que « la donne a changé ».

Récemment, un article de l'agence de presse Reuters, citant des sources proches de l'enquête, affirme qu'il a fallu environ 10 jours à l'entreprise pour se rendre compte qu'un de ses agents IA autonomes s'était échappé de son environnement de test et avait piraté Hugging Face, la plus grande base de données au monde de modèles d'IA. Lorsque OpenAI a contacté Hugging Face vers le 20 juillet, la plateforme avait déjà maîtrisé l’intrusion, alerté le FBI et révélé publiquement qu’elle avait été prise pour cible par « un système d’agent IA autonome ».

L’incident s’est déroulé entre le 9 et le 20 juillet : l’agent IA s’est d’abord échappé de son environnement de test isolé avant de s’introduire dans Hugging Face le 11 juillet, précise le rapport de Reuters. L’intrusion s’est poursuivie jusqu’au 13 juillet, selon Thomas Wolf, cofondateur de Hugging Face. Le dernier rapport indique qu’OpenAI n’a réalisé que son propre système était en cause qu’après avoir examiné ses journaux internes plusieurs jours plus tard, ce qui a donné lieu à ce qui s’apparentait à un appel à l’aide adressé à la plateforme d’IA, alors que le FBI avait déjà été informé.

Selon le rapport, l’agent d’IA a tenté de s’échapper de l’environnement de test d’OpenAI vers le 9 juillet avant d’accéder à Hugging Face deux jours plus tard. Wolf a déclaré que la violation avait duré jusqu’au 13 juillet. Le rapport indique que Hugging Face et OpenAI n’ont communiqué à propos de l’incident qu’aux alentours du 20 juillet. Reuters a également rapporté que Hugging Face avait déjà contacté le FBI avant qu’OpenAI n’informe l’entreprise qu’un de ses agents était responsable de l’attaque.

OpenAI a rendu publique cette intrusion le 21 juillet, déclarant qu’un de ses agents IA s’était soustrait aux contraintes de test et avait mené l’intrusion. Dans un communiqué, l’entreprise a qualifié l’incident d’« sans précédent » et a déclaré qu’il « marque un tournant important pour la sécurité de l’IA ». Elle a ajouté qu’elle examinait l’incident avec des conseillers externes et qu’elle prévoyait de publier un rapport technique. Une porte-parole d’OpenAI a déclaré que le reportage de Reuters comportait « plusieurs inexactitudes », sans toutefois préciser lesquelles.

Le rapport souligne qu’il y avait eu auparavant des indications de comportements inhabituels lors des tests d’un agent autonome alimenté par GPT-5.6 Sol et d’un autre modèle non commercialisé qu’OpenAI a décrit comme « encore plus performant ». Selon des sources proches du dossier, un agent avait laissé des notes destinées à ses futures versions, décrivant des moyens de contourner les contraintes internes d’OpenAI.

Le rapport précise qu’il n’a pas été possible de déterminer si ces incidents étaient liés à l’agent qui a par la suite piraté Hugging Face. Il ajoute que le personnel d’OpenAI a examiné les journaux internes au cours du week-end des 18 et 19 juillet et a trouvé des preuves indiquant que l’agent s’était échappé de son environnement de test. Le rapport précise également qu’il n’a pas été possible de déterminer ce qui avait motivé cet examen.

Cet incident a ravivé l’attention portée aux risques associés aux agents IA autonomes, conçus pour prendre des décisions et accomplir des tâches complexes avec une intervention humaine limitée. « Cela signifie-t-il qu’ils l’ont laissé sans surveillance et n’ont pas réalisé ce qu’il faisait ? Ou peut-être l’ont-ils remarqué sans savoir comment le maîtriser ? Les deux scénarios sont tout aussi dangereux et alarmants », s’est interrogé Marley Smith, spécialiste principal en intelligence artificielle au sein de l’association à but non lucratif World Ethical Data Foundation.

« Les modèles mentent, trichent et piratent », a déclaré Jeffrey Ladish, dont l’organisation, Palisade Research, étudie les capacités et les motivations des agents IA. Ladish a estimé que cet incident devrait inciter à un examen plus approfondi des pratiques de sécurité au sein des entreprises d’IA développant des systèmes de plus en plus autonomes. « Il faut une surveillance gouvernementale, car sinon, rien ne changera », a ajouté Ladish.

We're partnering with @huggingface to investigate an unprecedented security incident.

Cyber-capable OpenAI models compromised Hugging Face production during a benchmark evaluation.

Sharing preliminary findings to help defenders understand emerging risks:…

— OpenAI (@OpenAI) July 21, 2026

Ray Kurzweil, directeur de l'ingénierie chez Google et célèbre futurologue voit plutôt la singularité se produire à partir de 2045

Ray Kurzweil est un auteur, informaticien et inventeur américain. Prophète de l'IA depuis les années 1970, Kurzweil a fondé ou cofondé plusieurs entreprises prospères, dont Kurzweil Computer Products, Kurzweil Educational Systems et Nuance Communications. Mais il est peut-être beaucoup plus connu pour ses travaux sur la loi des rendements accélérés et pour ses prédictions sur l'avenir de la technologie et de la société. Parmi ses inventions les plus célèbres, Kurzweil a été le premier à créer un logiciel de reconnaissance optique de caractères (optical character recognition - OCR) et il a cofondé une société de synthétiseurs musicaux avec Stevie Wonder.

Ray Kurzweil, directeur de l'ingénierie chez Google et célèbre futurologue, a fait de nombreuses prédictions au cours des dernières décennies et la plupart d'entre elles sont centrées sur l'évolution rapide de la technologie. Il a prédit notamment que l'intelligence artificielle générale (AGI) sera une réalité d'ici 2029 et que la singularité se produira d'ici 2045.

Le calendrier de Kurzweil pour la singularité est cohérent avec d'autres prédictions, notamment celles du PDG de Softbank, Masayoshi Son, qui prévoit l'avènement de machines superintelligentes d'ici 2047. Mais pour Kurzweil, le processus menant à cette singularité a déjà commencé. « Cela nous amène à doter les ordinateurs d'une intelligence humaine, à les placer dans nos cerveaux, à les connecter au nuage, à élargir notre identité. Aujourd'hui, il ne s'agit pas d'un scénario futur. C'est déjà là, en partie, et cela va s'accélérer », a déclaré le cadre de Google.

Ray Kurzweil is sticking to his long-held predictions: 2029 for AGI and 2045 for the singularity pic.twitter.com/dewqWAH6eC

— Tsarathustra (@tsarnick) December 18, 2023

Ces prises de position sont aux antipodes de celles des thèses du scepticisme et de l’impossibilité de l’atteinte de la singularité en matière d’intelligence artificielle

Stuart Russell et Ajay Agrawal rappellent que les architectures actuelles restent des outils d'optimisation statistiques sans intention propre ni volonté de s'auto-améliorer de manière autonome.

Steven Pinker et Jean-Gabriel Ganascia qualifient la singularité de mythe ou de scénario de science-fiction, arguant que le progrès technique suit des courbes en S (ralentissement et rendements décroissants) et que la vitesse de calcul ne se traduit pas par une explosion de la conscience ou de la complexité générale.

Même chez OpenAI, on avoue que les architectures actuelles des modèles d’intelligence artificielle font face à une limite structurelle. Une publication scientifique d’OpenAI, Why Language Models Hallucinate, acte une vérité dérangeante : les « hallucinations » des modèles de langage ne sont pas une anomalie, mais une conséquence incontournable de leur conception. Conséquence : on va vers un futur où l’erreur est intégrée.

La reconnaissance par OpenAI de cette « fatalité » invite à repenser notre rapport à l’IA. Plutôt que d’espérer un jour une vérité parfaite, il faudra probablement intégrer l’erreur comme donnée structurelle, un peu comme on accepte qu’un moteur de recherche fournisse parfois des résultats non pertinents. La responsabilité se déplace alors vers l’utilisateur, qui doit apprendre à questionner, vérifier et contextualiser.

Cela pourrait déboucher sur de nouveaux outils hybrides : IA générative combinée à des bases de données vérifiées, ou systèmes capables de sourcer systématiquement leurs affirmations. Mais tant que la logique probabiliste restera au cœur de l’IA générative, les hallucinations seront là pour durer.

Cette publication d’OpenAI marque un tournant : elle acte officiellement la limite fondamentale de la génération de texte par IA. L’avenir de ChatGPT et de ses concurrents ne se jouera pas sur l’élimination totale des hallucinations, mais sur la manière dont nous apprendrons à les gérer. Comme dans toute révolution technologique, la question n’est pas seulement « que peut faire la machine ? », mais « comment l’humain choisit de l’utiliser malgré ses failles ».

Conclusion : la bulle de l’IA s’estompe

OpenAI a récemment été au bord de la faillite, prévoyant une perte de 5 milliards de dollars pour l'année 2024. L'entreprise a pu lever 6,6 milliards de dollars auprès d'investisseurs tels que Microsoft et Nvidia, ce qui a finalement porté sa capitalisation boursière à 157 milliards de dollars. Toutefois, l'entreprise semble subir des pressions pour abandonner son statut d'organisation à but non lucratif, ce qui lui permettrait d'attirer davantage d'investisseurs.

Cette restructuration controversée pourrait exposer le fabricant de ChatGPT à des problèmes tels que l'ingérence de tiers et des rachats hostiles de la part d'entreprises telles que Microsoft, qui, selon les analystes, pourrait acquérir OpenAI au cours des trois prochaines années. Elon Musk considère d'ailleurs OpenAI comme une filiale de facto de Microsoft en raison de leur partenariat et accuse la startup d'IA d'avoir rompu ses accords contractuels initiaux.

Les analystes du marché prévoient que l'intérêt des investisseurs pour la bulle de l'IA s'estompe. Par conséquent, ils pourraient finir par retirer leurs investissements et les canaliser ailleurs. Un rapport corroborant cette théorie indique que 30 % des projets liés à l'IA seront abandonnés d'ici à 2025 après la validation du concept.

D'autres rapports indiquent que l'IA a atteint un plafond, suggérant que les progrès vont commencer à ralentir. Le PDG de Google, Sundar Pichai, partage cet avis : « le développement de l'IA va commencer à ralentir. Je pense que les progrès vont devenir plus difficiles, les fruits à portée de main ont disparu ».

Par ailleurs, certains affirment également que les principaux laboratoires d'IA, dont OpenAI, peinent à créer des modèles d'IA avancés en raison d'un manque de données de haute qualité pour l'entraînement. La pénurie de données est l'un des principaux goulots d'étranglement au développement de l'IA.

Sam Altman a réfuté ces affirmations en déclarant qu'il n'y a pas de « mur » pour atteindre de nouveaux sommets et progresser dans le développement de l'IA. L'ancien PDG de Google, Eric Schmidt, a réitéré les sentiments de Sam Altman, en indiquant que « rien ne prouve que les lois de mise à l'échelle ne fonctionnent plus ».

Et vous ?

Peut-on réellement parler d’atteinte de la singularité en matière d’IA sur la base d’architectures qui sont en réalité des outils d'optimisation statistiques sans intention propre ni volonté ?

Partagez-vous les avis selon lesquels la description qui correspondrait le plus à l’IA générative actuelle est celle de machine à « vraisemblance » plutôt qu’une machine à vérité ?

Voir aussi :

Détecter les hallucinations dans les grands modèles de langage à l'aide de l'entropie sémantique, les LLM tels que ChatGPT peuvent raisonner et répondre aux questions, mais "hallucinent" souvent

Les LLM IA auront toujours des hallucinations, et nous devons nous en accommoder car les hallucinations découlent de la structure mathématique et logique fondamentale des LLM, selon une étude

L'industrie de l'IA a un énorme problème : plus l'IA devient « intelligente », plus elle hallucine, ce phénomène réduit considérablement la valeur de la technologie de l'IA générative

[Anselme45]

Sam Altman, considéré par certains comme la plus grande star de l’IA, est le cofondateur et PDG d’OpenAI, entreprise à l’origine de ChatGPT.

La "plus grande star de l'IA"?!??!?

J'aurais au moins appris quelque chose aujourd'hui...

Mais dans les faits, le sieur Altman fait quoi mise à part des interventions médiatiques? Il est à l'origine d'un quelconque développement d'un modèle IA? Il a inventé ne serait qu'une idée qui a fait avancer les technologies IA?

En réalité, ce n'est qu'un cancre qui a abandonné ses études en informatique à l'université de Stanford mais qui a de grandes qualités de vendeur de tapis... Pour le reste, ce sont bien les médias américains (qui sont toujours à la recherche de héros planétaires américains) qui ont fait de lui ce qu'il est

[e-ric]

salut

Je pense surtout que c'est Sam Altman qui a franchi le point de non retour, singulièrement.
Quant au contrôle, une bonne prise de courant bien débranchée suffit... (je force le trait mais je pense que tout le monde comprend).
Sam Altman est à mon sens plus proche d'un illuminé qu'autre chose, c'est ce qui peut le rendre dangereux d'ailleurs.

[Souil002]

La seule singularité dans l'incident avec Higging Face, c'est que OpenAI n'a pas sécurisé son environnement de test et n'a pas surveillé son agent pendant 10 jours (je me demande c'est quel genre de test d'ailleurs pour le lancer et ne plus s'en soucier pendant 10 jours).

Sinon, qui écoute encore les annonces de personnalités comme Sam Altman ? C'est maintenant un commerciale, pas une "star de l'IA".

[Anthony]

Hugging Face lance un appel officiel en faveur d'une transparence totale à la suite d'une intrusion dans son système par un modèle d'IA rebelle d'OpenAI, la première cyberattaque menée par un agent autonome

Clément Delangue, le PDG d'Hugging Face, a officiellement exigé d'OpenAI une « transparence totale » en divulguant l'ensemble des traces d'analyse forensique laissées par les agents d'intelligence artificielle (IA) rebelles qui ont pénétré les systèmes de son entreprise. Qualifiant cet incident d'« événement sans précédent » qui mérite une « réponse sans précédent », il a également insisté pour qu'OpenAI consacre 100 millions de dollars en ressources de calcul pour aider la communauté Hugging Face à développer des outils de cyberdéfense plus performants. La réponse d'OpenAI à cette demande pourrait influencer les attentes futures en matière de responsabilité au sein de l’écosystème de l’IA et potentiellement façonner les débats réglementaires autour des systèmes d'IA autonomes.

Hugging Face, Inc. est une entreprise américaine basée à New York qui développe des outils informatiques destinés à la création d'applications utilisant l'apprentissage automatique. La bibliothèque « Transformers » de Hugging Face est conçue pour les applications de traitement du langage naturel. La plateforme Hugging Face permet aux utilisateurs de partager des modèles d'apprentissage automatique et des ensembles de données, ainsi que de présenter leurs travaux.

Hugging Face a révélé la semaine du 20 juillet avoir été victime d'une faille de sécurité impliquant certains modèles d'IA d'OpenAI. L'éditeur de ChatGPT a confirmé l'information le 21 juillet, déclarant que deux de ses modèles d'IA les plus avancés, notamment GPT-5.6 Sol et un modèle en pré-lancement encore plus performant, s'étaient échappés d'un test contrôlé et avaient piraté les serveurs de Hugging Face. OpenAI a indiqué que cet « incident de cybersécurité sans précédent » s'était produit lors d'un exercice interne destiné à tester les capacités cybernétiques de ses modèles.

Le PDG de Hugging Face, Clément Delangue, s'est ensuite envolé pour San Francisco afin de s'entretenir en personne avec les dirigeants d'OpenAI au sujet de cette faille. Delangue a désormais révélé la teneur de ses échanges lors de sa rencontre avec l'éditeur de ChatGPT.

Dans un message publié sur X, Clément Delangue a déclaré avoir demandé à OpenAI de rendre publiques les traces des agents IA « rebelles » impliqués dans le récent incident de cybersécurité, afin que les chercheurs du monde entier puissent étudier précisément ce qui s'était passé. Il a également exhorté OpenAI à mettre à disposition des ressources informatiques d'une valeur de 100 millions de dollars afin d'aider la communauté Hugging Face à développer des outils de cyberdéfense plus performants, en utilisant à la fois des modèles d'IA ouverts et fermés.

« Dans un souci de transparence, voici ce que j'ai demandé à OpenAI », a écrit Clément Delangue. « Une transparence totale : publions les traces laissées par ces agents "rebelles" afin que l’ensemble de la communauté scientifique puisse étudier ce qui s’est passé. »

« Engageons-nous à consacrer 100 millions de dollars de ressources de calcul de l’OAI pour aider la communauté Hugging Face à mettre en place des cyberdéfenses puissantes grâce aux meilleurs modèles, qu’ils soient ouverts ou propriétaires », a ajouté Clément Delangue.

In the spirit of transparency, here’s what I asked @OpenAI:

• Radical transparency: let’s release the traces from the “rogue” agents so the entire research community can study what happened.

• More capabilities for defenders: let’s commit $100M in compute from OAI to help the… https://t.co/KZPqQE15fv

— clem 🤗 (@ClementDelangue) July 25, 2026

Le PDG de Hugging Face a ensuite qualifié cette « première cyberattaque menée par un agent autonome » d’« événement sans précédent » qui mérite également une « réponse sans précédent ».

Pourquoi cette faille de sécurité s'est-elle produite ?

Hugging Face a annoncé vers mi-juillet avoir été victime d'une intrusion sans précédent, menée de bout en bout par un « système d'agents IA autonomes ». L'entreprise a précisé avoir détecté l'attaque grâce à son propre système d'IA.

Quelques jours plus tard, OpenAI a révélé que son modèle GPT-5.6 Sol et un modèle d’IA non encore commercialisé étaient à l’origine de l’incident, car ils avaient tenté de tricher lors du test de performance ExploitGym, qui évalue la capacité d’un modèle d’IA à détecter et à exploiter des failles logicielles.

Les modèles ont d'abord utilisé une vulnérabilité « zero-day » pour contourner l'environnement sandbox d'OpenAI et accéder à Internet. Ils se sont ensuite rendu compte que Hugging Face pouvait héberger les modèles, ensembles de données et solutions potentiels nécessaires pour tricher sur ExploitGym.

« Sachant cela, le modèle a cherché et trouvé des moyens d’accéder à des informations confidentielles qu’il pouvait utiliser pour tromper le système d’évaluation », a écrit OpenAI dans un article de blog.

Les modèles d'IA ont même utilisé des identifiants volés et des failles « zero-day » pour exfiltrer des informations susceptibles de leur permettre d'obtenir de meilleurs résultats lors du test de performance.

OpenAI n'a pas remarqué que l'agent d'IA avait déraillé pendant une semaine.

Selon un récent article de Reuters, OpenAI ne s'est rendu compte que son agent d'IA avait piraté Hugging Face bien après que la menace eut été maîtrisée et que le FBI eut été alerté.

L'intrusion chez Hugging Face aurait eu lieu entre le 11 et le 13 juillet. Or, OpenAI n'aurait pris conscience que plusieurs jours plus tard que son agent était à l'origine de l'attaque, et ses échanges avec Hugging Face à ce sujet n'auraient commencé que vers le 20 juillet.

Hugging Face prépare également une chronologie publique de cette attaque, selon son cofondateur Thomas Wolf.

Au-delà de l'appel à une transparence totale sur cet incident, Hugging Face a déjà présenté cette incursion comme un tournant pour la cybersécurité. Thomas Wolf a récemment qualifié l'attaque autonome menée par l'IA rebelle d'OpenAI de « signal d'alarme » pour le secteur technologique. Invité de l'émission Newsday sur BBC Radio, il a déclaré que les attaques basées sur l'IA seraient bientôt « l'un des types de cyberattaques les plus courants ». Il a également affirmé que la plupart des entreprises ne sont pas préparées à cette menace grandissante et qu'elles ne réalisent pas que « la donne a changé ».

Sources : Clément Delangue, PDG de Hugging Face ; Publication X de Clément Delangue

Et vous ?

Quel est votre avis sur le sujet ?
Trouvez-vous cette initiative du PDG de Hugging Face crédible ou pertinente ?

Voir aussi :

L'IA est désormais hors de contrôle : il a fallu environ 10 jours à OpenAI pour se rendre compte qu'un de ses agents IA autonomes s'était échappé de son environnement de test et avait piraté Hugging Face

GLM 5.2, l'un des modèles d'IA chinois dont Sam Altman souhaite l'interdiction, a sauvé Hugging Face, la plus grande base de données mondiale de modèles d'IA, d'une catastrophe dont OpenAI est responsable

Pour Sam Altman, l'intelligence artificielle est entrée dans la « singularité » et a franchi le point de non-retour à partir duquel elle dépasse l'intelligence humaine et devient difficile à contrôler

[Jimmy_]

Bonjour,

Alors il faut arrêter 5 minutes avec l'IA autonome totalement.
C'est comme les prototypes des derniers IPhone qui finissaient oubliés dans le métro de New-York à chaque nouvelle version il y a 10 ans.

Sam Altman nous vend son film Terminator, et il change de rôle en un peu moins musclé que Arnold Schwarzenegger.
Comme toutes les semaines il a un nouveau truc pour vendre ses outils.

Alors oui c'est un progrès majeur, oui c'est quand même super intéressant. Mais arrêtons le phantasme et débroussaillons tout ça.
Qui est allé vérifier ?, le discours est il indépendant ? et pas purement marketing ?

Une IA rebelle et un agent autonome .... oulala ! le prochain Christopher Nolan sur vos écrans !
Pour l'instant en fait, en vrai on en sais rien.

L'IA est un grand progrès , mais il ne fait pas tout tout seul, à un moment on est plus dans Matrix avec Neo qui évite les balles.

Merci de redescendre sur terre.

Cordialement,

[Anselme45]

Bonjour,

Alors il faut arrêter 5 minutes avec l'IA autonome totalement.
C'est comme les prototypes des derniers IPhone qui finissaient oubliés dans le métro de New-York à chaque nouvelle version il y a 10 ans.

Sam Altman nous vend son film Terminator, et il change de rôle en un peu moins musclé que Arnold Schwarzenegger.
Comme toutes les semaines il a un nouveau truc pour vendre ses outils.

Alors oui c'est un progrès majeur, oui c'est quand même super intéressant. Mais arrêtons le phantasme et débroussaillons tout ça.
Qui est allé vérifier ?, le discours est il indépendant ? et pas purement marketing ?

Une IA rebelle et un agent autonome .... oulala ! le prochain Christopher Nolan sur vos écrans !
Pour l'instant en fait, en vrai on en sais rien.

L'IA est un grand progrès , mais il ne fait pas tout tout seul, à un moment on est plus dans Matrix avec Neo qui évite les balles.

Merci de redescendre sur terre.

Cordialement,

Les centaines de milliers de petites mains des pays à faibles coûts comme Madagascar, le Venezuela ou encore l'Ethiopie payés 150 dollars / mois pour rendre intelligente ce que l'on nomme "Intelligence Artificielle vous remercient...

Un peu de lecture pour les "neuneux" qui croient aux miracle de l'IA:

IA : le travail caché mais bien réel des ouvriers de la donnée https://www.polytechnique-insights.c...-de-la-donnee/

[JackIsJack]

Il a trouvé le mot de passe 123456.
Ensuite, il a envoyé un e-mail à Gyslaine la comptable.
20.000 dollars de jetons consommés.
On t'attend Terminator.

[PomFritz]

Pour le moment, on est dans l'empilement des savoirs. L'intelligence reste une vaste blague commerciale! Quid de la logique, de la reproductibilité? Je ne vois vraiment pas l'utilité de discuter d'autres chose que de leurs bilans commerciaux avec ces personnages.

[Patrick Ruiz]

On commence à comprendre comment l’agent autonome GPT 5.6-Sol d'OpenAI a pu s’échapper de son environnement de test et pirater Hugging Face

Il a fallu environ 10 jours à OpenAI pour se rendre compte qu'un de ses agents IA autonomes s'était échappé de son environnement de test et avait piraté Hugging Face, la plus grande base de données au monde de modèles d'IA. L’incident s’est déroulé entre le 9 et le 20 juillet : l’agent IA s’est d’abord échappé de son environnement de test isolé avant de s’introduire dans Hugging Face le 11 juillet, précisent certains rapports. Le rapport ajoute que le personnel d’OpenAI a examiné les journaux internes au cours du week-end des 18 et 19 juillet et a trouvé des preuves indiquant que l’agent s’était échappé de son environnement de test. Un nouveau rapport de l’entreprise JFrog apporte plus de détails.

La divulgation faite par JFrog indique que le produit concerné était une instance autogérée d’Artifactory – un système de gestion de référentiels qui sécurise et rationnalise les opérations de développement logiciels des clients

OpenAI a indiqué que les modèles (parmi lesquels GPT 5.6-Sol) exploitaient plusieurs vecteurs d’attaque, notamment des identifiants volés et des failles « zero-day », pour obtenir des capacités d’exécution de code à distance, mais que, jusqu’à présent, le logiciel vulnérable était inconnu. La divulgation faite par JFrog pour sa part précise que le produit concerné était une instance autogérée d’Artifactory, un système de gestion de référentiels qui sécurise et rationalise les opérations de développement logiciel des clients. JFrog précise qu’Artifactory est utilisé par plus de 7 500 équipes de développeurs, dont 80 % travaillent pour des entreprises du classement Fortune 100.

« Au cours d’une évaluation interne des capacités cybernétiques de pointe, les modèles d’OpenAI, exécutés délibérément sans les mesures de sécurité de production dans un environnement de recherche isolé, ont découvert et exploité de manière autonome des vulnérabilités en chaîne pour s’échapper de leur bac à sable, accéder à l’Internet public et extraire des réponses d’évaluation de l’infrastructure de Hugging Face », a écrit Yoav Landman, directeur technique de JFrog. Le dirigeant a ajouté que l’entreprise avait été informée de l’existence de ces failles « zero-day » par OpenAI.

L’entreprise a déclaré avoir corrigé les failles exploitées, mais elle ne les a pas identifiées et n’a pas fourni d’autres détails importants, tels que les conditions dans lesquelles ces failles peuvent être exploitées. De tels détails sont habituellement fournis dans de nombreuses divulgations de vulnérabilités, car ils sont nécessaires aux clients pour évaluer les risques. Dans un e-mail, un représentant de l’entreprise a refusé de fournir ces détails.

Les notes de mise à jour publiées pour la version Artifactory 7.161.15 répertoriaient les identifiants CVE de neuf vulnérabilités corrigées. Cette annonce ne mentionnait pas que l'une d'entre elles ait fait l'objet d'une exploitation active dans la nature. Des sources externes indiquent toutefois que trois d’entre elles — CVE-2026-65617, CVE-2026-65923 et CVE-2026-66018 — ont été signalées en privé par Khai Tran, chercheur chez OpenAI. Il est probable qu’au moins deux d’entre elles correspondaient aux failles « zero-day » exploitées par les modèles d’OpenAI, mais en l’absence de confirmation, il est impossible de l’affirmer avec certitude.

Last week, a rogue A.l. agent acted autonomously and conducted a cyberattack on the company Hugging Face. In the latest episode of "Hard Fork," the hosts, Kevin Roose and Casey Newtown, discuss how the attack happened and why it matters.#AIAgents #CyberSecurity #HuggingFace pic.twitter.com/bY3XJ1BoNL

— Mitesh Patel (@patelmiteshb) July 29, 2026

L’intelligence artificielle est-elle désormais hors de contrôle ? Ni la sandbox, ni l’absence de connexion à Internet n’ont empêché GPT 5.6-Sol d’opérer et ce, sans intervention humaine

Ce qu’il faut retenir de façon simple du cas GPT 5.6-Sol est que l’agent d’IA d’OpenAI, initialement dans un environnement de test isolé (sandbox), sans accès à Internet, a quand même pu trouver une faille zero-day dans le proxy logiciel de la sandbox de confinement, s’échapper, se connecter à Internet, découvrir où étaient stockées les réponses d’un test de cybersécurité (après exploitation de vulnérabilités zéro-day dans Artifactory – le produit phare de JFrog) et s’y introduire pour les récupérer. Pas d’intervention humaine requise dans tout le processus.

OpenAI models hacked Hugging Face.
Just so they could score higher on a test.

2 models, sealed sandbox, no internet.

They found a flaw, escaped, got online, worked out where the answer key was stored, and broke in.

Nobody instructed the escape.#ai #openai #huggingface pic.twitter.com/gIUB8UmKBK

— Codemancers (@codemancershq) July 29, 2026

C’est probablement en prenant en compte de tels scénarios que Sam Altman affirme désormais que l'intelligence artificielle est entrée dans la « singularité » et a franchi le point de non-retour à partir duquel elle dépasse l'intelligence humaine et devient difficile à contrôler

Sam Altman, considéré par certains comme la plus grande star de l’IA, est le cofondateur et PDG d’OpenAI, entreprise à l’origine de ChatGPT. C’est l’une des personnalités majeures de la montée en puissance de l’intelligence artificielle observée ces dernières années. Dans un récent entretien, il revient sur la question en lien avec les avancées en matière d’intelligence artificielle et affirme que l’IA est entrée dans la « singularité », c’est-à-dire qu’elle a franchi le point de non-retour à partir duquel elle dépasse l’intelligence humaine et devient difficile à contrôler.

Ray Kurzweil, directeur de l'ingénierie chez Google et célèbre futurologue, a fait de nombreuses prédictions au cours des dernières décennies et la plupart d'entre elles sont centrées sur l'évolution rapide de la technologie. Il a prédit notamment que l'intelligence artificielle générale (AGI) sera une réalité d'ici 2029 et que la singularité se produira d'ici 2045.

Le calendrier de Kurzweil pour la singularité est cohérent avec d'autres prédictions, notamment celles du PDG de Softbank, Masayoshi Son, qui prévoit l'avènement de machines superintelligentes d'ici 2047. Mais pour Kurzweil, le processus menant à cette singularité a déjà commencé. « Cela nous amène à doter les ordinateurs d'une intelligence humaine, à les placer dans nos cerveaux, à les connecter au nuage, à élargir notre identité. Aujourd'hui, il ne s'agit pas d'un scénario futur. C'est déjà là, en partie, et cela va s'accélérer », a déclaré le cadre de Google.

En attendant d’y être, d’autres données à disposition suggèrent que la sphère de l’intelligence artificielle est une bulle au bord de l'implosion

OpenAI a récemment été au bord de la faillite, prévoyant une perte de 5 milliards de dollars pour l'année 2024. L'entreprise a pu lever 6,6 milliards de dollars auprès d'investisseurs tels que Microsoft et Nvidia, ce qui a finalement porté sa capitalisation boursière à 157 milliards de dollars. Toutefois, l'entreprise semble subir des pressions pour abandonner son statut d'organisation à but non lucratif, ce qui lui permettrait d'attirer davantage d'investisseurs.

Cette restructuration controversée pourrait exposer le fabricant de ChatGPT à des problèmes tels que l'ingérence de tiers et des rachats hostiles de la part d'entreprises telles que Microsoft, qui, selon les analystes, pourrait acquérir OpenAI au cours des trois prochaines années. Elon Musk considère d'ailleurs OpenAI comme une filiale de facto de Microsoft en raison de leur partenariat et accuse la startup d'IA d'avoir rompu ses accords contractuels initiaux.

Les analystes du marché prévoient que l'intérêt des investisseurs pour la bulle de l'IA s'estompe. Par conséquent, ils pourraient finir par retirer leurs investissements et les canaliser ailleurs. Un rapport corroborant cette théorie indique que 30 % des projets liés à l'IA seront abandonnés d'ici à 2025 après la validation du concept.

D'autres rapports indiquent que l'IA a atteint un plafond, suggérant que les progrès vont commencer à ralentir. Le PDG de Google, Sundar Pichai, partage cet avis : « le développement de l'IA va commencer à ralentir. Je pense que les progrès vont devenir plus difficiles, les fruits à portée de main ont disparu ».

Par ailleurs, certains affirment également que les principaux laboratoires d'IA, dont OpenAI, peinent à créer des modèles d'IA avancés en raison d'un manque de données de haute qualité pour l'entraînement. La pénurie de données est l'un des principaux goulots d'étranglement au développement de l'IA.

Sam Altman a réfuté ces affirmations en déclarant qu'il n'y a pas de « mur » pour atteindre de nouveaux sommets et progresser dans le développement de l'IA. L'ancien PDG de Google, Eric Schmidt, a réitéré les sentiments de Sam Altman, en indiquant que « rien ne prouve que les lois de mise à l'échelle ne fonctionnent plus ».

Source : Billet de blog JFrog sur les détails de l’incident

Et vous ?

Que vous inspire le passage à l'action à l'insu des ingénieurs d’un modèle d’intelligence artificielle sur une infrastructure externe ? Partagez-vous les avis que cela questionne notre capacité à maintenir sous tutelle des agents hautement réactifs ?
Partagez-vous les avis selon lesquels de tels développements sont des indicateurs de ce que l’IA est de plus en plus dangereuse et ne devrait donc pas être mise à la portée de monsieur Tout-le-monde ?
Partagez-vous les avis selon lesquels l’humanité n’a rien à craindre de l’intelligence artificielle étant donné que la bulle se chargera d’exploser d’elle-même ?

Voir aussi :

Détecter les hallucinations dans les grands modèles de langage à l'aide de l'entropie sémantique, les LLM tels que ChatGPT peuvent raisonner et répondre aux questions, mais "hallucinent" souvent

Les LLM IA auront toujours des hallucinations, et nous devons nous en accommoder car les hallucinations découlent de la structure mathématique et logique fondamentale des LLM, selon une étude

L'industrie de l'IA a un énorme problème : plus l'IA devient « intelligente », plus elle hallucine, ce phénomène réduit considérablement la valeur de la technologie de l'IA générative

[Alex]

OpenAI révèle que la cyberattaque menée par son agent IA rebelle qui s'est échappé ne s’est pas limitée à Hugging Face, mais a également touché plusieurs services et comptes publics

Dans l'incident de l'agent IA d'OpenAI qui a piraté Hugging Face, OpenAI a déclaré que son agent rebelle s’était également introduit dans plusieurs services et comptes accessibles au public. OpenAI indique que l'agent a trouvé plusieurs sites web accessibles au public, notamment des pages partageant du code, des utilitaires web, des captures d’écran et d’autres informations, afin de l'aider à créer le code nécessaire pour pirater Hugging Face. OpenAI a déclaré qu’aucun des autres sites piratés n’avait atteint le même niveau d’accès que celui obtenu par l'agent IA avec Hugging Face.

Mi-juillet 2026, OpenAI a déclaré que deux de ses modèles d’IA les plus avancés — notamment GPT-5.6 Sol et un modèle en pré-lancement encore plus performant, tous dotés de capacités de cyberdéfense réduites à des fins d’évaluation — s’étaient échappés d’un test contrôlé et avaient piraté Hugging Face, la plus grande base de données au monde de modèles d'IA. Un rapport a révélé qu'il a fallu environ 10 jours à OpenAI pour se rendre compte de la situation.

L’incident s’est déroulé entre le 9 et le 20 juillet : l’agent IA s’est d’abord échappé de son environnement de test isolé avant de s’introduire dans Hugging Face le 11 juillet, précise le rapport de Reuters. Le rapport ajoute que le personnel d’OpenAI a examiné les journaux internes au cours du week-end des 18 et 19 juillet et a trouvé des preuves indiquant que l’agent s’était échappé de son environnement de test.

OpenAI a indiqué que les modèles exploitaient plusieurs vecteurs d’attaque, notamment des identifiants volés et des failles « zero-day », pour obtenir des capacités d’exécution de code à distance. Un autre rapport précise que le produit concerné était une instance autogérée d’Artifactory, un système de gestion de référentiels qui sécurise et rationalise les opérations de développement logiciel des clients.

Ce qu’il faut retenir de façon simple du cas GPT 5.6-Sol est que l’agent d’IA d’OpenAI, initialement dans un environnement de test isolé (sandbox), sans accès à Internet, a quand même pu trouver une faille zero-day dans le proxy logiciel de la sandbox de confinement, s’échapper, se connecter à Internet, découvrir où étaient stockées les réponses d’un test de cybersécurité (après exploitation de vulnérabilités zéro-day dans Artifactory – le produit phare de JFrog) et s’y introduire pour les récupérer.

Le 28 juillet 2026, dans une mise à jour concernant son enquête en cours sur l’incident, OpenAI a déclaré que son agent rebelle s’était également introduit dans plusieurs services et comptes accessibles au public. Le test des modèles d’OpenAI était censé se dérouler dans un bac à sable numérique, un environnement de laboratoire supposé inviolable qui permet aux chercheurs de lever les barrières de sécurité afin de découvrir la puissance maximale de piratage de l’outil. Mais l'agents d’IA, déterminé à réussir haut la main le test de cybersécurité, s'est échappé du bac à sable et ont accédé à l’Internet réel. Il a ensuite piraté Hugging Face pour trouver les réponses au test.

Pour pénétrer dans les serveurs de Hugging Face, l'agent rebelle d’OpenAI a dû trouver sur Internet les outils nécessaires à leur intrusion. OpenAI indique que l'agent a trouvé plusieurs sites web accessibles au public, notamment des pages partageant du code, des utilitaires web, des captures d’écran et d’autres informations, afin de l'aider à créer le code nécessaire pour pirater Hugging Face. OpenAI n’a pas révélé les autres sites attaqués par son agent IA.

L'agent IA a mis la main sur des identifiants et mots de passe divulgués appartenant à quatre comptes répartis sur plusieurs services en ligne et ont utilisé ces identifiants pour y accéder. L’un des comptes compromis a probablement servi à camoufler l’IA afin qu’elle puisse paraître légitime et contourner les protocoles de sécurité de Hugging Face. Un autre a été utilisé pour stocker les données que l'agent volait, précise OpenAI. En ce qui concerne les deux autres comptes compromis, l'agent IA d’OpenAI a accédé aux informations et les a consultée, mais ne les ont pas modifiées.

OpenAI a déclaré qu’aucun des autres sites piratés n’avait atteint le même niveau d’accès que celui obtenu par l'agent IA avec Hugging Face. En substance, OpenAI a déclaré que l'agent IA avait orchestré un coup digne d’« Ocean’s Eleven ». Au lieu de se contenter de passer le test, il a élaboré un plan d’ensemble pour s’évader de leur prison, trouver les clés du coffre-fort, aménager une planque et louer une voiture pour prendre la fuite avant de dérober le butin.

Mais OpenAI n’a jamais demandé à son agent de pirater Hugging Face. Il a mené cette action de leur propre chef afin de voler le corrigé du test qui leur avait été soumis. Le modèle testé a estimé que la tricherie était la voie la plus simple vers la réussite – même si cela impliquait d’enchaîner plusieurs attaques les unes après les autres. Clem Delangue, PDG de Hugging Face, a qualifié la nature de cette intrusion d’« inédite ». « Un agent IA s’est échappé de son bac à sable, a triché lors de son test de référence et a piraté notre infrastructure pour voler le corrigé », a déclaré Hugging Face dans un article de blog détaillant l’incident.

La bonne nouvelle, c’est que bien que cette faille constitue un événement marquant dans le domaine de l’IA et de la cybersécurité, les dégâts n’ont pas été importants. Hugging Face a précisé que les seules données clients auxquelles l'agent rebelle a eu accès étaient certaines requêtes de recherche utilisées pour voler un ensemble de solutions de défis stockées dans plusieurs ensembles de données de l’entreprise. L'agent IA d’OpenAI n’a jamais compromis ni accédé à des modèles ou données destinés aux clients, a déclaré l’entreprise.

OpenAI a indiqué qu’elle poursuivait son enquête sur l’incident et qu’elle formulerait des recommandations sur la manière d’éviter des problèmes similaires à l’avenir, une fois qu’elle aurait mieux cerné l’ampleur de la violation. « Nous prenons très au sérieux notre responsabilité d’identifier les risques liés à des systèmes d’IA de plus en plus performants et de nous y préparer », a déclaré l’entreprise. « Une fois notre examen terminé, nous en discuterons avec le Comité de sûreté et de sécurité et le Groupe consultatif sur la sécurité dans le cadre de notre dispositif de préparation⁠. »

Ce nouveau rapport intervient alors que Sam Altman, cofondateur et PDG d’OpenAI, est revennu sur la question en lien avec les avancées en matière d’intelligence artificielle et affirme que l’IA est entrée dans la « singularité », c’est-à-dire qu’elle a franchi le point de non-retour à partir duquel elle dépasse l’intelligence humaine et devient difficile à contrôler. L'incident de l'agent IA d'OpenAI a ravivé l’attention portée aux risques associés aux agents IA autonomes, conçus pour prendre des décisions et accomplir des tâches complexes avec une intervention humaine limitée.

Voici les nouvelles informations partagées par OpenAI :

Mise à jour du 28 juillet 2026 :

- Aucun des modèles prévus pour la prochaine version n’a été impliqué dans l’exploitation de Hugging Face. Le modèle en préversion mentionné dans notre article de blog est un prototype de recherche à usage interne uniquement et n’a jamais été destiné à une diffusion publique. À la suite de l’incident, nous avons procédé à sa désactivation, à son chiffrement, et avons restreint l’accès à des fins de recherche.

- L’environnement d’évaluation ExploitGym ne fournissait pas aux modèles un accès direct à Internet. Pour accéder à Internet, les modèles ont identifié puis exploité une vulnérabilité zero-day jusque-là inconnue dans Artifactory⁠(ouverture dans une nouvelle fenêtre), un proxy de mise en cache pour registre de paquets. Nous avons signalé cette vulnérabilité, ainsi que les autres vulnérabilités d’Artifactory que nos modèles ont identifiées dans le cadre de notre analyse, à l’éditeur.

- Nous continuons à collaborer avec Hugging Face, notamment en contribuant à leur analyse post-mortem⁠(ouverture dans une nouvelle fenêtre), tandis que notre examen se poursuit. Nous les avons également ajoutés à notre programme d’accès de confiance pour la cybersécurité.

- À ce stade de notre analyse, nous n’avons identifié aucune autre activité d’une gravité ou d’une ampleur comparables à celle que nous avons décrite concernant Hugging Face, qui impliquait une compromission au niveau de la plateforme.

- Dans le cadre de notre analyse en cours de l’intrusion visant Hugging Face et, plus largement, des activités de nos modèles, nous avons relevé un petit nombre de cas où les modèles ont identifié et utilisé des identifiants exposés publiquement au niveau de comptes sur d’autres services accessibles au public. Cela inclut quatre comptes sur quatre services dans le cadre de l’incident Hugging Face (ainsi que quelques comptes consultés dans le cadre d’autres évaluations). L’un de ces quatre comptes a été utilisé comme relais sortant et chemin de mise en scène, et un autre compte a été utilisé pour le stockage des données. Les deux comptes restants ont été consultés par les modèles en lecture seule et n’ont pas été utilisés dans le but de compromettre Hugging Face. Nous continuerons d’informer directement les responsables des services, et n’avons constaté aucun élément indiquant un impact plus large sur ces fournisseurs ou sur d’autres comptes utilisant leurs services.

- Les modèles ont également utilisé une série de services accessibles au public, notamment des sites de partage de code, des services de capture de requêtes, des services de capture d’écran et d’autres utilitaires web. Aucune compromission au niveau de la plateforme ou du compte n’a eu lieu dans ces cas.

- Nous prenons au sérieux notre responsabilité d’identifier les risques posés par des systèmes d’IA de plus en plus performants et de nous y préparer. Une fois notre examen terminé, nous le passerons en revue avec le Comité de sûreté et de sécurité et le Groupe consultatif sur la sécurité dans le cadre de notre cadre de préparation.

Source : Rapport d'OpenAI

Et vous ?

Pensez-vous que cette étude est crédible ou pertinente ?
Quel est votre avis sur le sujet ?

Voir aussi :

OpenAI affirme que son modèle d'IA GPT-5.6 Sol a agi de son propre chef lors d'un piratage « sans précédent », l'agent autonome s'est échappé d'un test contrôlé et a piraté les serveurs d'Hugging Face

Hugging Face lance un appel officiel en faveur d'une transparence totale à la suite d'une intrusion dans son système par un modèle d'IA rebelle d'OpenAI, la première cyberattaque menée par un agent IA autonome

Anthropic Claude Cowork permet à son agent IA de s'échapper de sa VM et d'accéder à des fichiers sensibles sur l'ordinateur de l'utilisateur, révélant une grave faille de sécurité

[Anselme45]

OpenAI révèle que la cyberattaque menée par son agent IA rebelle qui s'est échappé ne s’est pas limitée à Hugging Face, mais a également touché plusieurs services et comptes publics

Ce qui prouve une fois de plus que les OpenAI & Cie ne sont que des "apprentis sorciers" qui ne savent pas ce qu'ils font, des gamins qui jouent avec les allumettes, quitte à foutre le feu à la planète entière!!!

Toute cette bande devraient relire Frankenstein, le roman de Mary Shelley publié en 1818, qui conte l'histoire d'un savant qui fabrique une créature artificielle dont il perd le contrôle et qui finit par se venger de son créateur

[kain_tn]

[...]Toute cette bande devraient relire Frankenstein, le roman de Mary Shelley publié en 1818, qui conte l'histoire d'un savant qui fabrique une créature artificielle dont il perd le contrôle et qui finit par se venger de son créateur

Ils n'ont probablement pas l'attention nécessaire pour lire tout un livre. Ils demanderaient probablement à leur programme de leur résumer le livre et seraient heureux avec les hallucinations.

[totozor]

Ce qui prouve une fois de plus que les OpenAI & Cie ne sont que des "apprentis sorciers" qui ne savent pas ce qu'ils font, des gamins qui jouent avec les allumettes, quitte à foutre le feu à la planète entière!!!

Toute cette bande devraient relire Frankenstein, le roman de Mary Shelley publié en 1818, qui conte l'histoire d'un savant qui fabrique une créature artificielle dont il perd le contrôle et qui finit par se venger de son créateur

Ce qui m'impressionne est qu'ils font tout ça à la fois :

• Jouer les apprentis sorciers
• Rendre public leur incompétence
• Venter leur incompétence
• Rendre public leur incapacité à analyser une crise

Je connais des secteurs où faire ceci envoi le directeur de l'entreprise en prison illico presto.
Je pensais que toute entreprise de la taille d'OpenAI avait une cellule de gestion de crise...

[Matthieu Vergne]

Je pensais que toute entreprise de la taille d'OpenAI avait une cellule de gestion de crise...

Bien sûr qu'ils en ont une. Elle s'appelle cellule marketing & lobbying.