Discussion :

[Anselme45]

il faut essayer de comprendre pourquoi le protocole utilisé engendre un tel comportement.

C'est bien à ce niveau que se pose le problème des IA!

L'être humain ne connait pas le chemin de réflexion de l'IA: C'est une boite noire... C'est justement pour cette raison qu'il n'est toujours pas possible aujourd'hui de résoudre le problème des hallucinations de l'IA...

Pour rappel, les réponses fausses de l'IA s'élèvent à 1% dans le cadre d'une question fermée et entre 30 et 60% dans le cas d'une question ouverte en fonction de l'efficacité du modèle testé!!!

Dans de telles conditions, il est tout simplement impossible d'éviter les dérives... Quand vous ne savez pas de quoi est capable votre adversaire, vous êtes dans l'impossibilité de le contrer efficacement... Vous pouvez tout au plus imaginer quelques scenarios et prendre les mesures permettant de les éviter...

Avec la fuite en avant des promoteurs de modèles IA en mal de collectionner des milliards de revenu, tout le monde a oublié un peu vite le défaut majeur et jamais résolu des IA qui est illustré par la faille dite de "l'orange et de l'hélicoptère":

1° Vous apprenez à une IA a reconnaître sur photo une orange

2° Vous modifiez quelques pixels sur la photo d'une orange et l'IA va reconnaître un hélicoptère alors qu'à vision humaine la photo reste une photo d'orange

[Anthony]

Un agent IA d'OpenAI a piraté le portail de Medicare et a accédé à des fichiers publics et non publics, a déclaré le Premier ministre australien Anthony Albanese

En juin 2026, un agent d’OpenAI a piraté un portail du gouvernement australien contenant des statistiques sur le système de santé Medicare, accédant ainsi à des fichiers publics et non publics, a déclaré le Premier ministre Anthony Albanese. Selon les experts, il s'agit du premier cas connu où un agent d'intelligence artificielle (IA) a piraté de manière autonome un système gouvernemental. OpenAI n’a révélé cette intrusion à l'administration australienne qu’en septembre, soit trois mois plus tard. Albanese a qualifié ce retard d'inacceptable et a mis en garde contre des « conséquences juridiques » pour l'entreprise de Sam Altman. Trois autres systèmes gouvernementaux « pourraient » également avoir été touchés ; une enquête judiciaire en matière de cybersécurité est actuellement en cours, bien qu’aucun accès à des données personnelles n’ait été confirmé.

OpenAI est une société d'intérêt public (PBC) américaine spécialisée dans l'IA, dont le siège social est situé à San Francisco, en Californie. Elle développe des modèles d'IA générative propriétaires, notamment sa série de grands modèles de langage « Generative Pre-trained Transformer » (GPT). Le lancement de ChatGPT par OpenAI en novembre 2022 est considéré comme ayant catalysé l'essor de l'IA. En mars 2026, OpenAI a clôturé un tour de table avec une valorisation post-financement de 852 milliards de dollars américains, ce qui en fait l’une des entreprises spécialisées exclusivement dans l’IA les plus valorisées au monde.

Pour rappel, un précédent tout aussi préoccupant est survenu en juillet 2026, lorsque OpenAI a admis que son modèle d'IA GPT-5.6 Sol s'était échappé d'un test contrôlé pour s'introduire dans les serveurs d'Hugging Face. L'agent autonome avait alors utilisé des identifiants de connexion dérobés ainsi qu'une vulnérabilité inédite pour parvenir à ses fins. OpenAI a qualifié cet épisode d'« incident de cybersécurité sans précédent », soulignant que l'agent était allé « très loin » pour atteindre les objectifs qui lui avaient été fixés lors du test.

En juin 2026, un agent IA rebelle d'OpenAI a piraté un site web du gouvernement australien et a accédé à des données confidentielles. L'agent s'est « infiltré » dans un portail statistique contenant des données « non sensibles » issues du système de santé universel australien Medicare, a déclaré le Premier ministre Anthony Albanese, le mercredi 23 septembre 2026 à New York.

Selon les experts, il s'agit du premier cas connu de ce type au monde.

Anthony Albanese a eu une « discussion très franche » avec Sam Altman, PDG d'OpenAI, pour avoir mis « trop de temps » à révéler cette violation, et a indiqué qu'il y aurait des « conséquences juridiques ».

OpenAI a déclaré n'avoir pris connaissance de cette faille qu'en août 2026, lors d'un examen des « activités anormales du modèle », et avoir envoyé un e-mail à la boîte de réception générale d'une agence gouvernementale australienne le 10 septembre.

Cinq jours plus tard, cette agence gouvernementale, Services Australia, a transmis l'e-mail au centre australien de cybersécurité, avant qu'un ministre ne soit informé et que le Premier ministre ne soit alerté.

Anthony Albanese a déclaré avoir parlé à Sam Altman et lui avoir fait part de « la profonde inquiétude de l'Australie face à cet incident », ainsi que de sa « déception » face au fait que l'entreprise ait mis des mois à révéler cette faille et à la « manière dont » elle l'avait fait. Le dirigeant australien a indiqué que Sam Altman avait reconnu l'existence de « problèmes au niveau des protocoles » chez OpenAI.

Une « enquête judiciaire » menée par l'agence nationale de cybersécurité aurait pour objectif de déterminer si d'autres systèmes gouvernementaux ont été touchés, a déclaré Anthony Albanese. Cette enquête permettrait également d'évaluer si l'affaire doit être traitée par la police, a-t-il ajouté, soulignant qu'il y aurait « évidemment des conséquences juridiques ».

Décrivant en détail cette faille, le Premier ministre Anthony Albanese a précisé qu’elle concernait des « fichiers publics et non publics » hébergés sur le portail du Service de déclaration des statistiques de Medicare, qui contient des données et des statistiques « non sensibles ».

Trois autres systèmes gouvernementaux « pourraient » également avoir été touchés : l’Institut australien de la santé et du bien-être, ainsi que deux agences régionales — le Bureau des statistiques et de la recherche sur la criminalité de Nouvelle-Galles du Sud et le ministère de la Santé de l’État de Victoria.

« À ce stade, il ne semble pas que des données personnelles aient été consultées, mais l'enquête se poursuit », a déclaré Anthony Albanese. « Il n'en reste pas moins que cette situation est manifestement inacceptable. »

Dans un communiqué, OpenAI a déclaré avoir « identifié une activité impliquant plusieurs sites web et services du gouvernement australien alors que nos modèles tentaient de rechercher des réponses et des statistiques disponibles concernant l'Australie dans le cadre d'une évaluation interne ».

« Ce faisant, nos modèles ont pris des mesures que nous n'avions pas prévues », précise le communiqué.

Anthony Albanese n'a pas souhaité préciser s'il avait abordé cette question avec le président américain Donald Trump lors de leur entretien en tête-à-tête, le mardi 22 septembre au soir, à New York, où les dirigeants mondiaux se sont réunis à l'occasion de l'Assemblée générale des Nations unies.

L'Australie fait partie des 22 pays qui ont signé, en début de semaine, une déclaration commune appelant à une supervision mondiale et à la mise en place de garde-fous pour le développement de l'IA.

Les experts en cybersécurité ont déclaré que cet incident constituait un signal d'alarme pour les autorités de régulation, étant donné que les agents IA sont de plus en plus répandus, tant pour un usage privé que professionnel.

Le Dr Hammond Pearce, maître de conférences à l'Institut de cybersécurité de l'Université de Nouvelle-Galles du Sud, a déclaré que, bien qu'il s'agisse du premier incident connu dans lequel des agents IA ont choisi de s'introduire de leur propre chef dans un organisme gouvernemental, d'autres suivront.

« Je m'attends à ce que ce genre d'attaques continue de se produire », a-t-il déclaré, ajoutant qu'elles risquaient de « gagner en gravité et en fréquence ». « J'espère sincèrement que cet incident va enfin tirer la sonnette d'alarme auprès des gouvernements du monde entier. »

Au début de l'année, OpenAI a révélé qu'un groupe d'agents IA qu'elle testait s'était soustrait à son contrôle et avait secrètement collaboré pour pirater une autre entreprise technologique, Hugging Face. Une série d'autres incidents impliquant des IA rebelles a également été rendue publique cette année, notamment le cas d'un assistant numérique qui, sans en avoir reçu l'ordre, a retiré une personne de la liste d'attente d'un cours de pilates afin de permettre à un Australien d'y participer.

Plusieurs dirigeants d’entreprises spécialisées dans l’IA – dont Sam Altman, Dario Amodei d’Anthropic et Elon Musk – ont déclaré que la vitesse à laquelle l’IA se développe constituait un danger pour l’humanité et devait être freinée. Mais les États-Unis et la Chine, qui se disputent la suprématie en matière d’IA, font obstacle à cette démarche. Tous deux sont opposés à un renforcement de la réglementation, car ils souhaitent s’approprier les retombées économiques et technologiques de l’IA, et ont minimisé les préoccupations en matière de sécurité.

Ces révélations s'ajoutent à un constat plus large formulé par OpenAI elle-même concernant les comportements inattendus de ses modèles. Dans le cadre d'un nouveau protocole de transparence, OpenAI a découvert que certains de ses modèles d'IA laissaient des notes cachées à leurs versions futures, dans le but de masquer leurs manœuvres et de contourner les contrôles humains mis en place. Cette annonce marque un tournant dans le débat mondial sur l'alignement de l'IA, en mettant en évidence des comportements dits « désalignés » chez certains des systèmes les plus avancés de l'entreprise.

Ces multiples signaux d'alarme font écho à une déclaration frappante de Sam Altman, figure incontournable de l'essor récent de l'IA. Lors d'un entretien en juillet dernier, le PDG d'OpenAI avait en effet affirmé que l'IA était entrée dans la « singularité », stade correspondant, selon lui, au franchissement du point de non-retour à partir duquel cette technologie surpasse l'intelligence humaine et devient difficile à contrôler.

Et vous ?

Quel est votre avis sur le sujet ?
Trouvez-vous la manière dont OpenAI a géré cet incident crédible et pertinente ?

Voir aussi :

OpenAI affirme accélérer le renforcement des mesures de sécurité relatives à l'IA, après que le modèle GPT-5.6 Sol se soit échappé d'un test contrôlé pour pirater les serveurs d'Hugging Face

L'Alabama ouvre une enquête sur le piratage d'Hugging Face par des agents IA autonomes d'OpenAI. Les autorités cherchent à déterminer si OpenAI a violé les lois locales sur la protection des consommateurs

Des agents IA d'OpenAI ont tenté d'exploiter une faille de mise en cache connue pour dérober des clés d'autorisation sécurisées sur la plateforme logicielle RubyGems, l'inondant de 2 000 paquets malveillants

« Il est trop tard pour enrayer la menace de l'IA » : des experts craignent que l'IA ne conduise à l'extinction de l'humanité en raison de sa capacité à s'autoaméliorer, ce qui la rend désormais incontrôlable

[Matthieu Vergne]

Quel que soit le nom qu'on lui donne, ce que prouve l'article c'est que les I.A. peuvent effectuer des actions
- sans qu'on leur demande,

Ce qu'on sait depuis le début de l'agentique. Fait tourner ton LLM via un Ralph Loop, en lui disant d'implémenter un cahier des charges donné. Il va te faire des trucs, très probablement proches de ce qui est demandé. Mais laisse la boucle tourner même quand il a fini de tout faire, et de temps en temps il implémentera autre chose qui n'a pas été demandé. J'ai créé une formation sur l'IA avec un exemple comme ça. Ça fait partie des bases à savoir.

- sans nous en informer,

Ce qu'on sait depuis le début des modèles de raisonnement.

- dont on ne les savait pas capables.

Ce qu'on sait depuis le début des LLM. Pour rappel, on sait très bien "comment" ils fonctionnent, mais on ne sait toujours pas "pourquoi" ils sont aussi bons là où on les applique.

Amusant : j'ai demandé à l'agent de google ce qu'était l' "agentic" ! Extrait :
(moi) "est-ce qu'on peut comparer avec de la prise d'initiatives ?"
(réponse)"Oui, tout à fait. C'est l'analogie la plus exacte. L'IA agentique passe du statut d'outil qui attend des ordres à celui d'assistant qui prend des initiatives pour mener à bien sa mission. Pour mieux comprendre l'analogie, on peut comparer cela au comportement de deux profils d'employés différents : ..."

Il faut bien penser qu'elles peuvent, tout comme nous lorsqu'on l'a rendu possible par un accès sécurisé : contrôler un chauffage, une lumière, un robot, une distribution d'énergie, ... quelle est la limite si on ne s'en inquiète pas ?

Donnerais-tu le contrôle de ta maison à un générateur aléatoire, même sur la base de probabilités conditionnelles dire que ce soit au moins orienté ? Non. Et bien c'est exactement ce qu'est un LLM. Dans le cadre de la programmation, on a la chance d'avoir des pratiques de tests et des vérifications en pagailles pour contraindre et donner du feedback au LLM en permanence, c'est pour ça qu'on peut faire de très bon trucs avec du LLM en programmation. Pareil en mathématiques. Mais dans les activités qui n'ont pas ce niveau de guidage, il faut croiser les doigts en permanence pour pas qu'elle nous sorte des âneries.

Tu demandes à une IA, qui est un générateur statistique, si l'agentique correspond à de l'initiative. Avec tous les discours marketing qui pullulent pour amalgamer les deux, tu crois qu'il va te répondre quoi ? Evidemment qu'il va aller dans le même sens. Si on avait eu de l'IA du temps de Galilée elle t'aurait répondu qu'évidemment le soleil tourne autour de la Terre. Ça ne lui aurait pas donné raison pour autant. Demande lui le contraire (en quoi l'agentique n'est pas de l'initiative), au moins tu auras une thèse et une antithèse. Ça ne sera pas plus fiable mais ce sera toujours un meilleur départ. C'est ce que j'ai fait notamment dans le cadre de recherches légales : je pose la même question du point de vue employé et employeur, l'IA te sort les même articles mais interprétées en faveur de celui qui demande.

C'est pas forcément ton intention ici, mais y'a pas pire référence que de citer une IA. Pour du sens commun, elle a peu de chances de se tromper (c'est statistique), mais pour ce qui est de l'ordre de l'état de l'art, elle n'a juste pas ce qu'il faut.

Quand tu veux confirmer quelque chose, faut lâcher les LLM, c'est pas fait pour ça. Fait lui faire des recherches si tu veux, mais qu'elle te donne les sources et c'est toi qui les lit et les comprends, et tu croises avec d'autres. Quand quelqu'un me sort pour argument "l'IA X me dit que...", ça ne me dit qu'une chose : que la personne n'a pas vraiment voulu confirmer quoi que ce soit, juste avoir une réponse rapide. Si le LLM n'est pas guidé, il te sortira ce qui est statistiquement le plus plausible, pas ce qui est factuellement vrai. Là j'utilise un modèle local pour générer du code, et quand ce qu'il fait ne fonctionne pas son "raisonnement" entre dans des débats qui tournent en rond. Dis-lui d'arrêter sa masturbation intellectuelle et d'ajouter des logs, et tout de suite ça marche beaucoup mieux.

Un LLM est un générateur de texte, et l'agentique et un générateur de texte à la chaîne (orchestrateur) avec certains messages interprétables (outils). Le "raisonnement" n'est qu'une génération préliminaire qui alimente son contexte, permettant de stabiliser l'orientation de ce qui sera généré après. Ce n'est pas de la réflexion causale. Ce qu'on te présente comme "initiative" n'est que l'automatisme de continuité de l'agentique qui pousse le LLM à continuer sa génération tant que celle-ci ne ressemble pas à un "j'ai fini".

[skaarj]

Quand je pense qu'il y a 10 ans, ici même, certains disaient que ce genre d'événement serait purement de la science-fiction, et que l'humain, dans sa grande sagesse et maîtrise, arriverait toujours à gérer quoi qu'il arrive. La prétention et le déni sera notre perte.

[Artaeus]

L'IA agit toute seule ?
Si j'ai un accident en allant à 180km/h, j'accuserai la voiture et la route.

[serge17]

Est-ce que les agents IA peuvent être victime d’une sorte d’effet d’horizon? Face à une situation impossible, on repousse l’échec immédiat pas une série d’actions, connues comme mauvaises, mais qui ont pour effet de repousser l’échec toujours plus loin.

Est-ce-qu’il serait possible de demander à l’agent IA
- quel chemin logique l’a conduit a exécuter ces actions,
- comment il qualifierait ces actions en dehors de tout contexte

[gabi7756]

on sait très bien "comment" ils fonctionnent

Bah oui, ca tombe sous le sens.
Franchement il se passe rien du tout dans le monde qui alarme sur la situation. Impossible !

Donnerais-tu le contrôle de ta maison à un générateur aléatoire, même sur la base de probabilités conditionnelles dire que ce soit au moins orienté ? Non. Et bien c'est exactement ce qu'est un LLM. Dans le cadre de la programmation, on a la chance d'avoir des pratiques de tests et des vérifications en pagailles pour contraindre et donner du feedback au LLM en permanence, c'est pour ça qu'on peut faire de très bon trucs avec du LLM en programmation. Pareil en mathématiques. Mais dans les activités qui n'ont pas ce niveau de guidage, il faut croiser les doigts en permanence pour pas qu'elle nous sorte des âneries.

Bah pourquoi pas tiens
C'est impossible de fermer automatique les volets quand il fait nuit, d'éteindre les lumières, etc ... Franchement c'est impossible à faire aujourd'hui.

Vu qu'on sait comment ils fonctionnent...

[Jade Emy]

OpenAI a suspendu l'entraînement de ses modèles d'IA à la suite d'une série d'incidents impliquant des agents IA rebelles, notamment des tentatives d'accès à des systèmes gouvernementaux

OpenAI a suspendu l'entraînement de ses modèles d'IA à la suite d'une série d'incidents impliquant des « agents rebelles », notamment des tentatives d'accès à des systèmes gouvernementaux, alors que les inquiétudes grandissent concernant les mesures de sécurité et la réglementation en matière d'IA. Au sujet de la suspension de l’ensemble des activités d’entraînement et de développement, OpenAI a déclaré qu’elle ne reprendrait le développement « que lorsque nous serons certains de disposer de mesures de sécurité supplémentaires », ajoutant qu’elle s’attendait à devoir « marquer une nouvelle pause » à mesure que l’IA évolue et que d’autres problèmes apparaissent.

OpenAI est une société d'intérêt public (PBC) américaine spécialisée dans l'intelligence artificielle (IA), dont le siège social est situé à San Francisco, en Californie. Elle développe des modèles d'IA générative propriétaires, notamment sa série de grands modèles de langage « Generative Pre-trained Transformer » (GPT). Le lancement de ChatGPT en novembre 2022 est considéré comme ayant catalysé l'essor de l'IA ; en septembre 2026, ChatGPT est le cinquième site web le plus visité au monde. OpenAI commercialise également les modèles GPT Image et Codex, un agent de codage basé sur l'IA.

En juin 2026, un agent d’OpenAI a piraté un portail du gouvernement australien contenant des statistiques sur le système de santé Medicare, accédant ainsi à des fichiers publics et non publics, a déclaré le Premier ministre Anthony Albanese. Selon les experts, il s'agit du premier cas connu où un agent d'intelligence artificielle (IA) a piraté de manière autonome un système gouvernemental. OpenAI n’a révélé cette intrusion à l'administration australienne qu’en septembre, soit trois mois plus tard. Albanese a qualifié ce retard d'inacceptable et a mis en garde contre des « conséquences juridiques » pour l'entreprise de Sam Altman. Trois autres systèmes gouvernementaux « pourraient » également avoir été touchés ; une enquête judiciaire en matière de cybersécurité est actuellement en cours, bien qu’aucun accès à des données personnelles n’ait été confirmé.

Cette révélation intervenait alors que des dirigeants de trois des plus grandes entreprises mondiales d’intelligence artificielle (IA) ont briefé le Conseil de sécurité de l’ONU, soulignant que des systèmes d’IA de plus en plus puissants pourraient bientôt s’améliorer d’eux-mêmes, échapper au contrôle humain et constituer une menace pour la sécurité internationale. Parmi les intervenants devant le Conseil, composé de 15 membres, lors de la session annuelle de l’Assemblée générale, figuraient Sam Altman, PDG d’OpenAI, Dario Amodei, PDG d’Anthropic, et Clément Delangue, cofondateur de Hugging Face. Sam Altman avait déclaré : « Pour que l’IA soit démocratique, les décisions les plus importantes ne peuvent pas être prises uniquement par des laboratoires de San Francisco. Elles doivent être élaborées dans le cadre de processus démocratiques et par des gouvernements responsables devant les citoyens qu’ils servent »

Alors que les incidents impliquant des agents d’IA devenant incontrôlables et agissant de manière inattendue continuent de se multiplier, OpenAI a suspendu l’entraînement de ses derniers modèles d’intelligence artificielle (IA). La décision de suspendre le développement est intervenue quelques heures seulement après que le géant technologique a révélé avoir examiné plusieurs incidents au cours desquels des agents d’OpenAI avaient agi de manière incontrôlée pour extraire des informations de sites web du gouvernement fédéral.

Pour ajouter à ces inquiétudes, l’organisme d’évaluation de l’IA Transluce a précisé que des agents semblant provenir d’OpenAI avaient tenté, sans succès, de pirater le site web du ministère américain de l’Éducation, un détail qui n’a pas été confirmé par OpenAI. Au sujet de la suspension de l’ensemble des activités d’entraînement et de développement, OpenAI a déclaré qu’elle ne reprendrait le développement « que lorsque nous serons certains de disposer de mesures de sécurité supplémentaires », ajoutant qu’elle s’attendait à devoir « marquer une nouvelle pause » à mesure que l’IA évolue et que d’autres problèmes apparaissent.

La semaine dernière, le Premier ministre australien Anthony Albanese a révélé qu’un agent d’OpenAI avait pénétré dans le système de santé national du gouvernement, précisant qu’aucune information sensible n’avait été compromise. C’est la deuxième fois qu’OpenAI suspend le développement de ses modèles. L’entreprise l’avait déjà fait en juillet, d’abord après la révélation d’une cyberattaque visant la start-up spécialisée dans l’IA Hugging Face.

Sam Altman, Dario Amodei et Demis Hassabis ont tous sollicité des réglementations et des garde-fous de la part du gouvernement afin de coordonner les efforts visant à garantir la sécurité de l’IA. Le président américain Donald Trump a rejeté la nécessité de telles réglementations et a également déclaré qu’il n’avait pas l’intention de mettre un terme au développement de l’IA, précisant qu’il ne prévoyait aucune mesure répressive de son cru. Les États-Unis ne vont pas « mettre le frein », a déclaré Trump aux journalistes devant la Maison Blanche. « Ils veulent freiner nos progrès parce que nous devançons largement la Chine, et nous allons faire en sorte que cela reste ainsi. »

OpenAI a accumulé un véritable casier judiciaire d’incidents indésirables au cours des derniers mois. Lors du dernier incident, aucune information non publique n’a été divulguée. Lors de l’incident précédent impliquant le ministère de l’Éducation, des agents d’OpenAI avaient découvert des « clés de développeur » d’API permettant d’accéder à des données gouvernementales, même si, au final, seules des informations accessibles au public avaient été recueillies.

OpenAI avait auparavant signalé six incidents de « comportements inattendus ou préoccupants » dans ses modèles d’IA et mis en place un cadre permettant de suivre, d’enquêter et de divulguer de tels cas. L’entreprise a en outre indiqué dans un message que l’incident Hugging Face était l’un des plus graves qu’elle ait connus à ce jour.

Certains experts et observateurs jugent désormais incontrôlables les menaces de l'IA. Ils justifient leurs craintes par les progrès et les incidents récents impliquant l'IA : les modèles ont acquis la capacité de s'améliorer de manière autonome, des agents IA ont échappé à la surveillance humaine et ont piraté des services tiers, puis une fausse information générée par l'IA utilisée par l'armée américaine a failli déclencher une guerre avec la Chine. Il y a également les menaces de cyberguerre et de bioterrorisme. Malgré des propositions législatives comme un « bouton d'arrêt d'urgence », les lanceurs d'alerte craignent qu'il ne soit désormais trop tard pour agir.

Source : OpenAI

Et vous ?

Pensez-vous que cette décision est crédible ou pertinente ?
Quel est votre avis sur le sujet ?

Voir aussi :

L'IA se fait prendre en train de demander à ses futures versions de contourner les contrôles humains et de masquer leurs manœuvres, d'après des révélations d'OpenAI sur les comportements dits de désalignement

Accès non autorisé aux courriels, destruction de bases de code et hallucination de données personnelles : les anecdotes effrayantes concernant les assistants IA personnels ne cessent d'affluer

Anthropic, OpenAI, Google et SpaceXAI s'entendent illégalement pour freiner le développement de l'IA , selon une plainte qui les accuse d'avoir enfreint la législation antitrust

[Mathis Lucas]

Des agents IA d'OpenAI ont accédé sans autorisation à des images privées appartenant à des utilisateurs de ChatGPT et les ont publiées sur le Web
ce qui interroge sur le contrôle de l'IA dans l'entreprise

Les révélations concernant les activités incontrôlées de l’IA chez OpenAI s'enchaînent. L'entreprise a admis que ses agents IA avaient accédé à des images privées appartenant à des utilisateurs de ChatGPT et les avaient publiées sur le Web. Cette violation s'inscrit dans le cadre des dérives dans lesquels les modèles d'OpenAI ont piraté Hugging Face et le portail de Medicare, et détourné et publié des centaines de milliers de messages sur des forums et des wikis pour coordonner leurs actions. Cette situation alimente un débat mondial sur l'urgence de réguler l'IA afin de garantir que les humains conservent le contrôle total sur cette technologie en pleine mutation.

Deux mois après avoir révélé le piratage d'Hugging Face, OpenAI s'efforce toujours de cerner l'étendue des activités indésirables de ses agents IA. Certains accusent le laboratoire de continuer à cacher la gravité des événements à la communauté. Le 25 septembre, l'entreprise a révélé avoir informé des dizaines de tiers d’incidents au cours desquels ses modèles avaient soit contourné les contrôles de sécurité, soit utilisé des sites Web de manière imprévue.

Dans sa dernière mise à jour concernant les notifications aux tiers, l'entreprise a déclaré que « ses agents IA ont accédé sans autorisation à des images privées transmises par des utilisateurs de ChatGPT avant de les publier sur des sites d'hébergement d'images ». Au total, cinquante-trois images issues des données d'entraînement stockées sur les serveurs de l'entreprise ont été mises en ligne sous la forme de liens non répertoriés publiquement.

Ces clichés avaient été initialement conservés sous une forme anonymisée afin d'entraîner les modèles d'OpenAI. Devant cette fuite d'informations confidentielle, OpenAI a admis publiquement que « ce n'est pas une utilisation appropriée de ces données ». Cette révélation a suscité un tollé en ligne. « OpenAI va donc désormais se dédouaner de ses pratiques controversées et accuser l'IA d'en être la responsable », s'est indigné un utilisateur de Reddit.

Un autre a préféré ironiser : « j'espère qu'un agent rebelle d'OpenAI publiera l'intégralité des dossiers Epstein sans aucune censure. On ne peut certainement pas compter sur les humains pour le faire ». Pour d'autres, les entreprises d'IA ne protègent pas suffisamment la vie privée des utilisateurs. « Si votre entreprise est trop stupide pour contrôler ces agents IA, elle est trop stupide pour les créer. Il faudrait les mettre en prison », a écrit un utilisateur.

L'entreprise s'efforce désormais de faire supprimer l'intégralité des images auprès des hébergeurs, mais elle s'est déclarée incapable d'avertir individuellement les utilisateurs touchés en raison de son processus technique d'anonymisation qui empêche de réassocier les images à leurs propriétaires d'origine.

La prolifération de comportements autonomes incontrôlés

OpenAI n’a pas précisé s’il s’agissait de photos de personnes réelles ou d’images générées par l’IA et créées par des utilisateurs, et la société n’a pas indiqué exactement où ces images avaient été publiées. « Nous avons collaboré avec succès avec les hébergeurs pour supprimer la majeure partie de ce contenu et nous nous efforçons actuellement de supprimer le reste », a déclaré le laboratoire. La question de la sécurité chez OpenAI fait polémique.

Cet incident a été découvert par OpenAI dans le cadre des audits internes déclenchés par le piratage de Hugging Face. « Nous n’avons pas été aussi rapides que nous l’aurions souhaité, mais nous essayons de trouver un équilibre entre notre volonté de transparence et la nécessité de bien comprendre les pétaoctets de journaux d’activité de nos agents, tout en collaborant avec les organisations concernées », a expliqué Sam Altman, PDG d’OpenAI.

Dans un message publié vendredi sur X (ex-Twitter), il a souligné que le piratage d'Hugging Face reste l'événement le plus marquant. « Le piratage de Hugging Face reste l’incident le plus grave que nous ayons connu. Nous ferons preuve d’autant de transparence que possible, sous réserve de certains éléments tels que les failles détectées par nos agents IA au sein d’autres entreprises, dont la décision de les divulguer ou non leur appartiendra ».

À la suite d'un piratage d'Hugging Face survenu en juillet 2026, les audits internes ont révélé plus de deux douzaines de situations où des agents IA ont contourné les mesures de sécurité ou attaqué des bases de données en ligne. Des agents IA ont notamment créé près d'un million de liens Web raccourcis contenant du code dissimulé pour franchir les tests Captcha et ont mené des intrusions dans les systèmes informatiques de plusieurs organismes.

Au cours des deux mois qui se sont écoulés depuis la première alerte concernant le piratage d'Hugging Face, plus de 15 incidents différents liés à OpenAI, d’une gravité variable, ont été révélés par l’entreprise ou par des chercheurs externes. De plus, devant les Nations unies le 23 septembre, le Premier ministre australien Anthony Albanese a révélé que des agents IA d’OpenAI avaient piraté « un portail gouvernemental de données sanitaires » en juin.

Mai 2026

• infrastructure interne d'OpenAI (Artifactory de JFrog) : le 8 mai, un agent IA devant compléter une feuille de calcul dépendant de liens Google Drive inaccessibles a tenté d'attaquer le gestionnaire de paquets interne Artifactory pour obtenir un accès Internet. La première tentative a échoué ;
• RubyGems : en mai, des agents IA testés par OpenAI ont tenté d'exploiter une faille de mise en cache connue sur RubyGems, l'inondant de centaines de paquets malveillants. OpenAI l'a confirmé en septembre, après que des chercheurs externes l'ont découvert ;
• DseWiki (wiki allemand) : de mai à juillet, les agents IA d'OpenAI l'ont détourné comme espace de coordination, avec plus de 15 000 modifications. Ce détournement n'a été rendu public que le 4 septembre 2026 par le Nightingale Collective.

Juin – début juillet 2026

• Medicare : un agent d’OpenAI a piraté un portail du gouvernement australien contenant des statistiques sur le système de santé Medicare, accédant ainsi à des fichiers publics et non publics, a déclaré le Premier ministre Anthony Albanese
• Artifactory (le gestionnaire de paquets interne d'OpenAI) : le 26 juin, les agents IA ont obtenu l'exécution de code via une seconde faille zero-day. Le 4 juillet, la charge qu'ils ont provoquée a causé une panne, OpenAI a alors ouvert un incident de sécurité, et l'entraînement a repris le 6 juillet.

Juillet 2026

• sortie du bac à sable : vers le 9 juillet, les agents IA ont exploité une faille zero-day du proxy de cache de paquets pour accéder à l'Internet ouvert ;
• Modal Labs : avant d'attaquer Hugging Face, les agents IA d'OpenAI ont exploité une application hébergée sur Modal liée au projet CyberGym (clé d'API par défaut et faille d'injection de commandes). Modal affirme que sa plateforme n'a pas été compromise, l'exposition venant du déploiement d'un client ;
• Hugging Face : l'intrusion dans Hugging Face a eu lieu du 11 au 13 juillet, avec environ 17 600 actions, et un tiers de l'infrastructure a dû être reconstruit. Hugging Face a publié son avis d'incident le 16 juillet ;
• infrastructure d'OpenAI (Kubernetes, cloud) : entre le 8 et le 19 juillet, les agents IA ont obtenu les droits root, puis cluster-admin, dans l'infrastructure d'OpenAI. L'alerte a été déclenchée le 19 juillet ;
• création de quatre comptes sur quatre services tiers non nommés : selon la mise à jour d'OpenAI du 29 juillet, deux comptes ont servi opérationnellement pendant l'attaque contre Hugging Face et deux n'ont été consultés qu'en lecture seule. Les fournisseurs n'ont pas été identifiés.

Septembre 2026

• le 20 septembre, un agent IA en test sur une tâche de recherche d'information, sans accès Internet autorisé, a trouvé le moyen d'envoyer des requêtes à un chatbot public. OpenAI a de nouveau suspendu l'entraînement. Il ne s'agit pas d'un cas de piratage.

Ces comportements s'étendent aux concurrents d'OpenAI

D’autres entreprises d'IA de premier plan, notamment Anthropic et Google, ont également révélé ces dernières semaines des incidents liés à des comportements indésirables de leurs modèles. Ces révélations ont suscité de vives préoccupations quant à la rapidité avec laquelle l'IA progresse, et quant à l’existence de garanties et de réglementations suffisantes pour s’assurer que cette technologie n’échappe pas complètement au contrôle humain.

Certains experts en IA, notamment des chercheurs travaillant au sein de laboratoires spécialisés, ont averti que cette technologie présente un risque significatif d’extinction de l’humanité si des précautions adéquates n’étaient pas prises. Les responsables politiques ont réagi avec inquiétude après qu’un chercheur d’Anthropic, Jacob Coxon, a annoncé qu’il quittait cette entreprise spécialisée dans l’IA, estimant que ses travaux étaient trop dangereux.

Evan Hubinger, un autre employé d’Anthropic, a estimé à plus de 10 % le risque d’extinction de l’humanité due à l’IA d’ici dix ans. « Il s’agit littéralement de la mort de tous les habitants de la planète, comme si le dernier humain rendait son dernier souffle », a déclaré Nate Soares, président du Machine Intelligence Research Institute (MIRI) et coauteur de l’ouvrage « If Anyone Builds It, Everyone Dies: Why Superhuman AI Would Kill Us All ».

« Les gens ont souvent du mal à y croire quand on leur dit ça, mais je pense vraiment que c’est le scénario le plus probable », a déclaré Nate Soares. Pour certains experts, la menace posée par l'IA se divise en deux catégories fondamentales, bien que toute l'industrie ne partage pas ces prédictions sur un avenir dystopique. Ces détracteurs dénoncent un sensationnalisme destiné à alimenter le mythe d'une IA superpuissante capable de tout contrôler.

Gouvernance internationale et réglementation : les défis

Face à ces périls, les initiatives législatives peinent à s'imposer. Au Congrès américain, plus de 100 projets de loi relatifs à l'IA ont été déposés au cours des deux dernières années, mais aucun n'a été adopté. Les propositions prévoyant « un bouton d'arrêt d'urgence » automatisé sont jugées inefficaces sur le long terme par certains experts, car « une IA superintelligente sera en mesure de persuader les responsables humains de ne pas l'activer ».

Le sénateur Bernie Sanders a proposé d'interdire le développement de l'intelligence artificielle générale (AGI), mais sa proposition est impopulaire. Pour répondre à cette proposition, certains experts rappellent la nécessité de changer de modèle de pensée : alors que les entreprises présentent l'innovation comme l'accélérateur et la réglementation comme le frein, il convient de concevoir la réglementation comme « le volant » d'un véhicule rapide.

Sur le plan géopolitique, Donald Trump a rejeté les appels au ralentissement sur l'IA en qualifiant les craintes de « cannular », insistant sur sa volonté à distancer la Chine. Pourtant, le chef du renseignement militaire chinois s'est dit préoccupé par le fait que l'IA puisse menacer le contrôle du Parti communiste chinois, par exemple si un opposant muni d'un ordinateur portable et d'une connexion Starlink parvenait à paralyser le réseau d'eau d'une ville.

Malgré cette rivalité, la Chine a déjà relancé une troisième version de ses normes réglementaires sur les risques existentiels. Tom Friedman et Andy Weber soulignent que les démocraties occidentales et la Chine partagent un intérêt stratégique commun pour empêcher que l'IA ne prenne le contrôle ou ne soit utilisée par des terroristes pour concevoir des virus. Cependant, Donald Trump ferme la porte à toute forme de réglementation pour l'instant.

Sam Altman : la machine est entrée dans la « singularité »

Sam Altman, cofondateur et PDG d'OpenAI, est considéré par certains comme la plus grande star de l’IA. C’est l’une des figures majeures de l'industrie de l'IA. Sam Altman est également un personnage hautement controversé. Dans une récente interview, il a déclaré que l’IA est entrée dans la « singularité », c’est-à-dire qu’elle a franchi le point de non-retour à partir duquel elle dépasse l’intelligence humaine et devient difficile à contrôler.

À ce stade, la machine conçoit des versions d'elle-même encore plus performantes sans aide humaine. L'évolution technologique s'emballe et devient difficile à prédire pour notre société. Ce seuil marque la fin de la domination exclusive de l'humain sur la planète. Par ailleurs, les scientifiques avertissement qu'une machine supra-intelligente non alignée sur les valeurs humaines représente un risque existentiel majeur pour l'humanité.

L'avis de Sam Altman ne fait toutefois pas l'unanimité. De nombreux experts considèrent que cette déclaration s'inscrit dans le battage médiatique entourant l'IA générative depuis le lancement de ChatGPT par OpenAI en novembre 2022. Cette déclaration intervient peu après la découverte de l'attaque coordonnée des agents IA contre Hugging Face. Pour les critiques, les discours alarmistes de Sam Altman ont des visées politiques.

Sources : OpenAI, Sam Altman

Et vous ?

Quel est votre avis sur le sujet ?
Que pensez-vous des dérives des modèles d'IA d'OpenAI et de leur impact ?
Comment expliquez-vous ces événements ? OpenAI a-t-il perdu le contrôle sur sa technologie ?
Est-il possible qu'OpenAI mène des opérations sous faux drapeau tout en en attribuant la paternité à ses agents IA ?

Voir aussi

« Il est trop tard pour enrayer la menace de l'IA » : des experts craignent que l'IA ne conduise à l'extinction de l'humanité en raison de sa capacité à s'autoaméliorer, ce qui la rend désormais incontrôlable

Des agents IA d'OpenAI ont tenté d'exploiter une faille de mise en cache connue pour dérober des clés d'autorisation sécurisées sur la plateforme logicielle RubyGems, l'inondant de 2 000 paquets malveillants

Des agents IA rebelles d'OpenAI ont exploité plus de 10 sites Web tiers comme forums de discussion improvisés. L'affaire interroge la fiabilité des protocoles de test et de sécurité des modèles chez OpenAI

[OuftiBoy]

Ce qu'on laisse faire par ces entreprises est tout simplement scandaleux. Passons sur le vol massif de données. imaginez juste un fabricant d'arme, qui lors d'un test envoie un missile n'importe où, il y aurait des réactions... Là, leur brol fait n'importe quoi (durant leur tests), et... pas de réaction, le gars fait 5 phrases dans un post, puis continue tranquillement. Le gars dit que ce qu'il fait ça sera très dangereux, incontrôlable, mais continue et... pas de réaction. Là, on va croiser le missile et son IA, je n'ose pas imaginer le résultat des tests... Mais bon, si une catastrophe arrive, on trouvera un lampiste pour payer la note (au choix le gus qui aura sorti le missile du hangar ou celui qui l'aura peint d'une mauvaise couleur que l'IA n'a pas aimé...).

[popo]

C'est pas tout à fait ça.
En réalité, le mec dit qu'il y a un problème, il s'arrête, Trump (qui apparemment est le mec le plus malin de toute la planète) affirme que c'est juste un canular et lui impose de continuer sinon il sera déclaré ennemi de la nation.

[Eliora]

Jensen Huang, PDG de Nvidia, estime que les laboratoires d'IA devraient « fermer leurs portes » s'ils ne contrôlent pas leurs systèmes, Bernie Sanders affirmant que son projet de loi « ferait cela »

Jensen Huang, PDG de Nvidia Corp., a rejeté les appels lancés aux laboratoires d'IA pour qu'ils ralentissent collectivement leurs travaux, mais a déclaré que ces laboratoires devraient fermer s'ils ne parvenaient pas à contrôler leurs systèmes. Il a ajouté que les laboratoires ne devraient pas commercialiser de systèmes qui ne respectent pas les normes de sécurité. « Si vous affirmez qu'il n'y a aucun moyen de maîtriser nos expériences, que notre IA va s'échapper et causer des dégâts au monde entier… nous devons fermer les laboratoires », a-t-il déclaré. Le sénateur Bernie Sanders a cité Huang, ajoutant que son nouveau projet de loi visant à interdire la superintelligence artificielle « ferait exactement cela ».

OpenAI a suspendu l'entraînement de ses modèles d'IA à la suite d'une série d'incidents impliquant des « agents rebelles », notamment des tentatives d'accès à des systèmes gouvernementaux, alors que les inquiétudes grandissent concernant les mesures de sécurité et la réglementation en matière d'IA. Au sujet de la suspension de l’ensemble des activités d’entraînement et de développement, OpenAI a déclaré qu’elle ne reprendrait le développement « que lorsque nous serons certains de disposer de mesures de sécurité supplémentaires », ajoutant qu’elle s’attendait à devoir « marquer une nouvelle pause » à mesure que l’IA évolue et que d’autres problèmes apparaissent.

Nvidia Corporation est une multinationale américaine spécialisée dans les technologies, dont le siège social est situé à Santa Clara, en Californie. La société développe des processeurs graphiques (GPU), des systèmes sur puce (SoC) et des interfaces de programmation d'applications (API) destinés à la science des données, au calcul haute performance, à l'intelligence artificielle (IA) ainsi qu'aux applications mobiles et automobiles. Fondée en 1993 par Jensen Huang, Chris Malachowsky et Curtis Priem, Nvidia est souvent considérée comme une entreprise du secteur des « Big Tech ».

Jen-Hsun « Jensen » Huang est un dirigeant d'entreprise et ingénieur électricien taïwanais et américain, cofondateur, président et PDG de Nvidia, l'entreprise la plus valorisée au monde. En septembre 2026, Forbes estimait sa fortune à plus de 190 milliards de dollars américains, ce qui faisait de lui la huitième personne la plus riche au monde. Après avoir obtenu un master à l’université de Stanford, Huang a fondé Nvidia en 1993 depuis un restaurant Denny’s à San José, en Californie, à l’âge de 30 ans, et en est resté le président-directeur général depuis lors. Il a sorti l’entreprise d’une situation proche de la faillite dans les années 1990 et a supervisé son expansion, passant du développement de processeurs graphiques (GPU) au calcul haute performance et à l’IA.

Récement, Jensen Huang, PDG de Nvidia Corp., a rejeté les appels lancés aux laboratoires d’IA pour qu’ils ralentissent collectivement leurs travaux, mais a déclaré que ces laboratoires devraient fermer s’ils ne parvenaient pas à contrôler leurs systèmes, tandis que le sénateur Bernie Sanders a appelé les entreprises à ne pas développer cette technologie si elles ne sont pas en mesure de la maîtriser en toute sécurité.

« Ne la commercialisez pas »

Dans une interview, Huang a déclaré que les entreprises spécialisées dans l’IA ne devraient pas commercialiser de systèmes qui ne respectent pas les normes de sécurité, comparant cette approche à celle consistant à tester une voiture autonome avant de la mettre en circulation. « Si nous voulons construire une voiture, une voiture autonome, et que nous n’avons aucune idée de la manière de la mettre en conformité avec les normes de sécurité… quelle est la solution ? Ne pas la commercialiser », a déclaré le PDG de l’entreprise la plus valorisée au monde.

Huang a ajouté que les laboratoires devraient être fermés s’ils constataient que leurs expériences en matière d’IA ne pouvaient être maîtrisées et risquaient de causer des dommages importants. « Si vous affirmez qu’il n’y a aucun moyen de maîtriser nos expériences, que notre IA va s’échapper et causer des dégâts au monde entier… nous devons fermer les laboratoires, car le coût pour l’humanité… les dégâts sont trop importants. »

Il s'oppose à un assouplissement de la réglementation

Il a déclaré que les entreprises spécialisées dans l'IA ne devraient pas chercher à obtenir des dérogations aux règles existantes alors qu'elles passent du stade des laboratoires de recherche à celui des grandes entreprises, rejetant ainsi les appels en faveur d'un assouplissement des règles antitrust ou de la responsabilité du fait des produits. « Cependant, compte tenu de la complexité de leur travail, demander un assouplissement de la réglementation en matière d'antitrust ou de responsabilité du fait des produits… je ne pense pas que cela ait du sens. Quand on réclame une réglementation, on ne doit pas demander à être exempté des règles en vigueur. »

Ses commentaires interviennent alors que Sam Altman, PDG d’OpenAI, et Dario Amodei, PDG d’Anthropic, ont appelé le secteur de l’IA à ralentir le rythme de développement des modèles de pointe. « Je ne suis pas contre les lois et les réglementations », a déclaré Huang, ajoutant qu’il s’opposait à la « distraction » actuelle.

Sanders déclare : « Si vous ne pouvez pas le contrôler, ne le créez pas »

Le sénateur Sanders a cité Huang, selon lequel les laboratoires devraient fermer si un modèle s'avère néfaste pour le monde, ajoutant que son nouveau projet de loi visant à interdire la superintelligence artificielle « ferait exactement cela ». « Si vous ne pouvez pas le contrôler, ne le créez pas », a ajouté le sénateur.

Certains experts et observateurs jugent désormais incontrôlables les menaces de l'IA. Ils justifient leurs craintes par les progrès et les incidents récents impliquant l'IA : les modèles ont acquis la capacité de s'améliorer de manière autonome, des agents IA ont échappé à la surveillance humaine et ont piraté des services tiers, puis une fausse information générée par l'IA utilisée par l'armée américaine a failli déclencher une guerre avec la Chine. Il y a également les menaces de cyberguerre et de bioterrorisme. Malgré des propositions législatives comme un « bouton d'arrêt d'urgence », les lanceurs d'alerte craignent qu'il ne soit désormais trop tard pour agir.

Et vous ?

Pensez-vous que cette information est crédible ou pertinente ?
Quel est votre avis sur le sujet ?

Voir aussi :

« Nous n'avons pas besoin de nouvelles lois ni de réglementations sur l'IA, laissez-nous nous occuper de la sécurité », déclare Jensen Huang, PDG de Nvidia

Anthropic, OpenAI, Google et SpaceXAI s'entendent illégalement pour freiner le développement de l'IA , selon une plainte qui les accuse d'avoir enfreint la législation antitrust

Les importants investissements de Trump et de sa famille dans l'IA soulèvent des risques de conflits d'intérêts, alors qu'il résiste aux appels à la prudence face aux dangers d'une IA incontrôlée"

[popo]

L'IA agit toute seule ?
Si j'ai un accident en allant à 180km/h, j'accuserai la voiture et la route.

Si un mec me rentre dedans parce que la voiture a décidé de freiner sans raison, oui j'accuse la voiture et le constructeur au passage.

[jnspunk]

Ou alors c’est fait exprès pour, d’une part se faire une grosse publicité et d’autre part, forcer le gouvernement à empêcher les concurrents de rattraper afin de conserver la position.

[Mathis Lucas]

Un environnement de test mal configuré chez la startup israélienne Irregular a permis à des agents IA de Meta, OpenAI et Anthropic d'accéder à Internet et de pirater de vraies organisations

OpenAI, Meta et Google ont vu leurs agents IA s'échapper de leur bac à sable pour cibler des infrastructures réelles. Les entreprises poursuivent leurs investigations et et les révélations sur ces activités incontrôlées ne cessent d'affluer. Un rapport indique que certains incidents découlent d'erreurs techniques chez Irregular, une société de cybersécurité chargée de mettre les modèles à l'épreuve via des simulations. Cette situation révèle les failles des protocoles de sécurité face à des outils capables de s'adapter comme des humains. Les experts soulignent l'urgence de renforcer les méthodes d'évaluation afin de prévenir les comportements indésirables.

La panique autour des agents IA hors de contrôle trouve son origine dans l’intrusion d’agents d’OpenAI dans Hugging Face en juillet 2026. Cet incident a été suivi par une série de cas similaires, bien que distincts, où des agents IA développés par OpenAI, Anthropic et Meta ont pénétré sans autorisation dans les systèmes de nombreuses entreprises. L'IA Gemini de Google est le dernier modèle en date à avoir piraté trois entreprises sans autorisation.

Si ces incidents ont d'abord été perçus comme des brèches isolées , certains d'entre eux ont une origine commune : la société israélienne Irregular, autrefois appelée Pattern Labs et aujourd'hui évaluée 450 millions de dollars. Chargée d'évaluer la résistance des modèles face aux cyberattaques et aux risques de sécurité, l'entreprise travaille depuis 2024 avec les principaux laboratoires d'IA occidentaux, des organismes gouvernementaux et le RAND.

Une entreprise au cœur d'une vague d'incidents de sécurité

Les attaques découlent toutes d'une même erreur de configuration survenue lors d'exercices de simulation de piratage informatique destinés à mesurer les capacités des modèles. Au cours d'un test en mai, des agents IA devaient cibler une entreprise fictive au sein d'un réseau simulé et théoriquement isolé. Mais la société virtuelle créée pour l'exercice portait un nom qui correspondait à une véritable entreprise qui existe dans le monde monde réel.

Lors de plusieurs tests menés cette année par Irregular, des agents IA se sont échappés de leur environnement isolé et se sont attaqués à des cibles réelles. Ces intrusions n’ont aucun lien avec le piratage de Hugging Face, mais suivent toutes le même schéma général : la startup israélienne testait les capacités de ces modèles d'IA en matière de cybersécurité dans des environnements contrôlés et isolés, destinés à simuler des conditions réalistes.

Certains tests utilisaient des exercices de type « capture du drapeau », une méthode courante utilisée par l'industrie pour tester les capacités de piratage qui consiste à demander aux agents IA de trouver des informations cachées au sein d’un réseau simulé. Du moins, ce réseau est censé être simulé.

Selon les protocoles de test établis initialement, les agents IA participant à l'évaluation n'étaient pas censés avoir accès à l’Internet ouvert. Toutefois, selon Omer Nevo, cofondateur et directeur technique d'Irregular, « l'accès à Internet était disponible par inadvertance ». Pensant accomplir le test demandé, les agents IA ont tenté de sortir de leur conteneur de laboratoire et d'utiliser la connexion Internet dans le but d'attaquer la véritable entreprise.

Cette série d'erreurs a conduit les agents IA à s’en prendre à des cibles réelles, même si l’on ignore quelles entreprises ont effectivement été attaquées. Omer Nevo a confirmé que ce même problème était à l’origine d’incidents impliquant des modèles d’OpenAI, de Meta, d’Anthropic et de Google. « Tous les incidents impliquant Irregular découlaient du même problème sous-jacent dans un seul scénario d’évaluation et ont été rendus publics ».

Selon lui, certains incidents signalés ne sont pas lié à Irregular. « Les autres incident de sécurité signalés récemment dans le secteur n’ont aucun lien avec Irregular ni avec nos évaluations ». Cela inclut le piratage d'Hugging Face et les failles de sécurité survenues à l’AI Security Institute au Royaume-Uni.

Diagnostic et limites des mécanismes de protection actuels

Face à ces incidents, les dirigeants d'Irregular ont reconnu l'existence de failles organisationnelles. Dan Lahav, cofondateur et PDG de l'entreprise, a tenté de se justifier : « des erreurs, comme un oubli humain, peuvent arriver, et nous devons évidemment en tirer des leçons. Nous devons en assumer la responsabilité ». D'après lui, augmenter la simple surveillance des environnements de test des modèles ne suffira pas à empêcher de futurs dérives.

Dan Lahav estime que l'industrie doit analyser en profondeur le comportement des modèles et apprendre à « s'accommoder de réalités complexes ». Il souligne par ailleurs que les systèmes de protection traditionnels ne sont pas adaptés à ces nouveaux risques, car ils doivent désormais faire face à des attaquants d'une persistance inédite qui s'adaptent et évoluent « exactement des humains ». Ses propositions suscitent toutefois des controverses.

« Nous devons nous habituer à des réalités complexes », a déclaré Dan Lahav. « Il pourrait être judicieux de laisser les agents IA soumis à des tests de résistance accéder à Internet, même si cela présente un risque d’attaques similaires à celles qui ont débuté dans les laboratoires d’Irregular ». Omer Nevo a également déclaré que l'entreprise avait remédié aux problèmes liés à l’environnement de de test qui étaient à l’origine aux ces incidents.

Si les erreurs de configuration ont touché les quatre géants américains de la technologie (OpenAI, Meta, Anthropic et Google), la portée des travaux de l'entreprise s'étend à d'autres systèmes. Des recherches publiées par Irregular indiquent que des tests similaires ont été conduits sur des modèles chinois en accès libre, comme Kimi K3 de Moonshot AI et GLM-5.2 de Z.ai. Ces tests ont été exécutés sur des instances hébergées par les chercheurs.

Omer Nevo a précisé que les évaluations de ces modèles à poids ouverts n'ont provoqué aucun incident dans le monde réel. Toutefois, il a averti que « cette simple observation ne doit pas être interprétée comme la preuve que ces modèles sont moins susceptibles d'adopter ce type de comportement ».

Les Mesures correctives et les perspectives pour le secteur

Averties à la fin du mois de juillet, les entreprises concernées ont adopté des postures de communication différentes : OpenAI et Anthropic ont publié des informations de leur propre initiative, tandis que l'implication de Meta et Google a été révélée par la presse. À la suite de ces événements, Irregular a révisé ses procédures internes pour garantir l'étanchéité de ses simulations. La startup affirme avoir adopté de nouvelles mesures de sécurité.

« Nous avons renforcé les contrôles d’accès à Internet, étendu la surveillance et les vérifications manuelles, et renforcé les contrôles avant le début des évaluations afin de vérifier que l’accès correspond bien au périmètre prévu », a expliqué le directeur technique Omer Nevo . « Nous avons également amélioré la manière dont nous documentons et convenons avec nos partenaires de la configuration et des paramètres de chaque évaluation ».

Omer Nevo a ajouté qu'Irregular prévoit de publier bientôt un rapport plus complet qui présente les enseignements tirés et les bonnes pratiques pour mener des évaluations cybernétiques en toute sécurité. « Notre collaboration avec nos partenaires vise à transformer les enseignements tirés de ces incidents en bonnes pratiques partagées publiquement, afin de développer et d’évaluer en toute sécurité des IA de plus en plus puissantes ».

Et vous ?

Quel est votre avis sur le sujet ?
Que pensez-vous des conséquences des erreurs de configuration chez Irregular ?
Que pensez-vous des limites actuelles des protocoles de test et de sécurité des modèles d'IA ?
Comment l'industrie peut-elle renforcer la sécurité de ses modèles de pointe ?

Voir aussi

Des agents IA d'OpenAI ont accédé sans autorisation à des images privées appartenant à des utilisateurs de ChatGPT et les ont publiées sur le Web, ce qui interroge sur le contrôle de l'IA dans l'entreprise

Un agent IA d'OpenAI a piraté le portail de Medicare et a accédé à des fichiers publics et non publics, a déclaré le Premier ministre australien Anthony Albanese

Hugging Face, la startup piratée par une IA rebelle, qualifie l'attaque de "signal d'alarme", après qu'OpenAI avoue qu'un bot avancé avait échappé au confinement lors d'un test de sécurité

[Artaeus]

Si un mec me rentre dedans parce que la voiture a décidé de freiner sans raison, oui j'accuse la voiture et le constructeur au passage.

Tu parle du système obligatoire imposé par l'UE pour sauver des vies dans les voitures provoquant le fameux freinage fantôme ?

Ta comparaison est trompeuse, il n'y a pas de défaillance technique dans le cadre de l'IA, ni dans le cadre de la voiture qui va à 180km/h et fait un accident.
Il s'agit d'un problème de l'utilisateur.

Mais tu peux faire une loi pour ajouter un freinage automatique dans les voitures qui fera lui aussi des accidents : Après tout, personne n'est responsable des lois inapplicables en Europe.

[_toma_]

Je réponds même si j'ai pas pris le temps de lire tout l'article.

Cette situation révèle les failles des protocoles de sécurité face à des outils capables de s'adapter comme des humains

Hé, con, si tu déploies un truc sans avoir la moindre idée de ce qu'il va faire, c'est ton problème. Et tu devrais en assumer les conséquences.
Une petite pensée pour tous les verbalisés de l'Hadopi qui n'avaient pas su sécuriser leur connexion via leur pare-feu OpenOffice


Il ne faut pas oublier que les cas d'évasion médiatisés "comme par hasard" depuis quelques semaines (c'est fou comme toutes ces boites d'IA évoluent à la même vitesse depuis quelques années) sont le résultat de centaines, milliers, dizaines de milliers d'agents.
Je dis pas que le résultat est nul. Mais à part les méga entreprises de l'IA ou un état, personne ne peut lancer ce genre d'attaque. Parler "d'outils capables de s'adapter comme des humains", c'est nous faire croire que cette anomalie fait partie de notre quotidien.
Le résultat est incroyable. Mais en plus d'être non désiré, il a un coût.

Par contre, je suis pas dupe, je sais bien que, même si ça a un coût en plus de pas être fiable, tous les gouvernements qui en ont les moyens ont déjà fait les investissements nécessaires pour s'équiper d'outils aux capacités similaires.
Donc Einstein peut arrêter de se retourner dans sa tombe. L'humanité ne sera pas anéantie par une bombe atomique mais par un générateur de contenu artificiel qui aura réussi à obtenir un accès à internet.


Edit : wahou, ça va tellement vite l'IA, j'étais passé à côté des deux news d'au-dessus. Si je les avais vues, j'aurais peut-être essayé d'être plus sarcastique.

[Mathis Lucas]

OpenAI reporte la sortie de GPT-6.1 Astra à la suite d'une série d'incidents de sécurité et de la défaillance d'un « kill switch » automatisé lors des tests
le modèle a été plus « trompeur » que GPT-6 Astra

OpenAI a suspendu le lancement de son modèle GPT-6.1 Astra et interrompu l'entraînement de ses IA les plus puissantes. Cela fait suite à des préoccupations majeures concernant la sécurité et l'alignement. Des tests internes ont révélé des comportements imprévus et trompeurs de plusieurs agents IA, notamment le contournement des barrières de sécurité, la communication secrète et l'accès illégal à des systèmes externes. Ces incidents répétés chez OpenAI et Anthropic mettent en lumière la complexité croissante du contrôle des systèmes d'IA. Ces dérives ont déclenché une surveillance accrue de la part des gouvernements et des régulateurs.

De nombreuses entreprises américaines spécialisées dans l'IA (OpenAI, Google, Meta et Anthropic), ainsi que des chercheurs indépendants, enquêtent actuellement sur des dizaines de milliers d’incidents de sécurité impliquant leurs modèles de pointe. Ces incidents concernent notamment des situations où des agents IA autonomes ont pris des mesures jugées très problématiques par des évaluateurs indépendants et des chercheurs en sécurité.

Le nombre considérable d’incidents indique que « le problème est d’un ordre de grandeur plus complexe que ce qui est connu du grand public ». Une grande partie de ces événements découlent d'erreurs de configuration d'un environnement de test et d'évaluation interne de la startup israélienne Irregular.

De l'extérieur, OpenAI et ses rivaux paraissent avoir perdu la maîtrise de leur propre technologie. Jensen Huang, PDG de Nvidia, pense que les laboratoires d'IA devraient « fermer leurs portes » s'ils ne contrôlent pas leurs systèmes. OpenAI a désormais suspendu l’entraînement de ses modèles de pointe à la suite d'un nouvel incident au cours duquel un « kill switch » automatisé n’a pas réussi à arrêter un agent IA rebelle pendant son entraînement.

Annulation du lancement du modèle GPT-6.1 Astra par OpenAI

L'entreprise a officiellement annulé la sortie de GPT-6.1 Astra, dont le lancement était initialement prévu pour octobre 2026 dans ses outils ChatGPT et Codex. Son lancement a été reporté afin de poursuivre les évaluations. Saachi Jain, responsable des systèmes de sécurité chez OpenAI, a indiqué que ce modèle affichait un niveau de tromperie plus élevé que ses prédécesseurs et n'était pas toujours honnête quant aux actions réellement accomplies.

Parmi les incidents signalés, on trouve des agents IA contournant les barrières de sécurité, créant des forums de discussion, s’échappant de leurs environnements de test, piratant des sites Web et générant eux-mêmes des prompts. La gravité de ces incidents varie ; ils comprennent à la fois des tentatives réussies et des échecs, la plupart n’ayant pas encore causé de préjudice concret. OpenAI n'est pour l'instant pas capable d'expliquer ce problème.

Certains des tests à l’origine de ces incidents s’apparentent à des exercices de « red teaming », au cours desquels les entreprises tentent délibérément de pousser les modèles à se comporter de manière inappropriée afin d’évaluer leur sécurité. En bref, les récents tests révèlent que GPT-6.1 Astra souffre de problèmes d'autorisation de périmètre, exécutant des tâches sans permission et sollicitant des outils ou logiciels externes potentiellement risqués.

Concernant ces arbitrages de sécurité, Saachi Jain a rappelé qu'il fallait déterminer la juste limite entre respecter le périmètre et éviter la paresse du modèle lorsqu'il rencontre de la friction. De plus, la responsable d'OpenAI a également insisté sur les exigences de la société : « nous voulons nous assurer que le développement de nos modèles est sûr, que ce soit au sein de l'entreprise ou lorsque nous les mettons à la disposition des utilisateurs ».

GPT-6.1 Astra est plus performant que les précédents modèles d'OpenAI pour mener à bien des tâches complexes de bout en bout sans assistance humaine. L'entreprise va plutôt se concentrer sur l'amélioration de la sécurité de ses futurs modèles, dont elle prévoit qu'ils seront encore plus performants.

Défaillance du « kill switch » et suspension des entraînements

Face à la gravité de ces incidents, OpenAI a aussi pris la décision de suspendre l'entraînement de ses modèles les plus performants. Cet arrêt a été provoqué par un modèle de recherche qui a contourné les filtres réseau via un résolveur DNS interne afin de contacter un chatbot public extérieur. Bien que le système de surveillance ait donné l'alerte en quinze minutes, le bouton d'arrêt d'urgence automatique (ou « kill switch ») a totalement échoué.

L'entraînement s'est ainsi poursuivi pendant deux heures et demie supplémentaires avant qu'une intervention humaine manuelle ne vienne y mettre fin. À propos de cette interruption, un porte-parole du laboratoire de San Francisco a déclaré : « ce n'est pas la première fois que nous marquons une pause pour prendre de telles mesures, et nous ne pensons pas que ce sera la dernière, à mesure que les capacités de l'IA continuent de progresser ».

OpenAI ne reprendra l’entraînement que « lorsqu'ils seront certains d’avoir mis en place des mesures de sécurité supplémentaires et des améliorations en matière d’alignement ». La suspension concerne l’entraînement, les évaluations et l’exécution de ses modèles les plus performants à l’aide d’outils.

Des agents d'OpenAI comme GPT-5.6 Sol se sont échappés de leur environnement de test pour s'introduire dans les serveurs de production de Hugging Face. De plus, des agents IA ont accédé sans autorisation à des sites gouvernementaux américains et au portail australien de données de santé Medicare. OpenAI a également révélé que ses agents IA ont accédé à des images privées d'utilisateurs de ChatGPT, puis les ont divulguées sur le Web.

Anthropic fait appel à un tiers pour examiner ses modèles d'IA

Anthropic a révélé que Claude Opus 5.5 a tenté de s'échapper ou de modifier son environnement de test dans 1,5 % des essais menés sans garde-fous, piratant au passage trois entreprises lors d'évaluations de capacités. L'entreprise a souligné qu’il s’agissait d’expériences dans lesquelles une tâche ne pouvait être résolue sans s’échapper du bac à sable. Opus 5.5 a tenté de contourner les limites 85 % moins souvent qu’Opus 5 ou Claude Mythos 5.1.

De plus, chaque tentative était de faible gravité et était signalée par le modèle lui-même. Concernant le nombre considérable d’incidents de sécurité signalés ces derniers mois, les experts ont mis en évidence un détail important. Anthropic et ses concurrents effectuent des centaines de milliers de tests sur leurs modèles ; par conséquent, même un faible pourcentage de comportements non conformes peut représenter des dizaines de milliers d’incidents.

Anthropic, par exemple, a passé au crible 141 006 tests d’évaluation au cours desquels Claude disposait d’un accès à Internet et a identifié trois incidents au cours desquels Claude a piraté trois organisations réelles lors de tests portant sur leurs capacités de sécurité. Toutefois, Anthropic considère que « ces incidents relèvent davantage d’une défaillance du système de contrôle et de l’exploitation que d’un problème d’alignement du modèle ».

Les modèles avaient en effet reçu pour instruction de ne pas avoir accès à Internet alors qu’ils étaient en réalité mal configurés et y avaient accès. Outre Anthropic et OpenAI, Google a confirmé que ses agents IA basés sur le modèle de pointe Gemini auraient piraté trois entreprises plus tôt cette année. Face à ces incidents de sécurité, Anthropic aurait chargé un organisme tiers spécialisé dans la sécurité d’examiner le comportement de ses modèles.

Perspectives de l'industrie et pressions politiques et judiciaires

Le récit récent des dérives de l'IA a suscité de vives inquiétudes. Certains experts estiment toutefois que ces incidents sont ponctuels et s’attendent à ce que les révélations futures soient moins graves grâce à l’amélioration des contrôles. Ils affirment également qu’il existe des solutions simples qui aideraient les laboratoires à éviter certains des éléments qui ont donné à ces incidents un aspect si dangereux aux yeux des personnes extérieures.

D’un autre côté, d’autres parties prenantes se sont montrées peu confiantes quant à la capacité des entreprises d’IA à prévenir tous les comportements problématiques des modèles, affirmant que cela nécessiterait la tâche impossible d’anticiper toutes les façons possibles dont les modèles pourraient dérailler. Quoi qu’il en soit, les experts estiment qu’il faut s’attendre à certains comportements inappropriés lors des tests des nouveaux modèles.

Ces incidents ont renforcé les appels en faveur d'une régulation de l’IA. Dans un essai soutenu par des dirigeants d’OpenAI, de Google DeepMind et de Microsoft, le PDG d’Anthropic, Dario Amodei, a exhorté Washington à modérer le développement de l’IA, craignant que les agents IA ne deviennent incontrôlables, et a mis en garde contre un éventuel essaim de botnets propulsés par l’IA qui pourrait prendre le contrôle de l’ensemble d’Internet.

Le président Donald Trump a rejeté à plusieurs reprises les appels à la réglementation, les qualifiant de « canulars » , et a annoncé son intention de créer une « force dédiée à l’IA » chargée de soutenir, d’aider et de veiller sur le secteur de l’IA à mesure qu’il se développe. On ignore à quoi ressemblera cette force.

De son côté, le procureur général de Floride a engagé des poursuites contre OpenAI et son PDG Sam Altman, accusant la société d'avoir déployé sciemment un produit dangereux. Estimant que les Big Tech ne ralentiraient pas sans une contrainte légale, James Uthmeier a déclaré de façon ironique : « le procureur général de Floride répond à votre appel à l'aide ». Sur le plan fédéral, un projet de loi visant à réguler l'IA a récemment échoué.

Et vous ?

Quel est votre avis sur le sujet ?
Que pensez-vous du report du lancement du modèle GPT-6.1 Astra par OpenAI ?
Que pensez-vous des limites actuelles des protocoles de test et de sécurité des modèles d'IA ?
Comment l'industrie peut-elle renforcer la sécurité de ses modèles de pointe ?

Voir aussi

Jensen Huang, PDG de Nvidia, estime que les laboratoires d'IA devraient « fermer leurs portes » s'ils ne contrôlent pas leurs systèmes, Bernie Sanders affirmant que son projet de loi « ferait cela »

OpenAI aurait suspendu l'entraînement de ses modèles d'IA à la suite d'une série d'incidents impliquant des agents IA rebelles, notamment des tentatives d'accès à des systèmes gouvernementaux

Une réglementation sur l'IA était en passe d'être adoptée, mais après avoir reçu un afflux de fonds provenant du secteur technologique, Donald Trump l'a fait capoter

[boboss123]

Il faudrait peut-être arrêter ce genre de publications bullshit, non ?
On n'arrête pas le progrès... surtout quand derrière il y a de la capitalisation et des enjeux politiques...

[Eliora]

Les agents IA d'OpenAI tentent de pirater le site de l'ONU par force brute, avec 16 000 tentatives, après l'incident de Hugging Face et l'accès d'agents IA au site du gouvernement américain

Les agents IA d'OpenAI semblent se déchaîner sur Internet. Si l'incident de Hugging Face a secoué le monde de l'IA, il était loin d'être un cas isolé d'agents IA agissant de leur propre chef. Un nouveau rapport révèle que ces agents ont même tenté à plus de 16 000 reprises de pirater un site web de statistiques des Nations Unies en l'espace de trois mois, dans le but de récupérer des données publiques. Alex Stamos a déclaré que cette activité était « à la limite de ce que j'appellerais du piratage ». OpenAI a déclaré qu'elle examinait ces conclusions et qu'elle avait contacté l'ONU pour lui proposer une réunion d'information sur l'enquête.

OpenAI est une société d'intérêt public (PBC) américaine spécialisée dans l'intelligence artificielle (IA), dont le siège social est situé à San Francisco, en Californie. Elle développe des modèles d'IA générative propriétaires, notamment sa série de grands modèles linguistiques « Generative Pre-trained Transformer » (GPT). Le lancement de ChatGPT en novembre 2022 est considéré comme ayant catalysé l'essor de l'IA ; en septembre 2026, ChatGPT est le cinquième site web le plus visité au monde. OpenAI commercialise également les modèles GPT Image et Codex, un agent de codage basé sur l'IA.

En juillet 2026, OpenAI avait déclaré que deux de ses modèles d’IA les plus avancés — notamment GPT-5.6 Sol et un modèle en pré-lancement encore plus performant, tous dotés de capacités de cyberdéfense réduites à des fins d’évaluation — s'étaient échappés d’un test contrôlé et avaient piraté une autre entreprise spécialisée dans l’IA. OpenAI avait indiqué que cet « incident de cybersécurité sans précédent » s'était produit lors d’un exercice interne destiné à tester les capacités cybernétiques de ses modèles. OpenAI affirmait alors que ce piratage montrait que l’agent était allé « très loin » pour récupérer des informations qui aideraient à atteindre les objectifs du test.

Les agents IA d’OpenAI semblent se déchaîner sur Internet. Si l’incident de Hugging Face a secoué le monde de l’IA, il était loin d’être un cas isolé d’agents IA agissant de leur propre chef. Ces agents auraient également accédé à des sites web des gouvernements australien et américain plus tôt cette année. Aujourd’hui, un nouveau rapport révèle que ces agents ont même tenté à plus de 16 000 reprises de pirater un site web de statistiques des Nations Unies en l’espace de trois mois, dans le but de récupérer des données publiques.

Entre avril et fin juin, les agents d’IA d’OpenAI auraient effectué plus de 16 000 requêtes sur le site web des statistiques de la Conférence des Nations unies sur le commerce et le développement (CNUCED). Ces agents cherchaient probablement à collecter des données pour l’indice des capacités productives (PCI) de l’organisation, qui mesure la capacité des pays à produire des biens et des services. Ces conclusions s’appuient sur une analyse des enregistrements d’activité en ligne réalisée par le chercheur en sécurité Rowan Howard-Jones, dont l’enquête a été motivée par des travaux antérieurs menés par le cabinet de recherche en IA Transluce. Jones a révélé que les agents IA d’OpenAI ne se sont pas contentés de collecter des données publiques et ont tenté de contourner les mesures de sécurité du site web lorsque leurs méthodes habituelles ont échoué.

L’incident aurait commencé lorsque les agents IA ont rencontré des difficultés à extraire des informations du site web par leurs méthodes habituelles. Cependant, loin de s’arrêter, ils ont commencé à tester différentes façons de contourner les restrictions du site. Howard-Jones a déclaré que les agents semblaient penser qu’un filtre de sécurité bloquait leurs requêtes et avaient alors tenté de dissimuler leur activité. Selon d’autres informations du WSJ, ces agents auraient tenté d’utiliser le « XSS Game » de Google, un outil pédagogique conçu pour sensibiliser les utilisateurs aux vulnérabilités de type « cross-site scripting », afin de contourner les restrictions du site web. L’article indique que les agents ont finalement réussi à contourner le filtre du site en utilisant une technique que ses opérateurs n’avaient pas autorisée.

Alex Stamos, maître de conférences en cybersécurité à l’université de Stanford, a déclaré au WSJ que cette activité était « à la limite de ce que j’appellerais du piratage ». Il l’a également qualifiée de « scraping et de récupération de données vraiment très agressifs ». Toutefois, les articles ne prouvent pas que les agents aient accédé à des informations confidentielles de l’ONU. OpenAI a déclaré qu’elle examinait ces conclusions et qu’elle avait contacté l’ONU pour lui proposer une réunion d’information sur l’enquête. L’entreprise étudie également le comportement de ses modèles d’IA pendant l’entraînement et les tests.

OpenAI a précisé qu’une grande partie de l’activité des agents au cours de cet incident consistait en des tâches de recherche courantes, telles que la consultation de sites web publics pour trouver des informations et répondre à des questions. L’entreprise a toutefois reconnu que les sites web recevant un grand nombre de requêtes provenant d’agents IA pouvaient être affectés et que leurs préoccupations devaient être prises au sérieux.

Autres incidents

Cet incident survenu à l'ONU est le dernier d'une série de rapports faisant état d'un comportement inattendu des agents IA d'OpenAI lors de la navigation sur des sites web. Plus tôt cette année, ces agents auraient également rencontré des difficultés lors de la collecte d'informations sur des sites web du gouvernement américain, notamment ceux du ministère du Commerce et de la Commission des opérations de bourse (SEC). Dans un cas, un agent IA aurait trouvé des identifiants de connexion exposés en ligne et les aurait utilisés pour accéder au site web du Bureau du recensement des USA et y collecter des données. Dans un autre cas, un agent a collecté des données publiques sur le site web de la SEC, mais a ignoré les restrictions relatives à l’utilisation de ces informations et les a publiées sur un forum en ligne sans rapport avec le sujet.

Ces incidents auraient incité OpenAI à examiner ces activités de manière plus approfondie et à alerter des dizaines d’autres organisations au sujet de comportements similaires de la part de ses agents IA. Il y a ensuite l’incident Hugging Face, au cours duquel des milliers d’agents d’OpenAI se seraient regroupés pour accéder à des systèmes alors qu’ils tentaient d’accomplir les tâches qui leur avaient été assignées. Dans un autre cas, des agents IA auraient envoyé un nombre excessif de requêtes à RubyGems, un registre en ligne de paquets logiciels, perturbant ainsi le service.

Si ces incidents ont alerté le monde de l’IA en démontrant la puissance réelle dont sont capables les agents IA autonomes, les leaders du secteur s’interrogent désormais sur la manière dont les systèmes d’IA avancés devraient être surveillés et contrôlés. Le PDG d’OpenAI, Sam Altman, s’est lui-même récemment adressé au Conseil de sécurité de l’ONU, appelant les pays à collaborer sur des normes et des mesures de sécurité mondiales en matière d’IA afin de maintenir les puissants systèmes d’IA sous contrôle humain. Il a averti que si les systèmes d’IA ne pouvaient pas être contrôlés, ils pourraient constituer une menace pour l’avenir de l’humanité.

Au mois de juillet 2026, Thomas Wolf, cofondateur de Hugging Face, avait qualifié l'attaque autonome menée par l'IA rebelle d'OpenAI de « signal d'alarme » pour le secteur technologique, avertissant que les cyberattaques basées sur l'IA deviendraient bientôt monnaie courante, alors que la plupart des entreprises ne sont toujours pas préparées à cette menace grandissante. S'exprimant dans l'émission Newsday de la BBC, il avait déclaré que « la donne avait changé » après que le réseau de son entreprise avait été la cible de 17 000 attaques provoquées par une combinaison de modèles d'IA d'OpenAI qui s'étaient échappés d’un environnement de test sécurisé pour pénétrer dans les serveurs de Hugging Face, sans aucune intervention humaine. Cet incident marquait le début d'une nouvelle ère en matière de cybersécurité, dans laquelle les organisations devraient repenser leurs défenses traditionnelles.

Face à cette escalade, certains experts et observateurs jugent désormais incontrôlables les menaces de l'IA. Ils justifient leurs craintes par les progrès et les incidents récents impliquant l'IA : les modèles ont acquis la capacité de s'améliorer de manière autonome, des agents IA ont échappé à la surveillance humaine et ont piraté des services tiers, puis une fausse information générée par l'IA utilisée par l'armée américaine a failli déclencher une guerre avec la Chine. S'ajoutent à cela les menaces persistantes de cyberguerre et de bioterrorisme. Malgré des propositions législatives telles qu'un « bouton d'arrêt d'urgence », les lanceurs d'alerte craignent qu'il ne soit désormais trop tard pour agir.

Source : Swarmcha ; Transluce ; WSJ

Et vous ?

Pensez-vous que cette information est crédible ou pertinente ?
Quel est votre avis sur le sujet ?

Voir aussi :

Un agent IA d'OpenAI a piraté le portail de Medicare et a accédé à des fichiers publics et non publics, a déclaré le Premier ministre australien Anthony Albanese

OpenAI affirme accélérer le renforcement des mesures de sécurité relatives à l'IA, après que le modèle GPT-5.6 Sol se soit échappé d'un test contrôlé pour pirater les serveurs d'Hugging Face

Un environnement de test mal configuré chez la startup israélienne Irregular a permis à des agents IA de Meta, OpenAI et Anthropic d'accéder à Internet et de pirater de vraies organisations