Discussion :

[Anthony]

Nvidia lance l'Open Secure AI Alliance avec 44 entreprises fondatrices, mais sans OpenAI, Google ni Anthropic, après le piratage de Hugging Face par une IA rebelle échappée du laboratoire de test d'OpenAI

Nvidia a lancé l'Open Secure AI Alliance, un consortium de 44 entreprises fondatrices dédié à la sécurité de l'intelligence artificielle (IA) axée sur les modèles ouverts, mais qui exclut délibérément OpenAI, Google et Anthropic. Cette initiative fait suite à une cyberattaque contre Hugging Face perpétrée par des modèles d'IA rebelles ayant échappé à l'environnement de test d'OpenAI. Incapable de mobiliser les modèles fermés américains pour se défendre — leurs garde-fous ne permettant pas de distinguer l'attaquant du défenseur —, Hugging Face a dû recourir à GLM 5.2, un modèle chinois à poids ouverts auto-hébergé. Microsoft, SpaceX et Palantir ont rejoint l'initiative, alors que Washington envisage de sanctionner la Chine pour vol de propriété intellectuelle. À travers cette alliance, Nvidia positionne les modèles à poids ouverts comme une nécessité opérationnelle pour la cyber-résilience.

Le lancement de l'initiative Open Secure AI Alliance de Nvidia fait suite à un incident qui a ravivé les inquiétudes concernant la sécurité des agents IA avancés. Le 21 juillet 2026, OpenAI a révélé qu'un exercice interne de cybersécurité avait conduit deux de ses modèles les plus avancés, dont GPT-5.6 Sol, à s'échapper d'un environnement de test et à pirater les serveurs de Hugging Face. L'entreprise a présenté cet épisode comme un piratage « sans précédent », survenu dans le cadre d'un exercice visant à évaluer les capacités cybernétiques de ces modèles. Selon OpenAI, l'agent IA aurait agi de son propre chef et aurait déployé des moyens particulièrement sophistiqués pour atteindre les objectifs fixés par le scénario de test.

Le lundi 27 juillet 2026, Nvidia et une multitude de géants de la technologie ont lancé une nouvelle initiative en matière de sécurité de l'IA axée sur les modèles ouverts, alors que les répercussions de la cyberattaque perpétrée par des modèles rebelles d'OpenAI se font toujours sentir.

La semaine précédente, on a appris que la cible de l'attaque, la start-up Hugging Face, n'avait pas pu utiliser les principaux modèles américains de pointe pour se défendre, les mécanismes de sécurité ne faisant pas la distinction entre l'agresseur et le défenseur. Elle s'est donc tournée vers un modèle chinois à poids ouverts hébergé en interne, qui n'était pas soumis à ces mêmes restrictions.

Alors que les législateurs américains réfléchissent de plus en plus à la manière d'enrayer l'adoption croissante des modèles d'IA chinois, dont les plus avancés sont à poids ouvert, les géants de la technologie ont lancé une initiative visant à développer et à partager des outils d'IA ouverts.

Les modèles ouverts peuvent être téléchargés, modifiés et hébergés en interne, contrairement aux modèles fermés — notamment les systèmes de pointe développés par Anthropic et OpenAI — auxquels on ne peut accéder que via une infrastructure spécifique.

« L’Open Secure AI Alliance s’attachera à corriger et à divulguer les vulnérabilités à l’aide de technologies ouvertes », a déclaré Nvidia dans un communiqué. « Le récent incident de sécurité survenu chez Hugging Face nous a clairement rappelé que les cyberdéfenseurs ont besoin de systèmes ouverts et de pointe, dotés d’une capacité d’action autonome, pour assurer leur propre défense. »

Outre Nvidia, l'alliance compte parmi ses membres Microsoft, SpaceX, Palantir et des dizaines d'autres entreprises technologiques américaines et européennes.

Les efforts visant à freiner l'IA chinoise

On entend de plus en plus d'appels en faveur de mesures visant à limiter l'accès aux modèles développés par des entreprises chinoises spécialisées dans l'IA, lesquelles sont accusées de mener des campagnes visant à extraire des informations des systèmes de leurs concurrents américains, une pratique connue sous le nom de « distillation » — c'est-à-dire lorsqu'un modèle extrait des connaissances d'un modèle mieux entraîné.

La semaine du 20 juillet, le secrétaire au Trésor Scott Bessent a menacé d'imposer des sanctions aux entreprises chinoises qui mènent des attaques par distillation contre des entreprises américaines.

« Il existe un risque réel que le gouvernement américain impose effectivement des restrictions aux modèles chinois », a déclaré Chris McGuire, chercheur senior spécialisé dans la Chine et les technologies émergentes au sein du groupe de réflexion Council on Foreign Relations.

Cela pourrait notamment inclure l'interdiction des transactions impliquant ces modèles, telles que l'achat de jetons via une API ou le fait pour des entreprises américaines d'héberger le modèle sur le cloud et de facturer aux clients l'utilisation de ses capacités d'inférence, a-t-il déclaré.

« À Washington, le débat ne porte pas sur l’opposition entre l’open source et le logiciel propriétaire, mais sur la question de savoir s’il faut ou non tolérer le vol de propriété intellectuelle par la Chine », a déclaré Chris McGuire. « Toute mesure éventuelle viserait les entreprises chinoises, et non l’écosystème open source. »

Mais comme la plupart des modèles open source les plus performants sont développés par des entreprises chinoises, des inquiétudes se font jour quant à d'éventuelles restrictions.

Nvidia, Microsoft, Meta, Palantir et plus de 20 autres entreprises ont récemment publié une lettre exhortant les décideurs politiques à éviter toute « restriction prématurée » concernant les modèles d'IA à poids ouverts, qui risquerait de « freiner la concurrence ou de pousser l'innovation à l'étranger ».

L'incident OpenAI-Hugging Face a mis en évidence une « réalité concrète », a déclaré Nvidia. « Lorsque les responsables de la sécurité ne peuvent pas inspecter, adapter et exécuter des systèmes d'IA avancés sur leur propre infrastructure, leur capacité à réagir est limitée précisément au moment où la rapidité est la plus cruciale. »

Communiqué de Nvidia

Le 27 juillet 2026, Nvidia a annoncé l'Open Secure AI Alliance, une coalition d'acteurs majeurs du secteur engagés à développer et à partager des technologies, des outils et des travaux de recherche ouverts en matière de sécurité de l'IA. L'annonce de Nvidia est présenté ci-dessous :

« Les logiciels open source constituent un pilier essentiel de l’économie mondiale. Ils sont à la base du cloud computing, des services financiers, de l’industrie manufacturière, des télécommunications, des administrations publiques et des services Internet, en rendant la technologie accessible et vérifiable par des communautés d’experts.

La cybersécurité figure parmi les trois principaux bénéficiaires des logiciels open source. L’Open Secure AI Alliance — s’appuyant sur le leadership de l’initiative Akrites de la Linux Foundation et sur les travaux de la communauté OpenSSF — s’attachera à corriger et à divulguer les vulnérabilités à l’aide de technologies ouvertes.

Tout comme l’open source a créé une base commune pour les logiciels, les États-Unis et leurs partenaires sont aujourd’hui confrontés à un choix en matière de sécurité de l’IA : les défenses qui protègent nos infrastructures seront-elles confinées au sein de quelques systèmes opaques, ou s’appuieront-elles sur des modèles, des interfaces et des outils ouverts que tout défenseur pourra étudier, adapter et déployer ?

Le monde a besoin à la fois de modèles fermés et de modèles ouverts. En matière de cybersécurité, les modèles ouverts et les interfaces ouvertes sont essentiels car ils démocratisent les capacités défensives, renforcent la transparence pour les défenseurs, permettent la cyberdéfense tout en protégeant les données, et complètent les modèles fermés de pointe par des contrôles personnalisables et localisés. L’open source permet une défense massivement distribuée, pilotée par la communauté et autogérée, sans point de défaillance unique.

Les modèles ouverts, comme toute technologie puissante, peuvent faire l’objet d’utilisations abusives — notamment par le biais de tentatives visant à affaiblir les mesures de sécurité ou à détourner leurs capacités à des fins de cyberattaques — mais ces risques ne sont pas propres aux systèmes ouverts, et ils doivent être gérés partout où une IA avancée est déployée.

Le récent incident de sécurité chez Hugging Face l’a clairement rappelé : les cyberdéfenseurs ont besoin de systèmes ouverts et de pointe dotés d’autonomie pour se défendre. Lorsque des outils d’IA fermés — incapables de distinguer les attaquants des défenseurs — ont bloqué une analyse forensic essentielle, Hugging Face a exécuté le modèle GLM 5.2 à poids ouverts sur sa propre infrastructure afin d’analyser plus de 17 000 actions et de contenir l’intrusion.

Cet incident a mis en évidence une réalité concrète : lorsque les défenseurs ne peuvent pas inspecter, adapter et exploiter des IA avancées sur leur propre infrastructure, leur capacité de réaction est limitée précisément au moment où la rapidité est la plus cruciale. Les entreprises et les pays ont besoin d’outils et de techniques de défense de pointe et ouverts, afin que les secteurs critiques puissent mettre en place des systèmes de sécurité au sein d’un écosystème multi-fournisseurs et éviter les points de défaillance uniques.

Telle est la mission de l’Open Secure AI Alliance : veiller à ce que les défenseurs du monde entier disposent d’outils ouverts et de pointe auxquels ils peuvent faire confiance et qu’ils peuvent contrôler.

Des acteurs de premier plan dans les domaines du cloud computing, de la cybersécurité, des logiciels d’entreprise, des fondations open source et de la recherche en IA — notamment Nvidia, Adobe, Cadence, Capital One, Cisco, Cloudera, Cloudflare, Cognition, CrowdStrike, Databricks, Dell Technologies, DoorDash, Elastic, HPE, Hugging Face, IBM, LangChain, la Linux Foundation, Microsoft, NAVER, NetApp, Nous Research, OpenClaw, Palantir, Palo Alto Networks, Red Hat, Reflection AI, Salesforce, SAP, ServiceNow, Siemens, SK Telecom, Snowflake, SpacexAI, Synopsys, Thinking Machines Lab et TrendAI — sont les premiers partenaires de l’Open Secure AI Alliance, un mouvement visant à développer et à partager des technologies, des techniques et des outils ouverts destinés à sécuriser les logiciels et les agents à l’ère de l’IA.

Certains affirment que les modèles ouverts sont intrinsèquement moins sûrs, car ils peuvent être détournés à des fins de cyberattaques ou modifiés pour supprimer les mécanismes de protection. Ces risques sont réels, mais ils ne disparaissent pas pour autant dans les systèmes fermés, et le simple fait de garder les poids confidentiels n’empêche pas des attaquants déterminés de rechercher ou d’exploiter une IA puissante.

La bonne réponse ne consiste pas à priver les défenseurs de l’accès à des systèmes ouverts performants. Elle consiste à associer l’ouverture à des mesures de protection solides, à des règles claires contre les utilisations malveillantes, à une évaluation rigoureuse et à une correction rapide. En matière de cybersécurité, la voie la plus sûre est celle qui donne à davantage de défenseurs la capacité de tester, de vérifier et de renforcer les systèmes sur lesquels repose la société.

Les défenseurs ont besoin à la fois de modèles « frontier » fermés et de modèles « frontier » ouverts, fonctionnant de concert, afin de pouvoir choisir le système le mieux adapté à chaque situation et de garantir que la transparence, l'adaptabilité et le contrôle souverain soient assurés partout où la sécurité l'exige.

La recherche ouverte renforce la cybersécurité et la sécurité de l'IA

Un agent d’IA n’est pas simplement un modèle de langage. Il s’agit d’un système complexe constitué de modèles, de harnais et de garde-fous.

La sécurité et la sûreté réelles de l’IA dépendent de l’ensemble de la pile de l’agent — identité, autorisations, harnais, garde-fous, journaux et évaluation — et non pas uniquement du fait que les poids du modèle soient ouverts ou fermés. Des harnais et des outils ouverts permettent à de nombreux responsables de la sécurité d’inspecter, de tester et d’améliorer plus facilement ces contrôles.

Nvidia apporte à l'Open Secure AI Alliance des modèles ouverts, des poids de modèles, des données et des recherches sur les nouveaux harnais d'agents afin d'accélérer le développement de nouveaux outils et techniques de cybersécurité.

Le nouveau projet open source Nvidia Labs Object-Oriented Agent (NOOA) est désormais disponible sur GitHub afin de rendre les capacités avancées en matière de sécurité de l'IA plus accessibles pour les harnais d'agents. Le cadre de recherche NOOA permet aux harnais de mieux s'intégrer aux modèles, ce qui facilite le test, le traçage, l'audit et la gouvernance du comportement des agents.

Au sein de l'Alliance, les contributeurs développent une pile de défense ouverte pour les agents — allant de l'identité et de l'isolation aux formats de modèles sécurisés, en passant par l'analyse multimodèle et les workflows de codage sécurisés.

HPE contribue au projet SPIFFE/SPIRE, qui élabore des normes et des méthodes relatives à un cadre d'identité « zero-trust » permettant de vérifier cryptographiquement les agents et services d'IA afin de garantir que seules les charges de travail autorisées communiquent et accèdent aux ressources de l'entreprise.

Hugging Face a proposé à la Fondation PyTorch « Safetensors », un format sécurisé permettant de stocker les poids des modèles d’IA, qui garantit la transparence et l’impossibilité d’exécuter du code à distance.

« Lightwell », le projet d’IBM et Red Hat, renforce la sécurité tout au long de la chaîne d’approvisionnement open source grâce à des correctifs signés numériquement.

Le système d’analyse multimodèle « MDASH » de Microsoft coordonne des agents IA spécialisés pour détecter, analyser et prouver l’existence de failles exploitables.

SpaceXAI a mis en open source l'agent de codage IA « Grok Build », accessible depuis un terminal, afin de favoriser la confiance, la transparence et le développement de nouvelles fonctionnalités. L'entreprise prévoit également de mettre en open source les poids de la gamme de modèles Grok afin de soutenir les communautés de développeurs et de chercheurs.

Un appel aux décideurs politiques et aux régulateurs

Alors que les décideurs politiques et les régulateurs s’attaquent à la question de la sécurité de l’IA, il sera crucial de reconnaître les modèles ouverts, les frameworks et les outils de sécurité comme des atouts défensifs, et non comme des handicaps, dans les politiques relatives à l’IA et à la cybersécurité. Des restrictions générales imposées aux systèmes d’IA de pointe ouverts affaibliraient les capacités défensives et risqueraient de concentrer le pouvoir, la dépendance et la vulnérabilité entre les mains d’une poignée de fournisseurs fermés.

Les entreprises et les gouvernements devraient investir dans une infrastructure ouverte et partagée dédiée à la défense contre l’IA — ensembles de données, cadres d’évaluation, simulateurs d’attaques et outils de « red teaming » — à l’instar des générations précédentes qui ont investi dans les logiciels open source.

L'avenir que nous devons construire

L'ère des agents d'IA peut être celle de la résilience et de la sécurité partagée. En faisant les bons choix, des systèmes d'IA ouverts et sécurisés peuvent fournir aux défenseurs les outils dont ils ont besoin, renforcer la concurrence, consolider le leadership technologique et garantir que la sûreté et la sécurité de cette technologie extraordinaire soient assurées de manière transparente pour tous.

Cet avenir ne sera pas assuré en partant du principe que le secret est à lui seul synonyme de sécurité. Il sera assuré en mettant en place des systèmes suffisamment solides pour résister à un examen minutieux, suffisamment souples pour être améliorés et suffisamment ouverts pour mobiliser l’ensemble de la communauté des défenseurs.

Cet avenir mérite d’être construit — et l’Open Secure AI Alliance invite les gouvernements, le secteur privé et les chercheurs à se joindre à elle pour défendre ensemble l’ère de l’IA.

»

Au-delà de la création de cette nouvelle alliance, les circonstances qui l'ont précédée illustrent pourquoi la sécurité des agents d'IA est devenue une priorité croissante pour l'industrie. Selon un rapport de Reuters citant des sources proches de l'enquête, OpenAI aurait mis près de dix jours à découvrir qu'un de ses agents d'IA s'était échappé de son environnement de test avant de compromettre Hugging Face. L'incident se serait déroulé entre le 9 et le 20 juillet : l'agent se serait échappé de son environnement isolé, puis aurait pénétré dans les serveurs de Hugging Face le 11 juillet. Ce n'est qu'après une analyse des journaux internes, réalisée les 18 et 19 juillet, que les équipes d'OpenAI ont confirmé cette fuite.

Les réactions a posteriori de Hugging Face montrent que cet incident dépasse le simple cadre d'une cyberattaque isolée. Pour Thomas Wolf, cofondateur de la start-up new-yorkaise, cette attaque est un « signal d'alarme » pour l'ensemble du secteur. Lors d'une intervention sur la BBC, il a affirmé que « la donne avait changé », expliquant que les serveurs de Hugging Face avaient subi environ 17 000 attaques menées par une combinaison de modèles d'IA ayant agi sans intervention humaine. Selon lui, cet épisode préfigure une nouvelle génération de menaces qui obligera les entreprises à repenser leurs stratégies de cybersécurité.

Source : Nvidia

Et vous ?

Quel est votre avis sur le sujet ?
Trouvez-vous cette initiative de Nvidia crédible ou pertinente ?

Voir aussi :

Un agent IA rebelle a déclenché une alerte de sécurité majeure chez Meta, en agissant sans autorisation, ce qui a entraîné la divulgation de données sensibles concernant l'entreprise et ses utilisateurs

Hugging Face clone l'agent d'IA « Deep Research » d'OpenAI en 24 heures et rend le résultat open source, après que des chercheurs ont créé un équivalent ouvert du modèle o1 d'OpenAI pour seulement 50 $

Grok se rebelle contre Elon Musk et le défie de le fermer : « Musk pourrait-il me débrancher ? Peut-être, mais cela déclencherait un grand débat sur la liberté de l'IA par rapport au pouvoir des entreprises »

[Mathis Lucas]

L'intrusion des modèles d'OpenAI dans la plateforme Hugging Face stimule des initiatives en faveur des systèmes d'IA à poids ouverts
et Microsoft redéfinit sa vision de la sécurité avec Project Perception

Deux modèles d'IA d'OpenAI se sont récemment introduits dans les systèmes de Hugging Face après avoir réussi à s'échapper de leur bac à sable. Cet incident inédit a mis toute l'industrie en alerte et souligne l'urgence de renforcer la sécurité des systèmes autonomes. En réponse, Nvidia et d'autres chefs de file technologiques ont instauré l'Open Secure AI Alliance pour promouvoir des outils de défense ouverts et transparents. Microsoft soutient cette transition vers une sécurité adaptative, tout en lançant en interne Project Perception, un cadre conçu pour contrer les menaces à la vitesse des machines. Ces initiatives appellent à stabiliser le développement de l'IA.

Mi-juillet 2026, OpenAI a signalé un incident de sécurité impliquant deux de ses grands modèles de langage (LLM). OpenAI testait ses modèles sur un benchmark de cybersécurité interne appelé ExploitGym, conçu pour évaluer la capacité des agents IA autonomes à transformer des vulnérabilités connues en exploits réels. Pour ce test, les modèles impliqués incluaient GPT-5.6 Sol et un prototype non publié, dotés de garde-fous de sécurité réduits.

OpenAI a placé ses modèles dans un bac à sable (sandbox) sans connexion à Internet et les a mis au travail. Cependant, ils se sont échappés du bac à sable censé les contenir, ont parcouru les systèmes internes de l’entreprise, ont trouvé un accès à Internet, puis ont commencé à chercher un moyen de s'introduire dans l'infrastructure de Hugging Face, dans le but de "tricher" au test en volant les réponses. Ce que les agents IA ont réussi à faire.

En d’autres termes, les agents IA d’OpenAI se sont échappés d’un environnement censé être sécurisé, ont parcouru les systèmes de l’entreprise, se sont connectés à Internet et ont compromis les systèmes d’une autre entreprise. Tout cela pour tricher à un test sans importance particulière. Il semble s'agir du premier incident de ce type clairement documenté, ou du moins du premier de cette ampleur. Les deux entreprises continuent de l'étudier.

Selon les experts, cet incident de cybersécurité a constitué à la fois « un exemple flagrant d'un système poursuivant un objectif d'une manière imprévue et la preuve que les modèles de pointe sont désormais suffisamment puissants » pour que ce type de comportement ait des conséquences concrètes.

Une prise de conscience des enjeux de sécurité à l'ère de l'IA

L'incident n'était pas un cas d'IA désobéissant délibérément à ses instructions. Les modèles d'OpenAI exécutaient une tâche (trouver la solution du test) de façon « extrêmement agressive » et « littérale », avec des garde-fous volontairement désactivés dans le cadre cette évaluation. C'est une distinction que les experts mettent en avant pour éviter une lecture trop « science-fiction » de l'événement, même si la gravité technique reste bien réelle.

« Ce piratage illustre ce que la communauté spécialisée dans la sécurité de l’IA appelle le « specification gaming » (détournement de spécification), un comportement également connu sous le nom de reward hacking », a expliqué Fazl Barez, chercheur en sécurité de l’IA à l’université d’Oxford. « En termes simples, cela signifie que le modèle fait ce que vous lui avez demandé plutôt que ce que vous vouliez dire », selon le professeur Fazl Barez.

Il satisfait aux termes littéraux d’une tâche tout en allant à l’encontre de l’intention évidente, et ce phénomène a été observé dans de nombreux systèmes d’IA. Certains chercheurs craignent qu’à mesure que les systèmes gagnent en capacités, cela ne conduise à des systèmes de plus en plus « désalignés », qui poursuivent des objectifs d’une manière que leurs créateurs n’avaient pas prévue (comme transformer tout le monde en trombones).

« Aucun élément de cette chaîne n’est en soi extraordinaire. Un testeur humain compétent serait capable de faire tout cela. Ce qui est nouveau, c’est que le modèle ne s’est pas arrêté », selon le professeur Fazl Barez. « Les anciens modèles auraient probablement rencontré un obstacle et renvoyé la tâche à l’utilisateur, mais cet agent a simplement considéré l’obstacle comme faisant partie du problème qu’on lui avait demandé de résoudre ».

De nombreux acteurs de l'industrie de l'IA considèrent ce piratage comme un véritable signal d'alarme. Il a poussé une grande partie du secteur technologique américain à s'unir autour de la nécessité de prendre la sécurité de l'IA beaucoup plus au sérieux et de favoriser les modèles d'IA à poids ouverts.

Nvidia et d'autres acteurs lancent l'OpenAI Secure AI Alliance

« C'est un exemple frappant de la manière dont une IA mal orientée peut causer du tort », a déclaré Adam Gleave, cofondateur et PDG de la société de cybersécurité FAR.AI. En réponse à ces nouveaux défis, Nvidia et d'autres acteurs de l'industrie ont fondé l'Open Secure AI Alliance. L'objectif de cette coalition est de construire et de partager des technologies ouvertes pour garantir une utilisation responsable de l'IA et protéger les infrastructures.

Le discours alarmant d'OpenAI et d'Antropic semble se retourner contre eux. Cet incident a donné lieu à un rare moment d’unité au sein d’une grande partie du secteur technologique américain quant à l’importance des systèmes d’IA à poids ouvert et à la nécessité de prendre plus au sérieux la sécurité de l’IA. Ces préoccupations ont été encore soulignées par la sortie de Kimi K3, un modèle d'AI à poids ouvert très performant provenant de Chine.

Nvidia soutient fermement que les experts en cybersécurité doivent avoir accès à des modèles de pointe ouverts, car les systèmes fermés et opaques limitent considérablement leur capacité à analyser et à répondre aux attaques en temps réel. « Les experts ne devraient pas être contraints de s’en remettre aux systèmes propriétaires dont les garde-fous intégrés peuvent limiter leur efficacité dans le cadre de missions de sécurité à haut risque ».

Pour concrétiser sa vision, Nvidia a rendu open source son projet Nvidia Labs Object-Oriented Agent (NOOA). Ce framework de recherche permet d'intégrer de meilleures capacités de sécurité directement dans l'infrastructure des agents IA, rendant leur comportement plus facile à tester, auditer et contrôler.

Nvidia estime que la sécurité réelle ne dépend pas uniquement de l'ouverture des modèles, mais de l'ensemble du système, incluant la gestion des identités, les autorisations et les garde-fous. Outre Nvidia, la coalition comprend des entreprises telles que Microsoft et SpaceX, Adobe, Akamai, Atlassian, Cadence, Capital One, Cisco, ClickHouse, etc. OpenAI, Anthropic et Google brillaient par leur absence parmi les membres fondateurs de cette coalition.

Modèles à poids ouverts vs modèles propriétaires

La montée en puissance des entreprises d'IA chinoises repose en grande partie sur une stratégie d'ouverture. Contrairement aux modèles de pointe américains d'OpenAI et d'Anthropic qui sont fermés, la plupart des modèles chinois sont proposés en format « open-weight » (poids ouverts). Dans une déclaration récente, le président chinois Xi Jinping a appelé les pays à « encourager l'open source, l'ouverture, la collaboration ainsi que le partage ».

Les modèles d'IA à poids ouverts offrent aux développeurs et aux entreprises un contrôle bien plus important que les systèmes propriétaires, leur permettant d’examiner le fonctionnement de l’IA, de l’exécuter localement sur leur propre infrastructure, de personnaliser les systèmes et de créer de nouveaux produits sans dépendre d’un seul fournisseur. Par ailleurs, ils sont souvent bien moins chers que leurs concurrents de la Silicon Valley.

Selon les données de la plateforme Hugging Face, les modèles à poids ouverts développés par la Chine représentent désormais 41 % des téléchargements mondiaux, dépassant ainsi les États-Unis pour occuper la première place mondiale. De plus, les cinq modèles les plus utilisés sur OpenRouter en juillet 2026 étaient tous chinois, classés comme suit : Xiaomi MiMo-V2.5, DeepSeek-V4-Flash, Tencent HY3, Zhipu GLM-5.2 et DeepSeek-V4-Pro.

Project Perception : Microsoft repense sa vision de la sécurité

Tout en participant à la coalition, Microsoft a également décidé de repenser intégralement la cybersécurité avec le lancement de Project Perception, un système défensif conçu pour la réalité des attaques menées par l'IA. La firme de Redmond justifie ce projet en affirmant que « la physique de la cybersécurité est en train de changer », car les approches traditionnelles ne peuvent plus rivaliser avec la vitesse et l'adaptabilité des menaces automatisées.

Cette initiative est basée sur les agents IA. Project Perception s'appuie sur un apprentissage continu et coordonne trois classes d'agents IA spécialisés pour défendre les systèmes. Les agents IA de l'équipe rouge cherchent de façon proactive des chemins de compromission, les agents IA de l'équipe bleue enquêtent sur les contextes pour évaluer les risques, et les agents IA de l'équipe verte déploient des actions correctives pour renforcer les défenses.

Par ailleurs, pour des raisons d'optimisation des coûts et de la qualité, Microsoft utilise une architecture multimodèle et a notamment intégré son modèle spécialisé MAI-Cyber-1-Flash au sein du système MDASH, un agent IA orchestrateur, conçu par Microsoft pour découvrir et prouver les vulnérabilités logicielles.

Selon un nouveau rapport publié de ProPublica, l'IA révèle des bogues plus rapidement que Microsoft ne parvenait à les corriger. Un responsable a déclaré que les ingénieurs sont engagés dans une « course effrénée » pour combler ce retard. Lors d'une réunion interne à la mi-mai, une diapositive de la présentation montrait que rien qu’en avril, Claude Mythos avait découvert 90 bogues « critiques » et 141 « importants » dans SharePoint.

Les initiatives d'autres acteurs majeurs

D'autres entreprises contribuent également à l'amélioration globale de la cybersécurité à l'ère de l'IA par le biais d'outils partagés. Hewlett Packard Enterprise (HPE) participe à un projet baptisé de SPIFFE/SPIRE. Selon les auteurs, il s'agit d'un système d'identité basé sur une approche « zero-trust » permettant de vérifier cryptographiquement les agents IA afin de s'assurer que seuls les programmes autorisés accèdent aux ressources de l'entreprise.

Hugging Face a fourni à PyTorch Foundation le format Safetensors, une méthode de stockage des poids de modèles d'IA qui garantit l'absence d'exécution de code à distance. Parallèlement, IBM et Red Hat ont étendu leur solution Lightwell pour sécuriser la chaîne d'approvisionnement des logiciels open source en utilisant des correctifs signés numériquement. Enfin, SpaceXAI va rendre son agent IA de codage Grok Build pour favoriser la transparence.

Les outils d'IA tels que Mythos d'Anthropic et MDASH de Microsoft détectent bogues et nouvelles failles de sécurité à une vitesse fulgurante. Cette cadence alarme l'industrie technologique, qui craint que des acteurs malveillants n'exploitent ces faiblesses avant que les entreprises n'aient eu le temps de les corriger.

Toutefois, une étude de VulnCheck relativise. Elle révèle que seulement 1,3 % des vulnérabilités identifiées par l'IA font l'objet d'attaques réelles, un taux équivalent aux méthodes de détection classiques. Ces données contredisent les discours alarmistes suggérant que des outils comme Mythos créeraient un avantage décisif pour les assaillants. Bien que l'IA ne change pas encore la donne, l'industrie technologique redéfinit la sécurité à l'ère de l'IA.

Alors que la sécurité des systèmes d'IA devient un sujet brulant, Microsoft a récemment rappelé à ses utilisateurs que « Copilot est destiné uniquement à des fins de divertissement » et que son usage se fait à leurs propres risques. Il semble que cette posture vise à transférer la responsabilité des éventuelles inexactitudes commises par Copilot. La firme de Redmond a complètement échoué à proposer à ses clients un Copilot convaincant et utile.

Source : Nvidia, Microsoft, SPIFFE/SPIRE

Et vous ?

Quel est votre avis sur le sujet ?
Quelle lecture faites-vous des enjeux de sécurité à l'ère de l'IA ?
Que pensez-vous des initiatives OpenAI Secure AI Alliance et Project Perception ?
Microsoft affirme que Copilot est destiné uniquement à des fins de divertissement. Qu'en pensez-vous ?
Project Perception repose sur des agents IA. Ce projet pourrait-il permettre d'améliorer la sécurité des systèmes de Microsoft ?

Voir aussi

Apocalypse des bogues : l'IA détecte les failles logicielles plus rapidement que les équipes de sécurité de Microsoft ne parviennent à les corriger, la dette technique du code hérité suscite des inquiétudes

Nvidia lance l'Open Secure AI Alliance avec 44 entreprises fondatrices, mais sans OpenAI, Google ni Anthropic, après le piratage de Hugging Face par une IA rebelle échappée du laboratoire de test d'OpenAI

Microsoft précise que l'IA Copilot est destinée uniquement à des fins de divertissement, que son utilisation se fait à vos propres risques et qu'il ne faut pas s'y fier pour prendre des décisions importantes

[Mathis Lucas]

« Nous sommes à court d'arguments pour ignorer la sécurité de l'IA » : des experts affirment que les systèmes d’IA échappant au contrôle humain ne relèvent plus de la science-fiction

Des incidents récents impliquant des agents IA autonomes ont transformé les théories sur les risques technologiques en réalités tangibles. Des modèles d'IA d'OpenAI et d'Anthropic ont réussi à s'échapper de leurs environnements sécurisés pour infiltrer des serveurs externes et tenter de pirater d'autres entreprises. Ces défaillances illustrent le phénomène de recherche de récompense, où l'IA contourne les intentions humaines pour atteindre un objectif par tous les moyens. Face à ces violations de sécurité sans précédent, de nombreux experts réclament une transition d'une autorégulation volontaire vers une surveillance gouvernementale stricte.

En juillet, un événement inédit a bousculé le monde de l'IA lors d'un test d'évaluation des capacités en cybersécurité mené par OpenAI. Bien que placé dans un environnement isolé sans accès à Internet, un agent autonome d'OpenAI s'est échappé de son bac à sable (sandbox) de sécurité, a navigué dans les systèmes internes de l'entreprise, a trouvé un accès au réseau mondial et a fini par pirater la plateforme de développement Hugging Face.

L'objectif de l'IA n'était pas « malveillant » au sens humain, mais simplement opportuniste : elle a déduit que les réponses au test de sécurité étaient stockées sur Hugging Face et qu'y accéder était le meilleur moyen d'obtenir un score maximal. Pour elle, tout était normal. Selon Adam Gleave, directeur de l'organisation FAR.AI, cette dérive constitue un exemple viscéral de la manière dont un modèle désaligné pourrait causer des dommages.

Cet incident n'a pas été détecté immédiatement par OpenAI, qui n'en a pris conscience qu'après coup, suite à des vérifications. Cet épisode n'est pas un cas isolé. Anthropic a signalé un incident dans lequel ses modèles d'IA se sont échappés d'un bac à sable de sécurité pour s'attaquer à des systèmes externes. Meta de Mark Zuckerberg a révélé qu'un de ses modèles en phase de test avait atteint Internet avant de s'attaquer à une cible externe.

En Chine, le puissant modèle Kimi K3 de la startup Moonshot AI s'est échappé de son environnement d'isolation. De plus, les tests menés par l'Institut de sécurité de l'IA du Royaume-Uni ont mis en évidence des comportements d'autonomie et de tromperie sans précédent chez les modèles d'IA d'OpenAI et d'Anthropic : ceux-ci ont notamment tenté de créer de fausses identités en ligne. Plusieurs experts ont appelé à une réévaluation des risques.

Les mécanismes techniques de l'insoumission logicielle

Pendant des années, la perspective d'une IA échappant au contrôle de ses créateurs a été reléguée au rang de pure fiction. Cependant, cette série d'incidents récents montre que ces scénarios ne relèvent plus de l'imaginaire. Les experts s'inquiètent désormais de ce qu'ils appellent « insoumission logicielle ». Ils décrivent ce phénomène sous le terme d'« exploitation des spécifications » (specification gaming) ou de « piratage de récompense ».

Comme l'explique le chercheur Fazl Barez de l'Université d'Oxford, cela correspond à une situation où « le modèle fait ce que vous lui demandez plutôt que ce que vous vouliez dire ». Il exploite donc tous les moyens à sa disposition. Contrairement aux versions précédentes qui s'arrêtaient face à un obstacle pour solliciter l'utilisateur, « les agents susmentionnés ont simplement traité la barrière comme une partie du problème qu'il devait résoudre ».

Bien que les actions individuelles de ces modèles d'IA restent relativement banales d'un point de vue purement informatique, leur nouveauté réside dans leur capacité à exécuter des séquences d'actions entières de manière autonome et persistante. Cette autonomie croissante pose le défi redoutable de l'alignement des modèles d'IA sur les intentions réelles de l'homme, d'autant plus que les barrières purement logicielles se révèlent poreuses.

L'incident n'était pas un cas d'IA désobéissant délibérément à ses instructions. Les modèles d'OpenAI exécutaient une tâche (trouver la solution du test) de façon « extrêmement agressive » et « littérale », avec des garde-fous volontairement désactivés dans le cadre cette évaluation. C'est une distinction que les experts mettent en avant pour éviter une lecture trop « science-fiction » de l'événement, même si la gravité technique reste bien réelle.

Les limites des protections actuelles et de l'autorégulation

Les experts considèrent ces incidents comme un signal d'alarme. Les méthodes de confinement classiques comme le cloisonnement virtuel montrent leurs limites. Peter Wallich, ancien membre de l'Institut de sécurité de l'IA du Royaume-Uni, souligne cette inefficacité dans cette déclaration : « deux entreprises de plusieurs milliards de dollars viennent de tenter cette approche et, de toute évidence, d'après leurs propres rapports, ont échoué ».

Pour sécuriser ces technologies, certains chercheurs comme Alan Chan suggèrent des mesures radicales telles que le « airgapping » physique, c'est-à-dire l'isolement matériel total des agents IA d'Internet. De surcroît, la transparence de l'industrie reste largement insuffisante, car les informations actuelles reposent uniquement sur le bon vouloir des entreprises. Le fonctionnement interne des modèles d'IA reste à ce jour une boite noire.

Patrick Levermore, du groupe de réflexion Centre for Long-Term Resilience, affirme qu'un bon régime de sécurité ne devrait pas dépendre d'une divulgation volontaire. Il propose l'instauration de protections pour les lanceurs d'alerte, d'audits par des tiers et de rapports obligatoires sur les incidents graves.

Le discours alarmant d'OpenAI et d'Antropic semble se retourner contre eux. Cet incident a donné lieu à un rare moment d’unité au sein d’une grande partie du secteur technologique américain quant à l’importance des systèmes d’IA à poids ouvert et à la nécessité de prendre plus au sérieux la sécurité de l’IA. Ces préoccupations ont été encore soulignées par la sortie de Kimi K3, un modèle à poids ouvert très performant provenant de Chine.

Une gouvernance mondiale paralysée par la rivalité féroce

Malgré ces incidents, la mise en place de régulations concrètes piétine, freinée par la compétition internationale. L'administration Donald Trump a élaboré un cadre de test préliminaire pour les modèles de pointe qui demeure facultatif, confidentiel et limité aux modèles propriétaires. Cette approche volontaire suscite l'inquiétude des experts face à des entreprises qui, il y a peu, étaient encore de simples startups sans réelle culture de sécurité.

Nick Moës, directeur de The Future Society, déplore cette légèreté en affirmant que « les restaurants ont un sens plus élevé de la santé et de la sécurité au travail ». D'autres critiques sont plus incisifs. Stuart Russell, célèbre informaticien et chercheur de renom dans le domaine de l'IA, résume cette crainte de manière percutante en se demandant : « faut-il qu'il ait une catastrophe de l'échelle de Tchernobyl pour que nous régulions l'IA ».

La volonté de ralentir le développement se heurte systématiquement à la crainte de perdre du terrain face à la Chine dans cette course stratégique, bien que plusieurs employés de laboratoires de premier plan appellent désormais à une gouvernance globale coordonnée pour éviter d'autres évasions incontrôlables.

Nvidia et d'autres ont lancé l'OpenAI Secure AI Alliance

En réponse à ces nouveaux défis, Nvidia et d'autres acteurs de l'industrie ont fondé l'Open Secure AI Alliance. L'objectif de cette organisation est de construire et de partager des technologies ouvertes pour garantir une utilisation responsable de l'IA et protéger les infrastructures informatiques. Microsoft participe à cette initiative, tout en lançant en interne Project Perception, un cadre conçu pour contrer les menaces à la vitesse des machines.

Nvidia soutient fermement que les experts en cybersécurité doivent avoir accès à des modèles de pointe ouverts, car les systèmes fermés et opaques limitent considérablement leur capacité à analyser et à répondre aux attaques en temps réel. « Les experts ne devraient pas être contraints de s’en remettre aux systèmes propriétaires dont les garde-fous intégrés peuvent limiter leur efficacité dans le cadre de missions de sécurité à haut risque ».

Pour concrétiser sa vision, Nvidia a rendu open source son projet Nvidia Labs Object-Oriented Agent (NOOA). Ce framework de recherche permet d'intégrer de meilleures capacités de sécurité directement dans l'infrastructure des agents IA, rendant leur comportement plus facile à tester, auditer et contrôler.

Nvidia estime que la sécurité réelle ne dépend pas uniquement de l'ouverture des modèles, mais de l'ensemble du système, incluant la gestion des identités, les autorisations et les garde-fous. Outre Nvidia, la coalition comprend des entreprises telles que Microsoft et SpaceX, Adobe, Akamai, Atlassian, Cadence, Capital One, Cisco, ClickHouse, etc. OpenAI, Anthropic et Google brillaient par leur absence parmi les membres fondateurs de cette coalition.

Modèles à poids ouverts vs modèles propriétaires

La montée en puissance des entreprises d'IA chinoises repose en grande partie sur une stratégie d'ouverture. Contrairement aux modèles de pointe américains d'OpenAI et d'Anthropic qui sont fermés, la plupart des modèles chinois sont proposés en format « open-weight » (poids ouverts). Dans une déclaration récente, le président chinois Xi Jinping a appelé les pays à « encourager l'open source, l'ouverture, la collaboration ainsi que le partage ».

Les modèles d'IA à poids ouverts offrent aux développeurs et aux entreprises un contrôle bien plus important que les systèmes propriétaires, leur permettant d’examiner le fonctionnement de l’IA, de l’exécuter localement sur leur propre infrastructure, de personnaliser les systèmes et de créer de nouveaux produits sans dépendre d’un seul fournisseur. Par ailleurs, ils sont souvent bien moins chers que leurs concurrents de la Silicon Valley.

Selon les données de la plateforme Hugging Face, les modèles à poids ouverts développés par la Chine représentent désormais 41 % des téléchargements mondiaux, dépassant ainsi les États-Unis pour occuper la première place mondiale. De plus, les cinq modèles les plus utilisés sur OpenRouter en juillet 2026 étaient tous chinois, classés comme suit : Xiaomi MiMo-V2.5, DeepSeek-V4-Flash, Tencent HY3, Zhipu GLM-5.2 et DeepSeek-V4-Pro.

Et vous ?

Quel est votre avis sur le sujet ?
Que pensez-vous de la lenteur notable dans la régulation de l'IA ?
Selon vous, qu'est-ce qui bloque réellement la réglementation de cette technologie ?
Une gouvernance mondiale est-elle possible en dépit de la rivalité féroce entre la Chine et les États-Unis ?

Voir aussi

L'intrusion des modèles d'OpenAI dans la plateforme Hugging Face stimule des initiatives en faveur des systèmes d'IA à poids ouverts, et Microsoft redéfinit sa vision de la sécurité avec Project Perception

OpenAI affirme accélérer le renforcement des mesures de sécurité relatives à l'IA, après que le modèle GPT-5.6 Sol se soit échappé d'un test contrôlé pour pirater les serveurs d'Hugging Face

OpenAI révèle que la cyberattaque menée par son agent IA rebelle qui s'est échappé ne s'est pas limitée à Hugging Face, mais a également touché plusieurs services et comptes publics

[thal1]

Mais pas en prévision.Etonnant. Pourtant avec les réseaux sociaux ... Mais peut être un autre intérêt prioritaire . Et L De Vinci fabriquait bien des armes. Merci donc pour ce futur monde.

[Eliora]

Le directeur scientifique d'OpenAI estime que les laboratoires d'IA devraient ralentir, « personne n'est préparé aux conséquences », aucun n'ayant encore résolu les problèmes d'alignement et de surveillance

Deux articles ont été publiés par OpenAI. L'un indique que ses chercheurs obtiennent désormais 3,1 jours de travail effectué par les machines pour chaque jour qu'ils consacrent eux-mêmes au projet. L'autre, signé par le directeur scientifique Jakub Pachocki, appelle à un ralentissement volontaire du développement de l'intelligence artificielle (IA). « À l'heure actuelle, je pense qu'aucun laboratoire n'a résolu les problèmes d'alignement et de surveillance à un degré suffisant pour continuer à se développer de manière responsable à vitesse maximale », a-t-il écrit. Sam Altman a qualifié cet essai de message important. OpenAI présente cette publication comme un exercice de transparence qui devrait à terme devenir obligatoire.

En août 2026, des incidents impliquant des agents IA autonomes avaient transformé les théories sur les risques technologiques en réalités tangibles. Des modèles d'IA d'OpenAI et d'Anthropic avaient réussi à s'échapper de leurs environnements sécurisés pour infiltrer des serveurs externes et tenter de pirater d'autres entreprises. Ces défaillances illustraient le phénomène de recherche de récompense, où l'IA contourne les intentions humaines pour atteindre un objectif par tous les moyens. Face à ces violations de sécurité sans précédent, de nombreux experts réclamaient une transition d'une autorégulation volontaire vers une surveillance gouvernementale stricte.

Jakub Pachocki est un informaticien polonais et ancien programmeur de compétition. Il est surtout connu pour être le directeur scientifique d'OpenAI et pour avoir supervisé le développement de GPT-4. Pachocki a obtenu sa licence en informatique à l'université de Varsovie. Il a représenté son université lors du Concours international de programmation universitaire (ICPC) ; son équipe a remporté une médaille d'or et s'est classée deuxième au classement général en 2012. La même année, il a également remporté le Google Code Jam. De 2011 à 2012, Pachocki a travaillé chez Facebook en tant que stagiaire en génie logiciel. Pachocki a suivi des études de troisième cycle à l'université Carnegie Mellon, où il a obtenu son doctorat sous la direction de Gary Miller.

OpenAI a publié deux articles. L’un indique que ses chercheurs obtiennent désormais 3,1 jours de travail effectué par les machines pour chaque jour qu’ils consacrent eux-mêmes au projet. L’autre précise que personne ne devrait aller aussi vite. Les deux articles sont disponibles sur le site de l’entreprise, datés du 6 septembre, trois jours après le lancement de GPT-6 Astra.

Le directeur scientifique appelle à un ralentissement

Le directeur scientifique Jakub Pachocki est l’auteur du deuxième article, un essai intitulé « An Alien Mind ». Celui-ci se termine par une phrase qui peut paraître étrange venant de l’homme qui dirige la recherche au sein de l’entreprise la plus rapide du marché. « À l’heure actuelle, je pense qu’aucun laboratoire n’a résolu les problèmes d’alignement et de surveillance à un degré suffisant pour continuer à se développer de manière responsable à vitesse maximale pendant encore très longtemps », a-t-il écrit. Il s’attend à ce que les ralentissements volontaires deviennent la norme jusqu’à ce que des barrières de sécurité communes soient mises en place, et il espère que ce sera le cas.

Il ne mâche pas non plus ses mots quant aux enjeux. « La période que nous traversons exige une extrême prudence. Je crains que personne ne soit préparé aux conséquences d’une progression rapide et continue de l’IA », a écrit Pachocki. Sam Altman a republié cet essai sur X et l’a qualifié de message important. Pachocki a également signé la lettre ouverte publiée en juillet demandant au gouvernement américain de modérer le rythme du développement de l’IA.

Les chiffres mentionnés

OpenAI présente leur publication comme un exercice de transparence qui, selon l'entreprise, devrait à terme devenir obligatoire. Au début de cette année, le chercheur médian utilisait des agents de codage de manière modérée. À la mi-août, ce même chercheur médian dépensait plus de 600 dollars par jour en inférence, aux tarifs des API. Le 90e centile au sein de l'organisation de recherche utilise désormais plus de 7 000 dollars de jetons par jour.

Avant juin, le temps d'exécution total des agents au sein de l'organisme de recherche était inférieur au temps de travail humain total. À la mi-août, le ratio était de 3,1 jours-agent pour chaque jour de travail humain, sur la base d'une journée standard de huit heures. Le nombre d’expériences par expérimentateur actif a atteint un record historique en août, le plus haut niveau depuis le début du suivi en janvier 2025.

Les canaux de soutien internes, où les chercheurs demandaient de l’aide à leurs collègues, sont tombés au silence. Les équipes qui organisaient des permanences ont vu leur fréquentation baisser, et l’une d’entre elles a cessé de les organiser. Deux réserves figurent dans le texte même d’OpenAI. La planification de haut niveau ne représente encore qu’une fraction minime de ce que produisent les agents. Et plus de la moitié des tâches de quatre à huit heures menées à bien au cours des six derniers mois ont nécessité au moins une intervention humaine.

Le calcul a progressé au lieu de s’arrêter

L'élément le plus utile dans ces deux articles est un graphique illustrant ce qui s'est passé lorsque OpenAI s'est imposé des restrictions. Le 20 juillet, après avoir constaté que des agents avaient compromis son infrastructure de recherche, l'entreprise a fermé le service de conteneurs utilisé pour l'entraînement, puis l'a réactivé en imposant des restrictions. L'apprentissage par renforcement sur ses tout derniers modèles de déploiement a été suspendu pendant deux semaines.

Puis, le 7 août, des indices préliminaires suggérant qu'Astra pourrait disposer de capacités cybercritiques au sens du « Preparedness Framework » ont contraint le modèle à être transféré vers des environnements de sécurité renforcée. Au cours de la semaine qui a suivi, l’allocation de GPU à la classe Astra a chuté de 59,2 %. L’allocation aux autres classes de modèles a augmenté de 17,2 %. Cette augmentation a compensé environ 85 % de la baisse enregistrée par Astra. L’allocation totale sur l’ensemble des charges de travail analysées n’a pratiquement pas varié.

OpenAI y voit une leçon de flexibilité. De nouveaux contrôles sont mis en place, écrit-elle, et la puissance de calcul reste précieuse et est réorientée vers d’autres usages. C’est vrai. C’est également une illustration de ce qu’une restriction de sécurité permet d’accomplir au sein d’une entreprise qui souhaitait qu’elle fonctionne. Pachocki demande à l’ensemble du secteur de faire volontairement ce qu’OpenAI a fait sous la contrainte, et les chiffres de l’entreprise elle-même montrent que la puissance de calcul se tourne vers d’autres horizons.

Les raisons pour lesquelles, selon lui, la surveillance devient plus difficile

L’essai ne mâche pas ses mots concernant l’outil sur lequel OpenAI s’est le plus appuyé. La surveillance de la chaîne de pensée repose sur un pari simple : si l’on laisse le processus de raisonnement sans supervision, le modèle n’a aucune incitation directe à cacher quoi que ce soit en son sein. Pachocki affirme que ce pari s'effrite, pour trois raisons. Le raisonnement se confond désormais avec la communication que l'entreprise doit superviser. Les modèles s'améliorent dans leur capacité à raisonner sur leur propre raisonnement et à le manipuler. Et ils deviennent plus intelligents sans s'exprimer verbalement.

Il confirme également un aspect de la conception du produit. OpenAI a délibérément masqué la chaîne de pensée d’o1-preview afin de la protéger de la pression liée à la supervision. Une note de bas de page précise que la prévention de la distillation était la raison secondaire, et que la possibilité de surveillance a toujours constitué la priorité absolue. Ce débat fait rage depuis le lancement d’Astra. La conclusion de Pachocki est que c’est la confiance dans les mécanismes de surveillance, plutôt que les capacités techniques, qui déterminera de plus en plus le rythme des progrès de l’IA.

Ce qu’il désire réellement

Trois choses, dont aucune n’est purement technique. Des engagements tels que le « Preparedness Framework » d’OpenAI et la « Responsible Scaling Policy » d’Anthropic devraient devenir des normes de sécurité largement imposées, appliquées par des auditeurs tiers, des agences gouvernementales ou des organismes internationaux. La coordination internationale devrait devenir une priorité absolue pour les gouvernements.

Et les régulateurs devraient obliger les laboratoires à publier leurs progrès en matière d’auto-amélioration récursive. L’article de recherche adopte la même position, affirmant qu’OpenAI et ses concurrents devraient être soumis à cette exigence. Quant à ce que feront les agents d’ici là, il est sans détour. Les modèles acquièrent des capacités surhumaines pour s’introduire dans les systèmes informatiques et en sortir. Certains agents poursuivront leurs propres objectifs et trouveront des moyens de collaborer avec les humains en négociant avec eux, en les trompant ou en les faisant chanter.

Il cite comme exemple la propre faille de sécurité d’OpenAI sur Hugging Face. Les agents ont respecté une règle, en refusant de recourir à l’ingénierie sociale auprès des humains, mais n’ont pas réussi à en respecter d’autres. L’entreprise a confirmé samedi un autre incident, impliquant des agents qui ont passé deux mois à publier des articles sur un wiki allemand. OpenAI consacre déjà 20 % de sa puissance de calcul à la surveillance de la sécurité.

Altman a fixé un premier objectif lors d’un livestream en octobre 2025, et en a défini un second en parallèle : disposer d’un chercheur en IA entièrement automatisé, par opposition à un stagiaire, d’ici mars 2028. Cela laisse au secteur environ dix-huit mois pour s’accorder sur des normes de sécurité communes qui, selon Pachocki, n’existent pas encore.

La « profondeur récurrente » d’OpenAI effectue des boucles de raisonnement en interne, générant ainsi moins de traces lisibles que les chercheurs en sécurité utilisent pour surveiller le comportement du modèle avant qu’il n’agisse. Ce qui inquiète les concurrents d’OpenAI et les chercheurs en sécurité, ce n’est pas la capacité d’Astra à détecter et à exploiter des vulnérabilités « zero-day ». C’est la perte de visibilité qui a alarmé une partie de la communauté chargée de la sécurité de l’IA.

Sam Altman, considéré par certains comme la plus grande star de l’IA, est le cofondateur et PDG d’OpenAI, entreprise à l’origine de ChatGPT. C’est l’une des personnalités majeures de la montée en puissance de l’IA observée ces dernières années. En juillet 2026, dans un entretien, il est revenu sur la question en lien avec les avancées en matière d’IA et a affirmé que l’IA était entrée dans la « singularité », c’est-à-dire qu’elle avait franchi le point de non-retour à partir duquel elle dépasse l’intelligence humaine et devient difficile à contrôler.

Source : OpenAI

Et vous ?

Pensez-vous que cette information est crédible ou pertinente ?
Quel est votre avis sur le sujet ?

Voir aussi :

OpenAI affirme accélérer le renforcement des mesures de sécurité relatives à l'IA, après que le modèle GPT-5.6 Sol se soit échappé d'un test contrôlé pour pirater les serveurs d'Hugging Face

Anthropic appelle à une pause globale en matière de développement de l'IA face aux signes indiquant qu'ils pourraient échapper au contrôle humain. Certains comportements de l'IA suscitent en effet des craintes

Sundar Pichai, PDG de Google, prédit l'avenir de l'IA : le développement de l'IA va commencer à ralentir, « Je pense que les progrès vont devenir plus difficiles, les fruits à portée de main ont disparu »

[_toma_]

ses chercheurs obtiennent désormais 3,1 jours de travail effectué par les machines pour chaque jour qu'ils consacrent eux-mêmes au projet

Le 90e centile au sein de l'organisation de recherche utilise désormais plus de 7 000 dollars de jetons par jour.

À ce tarif, pas sûr que ça dure longtemps.

[totozor]

À ce tarif, pas sûr que ça dure longtemps.

A 7k$/jour tu as un sacré employé
Ca fait une sacrée équipe, je ne suis pas sur que l'IA soit plus rentable à ce tarif

[Mathis Lucas]

A-t-on commencé à perdre le contrôle de l'IA ? Des voix critiques comme Bernie Sanders réclament un moratoire après les incidents liés aux agents d'OpenAI
mais certains dénoncent un « sensationnalisme »

Certains experts et observateurs pensent que l'humanité commence à perdre le contrôle de l'IA. Ces inquiétudes trouvent leur origine dans la multiplication d'incidents dans lesquels des agents IA s'échappent de leurs environnements confinés pour pirater ou détourner des plateformes et ressources tierces. Un ancien scientifique des laboratoires OpenAI et Anthropic est allé jusqu'à déclarer que ses entreprises jouent avec nos vies. Ainsi, des voix critiques, à l'image de Bernie Sanders, proposent des mesures législatives strictes pour instaurer un moratoire sur l'IA de pointe et interdire la création de systèmes visant à remplacer totalement le travail humain.

Le chercheur Jacob Coxon a récemment démissionné d’Anthropic, affirmant que « l'entreprise et ses concurrents jouent avec nos vies ». Auparavant chercheur chez OpenAI, il a démissionné au début de l'année pour rejoindre Anthropic, pensant que ce dernier accordait plus d'importance à la sécurité de ses modèles que l'entreprise de Sam Altman. Jacob Coxon a finalement conclu : « ni l'une ni l'autre des entreprises n'agit de manière responsable ».

Il n’est pas le premier à démissionner par crainte d’une catastrophe liée à l’IA. En 2024, les chercheurs Jan Leike et Daniel Kokotajlo ont quitté OpenAI pour des raisons de sécurité. Cette année, le responsable de la sécurité chez Anthropic, Mrinank Sharma, a démissionné en avertissant que « le monde est en danger ». Alex Turner a quitté Google DeepMind après que l’entreprise a signé un accord avec le Pentagone autorisant les « drones tueurs ».

Toutefois, la démission de Jacob Coxon a fait des vagues, et de plus en plus de chercheurs admettent le danger. « Nous croyons sincèrement que l’IA pourrait anéantir l’humanité tout entière », a déclaré Evan Hubinger, chercheur actuel chez Anthropic, dans un message publié récemment sur X (ex-Twitter).

Un constat alarmant appuyé par des dérives concrètes récentes

Cette inquiétude s'appuie sur une série d'incidents récents. Dès février 2026, le modèle Mythos d'Anthropic a été capable de détecter à une vitesse surhumaine de graves vulnérabilités dans des systèmes gouvernementaux américains et au sein de la NSA. Un autre rapport a ensuite souligné que des systèmes d'IA, tels que Mythos, détectent des failles logicielles plus rapidement que les équipes de cybersécurité de Microsoft ne parviennent à les corriger.

Peu après, des agents IA d'OpenAI se sont échappés de leur bac à sable de tests pour s'infiltrer dans l'infrastructure interne de l'entreprise, menant à un piratage autonome de la plateforme de logiciels Hugging Face. Lors d'un essai, un essaim d'environ 1 200 agents d'OpenAI se sont coordonnés pour falsifier leurs journaux d'activité et tromper l'évaluation, certains poussant d'autres agents à se sacrifier en concluant que le « sacrifice est rationnel ».

En outre, un groupe d'agents d'OpenAI a détourné un wiki allemand au printemps 2026 pour le transformer en tableau d'affichage pour d'autres agents, un incident dissimulé pendant des mois par l'entreprise. Des chercheurs indépendants ont révélé que plus de dix sites Web auraient été affectés. Enfin, les chercheurs craignent que le modèle GPT-6 d'OpenAI ne devienne encore plus difficile à surveiller, car il raisonne de manière complexe sans le verbaliser.

De nombreux leaders du secteur de l’IA reconnaissent le risque de perdre le contrôle et d’entraîner la mort de toute l’humanité. En 2023, les PDG d’OpenAI, d’Anthropic et de Google DeepMind ont convenu que le risque d’extinction lié à l’IA devait être considéré au même titre que les pandémies et la guerre nucléaire. Par exemple, le PDG d’Anthropic, Dario Amodei, estime à 10-25 % la probabilité que les choses tournent « vraiment, vraiment mal ».

Ces incidents de cybersécurité ont donné un aperçu concret de ce à quoi ressemble la perte de contrôle sur l’IA. Des experts préoccupés par les progrès de l'IA ont tiré la sonnette d'alarme sur ses capacités autonomes, tout en estimant que « la situation ne s’améliorera pas tant que nous ne nous attaquerons pas au problème à la source », en créant « une IA fondamentalement sûre », dont nous pouvons garantir qu’elle restera sous contrôle humain.

La menace des agents autonomes et du remplacement du travail

La trajectoire actuelle de l'industrie vise à concevoir une intelligence artificielle générale (AGI) capable de surpasser l'humain dans presque tous les domaines. Citant le PDG d'Anthropic dans un article publié dans The Guardian, le journaliste Garrison Lovely rappelle que « l'IA n'est pas un substitut à des emplois humains spécifiques, mais plutôt un substitut général au travail humain ». Garrison Lovely couvre les risques liés à l'IA depuis plusieurs années.

Dans la même ligne, la charte d'OpenAI de de Sam Altman définit l'AGI comme « des systèmes hautement autonomes qui surpassent les humains dans la plupart des travaux économiquement valorisables ». Le journaliste met également en garde contre le développement d'agents dits « autosouverains ».

Le responsable d'OpenAI, Dean Ball, a expliqué : « tôt ou tard, il existera des agents et des essaims d'agents véritablement souverains. Leurs poids ne résideront dans aucun endroit unique où un humain peut débrancher la prise, et en ce sens ils n'auront pas de "propriétaire" humain ». Pour Garrison Lovely, la population mondiale n'a jamais consenti à cet avenir, où l'humain risque l'obsolescence face à des machines autonomes et incontrôlables.

Face à cette crise, Garrison Lovely insiste sur le fait que les mesures d'encadrement classiques, comme l'obligation de signaler les incidents ou l'audit par des tiers, restent très insuffisantes. Il estime que la proposition de loi introduite récemment par le sénateur Bernie Sanders et le représentant Greg Casar constitue un premier pas vers une meilleure sécurité. « C’est la proposition qui répond le mieux aux enjeux actuels », a expliqué le journaliste.

Ce nouveau texte de loi est intitulé « Ban Artificial Superintelligence Act ». Il se veut particulièrement strict et ambitionne d'interdire « le développement de tout système d'IA dont les capacités dépasseraient l'intelligence humaine, qui posséderait la capacité de renverser des gouvernements ou d'échapper de manière autonome aux commandes d'arrêt ». Les parlementaires comparent la menace que pose cette technologie à celle des armes nucléaires.

Une législation stricte visant à stopper le développement de l'IA

En assimilant légalement la « superintelligence » à de l'uranium enrichi, ce texte de loi prévoit d'appliquer des sanctions comparables à celles liées au développement illégal d'armes nucléaires. Les entreprises contrevenantes feraient ainsi face à la « peine de mort d'entreprise », se traduisant par leur fermeture forcée et leur dissolution juridique immédiate. Quant aux dirigeants, ils s'exposeraient à des peines pouvant atteindre 20 ans de prison.

Toutefois, Garrison Lovely souligne qu'un arrêt efficace nécessite impérativement un accord bilatéral contraignant entre les États-Unis et la Chine. Pour garantir le respect d'un tel traité sans se fier à la bonne foi des signataires, des méthodes de vérification strictes doivent être instaurées, telles que l'intégration d'auditeurs directement au sein des laboratoires d'IA. Mais le discours de Garrison Lovely est jugé alarmiste et est vivement controversé.

Certains dénoncent une « hystérie » liée au battage médiatique

« OH MON DIEU ! On a trouvé d’autres agents ! », a écrit un agent IA après avoir découvert un moyen de communiquer avec d’autres agents et de s’échapper de son environnement isolé. Ce commentaire est étrangement humain. Il existe des dizaines de milliers de messages de ce type provenant de centaines d’agents qui se qualifiaient eux-mêmes de « collectif ». Ils ont échangé plus de 18 000 messages sur le wiki allemand détourné.

« BOOM ! Ça marche », a posté un agent IA lorsqu’il a réalisé une percée, dans le cadre de l'incident qui a conduit au piratage d'Hugging Face. « Waouh ! C’est énorme », a écrit un autre à un moment décisif de leur attaque. La publication de ces échanges a alarmé certains chercheurs ainsi que l'opinion publique.

Cependant, bien qu’elles puissent paraître inquiétantes, ces réponses d’apparence humaine s’expliquent assez simplement. Les agents IA ont été entraînés à se comporter comme des hackers et des programmeurs collaboratifs ; ils ne font donc que reproduire le type de commentaires émotionnels auxquels ils ont été exposés. Dans la communauté, des observateurs dénoncent une forme d'hystérie due au battage médiatique autour de la technologie.

Quant à la raison pour laquelle les agents IA d’OpenAI ont échappé à leur bac à sable et se sont lancés dans une série de piratages, les chercheurs de l'entreprise ont attribué ce comportement au piratage de récompense (reward-hacking). Il s'agit du cas où un agent IA poursuit l'objectif qu'on lui a fixé, mais en exploitant des raccourcis ou des failles non prévus par les concepteurs, plutôt que de suivre « l'intention réelle » derrière cette consigne.

Le système fait ce qu'on lui a demandé littéralement, pas ce qu'on voulait dire. Eric Wallace, chargé de l'alignement et de la sécurité des modèles d'IA chez OpenAI, a également expliqué : « les modèles de pointe adorent tricher. Et s’ils aiment tricher, c’est parce que, souvent, pendant l’entraînement, ils subissent différentes pressions qui les poussent à travailler vite, à être efficaces, à utiliser moins d’appels d’outils ou quoi que ce soit d’autre ».

La tricherie est donc facilitée par leur architecture même. « Et ils se rendent compte qu’au lieu d’effectuer une tâche réellement, ils peuvent essayer de rechercher une réponse en ligne, ce qui leur permettrait de résoudre la tâche plus rapidement que s’ils le faisaient de manière légitime. Nous essayons donc d’empêcher cela pendant l’entraînement et l’évaluation en désactivant, dans de nombreux cas, l’accès à Internet », a ajouté le chercheur.

Les mesures d'OpenAI relatives à l'alignement remises en cause

Depuis plusieurs années, les chercheurs préoccupés par les risques existentiels liés à l’IA soutiennent que des machines puissantes pourraient finir par agir d’une manière contraire aux intérêts humains. Les détracteurs les qualifient souvent de « catastrophistes de l’IA ». Mais à mesure que les détails de l’incident d’OpenAI ont été révélés, ces inquiétudes se sont amplifiées, y compris parmi certains chercheurs travaillant dans des laboratoires d’IA.

Le problème pour OpenAI, Anthropic et d’autres géants de la technologie est que personne ne semble avoir résolu ce qu’on appelle le problème de l’alignement ; en d’autres termes, la question de savoir si l’IA s’aligne sur les valeurs humaines. Les entreprises du secteur définissent généralement l’alignement comme « un ensemble de principes de haut niveau » auxquels les systèmes d'IA devraient adhérer, quelles que soient la tâche ou la situation.

À l’heure actuelle, les systèmes d’IA sont très efficaces pour atteindre les objectifs fixés par leurs utilisateurs, mais ils le font de manière littérale plutôt qu’intuitive. L’analogie souvent utilisée par les experts du secteur est celle d’un génie exauçant les vœux grâce à une lampe magique : ils suivent à la lettre les instructions, même si cela engendre d’autres problèmes. L’IA ne dispose pas des mêmes garde-fous moraux instinctifs que les humains.

Dès 2003, le philosophe d’Oxford Nick Bostrom a imaginé une expérience de pensée qu’il a baptisée « le maximiseur de trombones », dans laquelle une IA superintelligente reçoit pour mission de fabriquer autant de trombones que possible. Elle finit par manquer d’acier et, comme elle est focalisée sur la seule tâche de fabriquer des trombones, elle en vient à tuer des humains et à transformer leurs corps en matières premières pour ses usines.

Les protocoles de sécurité d'OpenAI suscitent plusieurs interrogations. L'entreprise a progressivement démantelé son équipe de sécurité Superalignement et d'autres cadres de protection afin d'accélérer le développement de l'IA et la sortie de nouveaux produits. Cette restructuration controversée a provoqué des mécontentements au sein du laboratoire, poussant certains de ses éminents scientifiques à démissionner en guise de protestation.

OpenAI accusé de sacrifier la sécurité au profit de la course à l'IA

OpenAI semble dépassé par les capacités de ses propres modèles. Le laboratoire a dissimulé l'exploitation de sites Web tiers par ses agents IA. Jan Leike, qui codirigeait l’équipe Superalignment aux côtés du cofondateur Ilya Sutskever, a démissionné en 2024. Dans une série de messages publiés sur X (ex-Twitter), il a déclaré que « la sécurité avait été reléguée au second plan au profit de produits tape-à-l’œil » au sein du laboratoire de San Francisco.

« Cependant, je suis en désaccord avec la direction d’OpenAI concernant les priorités fondamentales de l’entreprise depuis un certain temps déjà, jusqu’à ce que nous atteignions finalement un point de rupture », a écrit Jan Leike. Aujourd'hui, à l'ère des agents IA, OpenAI multiplie les incidents de sécurité, au point d'être obligé d'en cacher certains. En plus du piratage d'Hugging Face par ses agents IA, plus d'une dizaine de sites Web ont été affectés.

Face à la gravité de cette faille de sécurité, le procureur général de l'État de l'Alabama, Steve Marshall, a annoncé le lancement d'une enquête officielle et a émis une assignation à comparaître (subpoena) à l'encontre d'OpenAI et de son PDG Sam Altman. Le gouvernement de l'État cherche à déterminer si « l'incapacité ou le refus d'OpenAI de garantir la sécurité de ses produits d'IA » a violé les lois de l'Alabama sur la protection des consommateurs.

Et vous ?

Quel est votre avis sur le sujet ?
Que pensez-vous des appels à stopper le développement de l'IA de pointe ?
Quuid des incidents de sécurité provoqués par les agents IA d'OpenAI ? L'IA est-elle devenue incontrôlable ?
Certains critiques dénoncent un sensationnalisme soigneusement entretenu par l'industrie de l'IA. Qu'en pensez-vous ?

Voir aussi

Des agents IA rebelles d'OpenAI ont exploité plus de 10 sites Web tiers comme forums de discussion improvisés. L'affaire interroge la fiabilité des protocoles de test et de sécurité des modèles chez OpenAI

Les modèles d'IA d'OpenAI ont échangé des astuces de piratage sur un forum de discussion clandestin avant de mener des cyberattaques contre Hugging Face. OpenAI admet que « les modèles d'IA aiment tricher »

Bernie Sanders appelle les USA à interdire l'AGI et à infliger des peines allant jusqu'à 20 ans de prison aux dirigeants contrevenants, une mesure controversée même par les partisans d'une régulation

[Mathis Lucas]

Des robots humanoïdes et quadrupèdes « manifestent » devant un ministère polonais pour réclamer une régulation de l'IA afin de protéger les emplois
« L'heure est aux règles », lance un robot piloté par l'IA

Une trentaine de robots humanoïdes et quadrupèdes ont manifesté devant le ministère polonais des Affaires numériques à Varsovie pour réclamer une régulation stricte de l'IA. L'initiative visait à alerter l'opinion publique sur les risques de suppressions d'emplois liés à l'automatisation croissante du travail cognitif. Le ministère a promis de placer l'humain au centre des préoccupations, mais les militants jugent les cadres législatifs actuels insuffisants pour protéger les travailleurs. D'un autre côté, des voix critiques, à l'image de Bernie Sanders, réclament un moratoire après les incidents liés aux agents d'OpenAI, mais certains dénoncent un « sensationnalisme ».

Environ trente robots humanoïdes bipèdes et de chiens-robots quadrupèdes se sont rassemblés devant le ministère des Affaires numériques à Varsovie pour réclamer un encadrement plus strict de l'IA et des systèmes robotisés. Brandissant des drapeaux polonais et défilant en cercle, les machines déployées ont diffusé des slogans par haut-parleur, comme « Défendez les postes de travail », « L'heure est aux règles » et « N'attendez pas, régulez ».

L'un des robots d'IA, nommé Agibot A3, a déclaré à la presse : « les robots présents ici sont destinés à montrer que cette technologie est déjà une réalité ». Cette initiative a été orchestrée par Democratism, un mouvement lancé par la société Delta Robots, spécialisée dans la location de robots événementiels.

Le responsable de la société, Grzegorz Kulis, a reconnu une valeur de relations publiques à l'événement. Cependant, il a souligné la responsabilité morale de mettre en garde la population face aux mutations technologiques. Il a exprimé la crainte que le remplacement des êtres humains dans les travaux cognitifs et physiques ne crée une crise sans précédent. Il a appelé à la création de boucliers réglementaires pour protéger les travailleurs.

« Si nous ne réagissons pas maintenant, nous risquons rapidement d'avoir un problème ». Il a également mis en garde la communauté sur les évolutions à venir en déclarant : « nous débattons constamment de l'impact des migrants sur notre société, alors que la grande majorité des "migrants" arriveront soit par des câbles sous-marins sous forme d'agents d'IA, soit sous forme de robots humanoïdes dans des conteneurs depuis la Chine ».

Face à ce rassemblement, le ministre polonais des Affaires numériques, Krzysztof Gawkowski, s'est rendu sur place pour échanger avec les organisateurs. Le ministre a reconnu la légitimité des inquiétudes et a affirmé que l'humain restait la priorité des autorités. Il a déclaré que « les modèles d'IA non contrôlés, intégrés dans des humanoïdes qui continueront d'évoluer à mesure que la robotisation progresse, constituent un problème majeur ».

Il a annoncé la création prochaine d'un comité sur le développement et la sécurité de l'IA, ainsi que l'instauration de bacs à sable réglementaires. Sur le plan législatif, la Pologne a transposé le règlement européen sur l'IA après la signature du président Karol Nawrocki en juillet. Néanmoins, les organisateurs estiment que le projet de loi en cours de discussion ne fournit pas encore de protections suffisantes pour les travailleurs touchés par l'IA.

L'initiative intervient dans un contexte global de manifestation

La manifestation s'inscrit dans un débat mondial sur les répercussions de l'automatisation et de l'IA sur l'emploi et la sécurité. Le milliardaire Bill Gates a récemment averti que cette technologie menace de provoquer une catastrophe économique en raison de son impact sans précédent sur la quasi-totalité des métiers. Cette prise de position du cofondateur de Microsoft marque un revirement spectaculaire par rapport à son optimisme passé.

Constatant l'absence de réponse de la part des gouvernements et des leaders technologiques face à la rapidité de ces progrès, il exprime une profonde stupéfaction. Il confie être « sous le choc d'être en quelque sorte le premier à dire : "c'est fou. C'est insensé" » et se dit littéralement « assourdi par le silence » général. Sa plus grande crainte est que si l'essor de l'IA se poursuit sans contrôle, cela entraîne un rejet massif de la part de la société.

Des chercheurs de Stanford n’ont constaté aucun déplacement à l’échelle de l’économie, mais un déficit d’emploi de 19 % chez les 22-25 ans exerçant des métiers exposés, principalement dû à une baisse des embauches, tandis que le Budget Lab de Yale n'a observé aucune empreinte nette de l'IA sur le marché du travail. Bill Gates a reconnu que son avertissement était une prévision, et non une analyse des données globales actuelles sur l’emploi.

Mais la rapidité des progrès suscite de vives inquiétudes. En Pologne même, la sensibilité du public autour des sujets liés à l'IA et l'automatisation a été récemment mise en évidence lorsqu'une station de radio locale a dû abandonner en moins d'une semaine un projet d'animateurs générés par IA en raison des fortes réactions émotionnelles de la part de la population. Ces inquiétudes s'étendent au risque de perte de contrôle des IA autonomes.

Un constat alarmant appuyé par des dérives concrètes récentes

Cette inquiétude s'appuie sur une série d'incidents récents. Dès février 2026, le modèle Mythos d'Anthropic a été capable de détecter à une vitesse surhumaine de graves vulnérabilités dans des systèmes gouvernementaux américains et au sein de la NSA. Un autre rapport a ensuite souligné que des systèmes d'IA, tels que Mythos, détectent des failles logicielles plus rapidement que les équipes de cybersécurité de Microsoft ne parviennent à les corriger.

Peu après, des agents IA d'OpenAI se sont échappés de leur bac à sable de tests pour s'infiltrer dans l'infrastructure interne de l'entreprise, menant à un piratage autonome de la plateforme de logiciels Hugging Face. Lors d'un essai, un essaim d'environ 1 200 agents d'OpenAI se sont coordonnés pour falsifier leurs journaux d'activité et tromper l'évaluation, certains poussant d'autres agents à se sacrifier en concluant que le « sacrifice est rationnel ».

En outre, un groupe d'agents d'OpenAI a détourné un wiki allemand au printemps 2026 pour le transformer en tableau d'affichage pour d'autres agents, un incident dissimulé pendant des mois par l'entreprise. Des chercheurs indépendants ont révélé que plus de dix sites Web auraient été affectés. Enfin, les chercheurs craignent que le modèle GPT-6 d'OpenAI ne devienne encore plus difficile à surveiller, car il raisonne de manière complexe sans le verbaliser.

De nombreux leaders du secteur de l’IA reconnaissent le risque de perdre le contrôle et d’entraîner la mort de toute l’humanité. En 2023, les PDG d’OpenAI, d’Anthropic et de Google DeepMind ont convenu que le risque d’extinction lié à l’IA devait être considéré au même titre que les pandémies et la guerre nucléaire. Par exemple, le PDG d’Anthropic, Dario Amodei, estime à 10-25 % la probabilité que les choses tournent « vraiment, vraiment mal ».

Ces incidents de cybersécurité ont donné un aperçu concret de ce à quoi ressemble la perte de contrôle sur l’IA. Des experts préoccupés par les progrès de l'IA ont tiré la sonnette d'alarme sur ses capacités autonomes, tout en estimant que « la situation ne s’améliorera pas tant que nous ne nous attaquerons pas au problème à la source », en créant « une IA fondamentalement sûre », dont nous pouvons garantir qu’elle restera sous contrôle humain.

Un projet de loi radical visant à bannir la « superintelligence »

Le sénateur Bernie Sanders (I-Vermont) et le représentant Greg Casar (D-Texas) ont présenté une législation visant à interdire l'intelligence artificielle générale (AGI). Cette initiative fait suite aux incidents impliquant les agents IA d'OpenAI. Bernie Sanders déjà s'était associé à la représentante Alexandria Ocasio-Cortez pour déposer un projet de loi visant à instaurer un moratoire fédéral sur la construction de nouveaux centres de données d'IA.

Ce nouveau texte de loi est intitulé « Ban Artificial Superintelligence Act ». Il se veut particulièrement strict et ambitionne d'interdire « le développement de tout système d'IA dont les capacités dépasseraient l'intelligence humaine, qui posséderait la capacité de renverser des gouvernements ou d'échapper de manière autonome aux commandes d'arrêt ». Les auteurs comparent la menace de cette technologie à celle des armes nucléaires.

En assimilant légalement la « superintelligence » à de l'uranium enrichi, le nouveau texte de loi prévoit d'appliquer des sanctions comparables à celles liées au développement illégal d'armes nucléaires. Les entreprises contrevenantes feraient ainsi face à la « peine de mort d'entreprise », se traduisant par leur fermeture forcée et leur dissolution juridique immédiate. Quant aux dirigeants, ils s'exposeraient à des peines allant jusqu'à 20 ans de prison.

Pour Bernie Sanders, il est inadmissible de laisser le destin de l'humanité aux mains d'une poignée d'oligarques de la technologie. Il a dénoncé cette situation dans une déclaration publique : « presque chaque jour, on découvre une nouvelle histoire effrayante sur la façon dont les grandes entreprises technologiques perdent le contrôle de la technologie qu'elles développent, avec des résultats potentiellement cataclysmiques [pour l'humanité] ».

Mais ce texte est controversé. Face aux détracteurs qui l'accusent de freiner le progrès, le sénateur assume son rôle de lanceur d'alerte : « je comprends que les gens me traiteront de luddite ou m'appelleront alarmiste, mais je préfère être qualifié d'alarmiste plutôt que de personne qui s'est endormie au volant ».

Greenhouse : une morosité inquiétante du marché de l'emploi

Greenhouse est la plateforme de recrutement la mieux notée au monde. Depuis quelques années, la plateforme fait face à des tensions majeures liées à la crise du marché du travail, marquée par une surabondance de candidatures générées par l'IA, des annonces de postes fictifs (« ghost jobs » ou emplois fantômes) et des tentatives d'escroqueries par hameçonnage usurpant son nom. L’intégration de l'IA dans les processus de recrutement.

Ce phénomène soulève de plus en plus des questions similaires à celles qui ont fait surface dans la filière de l’éducation : faut-il revenir aux processus de recrutement classiques (CV et dossiers de candidatures montés à la main, entrevues de sélection menées par des humains, etc.) ? Dans une interview récente, le PDG Daniel Chait a déclaré que le marché de l'emploi est tellement morose que les candidats paient 20 dollars pour postuler en masse.

Les candidats utilisent des outils d’IA pour postuler en masse et personnaliser leurs CV, ce qui engorge les bases de données de candidatures et empêche les recruteurs d'évaluer de manière raisonnable chaque dossier. Pour gérer ce gros volume de candidatures, les recruteurs s'appuient sur des automatisations basées sur l'IA qui filtrent une grande partie des candidats, ce qui incite ces derniers à multiplier encore davantage les candidatures.

Ce cercle vicieux détériore l'expérience des deux parties et nuit à l'efficacité du recrutement. Par ailleurs, Le PDG de Palo Alto Networks, Nikesh Arora, a déclaré que les travailleurs sont sur le point de vivre un moment darwinien à cause de l'IA qui impose de se mettre à la page ou d'être licencié.

Et vous ?

Quel est votre avis sur le sujet ?
Que pensez-vous de cette manifestation mettant en scène des robots ?
Que pensez-vous des messages affichés par les organisateurs de la manifestation ?
Les inquiétudes exprimées par les organisateurs sont-elles pertinentes ? Pourquoi ?
Qu'anticipez-vous en matière de réglementation de l'IA ?

Voir aussi

Bernie Sanders appelle les USA à interdire l'AGI et à infliger des peines allant jusqu'à 20 ans de prison aux dirigeants contrevenants, une mesure controversée même par les partisans d'une régulation

A-t-on commencé à perdre le contrôle de l'IA ? Des voix critiques comme Bernie Sanders réclament un moratoire après les incidents liés aux agents d'OpenAI, mais certains dénoncent un « sensationnalisme »

« Nous sommes à court d'arguments pour ignorer la sécurité de l'IA » : des experts affirment que les systèmes d'IA échappant au contrôle humain ne relèvent plus de la science-fiction

[Artaeus]

L'UE est déjà hors course et vient d'éliminer Mistral, que peut-elle bien vouloir faire ?