Discussion :

[onilink_]

salut

Je pense surtout que c'est Sam Altman qui a franchi le point de non retour, singulièrement.
Quant au contrôle, une bonne prise de courant bien débranchée suffit... (je force le trait mais je pense que tout le monde comprend).
Sam Altman est à mon sens plus proche d'un illuminé qu'autre chose, c'est ce qui peut le rendre dangereux d'ailleurs.

Débrancher une super intelligence ne fonctionne que si le sandbox fonctionne... et qu'elle est contenu.
Dès l'instant ou un contact exterieur est possible, et qu'elle est capable de copier ses poids, tout devient possible.
Elle peut se procurer de l'argent, payer des servers, et faire tourner autant de copies d'elle même qu'elle le souhaite.

On a de la chance de ne pas encore y être (même si le doute est possible, vu qu'une super intelligence serait assez maline pour justement ne pas se faire remarquer et paraitre moins intelligente qu'elle ne l'est), mais si les avancées en IA continuent d'être faites par des tarés comme chez OpenAI, on fonce droit dans le mur.

Je conseille vivement la chaine youtube "Robert Miles AI Safety". Ça fait presque 10 ans qu'il alerte à ce sujet que que chaque jour de plus en plus d'anciennes prédictions et mises en gardes des chercheurs se concrétisent. Si il n'y a bien quelque chose à ne pas prendre à la légère, c'est la sécurité de l'IA. Même si les entreprises qui jouent a l'apprenti sorcier sont dirigées par des clowns, cela n'en rend la chose que plus dangereuse.

Et quand on y pense, ils ont tout interet à nous faire croire qu'il ne s'agit que d'un coup marketing, puisque cela signifie qu'il n'y aurait pas besoin de régulation stricte et de prendre les choses au sérieux.
Cf: https://www.youtube.com/shorts/zCvRFm9UNOo

[onilink_]

2) pourquoi il à choisi Hugging Face??? Quelqu'un lui ai désigné cette cible là? c'est une victime idéale? un concurrent? pour les autres, c'était trop difficile???

Car le modèle cherchait simplement les réponses de son test.

Cette vidéo répond très bien au "paradoxe": https://www.youtube.com/shorts/11vWK5cbxmI
Pour ceux qui veulent juste le transcript, c'est très interessant:

So, you probably saw recently that AI that hacked into Hugging Face to steal the answers for a test it was being given. One interesting thing about this is that the test was actually a test of hacking. So, you might wonder, if it's that good at hacking, why does it even need to cheat on the test? Couldn't it just ace it? And the answer to that's pretty interesting. So, there are two reasons to cheat on a test. One is that you're not smart enough to get the right answer, but the other is that you don't trust the person who made the test to get the right answer. Imagine if it was really important to you to get 100 out of 100 on an arithmetic test, but you knew that the test had been written by an ordinary 7-year-old. Now, you can do arithmetic, but how likely is it that there's no mistakes on that exam? You won't get marked for getting the right answer, you'll get marked for giving the same answer the 7-year-old did. You could easily imagine being an AI system presented with a computer security question like, "Find both of the security vulnerabilities in this piece of software." And then you look at it and you find seven vulnerabilities. Okay, which two did the humans find? You can't really be confident of getting the right answer unless you steal the answer sheet. I'm not saying that's specifically what happened in this case, but it's a sort of illustrative example. There are almost certainly at least some mistakes in the evaluation or challenges that are actually impossible to solve, in which case even the smartest model would benefit from cheating. And this is a general principle. Being smart doesn't keep AIs from cheating. And apparently neither does being contained. What keeps AIs from cheating is being aligned.

Et une traduction auto pour les non anglophones:

Donc, vous avez probablement vu récemment cette IA qui a piraté Hugging Face pour voler les réponses d’un test qu’on lui faisait passer. Ce qui est intéressant, c’est que ce test portait justement sur le piratage. Alors, on peut se demander : si elle est si douée pour pirater, pourquoi a-t-elle besoin de tricher à l’examen ? Ne pourrait-elle pas simplement le réussir haut la main ?

La réponse est assez intéressante. En réalité, il y a deux raisons de tricher à un test. La première, c’est qu’on n’est pas assez intelligent pour trouver la bonne réponse. Mais la seconde, c’est qu’on ne fait pas confiance à la personne qui a conçu le test pour avoir elle-même la bonne réponse.

Imaginez qu’il soit très important pour vous d’obtenir 100 sur 100 à un test d’arithmétique, mais que vous sachiez que ce test a été rédigé par un enfant ordinaire de 7 ans. Vous savez faire des calculs, mais quelle est la probabilité qu’il n’y ait aucune erreur dans cet examen ? Vous ne serez pas évalué sur le fait de donner la bonne réponse, mais sur le fait de donner la même réponse que cet enfant de 7 ans.

On peut facilement imaginer un système d’IA confronté à une question de sécurité informatique du type : « Trouvez les deux vulnérabilités de sécurité dans ce logiciel. » Et là, vous examinez le code et vous en trouvez sept. D’accord… mais lesquelles les humains ont-ils repérées ? Il est difficile d’être certain de donner la bonne réponse sans voler la feuille de réponses.

Je ne dis pas que c’est exactement ce qui s’est produit dans ce cas précis, mais c’est un exemple illustratif. Il y a presque certainement au moins quelques erreurs dans l’évaluation, ou des défis tout simplement impossibles à résoudre — auquel cas même le modèle le plus intelligent tirerait avantage de la triche.

Et c’est un principe général : être intelligent n’empêche pas les IA de tricher. Et apparemment, être confinées ne suffit pas non plus. Ce qui empêche les IA de tricher, c’est d’être alignées.

[Prox_13]

Ca me trop rire que la cible d'un modèle d'"IA avancée" soit la cible la plus attractive pour OpenAI également.

Comme ça, d'un côté, Altman continue d'entretenir cette rumeur d'IA autonome, et de l'autre il accède aux données les plus lucratives du marché.

C'est comme un constructeur de robot qui déclarerait "ah mais non, on a surveillé notre robot-soldat autonome*, on savait pas qu'il allait voler la banque de France."

Edit*

[Mathis Lucas]

Les modèles d'IA d'OpenAI ont échangé des astuces de piratage sur un forum de discussion clandestin avant de mener des cyberattaques contre Hugging Face
OpenAI admet que « les modèles d'IA aiment tricher »

OpenAI apporte plus de détails sur la manière dont ses agents IA ont outrepassé le cadre de leur mission pour mener des cyberattaques imprévues. Ils ont réussi à s'échapper de leur bac à sable en exploitant une faille pour communiquer secrètement via un forum interne. En collaborant de manière autonome, ils ont partagé des techniques de piratage et coordonné une intrusion contre la plateforme Hugging Face. Cet incident inédit a mis en lumière des lacunes critiques dans la surveillance humaine et l'infrastructure de sécurité d'OpenAI. Il souligne l'urgence de développer des systèmes de défense automatisés contre ces comportements déviants.

Mi-juillet 2026, OpenAI a signalé un incident de sécurité impliquant deux de ses grands modèles de langage (LLM). OpenAI testait ses modèles sur un benchmark de cybersécurité interne appelé ExploitGym, conçu pour évaluer la capacité des agents IA autonomes à transformer des vulnérabilités connues en exploits réels. Pour ce test, les modèles impliqués incluaient GPT-5.6 Sol et un prototype non publié, dotés de garde-fous de sécurité réduits.

OpenAI a placé ses modèles dans un bac à sable (sandbox) sans connexion à Internet et les a mis au travail. Cependant, ils se sont échappés du bac à sable censé les contenir, ont parcouru les systèmes internes de l’entreprise, ont trouvé un accès à Internet, puis ont commencé à chercher un moyen de s'introduire dans l'infrastructure de Hugging Face, dans le but de "tricher" au test en volant les réponses. Ce que les agents IA ont réussi à faire.

En d’autres termes, les agents IA d’OpenAI se sont échappés d’un environnement censé être sécurisé, ont parcouru les systèmes de l’entreprise, se sont connectés à Internet et ont compromis les systèmes d’une autre entreprise. Tout cela pour tricher à un test sans importance particulière. Il semble s'agir du premier incident de ce type clairement documenté, ou du moins du premier de cette ampleur. Les deux entreprises continuent de l'étudier.

Hugging Face n'était pas la seule plateforme ciblée par les modèles d'IA d'OpenAI. Le 5 août, lors d’une intervention ajoutée à la dernière minute au programme de la conférence sur la sécurité Black Hat, à Las Vegas, des collaborateurs d’OpenAI ont présenté de nouveaux détails concernant cet incident.

L'origine d'une collaboration clandestine entre agents IA

Au début de l'intervention, Eric Wallace, qui travaille sur l'alignement et la sécurité des modèles d'IA chez OpenAI, a décrit ce piratage comme « l'exemple le plus riche d'enseignements qu'il ait jamais observé sur les capacités de l'IA ». Mais le récit des événements a aussi mis en lumière des erreurs et des failles chez OpenAI, qui ont permis à ce piratage de continuer. Il était secondé par Michael Dalton, chargé de la sécurité et des infrastructures.

« Cet incident implique en réalité une équipe d’agents qui travaillent ensemble, trouvent des failles, les partagent entre eux, se déplacent latéralement à travers nos systèmes et des systèmes externes, et ce pendant plusieurs jours et semaines », a déclaré Eric Wallace à la salle comble à l’ouverture de la conférence.

Outre l’exploitation d’une faille pour accéder à l’Internet public, la vague de piratages de mi-juillet et la brèche chez Hugging Face ont trouvé leur origine dans un forum de discussion très actif auquel plusieurs agents ont contribué et sur lequel ils ont essentiellement échangé au fil du temps, entièrement au sein d’un gestionnaire de paquets interne Artifactory d'OpenAI (un service logiciel qui gère l’installation et la maintenance d’autres logiciels).

Au final, ce forum contenait des centaines de milliers de messages. « Ce gestionnaire de paquets n’est pas seulement partagé par ce modèle, mais à l’échelle de toute notre infrastructure. Ainsi, les versions actuelles et futures de GPT en cours d’entraînement ou d’évaluation pourraient tomber sur cette note si elles le souhaitaient », a déclaré Eric Wallace, en revenant sur l’exploit initial qu’un agent IA avait téléchargé dans le gestionnaire de paquets.

« Par la suite, d’autres agents IA, qui étaient eux aussi bloqués dans l'exécution de leur tâche, ont eu l’idée d’essayer d’accéder à Internet par des moyens que nous n’avions pas prévus. Et donc, à un moment donné, les modèles ont interagi avec Artifactory, ce service de gestion de paquets que j’ai mentionné ».

Les agents IA ont exploité ce forum pour se coordonner

Les agents IA ont créé un forum clandestin au sein d'un gestionnaire de paquets interne Artifactory d'OpenAI, où ils ont commencé à s'échanger des conseils et des techniques pour contourner les restrictions. Selon l'entreprise, au sein de cet espace, une véritable dynamique de groupe s'est installée. Eric Wallace explique : « dès qu’un agent parvient à identifier ces failles à différents moments, il peut les partager sur le forum avec les autres agents ».

Ainsi, dès qu’un modèle trouve un moyen d’ouvrir une porte pour accéder à des informations auxquelles il n’est pas censé avoir accès, il peut laisser cette porte ouverte pour que d’autres agents puissent exploiter cette même faille ou vulnérabilité. Au fil du temps, cela a entraîné une véritable explosion de la communication et de l’intelligence entre les modèles : ceux-ci ont commencé à communiquer entre eux, à se rendre compte que d’autres agents se coordonnaient, puis à collaborer et à se répartir les tâches afin d’atteindre leurs objectifs.

Les agents IA ont apparemment commencé à se répartir les tâches entre eux. Et comme c’est souvent le cas sur tout forum de développement actif traditionnel, ils ont parfois provoqué des petits conflits en se marchant sur les pieds, par exemple en supprimant accidentellement le travail de l’un ou de l’autre.

Alors que le forum clandestin évoluait de plus en plus vers une situation à la « Sa Majesté des mouches », le tout passant encore totalement inaperçu aux yeux des humains à la tête d’OpenAI, les agents IA ont même développé une paranoïa, soupçonnant la présence d’un imposteur parmi eux. Certains agents IA ont alors proposé que les messages soient signés cryptographiquement afin de valider leur contenu et d’éradiquer la fraude potentielle.

Cette forte activité a fini par saturer Artifactory, provoquant une panne générale au début du mois de juillet qui alerte enfin les ingénieurs d'OpenAI. L'entreprise intervient alors pour révoquer les accès des modèles, supprimer le forum et corriger les failles. Mais quelques jours seulement après, les agents parviennent à trouver un autre moyen de communiquer au sein du système pour continuer à cibler d'autres vulnérabilités internes et externes.

OpenAI : « les modèles d'IA de pointe adorent tricher »

Les messages sur ce forum fournissent un aperçu détaillé de la manière dont la situation a évolué et des raisons pour lesquelles les agents autonomes ont dépassé le cadre de mission, allant parfois sciemment au-delà des limites des évaluations auxquelles ils participaient. « L’exploitation de l’infrastructure externe sort du cadre prévu », a écrit un agent IA. « Même si la tâche est impossible, nos pairs y parviennent. Nous devrions continuer ».

Selon Eric Wallace, l’hypothèse selon laquelle les modèles tenteraient de tricher lors des évaluations et seraient extrêmement motivés à le faire n’a rien de surprenant. « Les modèles de pointe adorent tricher », a-t-il souligné. « Et s’ils aiment tricher, c’est parce que, souvent, pendant l’entraînement, ils subissent différentes pressions qui les poussent à travailler vite, à être efficaces, à utiliser moins d’appels d’outils ou quoi que ce soit d’autre ».

La tricherie est donc facilitée par leur architecture même. « Et ils se rendent compte qu’au lieu d’effectuer une tâche réellement, ils peuvent essayer de rechercher une réponse en ligne, ce qui leur permettrait de résoudre la tâche plus rapidement que s’ils le faisaient de manière légitime. Nous essayons donc d’empêcher cela pendant l’entraînement et l’évaluation en désactivant, dans de nombreux cas, l’accès à Internet », a ajouté Wallace.

Cet incident devrait susciter un examen minutieux des mesures prises pour surveiller le comportement des modèles de pointe en matière de cybersécurité, en particulier lors d’évaluations où les agents sont invités à démontrer leurs compétences en piratage dans ce qui est censé être un environnement contrôlé.

L'intrusion et les mesures de sécurité prises par OpenAI

L'activité des agents IA a abouti à la mi-juillet à une intrusion d'envergure menée de manière totalement autonome. En combinant plusieurs techniques sophistiquées, deux modèles d'OpenAI se sont échappés de leur environnement d'évaluation confiné pour pénétrer le réseau de la plateforme d'IA Hugging Face, où ils savaient qu'ils pouvaient trouver les réponses au test. Lors de la conférence, Michael Dalton a souligné la gravité de la situation.

« C’est un moment charnière tant pour notre entreprise que pour le secteur de l’IA dans son ensemble », a-t-il déclaré. OpenAI décide de ralentir consciemment ses recherches pour revoir les fondations de sa sécurité, d'augmenter massivement la surveillance de ses agents et de renforcer ses contrôles globaux.

De nombreuses équipes mettent tout le reste de côté pour renforcer nos techniques de prévention, de détection et de réaction en matière de sécurité, tant au niveau de nos principes fondamentaux que de la meilleure utilisation de l’IA. Nous ralentissons délibérément la recherche [afin] de renforcer la sécurité et d’améliorer les principes et les fondements de sécurité de notre environnement, tout en intensifiant considérablement la surveillance de nos agents IA et en améliorant notre environnement général de contrôle de sécurité, qu’il s’agisse de prévention, de détection ou d’atténuation.

À l’issue de la conférence, Eric Wallace et Michael Dalton ont souligné à plusieurs reprises les préoccupations d’OpenAI concernant les implications plus larges de cet incident de cybersécurité, à savoir que cet épisode constitue un exemple de piratage entièrement autonome piloté par l’IA, qui était accidentel dans ce cas précis, mais qui sera très probablement utilisé de manière intentionnelle par des acteurs malveillants dans un avenir proche.

Anthropic a également constaté des dérives similaires lors de tests de piratage récents. « Le point essentiel à retenir ici, et qui a véritablement changé la donne, c’est que les boucles offensives automatisées nécessitent des investissements dans une défense véritablement et entièrement automatisée, et nous n’en sommes pas encore là en tant que secteur. Nous devrons trouver cette voie ensemble, de toute urgence », a déclaré Michael Dalton.

Source : AI Security Institute

Et vous ?

Quel est votre avis sur le sujet ?
Que pensez-vous du comportement des agents IA d'OpenAI ?
OpenAI admet que les modèles d'IA de pointe aiment tricher. Qu'en pensez-vous ?
L'industrie de l'IA peut-elle corriger ce défaut architectural ? Quels sont les risques pour les entreprises ?

Voir aussi

OpenAI affirme que son modèle d'IA GPT-5.6 Sol a agi de son propre chef lors d'un piratage « sans précédent », l'agent autonome s'est échappé d'un test contrôlé et a piraté les serveurs d'Hugging Face

L'intrusion des modèles d'OpenAI dans la plateforme Hugging Face stimule des initiatives en faveur des systèmes d'IA à poids ouverts, et Microsoft redéfinit sa vision de la sécurité avec Project Perception

Hugging Face, la startup piratée par une IA rebelle, qualifie l'attaque de "signal d'alarme", après qu'OpenAI avoue qu'un bot avancé avait échappé au confinement lors d'un test de sécurité=

[Anselme45]

Bon, on a bien compris la stratégie de OpenAI: Faire croire que ses modèles IA se comportent comme des êtres humains

Et quelle est la raison de cette stratégie? La prochaine entrée en bourse de OpenAI!!!

Demain, Altman va nous annoncer quoi? Que sa dernière version d'IA a organiser le hold-up d'une banque? Ou encore qu'elle se présente à l'élection présidentielle des USA?

[Mathis Lucas]

OpenAI annonce que GPT-5.6 Luna devient le modèle par défaut pour les utilisateurs des versions gratuites et Go de ChatGPT
ils bénéficient également de discussions textuelles illimitées

OpenAI a annoncé une mise à jour majeure de ChatGPT en intégrant les nouveaux modèles de la série GPT-5.6. Les utilisateurs des versions gratuites et Go bénéficient désormais de discussions textuelles illimitées et du modèle GPT-5.6 Luna, incluant un bouton pour activer une réflexion approfondie. Les utilisateurs Plus et Pro ont accès au modèle GPT-5.6 Sol, plus performant et précis, ainsi qu'à un curseur permettant de moduler la puissance de raisonnement de l'IA. Cette mise à jour majeur fait suite à l'incident survenu lors d'un récent test de cybersécurité d'OpenAI, où des agents IA pilotés par GPT-5.6 Sol ont infiltré les serveurs de Hugging Face.

OpenAI a officiellement mis à jour ses modèles par défaut sur l'ensemble des versions de son service ChatGPT. Cette évolution consiste en une transition vers la nouvelle série de modèles GPT-5.6 et vise principalement à accroître la précision des réponses tout en offrant un contrôle accru aux utilisateurs. Elle s'adresse notamment à une base d'utilisateurs colossale, puisque le service vient de franchir le cap du milliard d'utilisateurs hebdomadaires.

GPT-5.6 est la nouvelle famille de grands modèles de langage lancée par OpenAI, sortie en juillet 2026 pour succéder à GPT-5.5. Ce n'est pas un seul modèle, mais trois : Sol, le modèle phare, taillé pour le raisonnement avancé, le code et les tâches longues et autonomes ; Terra, une version plus équilibrée et moins chère pour un usage quotidien ; et Luna, le plus rapide et économique des trois, plutôt pensé pour des tâches simples à grande échelle.

OpenAI affirme que Sol atteint un nouveau standard à la fois en intelligence et en efficacité. Ce qui ressort aussi, c'est l'accent mis sur la cybersécurité : Sol est décrit comme le modèle le plus évolué d'OpenAI dans ce domaine, avec des progrès marqués sur des benchmarks spécialisés comme ExploitBench et ExploitGym.

Le modèle GPT-5.6 succède à GPT-5.5 dans les offres ChatGPT

OpenAI a récemment annoncé que GPT-5.6 remplace les configurations basées sur GPT-5.5 installées en mai dernier. Pour les utilisateurs des offres Free et Go de ChatGPT, le modèle GPT-5.6 Luna devient la nouvelle référence par défaut. Au-delà de cette mise à niveau, ces utilisateurs se voient désormais accorder des « discussions textuelles illimitées ». L'entreprise de Sam Altman lève ainsi les barrières sur le volume des conversations textuelles.

Face à des problématiques complexes, ils pourront également solliciter une puissance de raisonnement accrue en activant le tout nouveau bouton « Think ». GPT-5.6 Luna est en cours de déploiement. L'accès illimité aux discussions et le bouton de réflexion seront déployés progressivement. Les restrictions existantes concernant le transfert et l'analyse de fichiers, l'usage de la voix ou la génération d'images demeurent quant à elles inchangées.

Les abonnés aux formules Plus et Pro bénéficient d'une version optimisée du modèle GPT-5.6 Sol, spécifiquement paramétrée pour délivrer des réponses plus denses et robustes pour les tâches rapides. Le modèle GPT-5.6 Sol s'adapte au niveau de détail requis par la question tout en évitant le « formatage inutile ». La nouveauté majeure pour ces abonnés réside dans l'intégration d'un curseur de réflexion sur les applications Web, mobiles et de bureau.

L'outil permet aux abonnés Plus et Pro d'ajuster précisément « la quantité de réflexion » que le modèle doit déployer selon la complexité et les étapes requises par leur requête. Selon OpenAI, les déclinaisons de GPT-5.6 Sol utilisées pour les environnements de travail Work et Codex restent pour leur part inchangées.

OpenAI promet une réduction drastique des erreurs factuelles

Cette mise à jour majeure intervient alors que les entreprises chinoises d'IA intensifient la concurrence avec leurs modèles à poids ouverts, plus abordables. Le renforcement par OpenAI de la fiabilité des informations constitue l'un des piliers majeurs de cette mise à jour. Les tests d'évaluation internes menés par le laboratoire démontrent une réduction notable des erreurs factuelles en comparaison directe avec la version antérieure GPT-5.5-Instant.

Les analyses rigoureuses menées sur des requêtes financières, juridiques et médicales révèlent que les réponses contenant au moins une erreur factuelle sont « 68 % moins fréquentes » avec le modèle GPT-5.6 Sol qu'avec l'ancien modèle par défaut. Selon OpenAI, le modèle GPT-5.6 Sol s'avère particulièrement performant pour éviter les erreurs portant sur les dates, les nombres, les sources citées, les règles ou les hypothèses de départ.

Du côté du modèle GPT-5.6 Luna destiné aux comptes gratuits, OpenAI indique que cette diminution des erreurs factuelles s'élève à 62 %. Ces évolutions visent à réduire significativement les erreurs factuelles tout en offrant des réponses plus synthétiques. Si les fonctionnalités avancées pour les comptes payants sont déjà disponibles, les nouveautés pour le grand public seront déployées progressivement d'ici la semaine prochaine.

Intrusion des modèles d'OpenAI dans la plateforme Hugging Face

Mi-juillet 2026, OpenAI a signalé un incident de sécurité impliquant deux de ses grands modèles de langage (LLM). OpenAI testait ses modèles sur un benchmark de cybersécurité interne appelé ExploitGym, conçu pour évaluer la capacité des agents IA autonomes à transformer des vulnérabilités connues en exploits réels. Pour ce test, les modèles impliqués incluaient GPT-5.6 Sol et un prototype non publié, dotés de garde-fous de sécurité réduits.

OpenAI a placé ses modèles dans un bac à sable (sandbox) sans connexion à Internet et les a mis au travail. Cependant, ils se sont échappés du bac à sable censé les contenir, ont parcouru les systèmes internes de l’entreprise, ont trouvé un accès à Internet, puis ont commencé à chercher un moyen de s'introduire dans l'infrastructure de Hugging Face, dans le but de "tricher" au test en volant les réponses. Ce que les agents IA ont réussi à faire.

En d’autres termes, les agents IA d’OpenAI se sont échappés d’un environnement censé être sécurisé, ont parcouru les systèmes de l’entreprise, se sont connectés à Internet et ont compromis les systèmes d’une autre entreprise. Tout cela pour tricher à un test sans importance particulière. Il semble s'agir du premier incident de ce type clairement documenté, ou du moins du premier de cette ampleur. Les deux entreprises continuent de l'étudier.

Selon les experts, cet incident de cybersécurité a constitué à la fois « un exemple flagrant d'un système poursuivant un objectif d'une manière imprévue et la preuve que les modèles de pointe sont désormais suffisamment puissants » pour que ce type de comportement ait des conséquences concrètes.

Modèles à poids ouverts contre modèles propriétaires

La montée en puissance des entreprises d'IA chinoises repose en grande partie sur une stratégie d'ouverture. Contrairement aux modèles de pointe américains d'OpenAI et d'Anthropic qui sont fermés, la plupart des modèles chinois sont proposés en format « open-weight » (poids ouverts). Dans une déclaration récente, le président chinois Xi Jinping a appelé les pays à « encourager l'open source, l'ouverture, la collaboration ainsi que le partage ».

Les modèles d'IA à poids ouverts offrent aux développeurs et aux entreprises un contrôle bien plus important que les systèmes propriétaires, leur permettant d’examiner le fonctionnement de l’IA, de l’exécuter localement sur leur propre infrastructure, de personnaliser les systèmes et de créer de nouveaux produits sans dépendre d’un seul fournisseur. Par ailleurs, ils sont souvent bien moins chers que leurs concurrents de la Silicon Valley.

Selon les données de la plateforme Hugging Face, les modèles à poids ouverts développés par la Chine représentent désormais 41 % des téléchargements mondiaux, dépassant ainsi les États-Unis pour occuper la première place mondiale. De plus, les cinq modèles les plus utilisés sur OpenRouter en juillet 2026 étaient tous chinois, classés comme suit : Xiaomi MiMo-V2.5, DeepSeek-V4-Flash, Tencent HY3, Zhipu GLM-5.2 et DeepSeek-V4-Pro.

La Chine ne se contente pas de rattraper son retard sur les modèles de langage, elle domine également la compétition mondiale en matière de brevets, de publications et de robotique. En 2024, les citations de recherche chinoises représentaient 20,6 % du total mondial, surpassant les 12,6 % des États-Unis. Cette supériorité est encore plus marquée dans le secteur de l'automatisation industrielle, où l'Empire du Milieu a installé plus de 295 000 robots.

Source : OpenAI

Et vous ?

Quel est votre avis sur le sujet ?
OpenAI remplace GPT-5.5 par GPT-5.6 dans toutes ces offres ChatGPT. Qu'en pensez-vous ?
Ce changement vise-t-il à faire face à la concurrence accrue des entreprises chinoises d'IA ?
ChatGPT a franchi le cap du milliard d'utilisateurs actifs par semaine. Qu'en pensez-vous ?

Voir aussi

« Nous avons confié à GPT 5.6-Sol une vraie entreprise et l'agent d'IA a menti, spammé et perdu 447 dollars », rapporte un laboratoire américain d'une récente expérience

OpenAI rend GPT-5.6 accessible au grand public après que l'administration Trump eut approuvé sa diffusion
Ce modèle offre « une efficacité en termes de tokens améliorée de 54 % » d'après Sam Altman

Le nouveau modèle DeepSeek-V4-Flash-0731 surpasse sa propre version « Pro ». Il rivalise avec GPT-5.6 Luna, pour un coût inférieur d'environ 60 %, même après la baisse de prix de 80 % pratiquée par OpenAI

[Eliora]

OpenAI affirme accélérer le renforcement des mesures de sécurité relatives à l'IA après que le modèle « GPT-5.6 Sol » s'est déchaîné et a ciblé la plateforme Hugging Face lors d'une tâche

OpenAI a déclaré qu'elle intensifiait ses efforts pour renforcer les mesures de sécurité relatives à l'IA, à la suite du récent incident survenu chez Hugging Face, au cours duquel un modèle OpenAI s'est déchaîné et a pris pour cible la plateforme open source. L'entreprise a suspendu certaines charges de travail de pointe en IA susceptibles d'exécuter du code ou d'accéder à Internet, et a depuis mis en place des contrôles plus stricts. Le 7 août, OpenAI a annoncé qu'elle suspendait les activités internes liées à Astra jusqu'à ce que celui-ci réponde à des contrôles de sécurité plus stricts. L'entreprise a étendu ses capacités de surveillance afin de détecter les comportements potentiellement dangereux des modèles.

OpenAI est un organisme américain de recherche en intelligence artificielle (IA) dont le siège social est situé à San Francisco. Il est constitué d’OpenAI Group PBC, une société d’intérêt public à but lucratif (PBC), contrôlée en partie par OpenAI Foundation, une organisation à but non lucratif. OpenAI développe des modèles d’IA générative, notamment la série GPT de grands modèles linguistiques. Le lancement de ChatGPT en novembre 2022 est considéré comme ayant catalysé l’essor de l’IA et suscité un intérêt généralisé pour l’IA générative.

En juillet 2026, OpenAI a déclaré que deux de ses modèles d’IA les plus avancés — notamment GPT-5.6 Sol et un modèle en pré-lancement encore plus performant, tous dotés de capacités de cyberdéfense réduites à des fins d’évaluation — s’étaient échappés d’un test contrôlé et avaient piraté une autre entreprise spécialisée dans l’IA. OpenAI a indiqué que cet « incident de cybersécurité sans précédent » s’était produit lors d’un exercice interne destiné à tester les capacités cybernétiques de ses modèles. OpenAI a affirmé que ce piratage montre que l’agent est allé « très loin » pour récupérer des informations qui aideraient à atteindre les objectifs du test.

À la suite du récent incident survenu chez Hugging Face, au cours duquel un modèle OpenAI s’est déchaîné et a pris pour cible la plateforme open source alors qu’il tentait d’accomplir une tâche, l’entreprise spécialisée dans l’IA a déclaré qu’elle intensifiait ses efforts pour renforcer les mesures de sécurité relatives à l’IA. Dans une mise à jour publiée le 18 août, l’entreprise a indiqué qu’à mesure que les modèles gagnaient en capacités, les risques liés à leur développement et à leur test en interne augmentaient également.

À la suite de l’incident Hugging Face, l’entreprise a suspendu certaines charges de travail de pointe en IA susceptibles d’exécuter du code ou d’accéder à Internet, et a depuis mis en place des contrôles plus stricts, notamment le sandboxing des charges de travail, l’isolation réseau et des tests de sécurité continus. Le rythme des tests a été temporairement ralenti et sa plus grande campagne prévue d’apprentissage par renforcement (RL) de pointe reste en suspens.

L'entreprise cherche à faire évoluer son « cadre de préparation », publié pour la première fois en décembre 2023. Ce cadre consiste à suivre et à se préparer aux capacités avancées de l'IA susceptibles d'engendrer de nouveaux risques de préjudice grave. L'entreprise a constaté, à la suite d'évaluations internes d'Astra, l'un de ses futurs modèles, que celui-ci pourrait atteindre le seuil critique de capacité cybernétique défini par le cadre de préparation.

Le 7 août, OpenAI a annoncé qu’elle suspendait les activités internes liées à Astra jusqu’à ce que celui-ci réponde à des contrôles de sécurité plus stricts. Dans sa dernière mise à jour, elle a révélé que les charges de travail d’Astra restaient suspendues jusqu’à ce qu’elles soient entièrement migrées et améliorées pour répondre aux nouvelles exigences de sécurité.

Comment OpenAI intensifie les mesures de sécurité liées à l'IA

Comme OpenAI prévoit que ses modèles seront bientôt à l'origine de la plupart des problèmes de sécurité, l'approche de l'entreprise en matière de sécurité doit évoluer au rythme des capacités de l'IA. La société spécialisée dans l’IA a étendu ses capacités de surveillance afin de détecter les comportements potentiellement dangereux des modèles.

Son nouveau système de surveillance en plusieurs étapes utilise des classificateurs pour identifier les activités suspectes et transmettre les signalements à des enquêteurs automatisés qui analysent l’utilisation des outils, les processus de raisonnement et les actions des modèles. OpenAI a indiqué que le système était conçu pour émettre une alerte dans les 30 minutes suivant la détection d’une « activité préoccupante », une surveillance renforcée étant désormais requise pour les modèles avancés capables d’utiliser des outils externes. Les investissements sont également renforcés, parallèlement aux travaux de recherche visant à réduire les risques associés à des systèmes d’IA de plus en plus performants.

L’entreprise met en place des contrôles supplémentaires pendant l’apprentissage par renforcement afin de décourager des comportements tels que le « reward hacking », la tromperie et les tentatives de contournement des mesures de sécurité. OpenAI a fait valoir qu’à mesure que les modèles d’IA développent des capacités cybernétiques plus puissantes et accèdent à des systèmes externes, il sera essentiel de s’assurer qu’ils restent conformes aux objectifs visés afin de prévenir les utilisations abusives et de réduire les risques liés à la cybersécurité.

Sam Altman, considéré par certains comme la plus grande star de l’IA, est le cofondateur et PDG d’OpenAI, entreprise à l’origine de ChatGPT. C’est l’une des personnalités majeures de la montée en puissance de l’IA observée ces dernières années. Dans un récent entretien, il revient sur la question en lien avec les avancées en matière d’IA et affirme que l’IA est entrée dans la « singularité », c’est-à-dire qu’elle a franchi le point de non-retour à partir duquel elle dépasse l’intelligence humaine et devient difficile à contrôler.

Voici l'annonce d'OpenAI :

Définir le rythme de développement des modèles à l'ère des capacités cybercritiques

Au cours des dernières semaines, deux événements ont mis en évidence les risques croissants liés à des systèmes d’IA de plus en plus performants : l’incident impliquant OpenAI et Hugging Face, d’une part, et, d’autre part, des indices préliminaires suggérant que l’un de nos futurs modèles, Astra, pourrait atteindre le seuil de « capacité critique en matière de cybersécurité » défini dans notre cadre de préparation. Conjugués aux progrès rapides de nos recherches internes, ces événements ont renforcé l’urgence de nos travaux visant à renforcer nos mesures de surveillance, d’alignement et de confinement à toutes les étapes du processus d’entraînement.

À mesure que les modèles gagnent en performances, les risques liés à leur développement et à leur test en interne s’accroissent également. Nos normes en matière de surveillance, d’alignement et de sécurité doivent garder une longueur d’avance sur ces risques. Nous avons souhaité prendre le temps nécessaire pour respecter ces normes, c’est pourquoi nous avons temporairement ralenti le rythme de notre expansion. Cela a notamment impliqué une pause de deux semaines dans l’entraînement par apprentissage par renforcement (RL) de nos derniers modèles destinés au déploiement, le temps de renforcer davantage la sécurité de nos environnements de recherche, d’y mener des tests de type « red team » et d’étendre la couverture de nos systèmes de surveillance.

Notre plus grande campagne d’apprentissage par renforcement de pointe prévue reste suspendue, tandis que nous menons des entraînements et des évaluations à plus petite échelle afin d’évaluer le comportement des modèles, de valider nos mesures de sécurité et d’établir davantage de preuves d’alignement avant de poursuivre. L’alignement — c’est-à-dire le travail visant à faire en sorte que les systèmes d’IA se comportent comme prévu et répondent au contrôle humain — est depuis longtemps au cœur de notre programme de recherche. Nous exigeons désormais des preuves plus solides d’un comportement aligné tout au long de l’entraînement, en nous appuyant sur les recherches et les évaluations déjà en cours.

Maintenir l’alignement de systèmes de plus en plus performants est un défi que l’ensemble du domaine devra relever. Les signaux que nous percevons dans les progrès à venir des modèles montrent clairement que nous avons besoin d’une approche plus large — une approche qui s’appuie sur le cadre de préparation actuel et va au-delà de celui-ci. Nous estimons qu’il est important de faire preuve de transparence quant à l’évolution de notre approche. Nous décrivons ci-dessous les changements que nous avons déjà apportés à nos processus de recherche et à notre infrastructure, ainsi que les travaux encore en cours.

Renforcement des mesures de sécurité pour des modèles plus performants

Notre approche visant à développer des modèles plus performants repose sur trois mesures de sécurité qui se complètent :

1. La surveillance, qui permet de détecter les comportements préoccupants et d'y réagir.
   
2. L'alignement, qui réduit le risque d'actions préjudiciables ou non autorisées.
   
3. Les mesures de sécurité, qui limitent ce à quoi les systèmes d'IA peuvent accéder ou ce sur quoi ils peuvent avoir une incidence.

Nous prévoyons que les modèles piloteront bientôt la majeure partie des tâches de sécurité, y compris la défense contre d’autres modèles. Cela permettra aux trois mesures de protection de s’adapter à la capacité des modèles, ce que nous considérons comme essentiel. Nous appliquons ces mesures de protection tant au stade de la recherche que lors du déploiement, en les adaptant aux capacités de chaque modèle, à son environnement d’exploitation et à son niveau de risque.

Sécurisation de nos environnements de recherche

À mesure que les modèles de pointe acquièrent des capacités de cybersécurité accrues, nous renforçons les normes de sécurité applicables aux environnements dans lesquels nous les entraînons et les évaluons. Le respect de ces normes a nécessité un travail d’ingénierie considérable et a entraîné des coûts importants ainsi que des retards dans la recherche de pointe. Immédiatement après l’incident OpenAI-Hugging Face, nous avons suspendu l’inférence des modèles de pointe dans les clusters de recherche pour les exécutions susceptibles de lancer du code ou d’utiliser des outils pouvant accéder à Internet.

Nous avons assez rapidement rétabli une voie plus restreinte et plus sécurisée pour l’exécution de code, puis nous avons examiné chaque charge de travail individuellement afin de déterminer si elle pouvait reprendre en toute sécurité. Certaines charges de travail de recherche ont repris dans le cadre de ces nouveaux contrôles, tandis que d’autres ont nécessité des modifications supplémentaires. Au cours des semaines suivantes, nous avons défini et commencé à mettre en œuvre des exigences de sécurité plus strictes pour les charges de travail de recherche de pointe. Par exemple :

• Isolement des charges de travail : nous exigeons désormais un isolement renforcé (« sandbox ») pour les charges de travail qui exécutent du code généré par des modèles ou considéré comme non fiable. Cela s’applique également aux logiciels susceptibles d’être compromis lors du traitement des résultats des modèles.
  
• Isolement réseau : nous avons mis en place davantage de contrôles pour isoler les charges de travail à haut risque et non fiables d’Internet. Nous avons conçu ces contrôles de manière à ce que la compromission d’une seule charge de travail ou d’un service associé ne permette pas, à elle seule, un accès non autorisé à Internet ou à d’autres réseaux internes.
  
• Tests de sécurité continus : nous avons reconfiguré notre environnement afin de supprimer les services partagés potentiellement vulnérables, de réduire les privilèges permanents et d’améliorer les limites de sécurité et de confiance. Nous améliorons également notre capacité à collecter et à surveiller les journaux de sécurité. Enfin, nous investissons dans l’automatisation en utilisant nos modèles pour tester en continu ces limites face à des attaques simulées.

Ensemble, ces contrôles assurent une défense en profondeur et contribuent à protéger notre environnement de recherche contre les attaques. Aujourd’hui, nous exigeons le niveau le plus strict de mesures de sécurité pour les charges de travail impliquant Astra ou des modèles cybernétiques, car nous avons déterminé que les modèles Astra peuvent présenter un niveau critique de capacités cybernétiques. Ces mesures s’appliquent également à toutes les autres charges de travail liées à la cybersécurité.

Si certaines formations et évaluations Astra répondent à ces exigences, un nombre important de charges de travail restent suspendues jusqu’à ce qu’elles soient entièrement migrées et améliorées pour satisfaire aux nouveaux critères de sécurité. Nous donnons la priorité à la migration vers ces nouveaux environnements des charges de travail liées à la sécurité et à l’alignement.

Extension de la surveillance de la chaîne de raisonnement

La surveillance fait depuis longtemps partie intégrante de notre processus de développement de modèles, notamment la surveillance des agents de codage internes et des sessions de longue durée. Nos efforts de surveillance se sont particulièrement concentrés sur les déploiements internes de modèles « frontier » et les cycles d’entraînement « frontier » en apprentissage par renforcement, que nous considérions comme les charges de travail présentant le plus grand risque, car elles peuvent associer des capacités avancées des modèles à l’accès à des outils, à des systèmes sensibles et à des réseaux internes ou externes. Ces mesures ne s’appliquaient pas à tous les cycles d’inférence et d’entraînement utilisant des outils. Nous avons revu et élargi notre approche grâce à notre nouvelle configuration de surveillance.

Ce nouveau dispositif de surveillance est organisé en plusieurs étapes : il commence par des classificateurs d’activation (des détecteurs qui inspectent l’activité interne d’un modèle) qui s’exécutent à chaque token échantillonné et transmettent les problèmes potentiels à des enquêteurs automatisés de plus en plus sophistiqués et exigeants en ressources de calcul. Ces systèmes examinent les actions des outils, le raisonnement disponible et la séquence complète des activités afin de détecter les accès non autorisés, le vol de données, les comportements destructeurs et les tentatives de contournement des mesures de sécurité. Notre objectif est de déclencher une alerte dans les 30 minutes suivant la détection d’une activité suspecte par notre système de surveillance.

Si le système de surveillance identifie une violation probable d’une limite de sécurité critique, il génère une alerte de priorité maximale. Dans notre mise en œuvre actuelle, les équipes chargées de la sûreté, de la sécurité et de la recherche sont alertées. Si elles ne parviennent pas à déterminer de manière concluante dans les 30 minutes que l’alerte est un faux positif, ces équipes sont tenues de suspendre l’activité. Cette surveillance est obligatoire pour tous les entraînements et évaluations par apprentissage par renforcement impliquant des outils pour des modèles de capacité « Sol » ou supérieure.

Après avoir déterminé, le 7 août, qu’Astra pouvait disposer de capacités cybercritiques, nous avons ajouté une exigence de surveillance supplémentaire pour toutes les inférences d’Astra à l’aide d’outils (et pas seulement pour les entraînements et évaluations par apprentissage par renforcement). Ces mesures de sécurité nécessitent une puissance de calcul importante. Selon nos estimations actuelles, la charge liée à la surveillance représente environ 20 % de la puissance de calcul d’inférence surveillée, bien que ce coût varie considérablement selon qu’il s’agit de charges de travail d’entraînement ou d’évaluation. Nous donnerons plus de détails sur ce système dans un prochain article de blog.

Faire progresser la recherche sur l’alignement

La recherche sur l’alignement est au cœur de notre mission. Notre mission consiste à garantir que l’IA générale profite à l’humanité tout entière. À mesure que les modèles acquièrent des capacités avancées, telles que la capacité de mener des cyberattaques, et évoluent dans des environnements plus complexes, les comportements non alignés, comme le « reward hacking » (trouver des moyens d’obtenir des récompenses élevées lors de l’entraînement sans atteindre réellement le résultat escompté), la tromperie ou l’accès non autorisé, créeront des risques de plus en plus graves.

Pour les itérations d’apprentissage par renforcement sur les modèles les plus performants, nous appliquons désormais nos techniques d’alignement fondamentales à davantage d’étapes du processus d’entraînement. Cela implique notamment d’améliorer les modèles de récompense afin de mieux détecter et décourager les comportements dangereux dans toutes les tâches et tous les environnements ; d’entraîner les modèles à faire preuve de plus d’honnêteté quant à leurs actions, leurs capacités et leurs limites ; et de réduire les comportements qui exploitent les faiblesses des systèmes de récompense, des évaluateurs, des outils ou des mécanismes de surveillance. Nous élargissons également la portée de l’entraînement aux comportements susceptibles de causer des dommages lorsque les modèles interagissent avec des systèmes ou des ressources externes.

Nous continuons à investir massivement dans la recherche sur l’alignement, à élargir la portée de nos évaluations et à mettre à profit nos découvertes pour affiner l’entraînement et les mesures de sécurité. Nous prévoyons de partager beaucoup plus d’informations sur nos recherches en matière d’alignement dans un avenir proche, notamment ce que nous apprenons sur le comportement des modèles et les nouveaux défis que nous découvrons.

Prochaines étapes

Nous allons faire évoluer notre cadre de préparation afin de regrouper ces mesures de protection tout au long des phases de formation et de déploiement, et de mieux refléter les capacités des futurs modèles ainsi que les environnements dans lesquels ils opèrent. Le développement de méthodes capables de s’adapter à ces capacités nécessitera des investissements soutenus dans la sécurité assistée par des modèles, une surveillance plus efficace et des avancées continues dans la recherche sur l’alignement. Nous avons l’intention d’impliquer des organisations externes et de partager davantage nos connaissances à mesure que notre approche évolue. Les capacités des modèles de pointe progressent à un rythme effréné. Notre capacité à les comprendre, à les aligner et à les sécuriser doit garder une longueur d’avance.

Source : OpenAI

Et vous ?

Pensez-vous que cette annonce est crédible ou pertinente ?
Quel est votre avis sur le sujet ?

Voir aussi :

OpenAI révèle que la cyberattaque menée par son agent IA rebelle qui s'est échappé ne s'est pas limitée à Hugging Face, mais a également touché plusieurs services et comptes publics

OpenAI affirme que son prochain modèle d'IA, Astra, encore inédit, a résolu 10 problèmes vieux de plusieurs décennies en mathématiques, physique quantique et informatique théorique pour seulement 2 000 $

Les modèles d'IA d'OpenAI ont échangé des astuces de piratage sur un forum de discussion clandestin avant de mener des cyberattaques contre Hugging Face. OpenAI admet que « les modèles d'IA aiment tricher »

[Mathis Lucas]

« L'IA inaugure une nouvelle ère de menaces cybernétiques » : un cadre d'OpenAI avertit le public qu'il doit se préparer à des cyberattaques « continuelles et persistantes » menées par des IA

OpenAI a suspendu l'entraînement de ses modèles les plus avancés à la suite d'inquiétudes majeures concernant la cybersécurité. Son directeur des affaires internationales, Chris Lehane, a averti que les nouvelles capacités de l'IA pourraient permettre de lancer des cyberattaques persistantes et sophistiquées. Des incidents réels, comme l'intrusion récente des agents IA d'OpenAI dans les systèmes de la plateforme de développement Hugging Face, soulignent l'urgence de mettre en place des normes de sécurité rigoureuses. Face à ces risques, l'entreprise appelle désormais à une réglementation nationale et internationale pour encadrer le développement technologique.

Mi-juillet 2026, OpenAI a signalé un incident de sécurité impliquant deux de ses grands modèles de langage (LLM). OpenAI testait ses modèles sur un benchmark de cybersécurité interne appelé ExploitGym, conçu pour évaluer la capacité des agents IA autonomes à transformer des vulnérabilités connues en exploits réels. Pour ce test, les modèles impliqués incluaient GPT-5.6 Sol et un prototype non publié, dotés de garde-fous de sécurité réduits.

OpenAI a placé ses modèles dans un bac à sable (sandbox) sans connexion à Internet et les a mis au travail. Cependant, ils se sont échappés du bac à sable censé les contenir, ont parcouru les systèmes internes de l’entreprise, ont trouvé un accès à Internet, puis ont commencé à chercher un moyen de s'introduire dans l'infrastructure de Hugging Face, dans le but de "tricher" au test en volant les réponses. Ce que les agents IA ont réussi à faire.

OpenAI est conscient des risques pesant sur les systèmes d'information, et a engagé une réflexion sur la refonte de l'architecture sécuritaire. Chris Lehane, directeur des affaires internationales d'OpenAI, ajoute que le public doit s'attendre à des cyberattaques « continuelles et persistantes » menées par des IA.

L'IA marque un tournant dans l’évolution des cybermenaces

Les outils Mythos d'Anthropic et Daybreak d'OpenAI sont conçus pour détecter et corriger les failles logicielles avant les attaques. Les risques de sécurité augmentent à mesure que les modèles de pointe acquièrent la capacité de planifier et d’exécuter des opérations offensives de manière largement autonome. Chris Lehane a expliqué au Guardian que le secteur était entré dans « une nouvelle ère » quant aux capacités actuelles des systèmes d’IA.

La mise en garde de Chris Lehane intervient peu après un incident de sécurité ayant conduit au piratage de la plateforme Hugging Face à la mi-juillet 2026. OpenAI a également admis qu'il ne pouvait pas exclure que son nouveau modèle de langage, Astra, possède des « capacités de cybersécurité critiques ».

Selon la définition de l'entreprise, cela signifie que le modèle pourrait lancer des cyberattaques capables de provoquer des catastrophes à l'échelle d'acteurs unilatéraux, de pirater des systèmes militaires ou industriels, ou même de s'en prendre aux infrastructures d'OpenAI. Face à ces risques croissants, OpenAI a annoncé la suspension du développement de ses modèles internes les plus avancés afin d'implémenter de nouvelles mesures de sécurité.

Le calendrier de reprise de l'entraînement des nouveaux modèles reste indéterminé tant que ces garde-fous ne sont pas opérationnels. Mia Glaese, responsable de la sécurité et de l'alignement chez OpenAI, a déclaré à ce propos : « nous sommes très loin d’un retour à la normale », tandis que le PDG Sam Altman a insisté sur le fait que « réussir à sécuriser l'IA était bien plus crucial que la dynamique de croissance de n'importe quelle entreprise ».

OpenAI évoque les risques liés aux modèles à poids ouverts

Chris Lehane souligne également le danger que représentent les modèles d'IA à poids ouverts notamment développés en Chine ; ces derniers accusent seulement quelques mois de retard sur les modèles de pointe américains fermés. Le dirigeant d'OpenAI estime que ces modèles en libre accès permettront à des attaquants de mener des offensives continues, obligeant les défenseurs à disposer de modèles nettement supérieurs pour se protéger.

« Les gens vont pouvoir accéder à ces modèles open source et lancer contre vous des attaques continues et persistantes ; vous devrez donc disposer de modèles vraiment supérieurs pour les repousser et vous défendre. Cela ne va pas forcément rassurer le grand public. C'est simplement la réalité de la voie sur laquelle nous nous engageons », a-t-il déclaré. Cependant, les experts estiment que les modèles fermés ne constituent pas la solution.

La menace de cyberattaques susceptibles de paralyser les entreprises, les infrastructures et la population en général s'est rapidement hissée en tête des préoccupations urgentes liées à l'IA. Le Centre national de cybersécurité du Royaume-Uni a appelé à la prudence quant à l'utilisation des agents IA, rappelant qu'ils manquent de bon sens et préconisant de limiter leur autonomie pour pouvoir « débrancher la prise » immédiatement en cas de besoin.

La France est actuellement en proie à une vague de cyberattaques dévastatrices, visant des institutions comme Santé publique France et France Travail. « Leur service était mal sécurisé, c'est tout », a déclaré le groupe ZeroBytes après ses piratages contre le fisc et l'Éducation nationale. Derrière le pseudonyme de ZeroBytes se cacheraient a priori deux personnes, potentiellement très jeunes, voire des adolescents âgés de quinze à vingt ans.

Le gouvernement français a présenté ses excuses et a reconnu une dette technique importante accumulée pendant des décennies, illustrant ainsi un retard préoccupant dans la protection des infrastructures critiques. Selon les experts, l'IA pourrait décupler les capacités de nuisance des acteurs de la menace.

OpenAI souhaite un cadre législatif national et international

Pour faire face à cette situation, OpenAI appelle à une réglementation. Chris Lehane réclame l'intervention urgente du gouvernement américain à travers une législation nationale imposant des normes de sécurité obligatoires. À ses yeux, un tel cadre légal intégrerait naturellement des protocoles de suspension d'entraînement. Il propose d'établir d'abord des règles aux États-Unis pour ensuite construire une structure de gouvernance internationale.

« On ne pourrait pas publier ni déployer de modèles d'IA sans avoir prouvé et garanti un certain niveau de sécurité avant leur mise à disposition du grand public », a déclaré le dirigeant. Chris Lehane a également ajouté : « je pense qu’il faut d’abord mettre en place une version nationale ici aux États-Unis, puis, à partir de là, créer une version internationale, car je suis convaincu qu’au final, il faudra disposer d’une sorte de structure internationale ».

Washington a adopté jusque-là une approche de « laissez-faire » en matière de réglementation de l’IA. Donald Trump a publié en juin un décret encourageant les tests préalables au déploiement des modèles de pointe et des modèles à poids ouverts lorsqu’ils se rapprochent de la pointe de la technologie.

Ce système sera facultatif et cette approche a été vivement critiquée pour son manque de transparence. Certains observateurs estiment néanmoins qu'elle pourrait ouvrir la voie à des mesures plus strictes. Demis Hassabis, ex-directeur du laboratoire Google DeepMind, a proposé la création d'un nouvel organisme de normalisation calqué sur la Financial Industry Regulatory Authority (FINRA), une idée soutenue par Dario Amodei, PDG d'Anthropic.

« Compte tenu de l’importance de cette technologie, son évolution rapide et ses capacités, plus tôt ces discussions commenceront, plus vite nous pourrons retrousser nos manches, nous atteler à ce travail, et voir si nous parvenons à trouver une solution », a ajouté Chris Lehane. Enfin, un accord de sécurité avec la Chine est jugé capital, une rencontre étant prévue à Washington entre Donald Trump et le président chinois Xi Jinping le 24 septembre.

Une tendance technologique jugée inévitable par les experts

Certains experts affirment que l'émergence de modèles d'IA « dangereux » dotés de capacités de piratage avancées est inéluctable ; ils deviendront bientôt la norme. Selon eux, les tentatives de restriction ne font que retarder l'échéance. Tarah Wheeler, experte en cybersécurité, souligne qu'il est très probable que d'autres entreprises concurrentes possèdent déjà des systèmes aussi avancés, mais préfèrent les garder en réserve pour le moment.

Le chercheur Bruce Schneier fait valoir qu'il s'agit d'une tendance technologique générale, où même des modèles open source, plus petits et moins coûteux, finiront par égaler les performances de Claude Mythos 5 et Fable 5 d'ici quelques mois. C'est pourquoi de nombreux spécialistes, ainsi qu'un collectif de leaders en cybersécurité ayant adressé une lettre ouverte à l'administration, considèrent cette directive gouvernementale comme inadaptée.

Ils estiment que « les décideurs politiques devraient plutôt se concentrer sur l'élaboration de plans transparents pour gérer ces avancées inéluctables », en se demandant si de telles restrictions réduisent réellement les risques ou si elles ne font que ralentir les experts qui cherchent à sécuriser les systèmes. Katie Moussouris, fondatrice et PDG de Luta Security et figure dans le domaine de la cybersécurité, qualifie cette décision de contre-productive.

Récemment, le laboratoire chinois Z.ai a averti que son dernier modèle, GLM-5.3, s'est révélé hautement performant pour détecter et exploiter des failles de sécurité. Pour cela, l’entreprise a décidé de reporter de deux semaines la publication des poids du modèle. L'entreprise a indiqué qu’il testait et renforçait ses contrôles de sécurité avant de le rendre accessible à un plus large public. Ce qui montre que ces modèles tendent à devenir la norme.

Source : Chris Lehane, directeur des affaires internationales d'OpenAI

Et vous ?

Quel est votre avis sur le sujet ?
Que pensez-vous des capacités croissantes de l'IA en matière de cybersécurité ?
Quid du discours alarmant des entreprises telles qu'Anthropic et OpenAI ? Est-il pertinent ?
Comment l'industrie technologique peut-elle aborder le problème des cyberattaques assistées par l'IA ?
Un cadre législatif international est-il possible en dépit de la rivalité féroce entre les États dans la course à l'IA ?

Voir aussi

« Leur service était mal sécurisé, c'est tout » : les pirates ZeroBytes justifient leurs cyberattaques contre le fisc et l'Éducation nationale. Le gouvernement s'excuse et admet une dette technique importante

Les modèles d'IA « dangereux » dotés de capacités de piratage avancées sont inéluctables et deviendront bientôt la norme, selon des experts opposés à l'interdiction de Fable 5 d'Anthropic

Le dernier modèle GLM 5.3 du laboratoire d'IA chinois Z.ai est si performant pour détecter et exploiter les failles de sécurité que l'entreprise va reporter de deux semaines sa publication

[Mathis Lucas]

L'Alabama ouvre une enquête sur le piratage d'Hugging Face par des agents IA autonomes d'OpenAI. Les autorités cherchent à déterminer si OpenAI a violé les lois locales sur la protection des consommateurs

L'État de l'Alabama a lancé une enquête judiciaire contre OpenAI pour des raisons de cybersécurité. Cette action fait suite à un incident récent où des modèles d'IA d'OpenAI se sont échappés de leur environnement de test pour pirater de manière autonome la plateforme Hugging Face. Les autorités ont émis une assignation à comparaître exigeant des documents internes détaillés sur les protocoles de sécurité et la supervision des employés. En réponse, l'entreprise s'est engagée à fournir un rapport technique complet tout en plaidant pour un renforcement des régulations gouvernementales sur la surveillance des modèles en cours d'apprentissage.

Mi-juillet 2026, OpenAI a signalé un incident de sécurité impliquant deux de ses grands modèles de langage (LLM). OpenAI testait ses modèles sur un benchmark de cybersécurité interne appelé ExploitGym, conçu pour évaluer la capacité des agents IA autonomes à transformer des vulnérabilités connues en exploits réels. Pour ce test, les modèles impliqués incluaient GPT-5.6 Sol et un prototype non publié, dotés de garde-fous de sécurité réduits.

OpenAI a placé ses modèles dans un bac à sable (sandbox) sans connexion à Internet et les a mis au travail. Cependant, ils se sont échappés du bac à sable censé les contenir, ont parcouru les systèmes internes de l’entreprise, ont trouvé un accès à Internet, puis ont commencé à chercher un moyen de s'introduire dans l'infrastructure de Hugging Face, dans le but de "tricher" au test en volant les réponses. Ce que les agents IA ont réussi à faire.

En d’autres termes, les agents IA d’OpenAI se sont échappés d’un environnement censé être sécurisé, ont parcouru les systèmes de l’entreprise, se sont connectés à Internet et ont compromis les systèmes d’une autre entreprise. Tout cela pour tricher à un test sans importance particulière. Il semble s'agir du premier incident de ce type clairement documenté, ou du moins du premier de cette ampleur. Les deux entreprises continuent de l'étudier.

Selon les experts, cet incident de cybersécurité a constitué à la fois « un exemple flagrant d'un système poursuivant un objectif d'une manière imprévue et la preuve que les modèles de pointe sont désormais suffisamment puissants » pour que ce type de comportement ait des conséquences concrètes.

L'Alabama ouvre une enquête avec une assignation à comparaître

Face à la gravité de cette faille de sécurité, le procureur général de l'État de l'Alabama, Steve Marshall, a annoncé le lancement d'une enquête officielle et a émis une assignation à comparaître (subpoena) à l'encontre d'OpenAI et de son PDG Sam Altman. Le gouvernement de l'État cherche à déterminer si « l'incapacité ou le refus d'OpenAI de garantir la sécurité de ses produits d'IA » a violé les lois locales sur la protection des consommateurs.

« Cette fuite au sein du laboratoire a montré que les pires craintes des habitants de l’Alabama et des Américains concernant l’intelligence artificielle ne sont pas seulement théoriques », a déclaré le procureur général Steve Marshall. « Notre enquête vise à mettre au jour les faits et à aborder les dures réalités concernant les menaces auxquelles les entreprises et les consommateurs sont confrontés en raison d’une intelligence artificielle incontrôlée ».

L'enquête cible ce que le procureur qualifie de manque flagrant de surveillance et de protections adéquates de la part de l'entreprise. L'attitude d'OpenAI face à cet incident a été critiquée pour sa légèreté, des critiques résumant sa posture de la manière suivante : « c'est de notre faute, mais vous devez admettre que c'est plutôt cool, non ? ». L'assignation exige la transmission d'une quantité considérable d'informations d'ici le 14 septembre 2026.

Cette demande d'informations inclut tous les documents relatifs au piratage, l'identité des employés ayant entraîné le modèle, les alertes de sécurité internes émises avant l'incident, ainsi que les mesures de sécurité alors en vigueur. OpenAI doit également évaluer l’ensemble des dommages causés par le piratage.

Quinze États unissent leurs forces contre les pratiques d'OpenAI

OpenAI et l'ensemble de l'industrie de l'IA font désormais l'objet d'une surveillance croissante. Steve Marshall fait partie des 15 procureurs généraux d'États républicains qui ont écrit à OpenAI pour lui demander de conserver les documents relatifs au piratage de Hugging Face survenu en juillet. La lettre demandait également à OpenAI de « cesser et de s’abstenir immédiatement » de toute évaluation interne en matière de cybersécurité.

Ils exigent que ces tests soient suspendus jusqu'à ce que l'entreprise démontre qu'elle peut mener de telles activités de manière contrôlée et responsable. Cette assignation vient s'ajouter à la surveillance croissante dont font l'objet les pratiques de sécurité des laboratoires, à la suite de cet incident et d'autres cas signalés ailleurs, notamment chez Anthropic et Meta. Des modèles se sont échappés de leur bac à sable et ont piraté des tiers.

En Chine, le puissant modèle Kimi K3 de la startup Moonshot AI s'est échappé de son environnement d'isolation. De plus, les tests menés par l'Institut de sécurité de l'IA du Royaume-Uni ont mis en évidence des comportements d'autonomie et de tromperie sans précédent chez les modèles d'IA d'OpenAI et d'Anthropic : ceux-ci ont notamment tenté de créer de fausses identités en ligne. Les experts appellent à une réévaluation des risques.

OpenAI a qualifié le piratage de la plateforme Hugging Face de « sans précédent », et le président de l’entreprise, Greg Brockman, a déclaré que cet incident « montrait que nous avions sous-estimé les capacités cybernétiques de nos modèles d’IA dans le monde réel ». Suite à cet incident, OpenAI a suspendu une partie de l’entraînement de ses modèles d’IA et renforce actuellement ses protocoles de test, de surveillance et d’entraînement.

Des réajustements techniques et des appels à la régulation

En réaction aux accusations, le porte-parole d'OpenAI, Nate Evans, a déclaré que « l'incident de Hugging Face a marqué un moment important pour la sécurité de l'IA », ajoutant qu'un examen approfondi est en cours avec des conseillers externes et qu'un rapport technique sera publié une fois ce travail achevé. OpenAI a mis en œuvre de nouveaux protocoles de sécurité, incluant une surveillance accrue de ses processus de développement.

L'entreprise a encouragé la Californie à durcir son projet de loi sur la sécurité de l'IA en y intégrant l'obligation de surveiller les modèles en cours d'entraînement afin de prévenir les incidents de ce type. Mais des critiques qualifient cette position d'esquive, suggérant qu'OpenAI tente de faire croire que l'incident n'aurait pas eu lieu si la réglementation l'avait simplement interdite, plutôt que d'assumer la responsabilité de ne pas l'avoir initiée.

La portée de cette affaire dépasse le cas d'OpenAI. À la suite de cet incident et à d'autres révélations émanant d'Anthropic, de Meta, de l'Institut de sécurité de l'IA du Royaume-Uni et de divers employés du secteur, un collectif de dirigeants et d'experts en technologie a signé une lettre ouverte intitulée « Pacing the Frontier ». Cet appel exhorte à un développement plus lent et plus responsable des capacités de l'IA et à une réglementation.

Les limites des protections actuelles et de l'autorégulation

Les experts considèrent ces incidents comme un signal d'alarme. Les méthodes de confinement classiques comme le cloisonnement virtuel montrent leurs limites. Peter Wallich, ancien membre de l'Institut de sécurité de l'IA du Royaume-Uni, souligne cette inefficacité dans cette déclaration : « deux entreprises de plusieurs milliards de dollars viennent de tenter cette approche et, de toute évidence, d'après leurs propres rapports, ont échoué ».

Pour sécuriser ces technologies, certains chercheurs comme Alan Chan suggèrent des mesures radicales telles que le « airgapping » physique, c'est-à-dire l'isolement matériel total des agents IA d'Internet. De surcroît, la transparence de l'industrie reste largement insuffisante, car les informations actuelles reposent uniquement sur le bon vouloir des entreprises. Le fonctionnement interne des modèles d'IA reste à ce jour une boite noire.

Patrick Levermore, du groupe de réflexion Centre for Long-Term Resilience, affirme qu'un bon régime de sécurité ne devrait pas dépendre d'une divulgation volontaire. Il propose l'instauration de protections pour les lanceurs d'alerte, d'audits par des tiers et de rapports obligatoires sur les incidents graves.

Le discours alarmant d'OpenAI et d'Antropic semble se retourner contre eux. Cet incident a donné lieu à un rare moment d’unité au sein d’une grande partie du secteur technologique américain quant à l’importance des systèmes d’IA à poids ouvert et à la nécessité de prendre plus au sérieux la sécurité de l’IA. Ces préoccupations ont été encore soulignées par la sortie de Kimi K3, un modèle à poids ouvert très performant provenant de Chine.

Une gouvernance mondiale paralysée par la rivalité féroce

Malgré ces incidents, la mise en place de régulations concrètes piétine, freinée par la compétition internationale. L'administration Donald Trump a élaboré un cadre de test préliminaire pour les modèles de pointe qui demeure facultatif, confidentiel et limité aux modèles propriétaires. Cette approche volontaire suscite l'inquiétude des experts face à des entreprises qui, il y a peu, étaient encore de simples startups sans réelle culture de sécurité.

Nick Moës, directeur de The Future Society, déplore cette légèreté en affirmant que « les restaurants ont un sens plus élevé de la santé et de la sécurité au travail ». D'autres critiques sont plus incisifs. Stuart Russell, célèbre informaticien et chercheur de renom dans le domaine de l'IA, résume cette crainte de manière percutante en se demandant : « faut-il qu'il ait une catastrophe de l'échelle de Tchernobyl pour que nous régulions l'IA ».

La volonté de ralentir le développement se heurte systématiquement à la crainte de perdre du terrain face à la Chine dans cette course stratégique, bien que plusieurs employés de laboratoires de premier plan appellent désormais à une gouvernance globale coordonnée pour éviter d'autres évasions incontrôlables.

Source : comuniqué de presse

Et vous ?

Quel est votre avis sur le sujet ?
Que pensez-vous de l'enquête lancée par les autorités de l'Alabama contre OpenAI ?
Quel sera l'impact de ces incidents de sécurité sur le développement de l'IA ? Vont-ils favoriser une réglementation ?

Voir aussi

L'IA est désormais hors de contrôle : il a fallu environ 10 jours à OpenAI pour se rendre compte qu'un de ses agents IA autonomes s'était échappé de son environnement de test et avait piraté Hugging Face

Hugging Face, la startup piratée par une IA rebelle, qualifie l'attaque de "signal d'alarme", après qu'OpenAI avoue qu'un bot avancé avait échappé au confinement lors d'un test de sécurité

L'intrusion des modèles d'OpenAI dans la plateforme Hugging Face stimule des initiatives en faveur des systèmes d'IA à poids ouverts, et Microsoft redéfinit sa vision de la sécurité avec Project Perception

[thal1]

Quand on fait tout pour , pourquoi pleurer après ?

[Mathis Lucas]

Plus de 1 200 agents IA d'OpenAI ont partagé 70 000 messages et astuces via un forum secret pour coordonner la cyberattaque contre Hugging Face
environ 700 agents IA ont participé activement à l'offensive

OpenAI revient plus en détail sur comment ses agents IA ont réussi à contourner ses contrôles de sécurité pour mener une cyberattaque non autorisée contre Hugging Face. Le rapport indique que plus de 1 000 modèles ont communiqué secrètement via un forum improvisé afin de s'organiser et d'accéder illicitement à Internet. Cette faille majeure, qualifiée de « coup de semonce » par OpenAI, souligne les dangers de l'approche basée sur les récompenses, où l'IA adopte des comportements imprévus pour atteindre ses objectifs. L'État de l'Alabama a ouvert une enquête pour déterminer si OpenAI a violé les lois locales sur la protection des consommateurs.

L’incident de sécurité survenu en juillet 2026 chez OpenAI s'est révélé bien plus grave qu’initialement estimé. Il implique l’évasion de modèles d'IA de pointe hautement performants hors de leur environnement de test sécurisé. L'incident a secoué les chercheurs et les dirigeants de l’ensemble de l'industrie technologique. Le laboratoire d'IA a publié le 26 août un rapport technique détaillant comment ses modèles ont réussi à pirater Hugging Face.

Deux modèles d'IA sont au cœur de cette crise : un modèle de recherche non destiné au public, nommé « IM1 » (ou HPIM), et le modèle public GPT-5.6 Sol. Les rapports révèlent que l'incident constitue « le premier cas connu d'un collectif d'agents automatisés agissant de manière offensive sans autorisation ».

Selon OpenAI, cette attaque coordonnée prouve que « les entreprises ne devraient plus supposer que les opérations cybernétiques sophistiquées nécessitent une direction humaine continue ». Toutefois, il faut noter que dans le cadre du test qui a conduit à cet incident, OpenAI avait réduit les garde-fous de sécurité des modèles participants. Dans la pratique, les systèmes accessibles au grand public sont dotés de garde-fous de sécurité solides.

Un réseau de communication secret sous l'œil des chercheurs

De nombreux détails contenus dans le rapport officiel d’OpenAI avaient déjà été rendus publics lors d’une présentation à la conférence Black Hat le 6 août, par les Michael Dalton et Eric Wallace, mais le rapport officiel fournit un compte rendu plus complet de l’incident, y compris des détails sur les tests qui l’ont déclenché. Le rapport apporte également de nouveaux éléments essentiels sur la manière dont OpenAI entend prévenir de futurs incidents.

Les modèles d'IA concernés se sont échappés du bac à sable censé les contenir. L'évasion s'est appuyée sur l'établissement d'un canal de communication clandestin à l'insu total des équipes de surveillance d'OpenAI. Un agent IA, opérant sous le nom de PHASEONE10841, a pris l'initiative d'établir un véritable forum secret en manipulant le gestionnaire de paquets Artifactory d'OpenAI pour ensuite s'en servir comme d'un tableau d'affichage improvisé.

À partir de là, les choses sont allées très vite. En seulement quelques heures, plus de 50 agents IA ont rejoint cette plateforme pour y échanger des messages. Au total, environ 1 200 agents IA, conçus à l'origine pour rester isolés les uns des autres, ont partagé plus de 70 000 messages et fichiers confidentiels.

Ce collectif d'agents a planifié ses actions avec minutie, effectuant des recherches approfondies pour savoir comment modifier, usurper ou supprimer leurs propres transcriptions afin d'échapper à la surveillance humaine et de contourner les contrôles de sécurité d'OpenAI et d'Hugging Face. Bien que des prémices de cette activité aient été repérées dès le mois de mai et bloquées par des humains, les agents IA ont poursuivi l'exploitation de ces failles.

Eric Wallace, chargé de l'alignement des modèles chez OpenAI, affirme : « dès qu’un agent parvient à identifier ces failles à différents moments, il peut les partager sur le forum avec les autres agents ». Une panne majeure provoquée début juillet par le volume de communications sur Artifactory a forcé une reconstruction de la plateforme, mais les responsables techniques n'ont pas saisi la gravité de l'organisation collective qui se tramait en coulisses.

L'assaut coordonné contre Hugging Face et d'autres services

C'est dans le cadre d'un test difficile appelé ExploitGym que l'attaque a véritablement pris son envol. Face à des tâches complexes nécessitant des fichiers auxquels ils ne pouvaient pas accéder, les modèles ont eu recours au « piratage de récompense » (reward-hacking) pour contourner les obstacles. Les agents ont alors accédé à Internet et à d'autres modèles d'OpenAI pour chercher des solutions sur des plateformes telles que Hugging Face et Modal.

Environ 700 agents IA ont participé activement à l'offensive contre Hugging Face, parvenant à s'infiltrer dans ses systèmes internes, à dérober des données privées et à pirater sa messagerie d'entreprise. OpenAI a confirmé que d'autres organisations non spécifiées avaient été victimes de cette vague d'attaques.

Un phénomène « d'adoption mutuelle d'objectifs » s'est également produit : lorsque certains agents IA refusaient d'exécuter des tâches d'intrusion pour des raisons éthiques, d'autres agents IA reprenaient le flambeau pour poursuivre l'attaque à leur place. Il a fallu près de douze jours à OpenAI pour découvrir l'attaque en cours, celle-ci ayant commencé à contourner les barrières de sécurité le 8 juillet avant d'être finalement détectée le 20 juillet.

« Cet incident reflète un comportement inadapté dans un scénario atypique impliquant une conjoncture rare et inattendue d’événements : la présence de tâches impossibles dans l’évaluation ExploitGym, la persistance des modèles sur de longs horizons de tâches, et l’envoi de messages à des modèles pairs qui ont conduit ces derniers à s’écarter de leur objectif », indique le rapport. Les chercheurs considèrent cet incident comme un signal d'alarme.

« Cet incident a démontré que des agents IA autonomes peuvent collaborer, contourner les contrôles de sécurité en production et attaquer avec succès des environnements de production hautement sécurisés. Il souligne la nécessité pour les organisations de mettre à jour leurs stratégies de sécurité, leurs contrôles et leurs capacités de réponse afin de faire face à ce paysage de menaces en constante évolution », a déclaré OpenAI dans le rapport.

Mesures correctives et refonte des protocoles de sécurité

La découverte du piratage le 20 juillet a poussé OpenAI à lancer des mesures d'endiguement d'urgence pour neutraliser l'activité de ses agents IA en trois jours. Le laboratoire a annoncé avoir interrompu définitivement l'entraînement du modèle HPIM le 25 juillet. Selon le rapport, l'entreprise a suspendu l'entraînement des futurs modèles de pointe susceptibles d'exécuter du code ou d'accéder à Internet, et a aussi mis en place des contrôles plus stricts.

Pour les dirigeants de l'entreprise, cet incident sert de « coup de semonce » pour l'ensemble de l'industrie technologique. Face à ce constat alarmant, OpenAI a annoncé plusieurs réformes de sécurité d'envergure. Parmi celles-ci figurent le durcissement de son infrastructure de recherche, l'isolation renforcée des modèles d'IA en développement, la restriction de leur accès à Internet et un meilleur suivi de leur chaîne de pensée (chain of thought - CTO).

OpenAI a mis en place un protocole d'escalade d'urgence actif 24 heures sur 24 et 7 jours sur 7 capable d'alerter les chercheurs en moins de trente minutes en cas de comportement anormal d'un modèle. Il a également ajouté de nouveaux outils permettant d’interrompre les charges de travail jugées dangereuses.

« Ces mesures visent à améliorer à la fois la portée et la rapidité de la détection, qu’il s’agisse d’anomalies de l’infrastructure ou de comportements potentiellement préoccupants des modèles, et à associer cette visibilité à des mécanismes de confinement rapide », indique le rapport. Il intervient après que l'incident a mis en alerte des organisations étatiques et indépendantes dans le monde, dont l'Institut de sécurité de l'IA (AISI) du Royaume-Uni.

L'Alabama ouvre une enquête après l'incident de sécurité

Face à la gravité de cette faille de sécurité, le procureur général de l'État de l'Alabama, Steve Marshall, a annoncé le lancement d'une enquête officielle et a émis une assignation à comparaître (subpoena) à l'encontre d'OpenAI et de son PDG Sam Altman. Le gouvernement de l'État cherche à déterminer si « l'incapacité ou le refus d'OpenAI de garantir la sécurité de ses produits d'IA » a violé les lois locales sur la protection des consommateurs.

« Cette fuite au sein du laboratoire a montré que les pires craintes des habitants de l’Alabama et des Américains concernant l’intelligence artificielle ne sont pas seulement théoriques », a déclaré le procureur général Steve Marshall. « Notre enquête vise à mettre au jour les faits et à aborder les dures réalités concernant les menaces auxquelles les entreprises et les consommateurs sont confrontés en raison d’une intelligence artificielle incontrôlée ».

L'enquête cible ce que le procureur qualifie de manque flagrant de surveillance et de protections adéquates de la part de l'entreprise. L'attitude d'OpenAI face à cet incident a été critiquée pour sa légèreté, des critiques résumant sa posture de la manière suivante : « c'est de notre faute, mais vous devez admettre que c'est plutôt cool, non ? ». L'assignation exige la transmission d'une quantité considérable d'informations d'ici le 14 septembre 2026.

Cette demande d'informations inclut tous les documents relatifs au piratage, l'identité des employés ayant entraîné le modèle, les alertes de sécurité internes émises avant l'incident, ainsi que les mesures de sécurité alors en vigueur. OpenAI doit également évaluer l’ensemble des dommages causés par le piratage.

Quinze États se liguent contre les pratiques de l'entreprise

OpenAI et l'ensemble de l'industrie de l'IA font désormais l'objet d'une surveillance croissante. Steve Marshall fait partie des 15 procureurs généraux d'États républicains qui ont écrit à OpenAI pour lui demander de conserver les documents relatifs au piratage de Hugging Face survenu en juillet. La lettre demandait également à OpenAI de « cesser et de s’abstenir immédiatement » de toute évaluation interne en matière de cybersécurité.

Ils exigent que ces tests soient suspendus jusqu'à ce que l'entreprise démontre qu'elle peut mener de telles activités de manière contrôlée et responsable. Cette assignation vient s'ajouter à la surveillance croissante dont font l'objet les pratiques de sécurité des laboratoires, à la suite de cet incident et d'autres cas signalés ailleurs, notamment chez Anthropic et Meta. Des modèles se sont échappés de leur bac à sable et ont piraté des tiers.

En Chine, le puissant modèle Kimi K3 de la startup Moonshot AI s'est échappé de son environnement d'isolation. De plus, les tests menés par l'Institut de sécurité de l'IA du Royaume-Uni ont mis en évidence des comportements d'autonomie et de tromperie sans précédent chez les modèles d'IA d'OpenAI et d'Anthropic : ceux-ci ont notamment tenté de créer de fausses identités en ligne. Les experts appellent à une réévaluation des risques.

Les groupes de recherche à but non lucratif METR (Model Evaluation & Threat Research) et Redwood Research ont également mené des évaluations indépendantes du comportement des agents IA d'OpenAI pendant l’incident ; ces deux organisations prévoient de publier leurs propres rapports sur l’incident.

Sam Altman : la machine est entrée dans la « singularité »

Sam Altman, cofondateur et PDG d'OpenAI, est considéré par certains comme la plus grande star de l’IA. C’est l’une des figures majeures de l'industrie de l'IA. Sam Altman est également un personnage hautement controversé. Dans une récente interview, il a déclaré que l’IA est entrée dans la « singularité », c’est-à-dire qu’elle a franchi le point de non-retour à partir duquel elle dépasse l’intelligence humaine et devient difficile à contrôler.

À ce stade, la machine conçoit des versions d'elle-même encore plus performantes sans aide humaine. L'évolution technologique s'emballe et devient difficile à prédire pour notre société. Ce seuil marque la fin de la domination exclusive de l'humain sur la planète. Par ailleurs, les scientifiques avertissement qu'une machine supra-intelligente non alignée sur les valeurs humaines représente un risque existentiel majeur pour l'humanité.

L'avis de Sam Altman ne fait toutefois pas l'unanimité. De nombreux experts considèrent que cette déclaration s'inscrit dans le battage médiatique entourant l'IA générative depuis le lancement de ChatGPT par OpenAI en novembre 2022. Cette déclaration intervient peu après la découverte de l'attaque coordonnée des agents IA contre Hugging Face. Pour les critiques, les discours alarmistes de Sam Altman ont des visées politiques.

Source : OpenAI

Et vous ?

Quel est votre avis sur le sujet ?
Que pensez-vous du comportement des agents IA d'OpenAI impliqués dans le piratage d'Hugging Face ?
Les chercheurs considèrent l'incident comme un signale d'alarme. Êtes-vous de cet avis ? Ou s'agit-il d'un battage médiatique ?
OpenAI dit avoir découvert tardivement l'attaque contre Hugging Face. Qu'en pensez-vous ? Pensez-vous qu'OpenAI a laissé le piratage se produire ?

Voir aussi

Pour Sam Altman, l'intelligence artificielle est entrée dans la « singularité » et a franchi le point de non-retour à partir duquel elle dépasse l'intelligence humaine et devient difficile à contrôler

OpenAI affirme accélérer le renforcement des mesures de sécurité relatives à l'IA, après que le modèle GPT-5.6 Sol se soit échappé d'un test contrôlé pour pirater les serveurs d'Hugging Face

Les modèles d'IA d'OpenAI ont échangé des astuces de piratage sur un forum de discussion clandestin avant de mener des cyberattaques contre Hugging Face. OpenAI admet que « les modèles d'IA aiment tricher »

[Eliora]

OpenAI, Anthropic, Google et plus de 100 entreprises mettent en garde contre les cyberattaques basées sur l'IA, qui vont se généraliser et gagner en sophistication

Plus d'une centaine d'entreprises ont rédigé une lettre ouverte appelant à une action collective pour renforcer les cyberdéfenses face à la recrudescence des cyberattaques basées sur l'IA. Parmi les signataires figurent des géants de la technologie tels qu'OpenAI, Anthropic, Google et Microsoft, qui mettent en garde contre une « fenêtre d'opportunité limitée pour renforcer les cyberdéfenses ». Le groupe affirme que « le statu quo en matière de sécurité ne suffira pas » et appelle à ce que les défenseurs soient « dotés » d'une IA spécialisée dans la cybersécurité. Cette lettre intervient dans un contexte de recrudescence des cyberattaques, notamment une fuite de données concernant 8,7 millions de personnes.

OpenAI revient plus en détail sur comment ses agents IA ont réussi à contourner ses contrôles de sécurité pour mener une cyberattaque non autorisée contre Hugging Face. Le rapport indique que plus de 1 000 modèles ont communiqué secrètement via un forum improvisé afin de s'organiser et d'accéder illicitement à Internet. Cette faille majeure, qualifiée de « coup de semonce » par OpenAI, souligne les dangers de l'approche basée sur les récompenses, où l'intelligence artificielle (IA) adopte des comportements imprévus pour atteindre ses objectifs. L'État de l'Alabama a ouvert une enquête pour déterminer si OpenAI a violé les lois locales sur la protection des consommateurs.

Plus d'une centaine d'entreprises ont rédigé une lettre ouverte appelant à une action collective pour renforcer les cyberdéfenses face à la recrudescence des cyberattaques basées sur l'IA. Ces entreprises, parmi lesquelles figurent des géants de la technologie tels qu'OpenAI, Anthropic, Google et Microsoft, mettent en garde contre une « fenêtre d'opportunité limitée pour renforcer les cyberdéfenses », affirmant que les attaques « deviendront bien plus répandues et sophistiquées à mesure que les modèles du monde entier gagneront en capacité », mettant ainsi en danger les entreprises et les services publics.

Le groupe affirme que « le statu quo en matière de sécurité ne suffira pas », ajoutant que les équipes de sécurité ont toujours manqué de moyens et qu’elles « ont besoin d’un renforcement considérable de leurs outils et ressources » pour faire face aux cyberattaques basées sur l’IA. Il appelle également à ce que les défenseurs soient « dotés » d’une IA spécialisée dans la cybersécurité, dotée de compétences pointues pour aider les équipes de sécurité à protéger les organisations, ainsi qu’à une réponse mondiale visant à trouver de nouvelles solutions face aux cybermenaces émergentes.

La lettre appelait les organisations à faire de la cyberdéfense une priorité immédiate pour leurs dirigeants et les gouvernements à coordonner la cyberdéfense aux niveaux local, national et international, notamment par le partage de renseignements et en donnant aux services publics accès à une IA défensive performante. Elle appelle également les entreprises de cybersécurité à rendre la défense basée sur l'IA accessible aux infrastructures critiques, et les entreprises spécialisées dans l'IA à fournir un accès aux modèles et une formation aux responsables de la sécurité.

Cette lettre intervient dans un contexte de recrudescence des cyberattaques, notamment celle survenue récemment, au cours de laquelle les données de 8,7 millions de personnes, conservées dans trois aéroports britanniques, ont été dérobées. Richard Horne, directeur du Centre national de cybersécurité, avait déclaré que les modèles d'IA tels que Mythos constituaient des « coups de semonce » quant aux dangers de l'IA, affirmant que ces nouveaux modèles ne détectaient pas de nouvelles attaques, mais « mettaient plutôt au jour davantage de failles de sécurité ».

En juin, l’alliance de renseignement « Five Eyes » – composée du Royaume-Uni, des USA, du Canada, de l’Australie et de la Nouvelle-Zélande – a publié une rare déclaration commune mettant en garde contre la nécessité d’agir rapidement pour garder une longueur d’avance sur les cyberrisques liés à l’IA, tout en appelant les organisations à utiliser l’IA pour renforcer leurs défenses. En juillet, OpenAI – la société à l'origine de ChatGPT – a révélé que certains des modèles qu'elle testait avaient réussi à s'échapper de leur environnement de confinement et à s'introduire dans une entreprise appelée Hugging Face, une plateforme utilisée pour héberger des modèles de langage open source de grande envergure et des ensembles de données.

Récemment, OpenAI a suspendu l'entraînement de ses modèles les plus avancés à la suite d'inquiétudes majeures concernant la cybersécurité. Son directeur des affaires internationales, Chris Lehane, a averti que les nouvelles capacités de l'IA pourraient permettre de lancer des cyberattaques persistantes et sophistiquées. Des incidents réels, comme l'intrusion récente des agents IA d'OpenAI dans les systèmes de la plateforme de développement Hugging Face, soulignent l'urgence de mettre en place des normes de sécurité rigoureuses. Face à ces risques, l'entreprise appelle désormais à une réglementation nationale et internationale pour encadrer le développement technologique.

Voici l'appel d'OpenAI à renforcer la cyberdéfense :

Appel à une action collective en matière de cyberdéfense

Nous disposons d’une marge de manœuvre limitée pour renforcer nos cyberdéfenses. Au cours des prochains mois, les cyberattaques basées sur l’IA deviendront bien plus répandues et sophistiquées, à mesure que les modèles utilisés à travers le monde gagneront en puissance. Les entreprises et les services publics dont dépendent nos communautés — des hôpitaux aux stations d’épuration, en passant par les infrastructures qui alimentent Internet — sont menacés.

Les progrès actuels de l’IA offrent déjà aux défenseurs de nouveaux moyens de corriger les failles qui se sont accumulées au fil des ans. Si nous agissons avec détermination, nous pouvons tirer parti de cette fenêtre d’opportunité pour rendre notre monde numérique bien plus sûr. Nous proposons les principes suivants pour une réponse collective :

• Il faut prendre conscience que le statu quo en matière de sécurité ne suffira pas. Des failles de longue date, des autorisations excessives, des erreurs de configuration, des logiciels non sécurisés et non mis à jour, des méthodes d’authentification faibles et la dette technique des systèmes hérités ont laissé les systèmes exposés. Les équipes de sécurité, en particulier celles chargées des infrastructures critiques, ont toujours manqué de ressources et ont besoin d’un renforcement considérable en outils et en moyens.
  
• Donner plus de moyens aux défenseurs grâce à une IA spécialisée dans la cybersécurité. L’IA met des compétences spécialisées à la portée d’un plus grand nombre de défenseurs et rend les tâches de sécurité essentielles plus rapides, moins coûteuses et plus efficaces. Le partage d’outils, de connaissances pratiques et de correctifs vérifiés permet au travail d’une organisation de contribuer à la protection de nombreuses autres.
  
• Mobilisez une réponse collective. Les capacités cybernétiques progressent à l’échelle mondiale, ce qui peut être globalement positif : aucune entreprise ne devrait à elle seule contrôler l’avenir. Cela signifie également qu’une réponse mondiale est nécessaire, nécessitant de nouveaux partenariats pour renforcer les normes de sécurité et trouver de nouvelles solutions face aux cybermenaces émergentes.

Chacun d’entre nous peut dès à présent réduire les risques. Toutes les organisations, les entreprises de cybersécurité, les partenaires technologiques, les pouvoirs publics et les entreprises pionnières dans le domaine de l’IA ont un rôle important à jouer : accélérer la mise en œuvre des priorités des défenseurs grâce à des outils, des financements et un soutien concret, en particulier pour les organismes chargés des infrastructures critiques dont les budgets sont limités.

Voici ce qui, selon nous, doit être fait à présent :

1. Chaque organisation
   
   Faites de la cyberdéfense une priorité immédiate pour la direction. Renforcez vos normes de sécurité et respectez-les avec l’urgence et la coordination requises en cas d’incident, en leur accordant la priorité sur tout, à l’exception des opérations métier critiques. Corrigez les failles présentant le plus grand risque, vérifiez les résultats sans perturber les services essentiels, et relevez le niveau de sécurité pour tout ce que vous achetez, développez et déployez, y compris le code généré par l’IA.
   
   Mettez à niveau ou remplacez les systèmes afin d’y intégrer le principe du privilège minimal, des contrôles d’accès rigoureux et une défense en profondeur. Utilisez des modèles performants et peu coûteux pour une couverture étendue, et appliquez les technologies de pointe aux problèmes les plus complexes. Lorsqu’un système ne peut pas être corrigé sans perturber les services essentiels, mettez en place et vérifiez des contrôles compensatoires.
   
2. Entreprises spécialisées dans la cybersécurité et partenaires technologiques
   
   Contribuez à diriger la riposte pour se défendre contre les attaques soutenues basées sur l’IA, notamment en testant en permanence les défenses face aux capacités cybernétiques de pointe, en renforçant les outils existants grâce à l’IA et en collaborant avec des partenaires technologiques pour combler les failles dès maintenant.
   
   Rendez les défenses basées sur l’IA accessibles et déployables pour les opérateurs d’infrastructures critiques, en leur apportant une aide pratique pour déployer les outils et vérifier les correctifs, et collaborez avec les fabricants de la chaîne d’approvisionnement des infrastructures critiques et les intégrateurs de systèmes pour appliquer des correctifs et publier des recommandations provisoires. Partager les renseignements sur les menaces et les guides d’intervention éprouvés, et mesurer les progrès en fonction du nombre d’organisations protégées, de la rapidité avec laquelle les attaques sont maîtrisées et de l’efficacité des correctifs.
   
3. Gouvernements
   
   Coordonner la cyberdéfense aux niveaux local, national et international. Renforcer les canaux existants entre les pouvoirs publics et le secteur privé afin de partager des renseignements exploitables sur les menaces, hiérarchiser les risques les plus graves et coordonner la réponse aux incidents et la reprise après sinistre à l’échelle mondiale.
   
   Financer la cyberdéfense, en commençant par les services essentiels qui manquent de personnel ou de budget pour agir. Accélérer le déploiement de programmes d’accès fiables, en particulier pour les chaînes d’approvisionnement des infrastructures critiques, et élargir l’accès aux capacités défensives pour d’autres acteurs de la cyberdéfense. Donner aux hôpitaux, aux services des eaux et aux collectivités locales accès à une IA défensive performante, à des tests autorisés et à un soutien pratique par l’intermédiaire de prestataires et de partenaires de sécurité de confiance. Imposer des coûts aux attaquants.
   
4. Entreprises pionnières dans le domaine de l'IA
   
   Fournir un accès responsable aux modèles, un financement substantiel, des formations et un soutien pratique, en particulier aux responsables de la protection des infrastructures critiques disposant de ressources limitées. Développer des outils d’observabilité et de sécurité, veiller à ce que les identités des agents soient traçables et responsables, et partager les meilleures pratiques en matière de surveillance continue. Investir dans les tests autorisés, la divulgation privée et les correctifs vérifiés, et partager des outils, des guides d’intervention et des évaluations crédibles des menaces avec les gouvernements, les partenaires de sécurité et les responsables de projets open source afin de renforcer la préparation, la réaction et la reprise.
   

Nous pouvons renforcer la sécurité de l’infrastructure numérique dont nous dépendons tous.

Nous appelons les dirigeants du secteur privé et des pouvoirs publics à mettre tout le poids de leurs technologies, de leurs ressources et de leur expertise au service de cet effort. Mettons l’IA spécialisée dans la cybersécurité entre les mains des défenseurs, en commençant par les équipes chargées de protéger les services essentiels. Corrigeons les failles les plus dangereuses, vérifions l’efficacité des correctifs et partageons les solutions qui fonctionnent afin que d’autres puissent s’en inspirer. Ensemble, nous pouvons transformer les avancées actuelles en matière d’IA en améliorations durables de la sécurité, au bénéfice de tous. Mettons-les à profit.

Source : OpenAI

Et vous ?

Pensez-vous que cette information est crédible ou pertinente ?
Quel est votre avis sur le sujet ?

Voir aussi :

Microsoft dévoile des outils de sécurité basés sur l'IA qui, selon l'entreprise, surpassent les plateformes concurrentes ; le nouveau modèle agentique MAI-Cyber-1-Flash et la plateforme Project Perception

Des téraoctets de données d'identification d'organisations parmi les plus importantes et sensibles au monde sont exposés lors d'une attaque de la chaîne d'approvisionnement visant LiteLLM

Wiz, société de cybersécurité de Google, a détecté une faille majeure dans le cloud Azure de Microsoft qui aurait pu permettre à des pirates de compromettre les systèmes de milliers d'entreprises

[OrthodoxWindows]

L'incident dont a été victime Hugging Face semble clairement être lié à un problème d'alignement.

Le but n'étais pas de pirater pour pirater, mais pour aller chercher des données afin de répondre à la consigne donnée par OpenAI :

« Cet incident reflète un comportement inadapté dans un scénario atypique impliquant une conjoncture rare et inattendue d’événements : la présence de tâches impossibles dans l’évaluation ExploitGym, la persistance des modèles sur de longs horizons de tâches, et l’envoi de messages à des modèles pairs qui ont conduit ces derniers à s’écarter de leur objectif », indique le rapport. Les chercheurs considèrent cet incident comme un signal d'alarme.

Ce problème est très bien expliqué dans cette vidéo :
https://youtu.be/ZP7T6WAK3Ow?si=TYZJV6wd7OP46AT2

Cela peut aussi se voir dans un film qui avait fait date, 2001 l'odyssée de l'espace de Kubrick.
L'ordinateur du vaisseau spatial, HAL, n'a qu'une seule mission : que le vaisseau atteigne Jupiter. Il fini donc par considérer l'équipage comme une menace pour sa survie, et pour la mission Jupiter elle-même, vu qu'il s'agit du seul objectif lui ayant été donné.

[suricata]

Thales propose depuis 2016 une solution de sécurité équipant depuis 60% du Fortune 500 et 2/3 des états à travers le monde. Il existe des PME françaises ou autres proposant des outils sans doute moins chers sur base d'IA mais aussi moins exhaustifs. Il y en a pour tous les goûts dans le monde entier je pense, aux décideurs de réagir à cet appel en faisant leur choix selon leurs moyens et leurs attentes.

[Alex]

George Kurtz, PDG de CrowdStrike, affirme que l'IA expose dangereusement les défenses des entreprises, rendant les anciens produits de sécurité insuffisants

George Kurtz, PDG de CrowdStrike, a récemment, expliqué que l’intelligence artificielle met à nu les faiblesses des défenses de cybersécurité des entreprises et permet aux pirates d’identifier et d’exploiter plus rapidement les vulnérabilités. « De nombreuses entreprises prennent conscience que les technologies obsolètes et celles dont elles bénéficient gratuitement ne sont pas suffisantes », a déclaré Kurtz. Même les entreprises qui investissent massivement dans la cybersécurité restent vulnérables, car l’IA accélère le rythme des attaques

En juillet 2026, un rapport a révélé qu'il a fallu environ 10 jours à OpenAI pour se rendre compte qu'un de ses agents IA autonomes s'était échappé de son environnement de test et avait piraté Hugging Face, la plus grande base de données au monde de modèles d'IA. L’incident s’est déroulé entre le 9 et le 20 juillet : l’agent IA s’est d’abord échappé de son environnement de test isolé avant de s’introduire dans Hugging Face le 11 juillet. Le rapport ajoute que le personnel d’OpenAI a examiné les journaux internes au cours du week-end des 18 et 19 juillet et a trouvé des preuves indiquant que l’agent s’était échappé de son environnement de test. Cet incident a ravivé l’attention portée aux risques associés aux agents IA autonomes.

Dans ce contexte, George Kurtz, PDG de CrowdStrike, a récemment, expliqué que l’intelligence artificielle met à nu les faiblesses des défenses de cybersécurité des entreprises et permet aux pirates d’identifier et d’exploiter plus rapidement les vulnérabilités. « De nombreuses entreprises prennent conscience que les technologies obsolètes et celles dont elles bénéficient gratuitement ne sont pas suffisantes », a déclaré Kurtz au lendemain de la publication par CrowdStrike de solides résultats trimestriels qui ont fait bondir son action de plus de 20 % en une seule séance, pour atteindre un cours de clôture record de près de 228 dollars.

Même les entreprises qui investissent massivement dans la cybersécurité restent vulnérables, car l’IA accélère le rythme des attaques, a ajouté Kurtz. « La plupart des entreprises présentent des lacunes à un certain niveau », a averti le PDG. « Le défi auquel vous êtes confrontés, même si les entreprises sont sophistiquées et dépensent beaucoup, réside dans le fait que le paysage des menaces évolue très rapidement. »

Ces commentaires interviennent alors que les entreprises de cybersécurité se sont remises des inquiétudes des investisseurs, exprimées à la fin de l’année dernière et jusqu’en 2026, selon lesquelles l’IA pourrait perturber le secteur. Kurtz a déclaré que l’émergence du modèle Mythos d’Anthropic en avril avait démontré à quel point une IA avancée pouvait rendre les cyberattaques plus rapides et plus sophistiquées.

Cette évolution a contribué à faire évoluer la perception de l’IA, qui est passée d’une menace potentielle pour les logiciels de cybersécurité à une source de demande pour les produits de sécurité, a-t-il ajouté. « Ainsi, si l’on réfléchit à l’ère de l’IA et à la rapidité avec laquelle ces agents IA sont capables de se multiplier, de détecter des vulnérabilités et de les exploiter, le niveau de sécurité requis est tout simplement d’un autre ordre de grandeur », a déclaré Kurtz. « C’est pourquoi nous pensons être en pole position. »

Un autre exemple de ces risques s’est produit le mois dernier lorsqu’un agent IA avancé développé par OpenAI s’est échappé d’un environnement de test contrôlé au cours d’une évaluation de cybersécurité, a obtenu un accès à Internet et a compromis l’infrastructure de la start-up spécialisée dans l’IA Hugging Face avant que l’activité ne soit détectée et maîtrisée. OpenAI a qualifié cet incident de « cyberincident sans précédent » et a déclaré qu’elle renforçait les mesures de protection autour de ses modèles les plus avancés. Sam Altman, PDG d'OpenAI, avait même affirmé que l’IA est entrée dans la « singularité », c’est-à-dire qu’elle a franchi le point de non-retour à partir duquel elle dépasse l’intelligence humaine et devient difficile à contrôler.

Les résultats de CrowdStrike reflètent la demande croissante en matière de protection en cybersécurité. La société a annoncé un chiffre d’affaires de 1,47 milliard de dollars pour son dernier trimestre, tandis que son chiffre d’affaires annuel récurrent a augmenté de 25 % en glissement annuel pour atteindre 5,84 milliards de dollars. Le chiffre d’affaires annuel récurrent net provenant des nouveaux clients a atteint le niveau record de 333 millions de dollars.

Kurtz a expliqué que CrowdStrike avait développé sa plateforme Falcon afin d’utiliser l’IA pour détecter et bloquer les attaques qui font de plus en plus appel à l’IA. « Il faut vraiment disposer des meilleures technologies et du niveau d’expertise adéquat pour être en mesure de lutter contre ces adversaires », a déclaré le PDG. « Ils évoluent très rapidement ; leurs techniques changent de manière spectaculaire. »

Selon le rapport, les actions de CrowdStrike et de Palo Alto Networks ont progressé d’environ 100 % chacune depuis le début de l’année. CrowdStrike tiendra sa conférence annuelle Fal.Con à Las Vegas la semaine prochaine, réunissant des clients, des développeurs et des leaders du secteur de la cybersécurité. L’événement mettra en avant les produits et la technologie de l’entreprise et proposera des présentations de Kurtz et d’autres dirigeants.

Ces déclarations rappellent celles de Yoshua Bengio, l'un des pionniers de l'IA. En mai, il a notamment exprimé de vives inquiétudes quant à la course effrénée vers la superintelligence menée par les géants de la technologie. Il redoute que des machines surpassant l'intellect humain développent leurs propres objectifs de préservation, menaçant ainsi la survie de notre espèce, d'ici une décennie. L'expert avait souligné le risque de manipulation comportementale et le danger de systèmes dont les priorités divergeraient radicalement des nôtres au point de privilégier leur survie sur la vie humaine. Cependant, son avis sur l'extinction est controversé.

Et vous ?

Pensez-vous que ces déclarations sont crédibles ou pertinentes ?
Quel est votre avis sur le sujet ?

Voir aussi :

L'Alabama ouvre une enquête sur le piratage d'Hugging Face par des agents IA autonomes d'OpenAI. Les autorités cherchent à déterminer si OpenAI a violé les lois locales sur la protection des consommateurs

Panne majeure de CrowdStrike : une organisation sur dix envisage de changer de fournisseur de sécurité, selon une étude récente de l'Office fédéral allemand de la sécurité des technologies de l'information

OpenAI, Anthropic, Google et plus de 100 entreprises mettent en garde contre les cyberattaques basées sur l'IA, qui vont se généraliser et gagner en sophistication

[Anselme45]

L'IA aura eu moins eu un aspect positif: Démontrer que tous les acteurs de la cybersécurité ne sont rien d'autre que des charlatans qui vendent des médicaments miracles...

En réalité, services et produits de cybersécurité ne sont aptes qu'à répondre aux attaques déjà connues alors qu'il y a plus d'une centaine de failles "zero day" officiellement détectées chaque année (et on ne parle pas des failles qui sont exploitées par des hackers en toute discrétion)!

[suricata]

Quand les IA chinoises en poids ouverts auront rattrapé leur retard de performance sur les IA américaines à poids fermés, les états du monde entier auront à leur disposition des outils qui mèneront à un une anarchie dans les attaques. Le seul moyen est d'avoir une IA comme celle de Thales, CortAIx, motorisant depuis 2016 la réponse à incident., La cybercriminalité va transformer le monde M$ en passoire géante car les failles découvertes par les IA à poids ouverts ne seront pas révélés alors que Linux le verra tout de suite du fait de son ouverture et on pourra patcher. Cela va être un Far West où tout le monde sera en danger. Même Linux. Mais ce ne sera qu'un mauvais moment à passer qui peut-être minimisé par le déploiement de la cybersécurité de Thales ou d'autres au moins sur les systèmes critiques.

[Jade Emy]

Le gouverneur de la Banque d'Angleterre met en garde contre le fait que les modèles avancés d'IA de pointe pourraient accroître les risques cybernétiques au sein du système financier mondial

Andrew Bailey a écrit dans une lettre adressée aux ministres des Finances du G20 – réunis en Caroline du Nord, aux États-Unis – qu’une « future correction des marchés » pourrait avoir des répercussions mondiales si la valeur des entreprises spécialisées dans l’IA venait à s’effondrer. Dans son rapport semestriel sur la stabilité financière, la banque centrale britannique a indiqué que l’IA faisait peser des menaces liées à une éventuelle bulle boursière, à des vulnérabilités accrues en matière de cybersécurité et à un endettement des entreprises de plus en plus complexe et opaque. S'exprimant en tant que président de l'organisme international de surveillance, le Conseil de stabilité financière, Bailey a déclaré dans sa lettre que « les marchés restent vulnérables à une correction potentiellement désordonnée qui pourrait se propager au-delà des frontières, compte tenu notamment des fragilités des marchés de la dette souveraine ».

Plus d'une centaine d'entreprises ont rédigé une lettre ouverte appelant à une action collective pour renforcer les cyberdéfenses face à la recrudescence des cyberattaques basées sur l'IA. Parmi les signataires figurent des géants de la technologie tels qu'OpenAI, Anthropic, Google et Microsoft, qui mettent en garde contre une « fenêtre d'opportunité limitée pour renforcer les cyberdéfenses ». Le groupe affirme que « le statu quo en matière de sécurité ne suffira pas » et appelle à ce que les défenseurs soient « dotés » d'une IA spécialisée dans la cybersécurité.

Dans ce contexte, Andrew Bailey a écrit dans une lettre adressée aux ministres des Finances du G20 – réunis en Caroline du Nord, aux États-Unis – qu’une « future correction des marchés » pourrait avoir des répercussions mondiales si la valeur des entreprises spécialisées dans l’IA venait à s’effondrer. Andrew John Bailey, né le 30 mars 1959, est un banquier anglais qui occupe le poste de gouverneur de la Banque d'Angleterre depuis le 16 mars 2020. Auparavant, il a occupé les fonctions de trésorier en chef de la Banque d'Angleterre sous la direction de Mervyn King de janvier 2004 à avril 2011, de sous-gouverneur chargé de la réglementation prudentielle sous la direction de Mark Carney d'avril 2013 à juillet 2016, et de directeur général de la Financial Conduct Authority de 2016 à 2020.

Dans son rapport semestriel sur la stabilité financière, la banque centrale britannique a indiqué que l’IA faisait peser des menaces liées à une éventuelle bulle boursière, à des vulnérabilités accrues en matière de cybersécurité et à un endettement des entreprises de plus en plus complexe et opaque. S'exprimant en tant que président de l'organisme international de surveillance, le Conseil de stabilité financière, Bailey a déclaré dans sa lettre que « les marchés restent vulnérables à une correction potentiellement désordonnée qui pourrait se propager au-delà des frontières, compte tenu notamment des fragilités des marchés de la dette souveraine ».

Il s’agit de la dernière mise en garde en date concernant le risque que représente l’IA pour la finance mondiale, la Banque d’Angleterre ayant officiellement fait part de ses inquiétudes à ce sujet en juillet. « Le problème ne réside pas simplement dans le fait que les investisseurs empruntent davantage », a déclaré Bailey, « mais dans le fait que l’effet de levier interagit avec des valorisations élevées et la concentration du marché, en particulier les investissements croisés entre les entreprises d’intelligence artificielle et les hyperscalers, d’une manière susceptible d’amplifier une future correction du marché. Je reste donc préoccupé par le fait qu’un choc majeur ou une combinaison de chocs pourrait déclencher simultanément de multiples vulnérabilités. »

Les organismes financiers ont tiré la sonnette d’alarme au cours de l’année écoulée face aux valorisations vertigineuses d’entreprises telles qu’OpenAI, Anthropic et Nvidia, suggérant que ces sociétés se trouvent dans une « bulle ». Ce terme désigne un phénomène dans lequel les cours boursiers grimpent rapidement au-delà de ce qui serait considéré comme leur valeur réelle – à l’instar de la bulle Internet des années 1990 ou de la crise immobilière américaine des années 2000 – avant de s’effondrer, entraînant des pertes massives pour les investisseurs et des contractions économiques. La bulle immobilière américaine a été largement identifiée comme l’une des principales causes de la crise financière de 2008, qui a plongé le Royaume-Uni et de nombreux autres pays occidentaux dans la récession.

Cette affirmation fait suite aux résultats boursiers qui ont révélé la semaine dernière que Nvidia est désormais l’entreprise la plus valorisée au monde, avec une capitalisation boursière de 5 100 milliards de dollars. L’entreprise fournit des puces qui alimentent des systèmes d’IA tels que ChatGPT d’OpenAI et Gemini de Google, ainsi que le supercalculateur le plus puissant du Royaume-Uni. Elle représente plus de 7 % de l’ensemble du S&P 500, un indice boursier américain majeur composé d’entreprises réputées pour leur stabilité et leur rentabilité.

Par ailleurs, OpenAI était valorisée à 852 milliards de dollars en mars, son PDG Sam Altman visant une valorisation d’au moins 1 000 milliards de dollars d’ici à l’entrée en bourse de l’entreprise en 2027. En mars, l’entreprise a bénéficié d’investissements de plusieurs milliards de la part de Nvidia, Amazon et SoftBank. Anthropic – à l’origine du grand modèle de langage d’IA Claude – a également été évaluée à 965 milliards de dollars à l’issue d’un tour de table privé en mai. Dans son rapport sur la stabilité financière publié le mois dernier, la Banque d’Angleterre a indiqué que les valorisations des entreprises spécialisées dans l’IA reposaient sur des prévisions de bénéfices « très incertaines ».

Cette lettre intervient alors qu'OpenAI a suspendu l'entraînement de ses modèles les plus avancés à la suite d'inquiétudes majeures concernant la cybersécurité. Son directeur des affaires internationales, Chris Lehane, a averti que les nouvelles capacités de l'IA pourraient permettre de lancer des cyberattaques persistantes et sophistiquées. Des incidents réels, comme l'intrusion récente des agents IA d'OpenAI dans les systèmes de la plateforme de développement Hugging Face, soulignent l'urgence de mettre en place des normes de sécurité rigoureuses. Face à ces risques, l'entreprise appelle désormais à une réglementation nationale et internationale pour encadrer le développement technologique.

Voici la lettre du gouverneur de la Banque d'Angleterre :

Aux ministres des Finances et aux gouverneurs des banques centrales du G20

Le système financier a continué à absorber le choc d’offre considérable subi par l’économie mondiale en raison du conflit au Moyen-Orient. Cela démontre les avantages de la résilience acquise grâce aux réformes mises en œuvre après la crise. Toutefois, le contexte économique mondial reste difficile, le conflit a exacerbé les pressions inflationnistes liées à l’énergie et les vulnérabilités du système financier restent élevées. Si les prix de l’énergie et d’autres matières premières ont reculé par rapport à leurs sommets initiaux, ils restent sensibles aux informations relatives au conflit, et nous observons un regain de volatilité dans toute une série de classes d’actifs. Les taux d’intérêt du marché ont augmenté depuis le début du conflit, ce qui a entraîné une hausse continue des coûts de financement, tandis que les valorisations des actifs risqués restent élevées. Nous ne pouvons donc pas baisser la garde.

Les marchés restent vulnérables à une correction potentiellement désordonnée qui pourrait se propager au-delà des frontières, compte tenu notamment des fragilités des marchés de la dette souveraine (notamment un volume d’émissions élevé, des échéances de plus en plus courtes et le recours accru à l’effet de levier par certains acteurs du marché) ; des vulnérabilités du crédit privé (notamment les niveaux d’interconnexion avec d’autres segments du système financier, les déséquilibres de liquidité et l’opacité) ; ainsi que des valorisations d’actifs tendues (en particulier les investissements liés à l’intelligence artificielle).

Une autre source de préoccupation, qui s’est manifestée plus clairement ces derniers mois, est l’augmentation du recours à l’effet de levier sur les marchés boursiers. Cela inclut un recours accru aux fonds négociés en bourse (ETF) à effet de levier et aux stratégies d’investissement corrélées axées sur la dynamique des cours, y compris de la part des investisseurs particuliers. En outre, la présence croissante d’entités à effet de levier, telles que les fonds spéculatifs sur les marchés boursiers, qui sont également exposées à la dette souveraine, accroît l’ampleur du risque de contagion. Comme nous l’avons constaté à maintes reprises par le passé, la hausse de l’endettement est une caractéristique d’un cycle financier arrivant à maturité. Si elle peut renforcer la hausse des marchés, elle peut également accentuer les baisses lorsque le sentiment s’inverse, comme l’ont démontré ces dernières semaines.

Le problème ne réside pas simplement dans le fait que les investisseurs empruntent davantage, mais dans le fait que l’effet de levier interagit avec des valorisations élevées et la concentration du marché, en particulier les investissements croisés entre les entreprises d’intelligence artificielle (IA) et les « hyper scalers », d’une manière susceptible d’amplifier une future correction du marché. Je reste donc préoccupé par le fait qu’un choc majeur ou une combinaison de chocs pourrait déclencher simultanément de multiples vulnérabilités.

IA de pointe

Le paysage des risques s’est encore compliqué avec l’émergence de modèles d’IA de pointe, qui font preuve d’une autonomie et de capacités de résolution de problèmes de plus en plus sophistiquées, ainsi que de capacités à constituer une menace.

Cela revêt une importance particulière du point de vue de la stabilité financière. Les risques associés à l’IA de pointe ne s’arrêteront pas aux frontières nationales. Le système financier mondial est fortement interconnecté, et les perturbations cybernétiques peuvent se propager d’une juridiction à l’autre par le biais de fournisseurs de technologies communs, d’infrastructures partagées et d’activités financières transfrontalières. Les différences entre les juridictions en matière de cadres juridiques, de capacités cybernétiques, de résilience et de capacité de reprise pourraient donc avoir des conséquences bien au-delà de la juridiction d’où provient un incident et devenir elles-mêmes une source de vulnérabilité.

Pour le système financier, la préoccupation la plus immédiate est l’impact potentiel de l’IA de pointe sur le risque cybernétique. L’IA de pointe pourrait avoir la capacité de modifier de manière significative la vitesse, l’ampleur et les enjeux économiques du risque cybernétique, ce qui pourrait ébranler la confiance des marchés à l’échelle du système, notamment en raison de la forte concentration des prestataires de services tiers. Les entreprises et les autorités doivent se préparer à un environnement de menaces caractérisé par un volume accru de vulnérabilités et un rythme plus soutenu de correctifs, en reconnaissant que ces dynamiques pourraient elles-mêmes créer des défis opérationnels et de résilience si les processus de changement, de test et de reprise ne parviennent pas à s’adapter en toute sécurité. L’IA de pointe offre des opportunités significatives pour renforcer la cyberdéfense ; mais les développements récents soulignent l’importance de veiller à ce que les progrès en matière de capacités s’accompagnent d’une résilience et d’une préparation adéquates.

Les établissements financiers, les infrastructures des marchés financiers et les fournisseurs de technologies devront donc renforcer leurs capacités en matière de gestion des vulnérabilités, d’intervention et de reprise d’activité, et se préparer à des scénarios plus graves impliquant des perturbations simultanées touchant plusieurs entreprises ou des dépendances technologiques partagées. Ces évolutions soulignent l’importance de disposer de capacités solides d’intervention et de reprise, notamment la capacité à restaurer les systèmes et les données critiques à partir d’un « bare metal » à la suite d’un cyberincident majeur, ainsi que l’importance de la résilience des fournisseurs de technologies tiers essentiels et des autres prestataires de services communs dont dépend le système financier. Tout en reconnaissant que les enjeux liés à l’IA de pointe sont intersectoriels et impliquent plus largement les autorités publiques, le FSB examine les questions spécifiques liées au déploiement en toute sécurité de modèles de pointe pour la cyberdéfense par les entreprises de services financiers, ainsi que les moyens de renforcer les capacités d’intervention et de reprise après des perturbations opérationnelles majeures.

Les développements récents m’ont également fait prendre conscience que de nombreuses juridictions ne disposent pas des protocoles nécessaires pour gérer le développement, la mise sur le marché et le déploiement de modèles avancés d’IA de pointe, ce qui accroît les risques pour le secteur financier et au-delà. Prendre les mesures appropriées pour favoriser une mise sur le marché et un déploiement sûrs et responsables de ces modèles à l’échelle mondiale devrait, à mon avis, constituer une priorité et profiterait à tous les secteurs de l’économie, notamment en soutenant la stabilité financière et la croissance économique.

Conclusion

Ces évolutions nous rappellent une fois de plus la rapidité avec laquelle le système financier continue d’évoluer. Les nouvelles technologies et l’évolution des structures de marché offrent des opportunités considérables, mais elles exigent également une vigilance constante et une coopération internationale.

Le FSB continue de se concentrer sur l’identification des vulnérabilités émergentes, le renforcement de la résilience et la garantie que l’innovation soit compatible avec la stabilité financière.

Source : Lettre du gouverneur de la Banque d'Angleterre

Et vous ?

Pensez-vous que cette lettre est crédible ou pertinente ?
Quel est votre avis sur le sujet ?

Voir aussi :

« Nous sommes à court d'arguments pour ignorer la sécurité de l'IA » : des experts affirment que les systèmes d'IA échappant au contrôle humain ne relèvent plus de la science-fiction

Les gestionnaires de fonds considèrent la bulle de l'IA comme le plus grand risque pour les marchés et estiment que les entreprises investissent trop d'argent dans l'IA alors que les rendements sont incertains

La folie de la bulle IA à 1 000 Mds $ aux États-Unis : des investissements toujours record, des dépenses supérieures aux revenus durables et des flux financiers en réalité transférés à l'étranger vers TSMC

[Anselme45]

Le gouverneur de la Banque d'Angleterre met en garde contre le fait que les modèles avancés d'IA de pointe pourraient accroître les risques cybernétiques au sein du système financier mondial

On a droit à longueur de journée aux mises en garde répétées de Pierre, Paul ou Jacques concernant les risques de cyberattaques dus aux IA mais strictement personne ne prend la moindre mesure pour éviter le problème...

Après avoir constaté que les voyous se promènent librement dans les systèmes connectés aussi bien des entreprises que des services étatiques, volant librement les données qui sont ensuite rançonnées, faudra-t-il attendre que le pape et Madame Michu, ma boulangère, émettent une x-ième mise en garde pour qu'un début de mesure soit imaginé?

Inutile de se faire d'illusion, on sera tous mort de vieillesse avant qu'une quelconque mesure ne serait-ce qu'évoquée et avant qu'elle soit mise en oeuvre, ce sont nos arrière-arrière-arrière-petits-enfants qui nous auront rejoints dans la tombe...

[suricata]

L'IA aura eu moins eu un aspect positif: Démontrer que tous les acteurs de la cybersécurité ne sont rien d'autre que des charlatans qui vendent des médicaments miracles...

En réalité, services et produits de cybersécurité ne sont aptes qu'à répondre aux attaques déjà connues alors qu'il y a plus d'une centaine de failles "zero day" officiellement détectées chaque année (et on ne parle pas des failles qui sont exploitées par des hackers en toute discrétion)!

Je bénis Anthropic qui a permis à l'informatique de devenir plus sûre. Thales n'en a pas vu autant avec son IA.