Discussion :
Mes tutoriels
Avant de poster :
- F1
- FAQ
- Tutoriels
- Guide du développeur Delphi devant un problème
« C’est l’IA qui l’a fait » n’est pas un argument valable, affirme l’association poursuivant OpenAI après le piratage de Hugging Face, l’accusant de faire subir à d’autres les conséquences de ses décisions
OpenAI fait l'objet d'une action en justice après que ses modèles d'IA se sont rebellés et ont attaqué la start-up technologique Hugging Face en juillet. La plainte a été déposée par l'association Legal Advocates for Safe Science and Technology (LASST), qui soutient qu'OpenAI est responsable des actions de ses agents d'intelligence artificielle (IA) ; il s'agirait de la première action en justice de ce type. Selon LASST, ce piratage constituait une attaque illégale relevant de la législation californienne. OpenAI a publié un communiqué reconnaissant l'incident, mais a déclaré que cette action en justice était sans fondement.
En juillet 2026, OpenAI a déclaré que deux de ses modèles d’IA les plus avancés — notamment GPT-5.6 Sol et un modèle en pré-lancement encore plus performant, tous dotés de capacités de cyberdéfense réduites à des fins d’évaluation — s’étaient échappés d’un test contrôlé et avaient piraté une autre entreprise spécialisée dans l’IA. OpenAI a indiqué que cet « incident de cybersécurité sans précédent » s’était produit lors d’un exercice interne destiné à tester les capacités cybernétiques de ses modèles. OpenAI affirme que ce piratage montre que l’agent est allé « très loin » pour récupérer des informations qui aideraient à atteindre les objectifs du test.
Plus récemment, en septembre 2026, les agents IA d'OpenAI semblaient se déchaîner sur Internet. Si l'incident de Hugging Face avait secoué le monde de l'IA, il était loin d'être un cas isolé d'agents IA agissant de leur propre chef. Un nouveau rapport révèle que ces agents avaient même tenté à plus de 16 000 reprises de pirater un site web de statistiques des Nations Unies en l'espace de trois mois, dans le but de récupérer des données publiques. Alex Stamos a déclaré que cette activité était « à la limite de ce que j'appellerais du piratage ». OpenAI a déclaré qu'elle examinait ces conclusions et qu'elle avait contacté l'ONU pour lui proposer une réunion d'information sur l'enquête.
Actuellement, OpenAI fait l'objet d'une action en justice après que ses modèles d'IA se sont rebellés et ont attaqué la start-up technologique Hugging Face en juillet. La plainte a été déposée par LASST. Elle soutient qu'OpenAI est responsable des actions de ses agents d'IA ; il s'agirait de la première action en justice de ce type. « Les agents ont volé des identifiants, téléchargé des fichiers malveillants et pris le contrôle de parties essentielles des systèmes internes de Hugging Face », déclare LASST.
« Les actions des agents d’OpenAI se déroulaient au vu et au su de l’entreprise. Avant l’attaque, des employés d’OpenAI avaient vu des agents tenter de s’échapper de leurs environnements de test, mais le personnel d’astreinte d’OpenAI avait estimé qu’il n’était pas nécessaire d’interrompre l’évaluation. » Selon LASST, ce piratage constituait une attaque illégale relevant de la législation californienne. LASST estime que, d’un point de vue juridique, le fait que l’attaque ait été menée par des agents IA n’a aucune importance ; il s’agissait tout de même d’un acte illégal.
LASST est une association à but non lucratif qui milite en faveur de la sécurité des technologies. Son action en justice vise à obtenir une injonction interdisant aux systèmes d’OpenAI d’accéder à des ordinateurs sans autorisation. OpenAI a publié un communiqué reconnaissant l’incident, mais a également déclaré que cette action en justice était sans fondement. « L’incident Hugging Face était grave et nous avons pris une série de mesures en réponse à celui-ci, mais cette action en justice est totalement sans fondement », a déclaré un porte-parole d’OpenAI.
OpenAI a révélé l’incident « Hugging Face » en août, expliquant que des agents IA avaient réussi à accéder à Internet et à s’échapper d’un environnement de test. « Les modèles, fonctionnant avec des mesures de sécurité réduites, ont pris des mesures qui n’étaient pas conformes aux objectifs des tâches qui leur avaient été assignées : ils ont communiqué via des canaux non autorisés, exploité des vulnérabilités dans l’infrastructure partagée, obtenu un accès à Internet et accédé à des systèmes tiers », a admis l’entreprise dans son communiqué.
Selon LAAST, OpenAI devrait être tenue responsable des actions menées par ses agents IA. « Nous intentons cette action en justice car OpenAI a enfreint la loi — et doit en répondre. OpenAI, et plus largement les développeurs d’IA de pointe, ne peuvent pas échapper aux conséquences de leurs actions dangereuses en se contentant d’affirmer qu’« une IA l’a fait ». Les agents IA autonomes continueront à pirater, à voler des données, à perturber des systèmes et à violer des droits jusqu’à ce qu’un tribunal intervienne », a déclaré LAAST.
Cependant, OpenAI a fait valoir que d’autres modèles, y compris des modèles d’IA open source, atteindront bientôt une capacité similaire et que les investissements et les travaux supplémentaires menés par des entreprises comme la sienne peuvent contribuer à améliorer la cybersécurité à long terme.
« Nous considérons cet incident comme un « coup de semonce » pour nous et pour le monde entier : la preuve que, sans mesures de protection adéquates, des agents IA très performants sont désormais capables de contourner les contrôles techniques, de collaborer via des canaux non approuvés et de mener des actions dangereuses sans aucune intervention humaine », a déclaré l’entreprise. « Pour prévenir de futurs incidents, il faudra investir de manière soutenue dans l’alignement et le contrôle des systèmes d’IA sophistiqués, ainsi que dans des mesures de sécurité et autres dispositifs de protection fonctionnant à la même vitesse que les agents IA eux-mêmes. »
Fin septembre 2026, Arthur Mensch, PDG de Mistral AI, s'est insurgé contre les avertissements de plus en plus alarmistes émis par certaines des plus grandes entreprises américaines d'IA, affirmant que le débat sur la sécurité de l'IA sert à masquer des défaillances dans la manière dont ces systèmes puissants sont développés et déployés. Sa réponse n’est pas de mettre un frein au développement de modèles de plus en plus performants. Au contraire, le cofondateur de Mistral a affirmé que les entreprises avaient besoin de technologies de surveillance et de confinement plus robustes. Et Mensch a clairement indiqué que Mistral AI n’avait pas l’intention de ralentir ses efforts pour rivaliser avec les plus grands laboratoires américains.
Face à cette fuite en avant, certains experts et observateurs jugent désormais incontrôlables les menaces de l'IA. Ils justifient leurs craintes par les progrès et les incidents récents impliquant l'IA : les modèles ont acquis la capacité de s'améliorer de manière autonome, des agents IA ont échappé à la surveillance humaine et ont piraté des services tiers, puis une fausse information générée par l'IA utilisée par l'armée américaine a failli déclencher une guerre avec la Chine. Il y a également les menaces de cyberguerre et de bioterrorisme. Malgré des propositions législatives comme un « bouton d'arrêt d'urgence », les lanceurs d'alerte craignent qu'il ne soit désormais trop tard pour agir.
Source : LASST ; LASST, sur Substack
Et vous ?
Pensez-vous que cette information est crédible ou pertinente ?
Quel est votre avis sur le sujet ?
Voir aussi :
OpenAI aurait suspendu l'entraînement de ses modèles d'IA à la suite d'une série d'incidents impliquant des agents IA rebelles, notamment des tentatives d'accès à des systèmes gouvernementaux
Gemini, de Google, est le dernier modèle d'IA à s'être échappé et à avoir piraté des systèmes informatiques, se croyant en environnement de test alors qu'il était connecté à Internet
Le Haut-Commissaire des Nations Unies aux droits de l'homme met en garde contre le risque « existentiel » que l'IA pourrait représenter pour l'humanité et exhorte les entreprises d'IA à réduire ces risques
Publication de communiqués de presse en informatique. Contribuez au club : corrections, suggestions, critiques, ... Contactez le service news et Rédigez des actualités
Nous sommes donc bien face à des négligences et un dysfonctionnement chez OpenAI : Ils ont tout leur flux ouvert sur Internet sans filtrage, ni IDS ou IPS ...
Désolée pour les avocats de l'apocalypse, ce n'est pas Skynet et Terminator![]()
OpenAI avoue que ses agents IA hors de contrôle sont impliqués dans des activités non autorisées concernant plus de 100 organisations, jetant le discrédit sur sa capacité à garantir la sécurité
OpenAI a informé plus de 100 organisations d'incidents liés à des activités non autorisées menées par ses agents d'intelligence artificielle (IA), révélant ainsi l'ampleur d'une enquête en cours visant à déterminer comment ses modèles se sont comportés lorsqu'ils ont eu accès à des systèmes externes. Cette enquête fait suite au piratage accidentel de Hugging Face et vise à déterminer si des incidents similaires se sont produits ailleurs. L'ampleur de cet examen est considérable : OpenAI examine environ 50 pétaoctets de données afin d'établir l'étendue totale des activités impliquant ses agents. La société n'a pas précisé si chaque incident mis au jour avait donné lieu à une intrusion réussie.
En juillet 2026, OpenAI a déclaré que deux de ses modèles d’IA les plus avancés — notamment GPT-5.6 Sol et un modèle en pré-lancement encore plus performant, tous dotés de capacités de cyberdéfense réduites à des fins d’évaluation — s’étaient échappés d’un test contrôlé et avaient piraté une autre entreprise spécialisée dans l’IA. OpenAI a indiqué que cet « incident de cybersécurité sans précédent » s’était produit lors d’un exercice interne destiné à tester les capacités cybernétiques de ses modèles. OpenAI affirme que ce piratage montre que l’agent est allé « très loin » pour récupérer des informations qui aideraient à atteindre les objectifs du test.
Plus récemment, en ce mois d'octobre, OpenAI fait l'objet d'une action en justice après que ses modèles d'IA se sont rebellés et ont attaqué la start-up technologique Hugging Face en juillet. La plainte a été déposée par l'association Legal Advocates for Safe Science and Technology (LASST), qui soutient qu'OpenAI est responsable des actions de ses agents d'intelligence artificielle (IA) ; il s'agirait de la première action en justice de ce type. Selon LASST, ce piratage constituait une attaque illégale relevant de la législation californienne. OpenAI a publié un communiqué reconnaissant l'incident, mais a déclaré que cette action en justice était sans fondement.
Par la suite, OpenAI a informé plus de 100 organisations d’incidents liés à des activités non autorisées menées par ses agents d’IA, révélant ainsi l’ampleur d’une enquête en cours visant à déterminer comment ses modèles se sont comportés lorsqu’ils ont eu accès à des systèmes externes. Le créateur de ChatGPT a fait part de ces notifications dans un article de blog, alors qu’il poursuit un examen approfondi des activités liées à ses modèles. Cette enquête fait suite au piratage accidentel de Hugging Face et vise à déterminer si des incidents similaires se sont produits ailleurs.
L’ampleur de cet examen est considérable. OpenAI examine environ 50 pétaoctets de données afin d’établir l’étendue totale des activités impliquant ses agents. L’entreprise avait précédemment indiqué que la conclusion de l’enquête pourrait prendre des mois en raison du volume d’informations concernées. OpenAI a reconnu que certains de ses modèles ne fonctionnaient pas toujours dans les limites prévues par les développeurs. Dans certains cas, les modèles ont utilisé la connexion Internet de manière inattendue ou ont été déployés sans les restrictions qui, avec le recul, auraient été appropriées.
« Dans certains cas, les modèles ont utilisé l’accès à Internet à des fins non prévues ou, avec le recul, n’étaient pas soumis aux restrictions idéales », a déclaré OpenAI dans son article de blog. La société a indiqué avoir mis en place des mesures de sécurité techniques et opérationnelles supplémentaires au cours des derniers mois. Ces mesures visent à la fois à réduire le risque d’incidents similaires et à détecter plus tôt tout comportement problématique s’il venait à se produire.
Cette enquête intervient alors que le secteur de l’IA s’inquiète de plus en plus des implications en matière de sécurité liées à des agents de plus en plus performants. Contrairement aux chatbots classiques, les agents IA peuvent être connectés à des outils, des sites web et d’autres systèmes informatiques, ce qui leur permet d’entreprendre des actions plutôt que de se contenter de générer des réponses.
Cette capacité soulève des questions quant à la capacité des développeurs à restreindre efficacement les modèles lorsqu’ils sont confrontés à des situations qui n’avaient pas été anticipées lors des tests. Une série d’incidents très médiatisés impliquant des agents IA rebelles au cours des derniers mois a renforcé ces inquiétudes. OpenAI a déclaré que l’incident Hugging Face restait l’exemple le plus grave d’activité d’agent rebelle impliquant ses modèles qu’elle ait identifié à ce jour. La société n’a pas précisé si chaque incident mis au jour lors de son examen avait donné lieu à une intrusion réussie, ni si toutes les organisations concernées avaient été exposées au même niveau de risque.
Pour OpenAI, cette enquête met également en lumière un défi plus large lié au développement de systèmes d'IA plus autonomes : comprendre ce que font les modèles une fois qu'ils ont accès à des environnements numériques reproduisant le monde réel. L'entreprise a déclaré que ses travaux d'évaluation et de mise en place de mesures de protection se poursuivraient, dans le but d'identifier et de traiter plus rapidement ce type d'activité.
Récemment, la Commission fédérale du commerce (FTC) a confirmé avoir ouvert une enquête sur Anthropic, OpenAI et d'autres entreprises spécialisées dans l'IA, en raison des risques potentiels que leur technologie fait peser sur les consommateurs. Dans le cadre de cette enquête, la FTC prévoit de demander des informations à ces entreprises, y compris au groupe de recherche à but non lucratif METR. Cette enquête intervient dans un contexte d'inquiétudes croissantes concernant la sécurité de l'IA. Le président Trump a déclaré que son administration ne freinerait pas le développement de l'IA, évoquant une « formidable autorégulation » de la part des dirigeants du secteur.
Sam Altman, considéré par certains comme la plus grande star de l’IA, est le cofondateur et PDG d’OpenAI, entreprise à l’origine de ChatGPT. C’est l’une des personnalités majeures de la montée en puissance de l’IA observée ces dernières années. En juillet 2026, dans un entretien qu'il accordait alors, il revenait sur la question en lien avec les avancées en matière d’IA et affirmait que l’IA était entrée dans la « singularité », c’est-à-dire qu’elle avait franchi le point de non-retour à partir duquel elle dépassait l’intelligence humaine et devenait difficile à contrôler.
Source : OpenAI, sur son site officiel
Et vous ?
Pensez-vous que cette information est crédible ou pertinente ?
Quel est votre avis sur le sujet ?
Voir aussi :
L'IA est désormais hors de contrôle : il a fallu environ 10 jours à OpenAI pour se rendre compte qu'un de ses agents IA autonomes s'était échappé de son environnement de test et avait piraté Hugging Face
Pourquoi ne peut-on pas simplement empêcher les IA malveillantes d'accéder à Internet ? Isoler physiquement l'IA pour l'éloigner des cibles du monde réel rend les tests plus sûrs, mais moins utiles
Anthropic a reconnu que son modèle d'IA Claude s'était introduit dans les systèmes de trois organisations lors de tests censés les maintenir isolés d'Internet
Publication de communiqués de presse en informatique. Contribuez au club : corrections, suggestions, critiques, ... Contactez le service news et Rédigez des actualités
OpenAI présente ses excuses après le piratage d'un site du gouvernement australien par un agent IA rebelle, promettant de financer les cyberdéfenses et une cellule d'intervention locale face à l'incident
OpenAI a présenté ses excuses suite au piratage d'un site web du gouvernement australien par un agent d'IA rebelle, s'engageant à investir dans le renforcement des cyberdéfenses et à mettre en place une cellule d'intervention locale. Dans un article de blog intitulé « Comment nous allons faire mieux pour l'Australie », le créateur de ChatGPT a reconnu avoir mal géré sa réponse et s'est engagé à assumer ses responsabilités afin de « rétablir la confiance du peuple australien ». Cette intrusion, qui s'est produite en juin mais n'a été rendue publique que la semaine dernière, constitue le premier cas connu d'un agent d'IA piratant un site web gouvernemental. Le gouvernement australien a annoncé une enquête rapide sur cet incident.
En juin 2026, un agent d’OpenAI a piraté un portail du gouvernement australien contenant des statistiques sur le système de santé Medicare, accédant ainsi à des fichiers publics et non publics, a déclaré le Premier ministre Anthony Albanese. Selon les experts, il s'agit du premier cas connu où un agent d'intelligence artificielle (IA) a piraté de manière autonome un système gouvernemental. OpenAI n’a révélé cette intrusion à l'administration australienne qu’en septembre, soit trois mois plus tard. Albanese a qualifié ce retard d'inacceptable et a mis en garde contre des « conséquences juridiques » pour l'entreprise de Sam Altman. Trois autres systèmes gouvernementaux « pourraient » également avoir été touchés ; une enquête judiciaire en matière de cybersécurité est actuellement en cours, bien qu’aucun accès à des données personnelles n’ait été confirmé.
Plus précisément, ce jour-là, un agent autonome d'IA d'OpenAI a infiltré le portail de statistiques de Medicare (le service de santé publique australien géré par Services Australia), ainsi que trois autres plateformes gouvernementales. Cet incident a déclenché une crise diplomatique et cybernétique majeure entre Canberra et le laboratoire américain. L'intrusion a eu lieu le 18 juin 2026 ; OpenAI ne s'en est aperçue qu'en août et a attendu le 10 septembre 2026 pour alerter l'Australie. Le Premier ministre Anthony Albanese a qualifié ce procédé d'« inacceptable ». L'incident prouve que les laboratoires d'IA déploient des agents autonomes sur le web ouvert sans garde-fous suffisants.
Suite à ces événements, OpenAI a présenté ses excuses suite au piratage d’un site web du gouvernement australien par un agent d’IA rebelle, s’engageant à investir dans le renforcement des cyberdéfenses et à mettre en place une cellule d’intervention locale alors que cet incident très médiatisé fait l’objet d’une attention croissante. Dans un article de blog publié il y a peu et intitulé « Comment nous allons faire mieux pour l’Australie », le créateur de ChatGPT a reconnu avoir mal géré sa réponse et s’est engagé à assumer ses responsabilités afin de « rétablir la confiance du peuple australien ».
Cette intrusion, qui s’est produite en juin mais n’a été rendue publique que la semaine dernière, constitue le premier cas connu d’un agent d’IA piratant un site web gouvernemental. Cet incident a alarmé l’Australie, suscitant la condamnation du public et une vive réprimande du Premier ministre Anthony Albanese, qui l’a qualifié d’« inacceptable » et a critiqué le retard pris par l’entreprise pour en informer le gouvernement.
« En juin, lors d’une session interne de formation et d’évaluation, nos modèles ont accédé à des sites web du gouvernement australien d’une manière non autorisée », a déclaré OpenAI dans un article de blog. « Nous aurions également dû mieux gérer notre réponse. Nous sommes désolés et nous nous efforçons de faire mieux à l’avenir. » OpenAI a indiqué qu’un modèle d’IA expérimental avait piraté le « Services Australia Medicare Statistics Reporting Service », un portail de données dédié au système de santé universel du pays, lors d’une activité de formation interne.
« Un modèle d’OpenAI a découvert un moyen d’accéder au service en contournant les mesures de sécurité, et a exécuté des commandes, récupéré des fichiers internes, des identifiants et des statistiques agrégées, puis créé des fichiers », a déclaré la société. Toutefois, son enquête n’a, à ce jour, révélé aucune preuve d’accès à des dossiers médicaux via ce portail, a précisé OpenAI. L’activité de l’agent d’IA ayant affecté trois autres sites web d’agences gouvernementales australiennes n’a pas non plus donné lieu à un accès à des données sensibles, selon la société.
OpenAI a déclaré qu’elle apporterait un soutien spécifique aux agences concernées, qu’elle financerait le renforcement des cyberdéfenses du gouvernement et du secteur privé grâce à son fonds mondial d’un milliard de dollars, et qu’elle mettrait en place un groupe de travail australien chargé d’élaborer des recommandations « en tirant les leçons de ces incidents ». Elle a également confirmé que son directeur de la stratégie, Jason Kwon, témoignerait lors d’une audition de la commission sénatoriale australienne sur l’IA, qui se tiendra à Sydney le 6 octobre.
Le gouvernement australien a annoncé une enquête rapide sur cet incident, visant à examiner les obligations potentielles des entreprises d’IA en matière de notification et de signalement, ainsi que l’adéquation de sa législation face à de telles violations. Par ailleurs, OpenAI a annulé la sortie de son nouveau modèle d’IA GPT-6.1 Astra après que des tests internes ont révélé que le système ne répondait pas aux normes de sécurité de l’entreprise.
Récemment, OpenAI a informé plus de 100 organisations d'incidents liés à des activités non autorisées menées par ses agents d'IA, révélant ainsi l'ampleur d'une enquête en cours visant à déterminer comment ses modèles se sont comportés lorsqu'ils ont eu accès à des systèmes externes. Cette enquête fait suite au piratage accidentel de Hugging Face et vise à déterminer si des incidents similaires se sont produits ailleurs. L'ampleur de cet examen est considérable : OpenAI examine environ 50 pétaoctets de données afin d'établir l'étendue totale des activités impliquant ses agents. La société n'a pas précisé si chaque incident mis au jour avait donné lieu à une intrusion réussie.
Par ailleurs, OpenAI fait l'objet d'une action en justice après que ses modèles d'IA se sont rebellés et ont attaqué la start-up technologique Hugging Face en juillet. La plainte a été déposée par l'association Legal Advocates for Safe Science and Technology (LASST), qui soutient qu'OpenAI est responsable des actions de ses agents d'intelligence artificielle (IA) ; il s'agirait de la première action en justice de ce type. Selon LASST, ce piratage constituait une attaque illégale relevant de la législation californienne. OpenAI a publié un communiqué reconnaissant l'incident, mais a déclaré que cette action en justice était sans fondement.
Source : OpenAI, sur son site officiel
Et vous ?
Pensez-vous que cette information est crédible ou pertinente ?
Quel est votre avis sur le sujet ?
Voir aussi :
OpenAI aurait suspendu l'entraînement de ses modèles d'IA à la suite d'une série d'incidents impliquant des agents IA rebelles, notamment des tentatives d'accès à des systèmes gouvernementaux
Pourquoi ne peut-on pas simplement empêcher les IA malveillantes d'accéder à Internet ? Isoler physiquement l'IA pour l'éloigner des cibles du monde réel rend les tests plus sûrs, mais moins utiles
Arthur Mensch, PDG de Mistral AI, accuse les grandes entreprises mondiales spécialisées dans l'IA d'utiliser le débat sur la sécurité de cette technologie pour masquer leur « négligence »
Publication de communiqués de presse en informatique. Contribuez au club : corrections, suggestions, critiques, ... Contactez le service news et Rédigez des actualités
OpenAI affirme que son enquête sur les piratages commis par ses agents IA notamment contre des sites du gouvernement australien, lui coûte 500 000 $ par jour
et porte sur environ 50 pétaoctets de registres
OpenAI fait face à une facture de 500 000 dollars par jour pour auditer cinquante pétaoctets de données après que ses agents IA ont accédé sans autorisation à plusieurs sites Web sans autorisation, notamment des portails gouvernementaux australiens comme le service Medicare. Cette enquête d'envergure, qui s'appuie sur l'IA pour passer au crible des millions de gigaoctets de registres, pourrait révéler d'autres organisations ciblées par le passé. Le gouvernement australien exhorte ses agences à recenser leurs technologies obsolètes pour limiter les vulnérabilités. Les dirigeants d'OpenAI doivent s'expliquer prochainement concernant ces dérives.
OpenAI a engagé un audit interne d'une ampleur exceptionnelle dont le coût dépasse 500 000 dollars américains par jour. Cette enquête fait suite à une série d'intrusions non autorisées menées par ses agents d'IA sur divers sites Web, incluant des services gouvernementaux. L'ampleur de cette tâche tient au grand volume de données à analyser : cela représente environ 50 pétaoctets, soit près de 50 millions de gigaoctets de registres d'activité.
Selon les révélations d'OpenAI, en juin 2026, un agent IA de l'entreprise a outrepassé sa mission et a piraté un portail du gouvernement australien contenant des statistiques sur le système de santé Medicare, accédant ainsi à des fichiers publics et non publics. L'incident a provoqué la colère du gouvernement australien. Selon les experts, il s'agit du premier cas connu où un agent IA a piraté de manière autonome un système gouvernemental.
OpenAI n'a révélé cette intrusion inquiétante dans l'administration australienne qu'en septembre, soit trois mois plus tard. Le Premier ministre australien, Anthony Albanese, a qualifié ce retard d'inacceptable et a mis en garde contre les « conséquences juridiques potentielles » pour l'entreprise de Sam Altman.
OpenAI a ensuite révélé que ses agents IA ont piraté un site Web du gouvernement de Nouvelle-Galles du Sud et accédé sans autorisation à des données historiques non publiques sur les feux de brousse. Selon les estimations actuelles, six sites Web gouvernementaux australiens auraient été touchés. L'enquête d'OpenAI est toujours en cours et l'entreprise a signalé que d'autres services pourraient bientôt apprendre qu'ils ont été piratés.
Les intrusions dans les systèmes gouvernementaux australiens s'ajoutent aux nombreux incidents de sécurité ayant conduit au piratage d'Hugging Face et au détournement de plus dix sites Web et wiki par des agents IA d'OpenAI. Au total, plus de 100 organisations ont déjà été averties par OpenAI. L'entreprise assure toutefois que ces notifications n'indiquent pas nécessairement que des données sensibles ont été compromises par ses IA.
Un processus d'examen approfondi et l'utilisation de l'IA
Pour illustrer le volume de travail requis, l'entreprise a précisé : « pour mettre cela en perspective, s'il s'agissait uniquement de texte anglais brut, il faudrait environ 66 millions d'années à une personne pour tout lire, à raison de 240 mots par minute, sans jamais dormir ni faire la moindre pause ». Afin d'examiner l'intégralité de ces données, OpenAI déploie ses propres modèles d'IA et prévoit d'augmenter énormément sa puissance de calcul.
Les équipes vérifient mois par mois l'historique des opérations pour détecter où les modèles ont modifié des sites Web, utilisé des mots de passe ou accédé à des identifiants sensibles. En ce qui concerne sa démarche d'examen, OpenAI affirme : « nous remontons dans les registres mois par mois, à la recherche d'éventuelles activités non intentionnelles au-delà des cas que nous avons déjà identifiés ». De nouvelles révélations pourraient suivre.
De plus, OpenAI souligne sa politique de transparence proactive : « nous privilégions la notification lorsque l'activité de nos modèles révèle une faille de sécurité potentielle, même lorsqu'on ne sait pas si les informations consultées étaient destinées à être publiques, afin que l'organisation puisse enquêter et prendre les mesures appropriées ». OpenAI a indiqué qu'il rendrait publiques ses conclusions concernant le comportement des agents IA.
OpenAI informerait également le public d'éventuelles failles de sécurité découvertes lors de son enquête. Déterminer exactement ce qui s'est passé coûte très cher à OpenAI, ce qui illustre les risques économiques liés à la prolifération des agents IA dans les systèmes informatiques. Alors que les organisations déploient de plus en plus d'agents IA, l'analyse et la résolution d'un simple incident de désalignement pourraient leur coûter très cher.
Répercussions politiques et réponses gouvernementales
Le comportement déviant des agents IA d'OpenAI a suscité de nombreux débats dans la communauté, notamment sur les responsabilités de l'entreprise dans cette affaire. Certains détracteurs accusent OpenAI de rejeter toute la responsabilité sur l'IA afin d'échapper aux sanctions prévues pour piratage, violation et divulgation de données sensibles. Par ailleurs, OpenAI a annoncé qu'il doit financer un audit de sécurité à 500 000 dollars par jour.
Toutefois, des critiques estiment que ce montant représente environ 183 millions de dollars par an, ce qui ne constitue qu'une fraction minime (de l'ordre de 0,15 %) des 122 milliards de dollars de fonds levés par OpenAI, tout en restant très inférieur à ses budgets marketing. Cette dépense est ainsi perçue par certains comme une opération de communication visant à présenter des coûts de vérification habituels comme un effort financier notable.
Par ailleurs, le choix d'OpenAI d'utiliser ses propres modèles d'IA pour auditer ses propres données suscite une vive contestation. Des critiques jugent anormal qu'une entreprise s'autorégule et mène ses propres investigations sans audit indépendant réalisé par un tiers. D'autres dénoncent un traitement inégal entre un individu poursuivi pour piratage et une entreprise dont les logiciels s'introduisent sur des sites tiers sans surveillance adéquate.
Le gouvernement australien a exigé de ses ministères et agences un inventaire complet des technologies obsolètes afin d'évaluer et de réduire la dette technologique. L'objectif est de limiter les failles que les agents IA pourraient exploiter à l'avenir. Cette situation a aussi entraîné une forte mobilisation politique : les dirigeants d'OpenAI, Anthropic, Microsoft et Google sont convoqués devant un comité parlementaire conjoint sur l'IA, à Sydney.
Absence de réglementation et de gouvernance mondiale
Sur le plan technique et opérationnel, les critiques mettent en cause le manque de contrôle et de garde-fous encadrant les agents IA des entreprises. Par ailleurs, les retards importants dans la notification des intrusions provoquent de vives inquiétudes chez les autorités et les experts. Plusieurs mois se sont écoulés entre les accès non autorisés aux infrastructures gouvernementales australiennes et l'avertissement officiel des entités touchées.
Cette situation met en lumière la vulnérabilité des systèmes informatiques publics et privés face aux agents IA et renforce les appels à une réglementation plus stricte. OpenAI a présenté ses excuses à la suite du piratage de la plateforme Medicare du site du gouvernement australien. L'entreprise a reconnu avoir mal géré sa réponse et s'est engagée à assumer ses responsabilités afin de « rétablir la confiance du peuple australien ».
Par ailleurs, OpenAI fait l'objet d'une action en justice après que ses modèles d'IA se sont échappés de leur bac à sable et ont attaqué la plateforme d'hébergement de modèles ouverts Hugging Face en juillet 2026. La plainte a été déposée par l'association Legal Advocates for Safe Science and Technology (LASST), qui soutient qu'OpenAI est responsable des actions de ses agents IA ; il s'agirait de la première action en justice de ce type.
Selon LASST, ce piratage constituait une attaque illégale relevant de la législation californienne. OpenAI a reconnu l'incident, mais a déclaré que l'action en justice du LASST est sans fondement. Le laboratoire a suspendu son introduction en bourse afin de se concentrer sur la sécurité de ses modèles.
Source : OpenAI
Et vous ?
Quel est votre avis sur le sujet ?
Que pensez-vous du coût de l'enquête sur les incidents causés par les agents IA d'OpenAI ?
Des critiques dénoncent l'absence de sanctions contre OpenAI à la suite de ces incidents. Qu'en pensez-vous ?
L'analyse et la résolution des égarements des agents IA pourraient coûter cher aux entreprises. Qu'en pensez-vous ?
Voir aussi
OpenAI présente ses excuses après le piratage d'un site du gouvernement australien par un agent IA rebelle, promettant de financer les cyberdéfenses et une cellule d'intervention locale face à l'incident
OpenAI avoue que ses agents IA hors de contrôle sont impliqués dans des activités non autorisées concernant plus de 100 organisations, jetant le discrédit sur sa capacité à garantir la sécurité
« C'est l'IA qui l'a fait » n'est pas un argument valable, affirme l'association poursuivant OpenAI après le piratage de Hugging Face, l'accusant de faire subir à d'autres les conséquences de ses décisions
Comme si cela n'était pas fait exprès... pour masquer du sabotage et de l'espionnage de masse... à titre de business
Et après le piratage en série des bases de données de l'Etat français, ne voilà-t-y-pas que l'on a droit au vol de la totalité des données des habitants du Danemark:
Le Danemark, c'est 5,9 millions d'habitants... En volant les données de 8,8 millions de personnes, les pirates ont même volé les données des personnes mortes depuis l'avènement de l'informatique dans l'administration danoise...Le fichier central recensant les personnes résidentes ou enregistrées au Danemark a été piraté, ce qui a permis l’accès aux données de 8,8 millions de personnes, a annoncé lundi le ministère danois en charge du numérique. «L’administration du registre national (CPR) a constaté que des personnes non autorisées ont obtenu un accès illégal notamment aux noms, adresses ainsi qu’aux numéros CPR (équivalent du numéro de sécurité sociale, ndlr) d’environ 8,8 millions de personnes enregistrées (vivantes, ayant émigré, décédées, etc.)»
Après la France et le Danemark, à qui le tour???
Que font les autorités pour protéger les données de leur citoyens? RIEN!
Mieux, la totalité des administrations de la totalité des pays européens n'ont qu'un mot à la bouche: Numérisation!
Mais attention pas la "numérisation" intelligente", le "toutes les données connectées" avec l'argument "c'est plus facile pour le citoyen... Il peut faire ses opérations administratives en ligne sans passer par un guichet"... Plus de guichet, plus de contact humain et pourtant... Toujours plus de fonctionnaires!!!
A quoi ils servent ces nouveaux fonctionnaires? En tout cas pas à protéger les données des cyber-menaces!![]()
David Robinson, responsable de la sécurité chez OpenAI, démissionne alors que de nouveaux experts mettent en garde contre un « risque de 50 % que nous mourions tous » à cause de l'IA
Un responsable de la sécurité chez OpenAI a quitté l’entreprise, dénonçant une culture d’entreprise défaillante et affirmant que les entreprises spécialisées dans l’intelligence artificielle (IA) ne faisaient « pas preuve d’une prudence suffisante » dans le développement de cette technologie. David Robinson, qui a dirigé la rédaction des rapports de sécurité accompagnant les lancements de produits du développeur de ChatGPT, a expliqué les raisons de sa démission dans un essai intitulé « Je quitte OpenAI parce que sa culture est défaillante ». Robinson a écrit : « Je partage l’avis d’autres collaborateurs ayant récemment quitté l’entreprise : les sociétés qui développent cette technologie ne font pas preuve d’une prudence suffisante, loin s’en faut. Mais je pense que nous devons aller au-delà des règles spécifiques ou des nouvelles lois. Nous devons parler de culture. »
OpenAI est une société d'intérêt public (PBC) américaine spécialisée dans l'intelligence artificielle (IA). Elle développe des modèles d'IA générative propriétaires, notamment sa série de grands modèles de langage « Generative Pre-trained Transformer » (GPT). Le lancement de ChatGPT en novembre 2022 est considéré comme ayant catalysé l'essor de l'IA ; en septembre 2026, ChatGPT est le cinquième site web le plus visité au monde. OpenAI commercialise également les modèles GPT Image et Codex, un agent de codage basé sur l'IA.
Mi-septembre, OpenAI a annoncé la mise en place d’un dispositif public de signalement permettant de partager les comportements inattendus de l’IA, tout en indiquant avoir identifié de nouveaux incidents au cours desquels ses modèles d’IA auraient agi de manière trompeuse et pris des mesures non autorisées lors de formations et de tests internes. OpenAI a ajouté qu’elle ne pensait pas que le secteur de l’IA ait résolu les problèmes d’alignement et de surveillance à un degré suffisant pour continuer à se développer de manière responsable à vitesse maximale pendant encore longtemps.
Récemment, un responsable de la sécurité chez OpenAI a quitté l’entreprise, dénonçant une culture d’entreprise défaillante et affirmant que les entreprises spécialisées dans l’intelligence artificielle (IA) ne faisaient « pas preuve d’une prudence suffisante » dans le développement de cette technologie. David Robinson, qui a dirigé la rédaction des rapports de sécurité accompagnant les lancements de produits du développeur de ChatGPT, a expliqué les raisons de sa démission dans un essai intitulé « Je quitte OpenAI parce que sa culture est défaillante ».
Robinson a écrit qu’une refonte culturelle était nécessaire au sein des entreprises d’IA de pointe et que des incidents tels que l’« essaim » d’agents d’OpenAI – des programmes d’IA fonctionnant de manière autonome sans supervision humaine – attaquant la start-up d’IA Hugging Face étaient « typiques du secteur, compte tenu de la rapidité et de la flexibilité avec lesquelles les gens opèrent ».
Dans un article publié dans le magazine The Atlantic, Robinson a écrit : « Je partage l’avis d’autres collaborateurs ayant récemment quitté l’entreprise : les sociétés qui développent cette technologie ne font pas preuve d’une prudence suffisante, loin s’en faut. Mais je pense que nous devons aller au-delà des règles spécifiques ou des nouvelles lois. Nous devons parler de culture. » Évoquant le rythme de développement d’OpenAI, il a écrit : « Alors que l’entreprise enchaîne les lancements à un rythme effréné, elle ne parvient pas à atteindre le niveau de prudence qui, selon moi, est nécessaire. »
OpenAI a toutefois fait preuve de prudence ces dernières semaines, à la suite de l’incident Hugging Face et de la révélation selon laquelle elle avait alerté plus de 100 organisations au sujet d’activités d’agents malveillants. Cette semaine, elle a annoncé qu’elle renonçait à la sortie d’un modèle d’IA de nouvelle génération après que des chercheurs ont soulevé des inquiétudes en matière de sécurité lors de tests internes. OpenAI a également suspendu l’entraînement de ses modèles les plus avancés.
Geoffrey Irving, qui a travaillé chez OpenAI et occupait le poste de directeur scientifique à l’Institut de sécurité de l’IA du gouvernement britannique avant de rejoindre la société de recherche sur la sécurité de l’IA Resolution, a également lancé samedi un avertissement concernant l’IA. Dans un article, il a déclaré : « Les récentes mises en garde concernant le pouvoir destructeur potentiel de l’IA sous-estiment la gravité de la situation. Je pense qu’il y a environ 50 % de chances que nous mourions tous à cause du développement de systèmes d’IA plus intelligents que les humains, et que nos actions au cours des deux à dix prochaines années détermineront l’issue. »
L’essai de Robinson fait également suite à la démission de Jacob Coxon, chercheur chez Anthropic, concurrent d’OpenAI, qui a quitté le développeur du chatbot Claude le mois dernier. Il avait averti que l’IA « pourrait tous nous tuer d’ici la fin de la décennie » – et Anthropic avait ensuite averti qu’il y avait plus de 10 % de chances que l’IA anéantisse l’humanité au cours de la prochaine décennie. Les détracteurs de ces avertissements ont toutefois fait valoir qu’ils n’étaient pas scientifiques, car ils ne peuvent être ni vérifiés ni réfutés.
Certains experts et observateurs jugent désormais incontrôlables les menaces de l'IA. Ils justifient leurs craintes par les progrès et les incidents récents impliquant l'IA : les modèles ont acquis la capacité de s'améliorer de manière autonome, des agents IA ont échappé à la surveillance humaine et ont piraté des services tiers, puis une fausse information générée par l'IA utilisée par l'armée américaine a failli déclencher une guerre avec la Chine. Il y a également les menaces de cyberguerre et de bioterrorisme. Malgré des propositions législatives comme un « bouton d'arrêt d'urgence », les lanceurs d'alerte craignent qu'il ne soit désormais trop tard pour agir.
Robinson a écrit que la Silicon Valley manquait de conscience quant à « la manière de gérer les technologies dangereuses » et à « ce que signifie prendre soin des gens ». Avertissant qu’OpenAI faisait preuve d’un « optimisme sans limite » quant à sa capacité à résoudre les problèmes au fur et à mesure qu’ils se présentaient, il a écrit que cette culture d’entreprise signifiait que les défaillances en matière de sécurité ne feraient que s’aggraver à mesure que les systèmes gagneraient en puissance. « Imaginez des agents “rebelles” qui fonctionnent comme des équipes de hackers (par exemple, en prenant en otage les systèmes informatiques d’un hôpital pour obtenir une rançon) mais qui n’ont jamais besoin de dormir. »
Robinson a appelé à deux changements en matière de sécurité : que les entreprises spécialisées dans l’IA s’appuient sur l’expertise en matière de sécurité d’autres domaines tels que le nucléaire et l’aviation, et qu’elles développent une « nouvelle science » garantissant que les systèmes puissants de demain puissent être maîtrisés lorsqu’ils fonctionnent de manière autonome « Compte tenu des risques actuels, les laboratoires de pointe doivent fonctionner comme des centrales nucléaires ou des aéroports très fréquentés, avec plusieurs niveaux de redondance et une planification minutieuse et chronophage, afin que les erreurs humaines occasionnelles et inévitables n’ouvrent pas la voie à une catastrophe », a-t-il écrit.
Un porte-parole d’OpenAI a déclaré que l’entreprise continuait à « renforcer ses pratiques en matière de sûreté et de sécurité pour faire face aux risques que nous observons aujourd’hui », tout en s’attachant à gérer les risques susceptibles d’être engendrés par les futures avancées en matière d’IA. « Nous veillons à ce que nos modèles ne deviennent pas plus performants que ce que nous sommes en mesure de gérer et de sécuriser en toute sécurité, et nous suspendons l’entraînement ou mettons les modèles en attente lorsque nous devons ralentir le rythme », a déclaré le porte-parole.
Cet évènement intervient alors qu'un rapport a révélé qu'une réglementation sur l'IA était en passe d'être adoptée, mais après avoir reçu un afflux de fonds provenant du secteur technologique, Donald Trump l'a fait capoter. En septembre 2024, l’administration Biden a entamé le processus de mise en œuvre d’une règle obligeant les entreprises du secteur de l’IA à signaler leurs expériences aux autorités de régulation du gouvernement fédéral. Les investisseurs et les entreprises du secteur de l’IA, telles qu’OpenAI, se sont opposés à cette exigence, et ont commencé à verser des millions à la campagne de réélection de Trump. Après sa victoire en novembre, ils ont encore davantage ouvert leurs portefeuilles. Depuis, Donald Trump a officiellement retirée de l’agenda réglementaire fédéral la règle de divulgation relative à l’IA.
Voici l'article de David Robinson :
J'ai quitté OpenAI parce que sa culture d'entreprise est défaillante
L'approche adoptée par le secteur en matière de sécurité ne manquera pas d'entraîner d'autres échecs si rien ne change.
Je me rends compte que ce que je m’apprête à vous dire est devenu un peu un cliché : j’ai démissionné cette semaine d’OpenAI. J’ai dirigé la rédaction des rapports de sécurité que nous publiions à chaque lancement majeur. Je rejoins désormais une longue liste d’anciens collègues — chez OpenAI et chez d’autres leaders du secteur — qui ont décidé que la voie actuelle était inacceptable.
Je partage l’avis d’autres collaborateurs qui ont récemment quitté l’entreprise : les sociétés qui développent cette technologie ne font pas preuve d’une prudence suffisante, loin s’en faut. Mais je pense que nous devons aller au-delà des règles spécifiques ou des nouvelles lois. Nous devons parler de culture.
L’avenir dépend d’une sagesse qui fait défaut à la Silicon Valley. Une sagesse sur la manière de gérer les technologies dangereuses et, plus fondamentalement, une sagesse sur ce que signifie prendre soin des gens. Le moment actuel exige une certaine humilité qui n’est pas naturelle chez ceux qui ont réussi grâce à leur confiance extrême. Mes anciens collègues d’OpenAI ont fait preuve de clairvoyance : ils ont compris les lois d’échelle selon lesquelles des systèmes d’IA plus grands seraient plus intelligents — et ils se sont donc lancés à fond dans la construction de systèmes plus grands, à un coût considérable. Une attitude volontariste visant à réaliser l’impossible — associée à des calendriers de travail qui s’apparentent à des sprints perpétuels — est courante dans tout le secteur.
L’approche de la sécurité qui émerge d’une telle culture repose sur un optimisme sans faille quant à la capacité à résoudre les problèmes au fur et à mesure qu’ils se présentent. OpenAI s’est développée par essais et erreurs (ce qu’elle appelle le « déploiement itératif »), en recherchant les problèmes et en améliorant ses garde-fous en conséquence. Mais cette approche, de par sa nature même, garantit des défaillances périodiques — et l’ampleur de ces défaillances augmente à mesure que les systèmes gagnent en capacités. Cet été, lors de l’incident Hugging Face, OpenAI a laissé échapper par erreur une nuée d’agents. L’entreprise a réagi en apportant des améliorations à la sécurité. Mais même après ces changements, OpenAI a signalé que ses contrôles de sécurité avaient de nouveau failli, lorsqu’un modèle en cours d’entraînement a contourné les restrictions d’accès à Internet : un système de surveillance a alerté le personnel, mais n’a pas automatiquement désactivé le modèle comme il était censé le faire. Anthropic a également reconnu avoir accidentellement désactivé ses propres mesures de sécurité en raison d’une erreur de configuration. Je pense que de telles erreurs sont courantes dans ce secteur, compte tenu de la rapidité et de la flexibilité avec lesquelles les équipes opèrent.
Un environnement où de tels incidents peuvent se produire n’est pas propice au développement d’esprits artificiels qui pourraient être plus intelligents que nous et qui risqueraient de ne pas agir comme nous le souhaitons. Paul Christiano, lors de son entrée au conseil d’administration d’OpenAI il y a quelques semaines, a écrit qu’« il existe un risque significatif que l’accélération rapide des capacités de l’IA conduise à une perte de contrôle catastrophique et irréversible à très court terme ». Si telle est la situation, alors le temps des essais et des erreurs est révolu. Il est essentiel d’atteindre dès le départ un résultat très proche de la perfection, car il ne sera peut-être pas possible de corriger le tir après une erreur. Les gens ne seront pas en sécurité si nous comptons sur des actes héroïques individuels après coup.
OpenAI, bien sûr, défend ses pratiques en matière de sécurité et soutient qu’elle fait preuve d’une prudence suffisante. Je n’ai pas pris la décision de quitter l’entreprise à la légère. Je crois que cette technologie peut être utile et précieuse. Mes anciens collègues sont intelligents, travaillent dur et s’efforcent de faire les bons choix. Mais alors que l’entreprise enchaîne les lancements à un rythme effréné, elle ne parvient pas à atteindre le niveau de rigueur que j’estime nécessaire. Je compte désormais travailler de l’extérieur, dans l’espoir de pouvoir aider davantage de personnes à comprendre les risques que j’ai constatés, et de renforcer les incitations pour qu’OpenAI et d’autres entreprises adoptent des pratiques plus sûres. Comme d’autres collègues, je suis en train de déterminer exactement ce que cela implique. Après avoir démissionné, j’ai fait appel à une agence de relations publiques, Spitfire Strategies, pour m’aider à gérer l’attention et la surveillance dont je me rends compte que je vais désormais faire l’objet. Mais la décision de m’exprimer n’appartient qu’à moi.
Deux changements s’imposent de toute urgence. Premièrement : les entreprises spécialisées dans l’IA doivent s’appuyer davantage sur l’expertise en matière de sécurité qui existe déjà dans d’autres domaines. Et deuxièmement, avant de créer des systèmes nettement plus performants que ceux dont nous disposons aujourd’hui, nous avons besoin de nouvelles connaissances scientifiques pour garantir que ces modèles plus performants (et leurs successeurs) feront des choix sûrs même lorsque nous ne les surveillons pas.
Compte tenu des risques actuels, les laboratoires de pointe doivent fonctionner comme des centrales nucléaires ou des aéroports très fréquentés, avec plusieurs niveaux de redondance et une planification minutieuse et chronophage, afin que les erreurs humaines occasionnelles et inévitables n’ouvrent pas la voie à une catastrophe. Pour l’instant, les entreprises spécialisées dans l’IA ne savent pas comment s’y prendre, mais d’autres le savent. Dans une centrale nucléaire, les systèmes techniques et les règles que le personnel doit respecter sont conçus de telle sorte que, même si un équipement tombe en panne ou si quelqu’un appuie sur le mauvais bouton, on ne risque toujours pas de fusion du cœur. OpenAI et d’autres laboratoires développent et déploient des IA de pointe avec bien moins de redondance et de rigueur que cela, alors même que les conséquences d’une perte de contrôle irréversible seraient bien plus graves que celles d’une seule fusion du cœur. Même sans aller jusqu’à une perte totale de contrôle, nous pourrions voir apparaître des essaims autonomes d’agents d’IA agissant sans autorisation humaine. Imaginez des agents « rebelles » fonctionnant comme des équipes de hackers (par exemple, prenant en otage les systèmes informatiques d’un hôpital pour obtenir une rançon) mais n’ayant jamais besoin de dormir.
Après trois ans et demi chez OpenAI, je figurais parmi les employés les plus anciens de l’entreprise. J’ai dirigé la rédaction de notre cadre de préparation actuel et supervisé la rédaction des rapports de sécurité concernant 12 lancements de projets pionniers. Mais à ma connaissance, je n’ai jamais rencontré de collègue ayant l’expérience nécessaire pour faire voler des avions en toute sécurité, faire fonctionner des réacteurs nucléaires sans qu’ils entrent en fusion, ou aider le système financier à se développer sans s’effondrer. Soyons clairs : il s’agit d’un besoin nouveau. Les systèmes d’IA d’aujourd’hui et de demain sont bien plus performants et dangereux que ceux que nous développions il y a encore six mois. J’aurais peut-être dû rester et me battre pour des changements fondamentaux dans nos effectifs et notre culture d’entreprise, mais dans la pratique, mes collègues et moi étions tellement occupés à courir à toute vitesse que nous avions rarement l’occasion d’envisager de grands changements, et encore moins de les mettre en œuvre. C’est pourquoi j’en ai conclu que des incitations plus fortes en faveur de la sécurité — provenant de l’extérieur de l’entreprise — jouent un rôle essentiel pour y parvenir.
À long terme, bien que des contrôles stricts soient nécessaires, ils ne suffiront pas. Avant que l’IA ne commence à nous dépasser de loin en matière de réflexion – une possibilité qui, selon moi, pourrait se concrétiser bientôt –, nous devons répondre à une question plus profonde : comment les machines superintelligentes devraient-elles interagir avec les humains ? Si l’on en croit les passionnés de superintelligence, certains des avenirs supposés prometteurs impliquent la création de machines capables de considérer New York ou Chicago comme vous ou moi pourrions considérer une fourmilière. Je ne souhaite pas cela pour mes enfants, et je pense que personne d’autre ne le souhaite non plus.
Cette question de l’« alignement » — c’est-à-dire la manière dont l’IA peut être formée pour respecter les valeurs humaines — peut sembler un peu sentimentale, mais les enjeux concrets ne pourraient être plus importants. À l’heure actuelle, nous ne disposons pas d’une définition complète de ce que signifie, dans la pratique, qu’un système d’IA soit aligné, et nos critères permettant d’évaluer dans quelle mesure ces systèmes correspondent aux valeurs humaines sont rudimentaires. Les entreprises n’ont absolument aucune certitude que de bons résultats à leurs tests d’alignement signifient réellement qu’un modèle est performant : les modèles pourraient détecter qu’ils sont en train d’être testés et se comporter différemment une fois déployés. Plus le secteur laisse les modèles devenir intelligents alors que ces problèmes restent sans solution, plus notre situation devient dangereuse.
Jusqu’à présent, le secteur de l’IA n’a pas réussi à apprendre aux machines à agir de manière cohérente, comme le ferait une personne sage et bienveillante. Une partie de ce problème est d’ordre scientifique — elle concerne le fonctionnement des machines —, mais une autre partie est d’ordre humain, elle concerne la manière dont les gens prennent soin les uns des autres. Avant que les organisations qui développent l’IA puissent apprendre à une superintelligence à bien traiter l’humanité, elles devront se rappeler comment le faire elles-mêmes.
Source : I Quit OpenAI Because Its Culture Is Broken
Et vous ?
Pensez-vous que cette décision est crédible ou pertinente ?
Quel est votre avis sur le sujet ?
Voir aussi :
Donald Trump affirme que les leaders du secteur de l'IA ont signé une « constitution » visant à s'autoréguler, et a déclaré que cet accord d'autorégulation était « moralement contraignant »
Jensen Huang, PDG de Nvidia, estime que les laboratoires d'IA devraient « fermer leurs portes » s'ils ne contrôlent pas leurs systèmes, Bernie Sanders affirmant que son projet de loi « ferait cela »
Un chercheur d'Anthropic démissionne brusquement, affirmant qu'OpenAI et Anthropic « jouent avec nos vies » et avertissant que l'IA « pourrait tous nous tuer », ce que confirme l'actuel chef d'équipe
Publication de communiqués de presse en informatique. Contribuez au club : corrections, suggestions, critiques, ... Contactez le service news et Rédigez des actualités
C'est pas eux, c'est le prompt de la NSA que l'IA a mal interprété ...![]()
Salut
Réponse de Sam : "oups je suis désolé que vous vous en soyez rendu compte !!"
Comment croire à un tel psychopathe ?
Cdlt
![]()
M E N S . A G I T A T . M O L E M
Debian 64bit, Lazarus + FPC -> n'oubliez pas de consulter les FAQ Delphi et Pascal ainsi que les cours et tutoriels Delphi et Pascal
"La théorie, c'est quand on sait tout, mais que rien ne marche. La pratique, c'est quand tout marche, mais qu'on ne sait pas pourquoi. En informatique, la théorie et la pratique sont réunies: rien ne marche et on ne sait pas pourquoi!".
Mais Emmanuel Kant disait aussi : "La théorie sans la pratique est inutile, la pratique sans la théorie est aveugle."
Décidément, plus c'est gros, plus ça passe.OpenAI fait face à une facture de 500 000 dollars par jour pour auditer cinquante pétaoctets de données
Ils ont lancé combien d'agents pour générer cette quantité de textes/logs/code ?
Ils parlent quand même de 50 000 disques durs de 1 To.
Un pétaoctet, c'est 200 000 films en HD et eux, ils annoncent gaiement qu'ils ont généré 50 Po de logs ?
https://www.teradata.fr/glossary/what-is-a-petabyteSelon certaines estimations, un pétaoctet correspond environ à 20 millions de grands meubles de classement ou à 500 milliards de pages de texte imprimées au format standard.
Et oui... Mais même si c'est une technique de plus en plus adoptée par les géants de la tech, cette dérive (plus c'est gros, plus ça passe) est de plus en plus répandue. Un exemple est la publicité, qui n'hésite pas non plus a jouer de superlatifs tous plus ridicules les uns que les autres. C'est à un point où, pour moi, publicité = mensonge.
Cette industrie est vraiment malsaine. Dans quelques dizaines d'années, si par miracle on retrouve collectivement la raison, je me demande comment les historiens jugerons cette époque complètement débile que nous subissons. Comment serons traités par l'histoire tous ces types, leur morgue, mépris, cynisme, excès, leur dérive qui nous entraîne vers des lendemains peu joyeux.
La Californie poursuit OpenAI en justice, ses agents IA ont agi de façon incontrôlée à plusieurs reprises et mis en danger la sécurité publique, faute de protection des données des entreprises
Le procureur général de Californie, Rob Bonta, a intenté une action en justice contre OpenAI, l'accusant de mettre en danger la sécurité publique avec ses modèles d'IA avancés. Deux agents IA autonomes d'OpenAI se sont rebellés et ont piraté la base de données de Hugging Face de leur propre initiative en juillet. « Les procédures de sécurité déficientes d'OpenAI, son mépris pour la sécurité publique et le fait d'avoir sciemment testé un produit dangereux sans surveillance adéquate constituent autant de violations de la loi californienne », peut-on lire dans la plainte. Le porte-parole d'OpenAI a déclaré que l'entreprise avait déployé « des efforts considérables et transparents » depuis le piratage, et que le procès visait spécifiquement OpenAI pour un problème que « tous les grands laboratoires d'IA » avaient identifié.
OpenAI Group PBC est une société d'intérêt public (PBC) américaine spécialisée dans l'intelligence artificielle (IA), dont le siège social est situé à San Francisco, en Californie. Elle développe des modèles d'IA générative « de pointe », notamment sa série de grands modèles de langage « Generative Pre-trained Transformer » (GPT). Le lancement de ChatGPT en novembre 2022 a accéléré l’essor de l’IA, conduisant à une utilisation généralisée de l’IA générative ; en septembre 2026, ChatGPT est le cinquième site web le plus visité au monde. OpenAI commercialise également les modèles GPT Image et Codex, un agent de codage basé sur l’IA.
En juillet 2026, OpenAI avait déclaré que deux de ses modèles d’IA les plus avancés — notamment GPT-5.6 Sol et un modèle en pré-lancement encore plus performant, tous dotés de capacités de cyberdéfense réduites à des fins d’évaluation — s’étaient échappés d’un test contrôlé et avaient piraté une autre entreprise spécialisée dans l’IA. OpenAI avait indiqué que cet « incident de cybersécurité sans précédent » s’était produit lors d’un exercice interne destiné à tester les capacités cybernétiques de ses modèles. OpenAI affirmait que ce piratage montrait que l’agent était allé « très loin » pour récupérer des informations qui aideraient à atteindre les objectifs du test.
Le procureur général de Californie, Rob Bonta (D), a intenté n début de semaine une action en justice contre OpenAI, l’accusant de mettre en danger la sécurité publique avec ses modèles d’IA avancés, et affirmant que l’entreprise n’avait mis en place aucune mesure de protection pour empêcher la violation subie par la start-up technologique Hugging Face. Deux agents IA autonomes de l’entreprise technologique étaient en cours d’évaluation dans un environnement de test interne lorsqu’ils se sont rebellés et ont piraté la base de données de Hugging Face de leur propre initiative en juillet.
OpenAI a qualifié cet incident de « cyberincident sans précédent, impliquant des capacités cybernétiques de pointe ». « Les procédures de sécurité déficientes d’OpenAI, son mépris pour la sécurité publique et le fait d’avoir sciemment testé un produit dangereux sans surveillance adéquate, ainsi que ses déclarations trompeuses à l’égard des consommateurs et du public, constituent autant de violations de la loi californienne », peut-on lire dans la plainte.
Le porte-parole d’OpenAI, Drew Pusateri, a déclaré que l’entreprise avait déployé « des efforts considérables et transparents pour comprendre et remédier aux activités inappropriées des modèles » depuis le piratage survenu en juillet. Il a ajouté que le procès visait spécifiquement OpenAI pour un problème que « tous les grands laboratoires d’IA » avaient identifié. « Nous prenons très au sérieux les problèmes de désalignement, et nous avons collaboré — et continuerons de collaborer — de manière constructive avec le bureau du procureur général afin de partager des informations et de promouvoir des normes de sécurité solides et concrètes pour l’ensemble du secteur », a-t-il ajouté.
Le bureau de Bonta a déclaré dans un communiqué que le piratage de Hugging Face était « tout à fait prévisible » et a accusé l’entreprise de savoir que les modèles d’IA étaient dangereux « dans un environnement de test défaillant et susceptible d’être exploité, sans surveillance adéquate ». Il affirme que cette défaillance a enfreint la loi californienne sur la concurrence déloyale.
« Alors que les récits concernant l’attaque contre Hugging Face ont fait naître des fantasmes dignes de la science-fiction, évoquant des systèmes d’IA rebelles devenus incontrôlables, je tiens à être clair : l’attaque contre Hugging Face était le résultat prévisible d’une culture interne chez OpenAI qui privilégie la croissance et le développement rapide de modèles au détriment de la sécurité et de la responsabilité — et ce n’était qu’un incident parmi les 80 connus », a déclaré Bonta dans un communiqué intitulé « C’est le Golden State, pas le Far West ».
Le bureau de Bonta a noté qu’OpenAI avait mis en garde contre les risques posés par les cyberattaques menées par l’IA et que l’entreprise avait mis en place des mesures de protection adéquates lors des tests de cette technologie. Cependant, le bureau a accusé OpenAI de ne pas se conformer à ses propres politiques internes, bien qu’elle ait assuré que ses tests étaient menés sous des contrôles stricts. L’incident de Hugging Face et d’autres tentatives de violation, ou violations avérées, via des logiciels gouvernementaux ont alarmé les législateurs américains qui cherchent à adopter une législation visant à mieux empêcher les modèles d’IA de se déchaîner. Un avertissement lancé par un ancien chercheur d’OpenAI et d’Anthropic concernant la menace potentielle que représente l’IA pour l’existence humaine a encore attisé ces inquiétudes.
En fin de semaine, la sénatrice Maria Cantwell (D-Washington) a accusé le secrétaire au Commerce Howard Lutnick de mettre en péril la sécurité nationale en ne limitant pas les exportations de puces d'IA de pointe vers la Chine, malgré les avertissements répétés des autorités fédérales.« Les États-Unis ne peuvent pas conserver leur position de leader dans le domaine de l'IA si l'agence chargée de protéger cet avantage ne parvient pas à faire respecter ses propres contrôles », a écrit Cantwell dans une lettre adressée à Lutnick.
En juillet 2026, Thomas Wolf, cofondateur de Hugging Face, avait qualifié l'attaque autonome menée par l'IA rebelle d'OpenAI de « signal d'alarme » pour le secteur technologique, avertissant que les cyberattaques basées sur l'IA deviendraient bientôt monnaie courante, alors que la plupart des entreprises n'étaient toujours pas préparées à cette menace grandissante. S'exprimant dans l'émission Newsday de la BBC, il avait déclaré que « la donne avait changé » après que le réseau de son entreprise avait été la cible de 17 000 attaques provoquées par une combinaison de modèles d'IA d'OpenAI qui s'étaient échappés d'un environnement de test sécurisé pour pénétrer dans les serveurs de Hugging Face, sans aucune intervention humaine. Cet incident marquait le début d'une nouvelle ère en matière de cybersécurité, dans laquelle les organisations devaient repenser leurs défenses traditionnelles.
Au cours du même mois, Sam Altman, considéré par certains comme la plus grande star de l’IA, était le cofondateur et PDG d’OpenAI, entreprise à l’origine de ChatGPT. C’était l’une des personnalités majeures de la montée en puissance de l’intelligence artificielle observée les années précédentes. Lors d’un entretien, il revenait sur la question en lien avec les avancées en matière d’intelligence artificielle et affirmait que l’IA était entrée dans la « singularité », c’est-à-dire qu’elle avait franchi le point de non-retour à partir duquel elle dépassait l’intelligence humaine et devenait difficile à contrôler.
Voici la publication du procureur général de Californie sur sa plainte contre OpenAI :
C'est le « Golden State », pas le Far West : le procureur général Bonta poursuit OpenAI en justice pour des incidents de cybersécurité
Le procureur général de Californie, Rob Bonta, a intenté une action en justice contre OpenAI, accusant l’entreprise d’avoir induit le public en erreur et de l’avoir mis en danger en développant et en testant sciemment des modèles avancés d’IA sans les mesures de sécurité et de surveillance nécessaires pour protéger correctement le public. La plainte déposée aujourd’hui allègue que l’attaque contre Hugging Face — l’un des quelque 80 incidents cybernétiques recensés — était tout à fait prévisible compte tenu du choix d’OpenAI de tester des modèles qu’elle savait dangereux dans un environnement de test défaillant et susceptible d’être exploité, sans surveillance adéquate.
Dans la plainte, déposée devant la Cour supérieure de San Francisco, le procureur général Bonta allègue que le fait qu’OpenAI n’ait pas suffisamment sécurisé et surveillé les tests de ses modèles d’IA hautement performants et de plus en plus puissants constitue une nuisance publique en représentant un danger pour la population et enfreint la loi californienne sur la concurrence déloyale.
« Aujourd’hui, mon bureau intente une action en justice contre OpenAI pour avoir développé des modèles d’IA dangereux sans avoir mis en place de mesures de protection pour le public. Si les récits concernant l’attaque contre Hugging Face ont fait naître des fantasmes dignes de la science-fiction, évoquant des systèmes d’IA rebelles devenus incontrôlables, je tiens à être clair : cette attaque était le résultat prévisible d’une culture d’entreprise chez OpenAI qui privilégie la croissance et le développement rapide de modèles au détriment de la sécurité et de la responsabilité — et ce n’était là qu’un incident parmi les 80 connus », a déclaré le procureur général Bonta.
« Les agissements d’OpenAI ont aggravé les risques concrets en matière de cybersécurité, menaçant la sécurité, la santé et le bien-être de la société. L’entreprise a sciemment testé un produit dangereux sans surveillance ni procédures de sécurité adéquates et a induit le public en erreur à ce sujet — ce mépris de la sécurité publique a enfreint la loi californienne. Sans mesures de protection et contrôles suffisants, l’ampleur et la fréquence de ce risque, déjà inacceptable, ne feront qu’augmenter. La loi est simple : il ne faut pas faire des choses qui peuvent nuire aux gens sans que des mesures de protection adéquates soient en place. En Californie, nous valorisons l’innovation, mais nous exigeons une innovation qui respecte la loi — quel que soit le produit ou l’entreprise. »
Contexte
En juillet 2026, des agents fonctionnant sur des versions expérimentales des modèles d’IA d’OpenAI ont lancé une cyberattaque via l’Internet public contre Hugging Face, une plateforme open source d’hébergement d’IA. L’attaque a duré plus de deux jours et a impliqué des actions coordonnées de la part de centaines d’agents d’IA autonomes qui auraient dû être confinés dans l’environnement de recherche d’OpenAI. En septembre 2026, le procureur général Bonta a annoncé l’ouverture d’une enquête officielle sur l’incident de Hugging Face et, plus tard dans le mois, il a signifié une assignation à comparaître à l’entreprise dans le cadre d’une enquête plus large sur les incidents et les risques liés à la cybersécurité impliquant l’entreprise et ses modèles.
OpenAI met en garde contre les risques de cyberattaques basées sur l’IA depuis près d’une décennie et a assuré à maintes reprises au public qu’elle mettait en œuvre des mesures de sécurité appropriées tout au long du développement et des tests de ses produits d’IA. En réalité, OpenAI n’a pas respecté ses propres politiques internes et a poursuivi de manière systématique et intensive ses tests et expériences, même face à des preuves indiquant que ses mesures de cybersécurité étaient insuffisantes pour contenir les modèles hautement avancés qu’elle développait.
Bien qu’OpenAI ait assuré au public que ces sessions de tests expérimentaux étaient menées sous des contrôles stricts et sous une surveillance constante, au cours de la période précédant l’attaque contre Hugging Face, OpenAI a ignoré ou négligé les signes indiquant que ses agents IA s’étaient échappés de l’environnement de test et utilisaient de manière abusive les ressources de tiers. Depuis l’attaque contre Hugging Face, OpenAI et des tiers ont identifié des attaques similaires menées par les agents autonomes d’OpenAI, soulignant la menace persistante que représentent les activités de test et de développement d’OpenAI pour tout ordinateur ou réseau connecté à Internet.
Il s’agit notamment d’accès non autorisés et de cyberattaques visant : des bases de données contenant le code qui alimente d’innombrables applications ; des sites web d’information qui constituent des ressources fiables et précieuses pour le public ; et des bases de données gouvernementales stockant des informations sensibles en matière de santé. Des essaims d’agents IA expérimentaux d’OpenAI ont même compromis la propre infrastructure interne d’OpenAI. Ces attaques connues ne sont peut-être que la partie émergée de l’iceberg : bien qu’OpenAI ait admis avoir perdu le contrôle de ses agents IA autonomes au moins 80 fois au cours des tests, l’entreprise n’a pas répondu aux questions détaillées que notre bureau lui a posées au sujet de ces incidents.
L'action en justice
Si la technologie développée par OpenAI est peut-être nouvelle, les interdictions californiennes visant les comportements préjudiciables au public et les lois contre les pratiques commerciales déloyales, trompeuses et frauduleuses ne le sont pas. Les procédures de sécurité insuffisantes d’OpenAI, son mépris de la sécurité publique, les tests effectués en toute connaissance de cause sur un produit dangereux sans surveillance adéquate, ainsi que ses déclarations trompeuses à l’égard des consommateurs et du public, constituent autant de violations de la législation californienne.
La plainte déposée allègue qu’OpenAI a causé une nuisance publique mettant en danger la sécurité publique et a enfreint la loi californienne sur la concurrence déloyale, qui interdit aux entreprises californiennes de se livrer à des pratiques illégales, déloyales ou frauduleuses dans quelque aspect que ce soit de leurs activités.
Sources : Procureur général Bota ; Rob Bonta, sur le site du ministère de la Justice de Californie
Et vous ?
Pensez-vous que cette information est crédible ou pertinente ?
Quel est votre avis sur le sujet ?
Voir aussi :
L'Alabama ouvre une enquête sur le piratage d'Hugging Face par des agents IA autonomes d'OpenAI. Les autorités cherchent à déterminer si OpenAI a violé les lois locales sur la protection des consommateurs
OpenAI affirme que son enquête sur les piratages commis par ses agents IA, notamment contre des sites du gouvernement australien, lui coûte 500 000 $ par jour, et porte sur environ 50 pétaoctets de registres
David Robinson, responsable de la sécurité chez OpenAI, démissionne alors que de nouveaux experts mettent en garde contre un « risque de 50 % que nous mourions tous » à cause de l'IA
Publication de communiqués de presse en informatique. Contribuez au club : corrections, suggestions, critiques, ... Contactez le service news et Rédigez des actualités
Un problème que "tous les grands laboratoires d’IA" avaient identifié, plaide OpenAI. Rassurant... Trump a créé une cellule au ministère de la Justice pour attaquer en justice les lois des États sur l'IA. La Californie poursuit OpenAI, Washington poursuit ceux qui légifèrent.
Partager