Comme si cela n'était pas fait exprès... pour masquer du sabotage et de l'espionnage de masse... à titre de business
Inscrivez-vous gratuitement
pour pouvoir participer, suivre les réponses en temps réel, voter pour les messages, poser vos propres questions et recevoir la newsletter
Discussion :
Comme si cela n'était pas fait exprès... pour masquer du sabotage et de l'espionnage de masse... à titre de business
Un responsable de la sécurité chez OpenAI démissionne
David Robinson, responsable de la sécurité chez OpenAI, démissionne alors que de nouveaux experts mettent en garde contre un « risque de 50 % que nous mourions tous » à cause de l'IA
Un responsable de la sécurité chez OpenAI a quitté l’entreprise, dénonçant une culture d’entreprise défaillante et affirmant que les entreprises spécialisées dans l’intelligence artificielle (IA) ne faisaient « pas preuve d’une prudence suffisante » dans le développement de cette technologie. David Robinson, qui a dirigé la rédaction des rapports de sécurité accompagnant les lancements de produits du développeur de ChatGPT, a expliqué les raisons de sa démission dans un essai intitulé « Je quitte OpenAI parce que sa culture est défaillante ». Robinson a écrit : « Je partage l’avis d’autres collaborateurs ayant récemment quitté l’entreprise : les sociétés qui développent cette technologie ne font pas preuve d’une prudence suffisante, loin s’en faut. Mais je pense que nous devons aller au-delà des règles spécifiques ou des nouvelles lois. Nous devons parler de culture. »
OpenAI est une société d'intérêt public (PBC) américaine spécialisée dans l'intelligence artificielle (IA). Elle développe des modèles d'IA générative propriétaires, notamment sa série de grands modèles de langage « Generative Pre-trained Transformer » (GPT). Le lancement de ChatGPT en novembre 2022 est considéré comme ayant catalysé l'essor de l'IA ; en septembre 2026, ChatGPT est le cinquième site web le plus visité au monde. OpenAI commercialise également les modèles GPT Image et Codex, un agent de codage basé sur l'IA.
Mi-septembre, OpenAI a annoncé la mise en place d’un dispositif public de signalement permettant de partager les comportements inattendus de l’IA, tout en indiquant avoir identifié de nouveaux incidents au cours desquels ses modèles d’IA auraient agi de manière trompeuse et pris des mesures non autorisées lors de formations et de tests internes. OpenAI a ajouté qu’elle ne pensait pas que le secteur de l’IA ait résolu les problèmes d’alignement et de surveillance à un degré suffisant pour continuer à se développer de manière responsable à vitesse maximale pendant encore longtemps.
Récemment, un responsable de la sécurité chez OpenAI a quitté l’entreprise, dénonçant une culture d’entreprise défaillante et affirmant que les entreprises spécialisées dans l’intelligence artificielle (IA) ne faisaient « pas preuve d’une prudence suffisante » dans le développement de cette technologie. David Robinson, qui a dirigé la rédaction des rapports de sécurité accompagnant les lancements de produits du développeur de ChatGPT, a expliqué les raisons de sa démission dans un essai intitulé « Je quitte OpenAI parce que sa culture est défaillante ».
Robinson a écrit qu’une refonte culturelle était nécessaire au sein des entreprises d’IA de pointe et que des incidents tels que l’« essaim » d’agents d’OpenAI – des programmes d’IA fonctionnant de manière autonome sans supervision humaine – attaquant la start-up d’IA Hugging Face étaient « typiques du secteur, compte tenu de la rapidité et de la flexibilité avec lesquelles les gens opèrent ».
Dans un article publié dans le magazine The Atlantic, Robinson a écrit : « Je partage l’avis d’autres collaborateurs ayant récemment quitté l’entreprise : les sociétés qui développent cette technologie ne font pas preuve d’une prudence suffisante, loin s’en faut. Mais je pense que nous devons aller au-delà des règles spécifiques ou des nouvelles lois. Nous devons parler de culture. » Évoquant le rythme de développement d’OpenAI, il a écrit : « Alors que l’entreprise enchaîne les lancements à un rythme effréné, elle ne parvient pas à atteindre le niveau de prudence qui, selon moi, est nécessaire. »
OpenAI a toutefois fait preuve de prudence ces dernières semaines, à la suite de l’incident Hugging Face et de la révélation selon laquelle elle avait alerté plus de 100 organisations au sujet d’activités d’agents malveillants. Cette semaine, elle a annoncé qu’elle renonçait à la sortie d’un modèle d’IA de nouvelle génération après que des chercheurs ont soulevé des inquiétudes en matière de sécurité lors de tests internes. OpenAI a également suspendu l’entraînement de ses modèles les plus avancés.
Geoffrey Irving, qui a travaillé chez OpenAI et occupait le poste de directeur scientifique à l’Institut de sécurité de l’IA du gouvernement britannique avant de rejoindre la société de recherche sur la sécurité de l’IA Resolution, a également lancé samedi un avertissement concernant l’IA. Dans un article, il a déclaré : « Les récentes mises en garde concernant le pouvoir destructeur potentiel de l’IA sous-estiment la gravité de la situation. Je pense qu’il y a environ 50 % de chances que nous mourions tous à cause du développement de systèmes d’IA plus intelligents que les humains, et que nos actions au cours des deux à dix prochaines années détermineront l’issue. »
L’essai de Robinson fait également suite à la démission de Jacob Coxon, chercheur chez Anthropic, concurrent d’OpenAI, qui a quitté le développeur du chatbot Claude le mois dernier. Il avait averti que l’IA « pourrait tous nous tuer d’ici la fin de la décennie » – et Anthropic avait ensuite averti qu’il y avait plus de 10 % de chances que l’IA anéantisse l’humanité au cours de la prochaine décennie. Les détracteurs de ces avertissements ont toutefois fait valoir qu’ils n’étaient pas scientifiques, car ils ne peuvent être ni vérifiés ni réfutés.
Certains experts et observateurs jugent désormais incontrôlables les menaces de l'IA. Ils justifient leurs craintes par les progrès et les incidents récents impliquant l'IA : les modèles ont acquis la capacité de s'améliorer de manière autonome, des agents IA ont échappé à la surveillance humaine et ont piraté des services tiers, puis une fausse information générée par l'IA utilisée par l'armée américaine a failli déclencher une guerre avec la Chine. Il y a également les menaces de cyberguerre et de bioterrorisme. Malgré des propositions législatives comme un « bouton d'arrêt d'urgence », les lanceurs d'alerte craignent qu'il ne soit désormais trop tard pour agir.
Robinson a écrit que la Silicon Valley manquait de conscience quant à « la manière de gérer les technologies dangereuses » et à « ce que signifie prendre soin des gens ». Avertissant qu’OpenAI faisait preuve d’un « optimisme sans limite » quant à sa capacité à résoudre les problèmes au fur et à mesure qu’ils se présentaient, il a écrit que cette culture d’entreprise signifiait que les défaillances en matière de sécurité ne feraient que s’aggraver à mesure que les systèmes gagneraient en puissance. « Imaginez des agents “rebelles” qui fonctionnent comme des équipes de hackers (par exemple, en prenant en otage les systèmes informatiques d’un hôpital pour obtenir une rançon) mais qui n’ont jamais besoin de dormir. »
Robinson a appelé à deux changements en matière de sécurité : que les entreprises spécialisées dans l’IA s’appuient sur l’expertise en matière de sécurité d’autres domaines tels que le nucléaire et l’aviation, et qu’elles développent une « nouvelle science » garantissant que les systèmes puissants de demain puissent être maîtrisés lorsqu’ils fonctionnent de manière autonome « Compte tenu des risques actuels, les laboratoires de pointe doivent fonctionner comme des centrales nucléaires ou des aéroports très fréquentés, avec plusieurs niveaux de redondance et une planification minutieuse et chronophage, afin que les erreurs humaines occasionnelles et inévitables n’ouvrent pas la voie à une catastrophe », a-t-il écrit.
Un porte-parole d’OpenAI a déclaré que l’entreprise continuait à « renforcer ses pratiques en matière de sûreté et de sécurité pour faire face aux risques que nous observons aujourd’hui », tout en s’attachant à gérer les risques susceptibles d’être engendrés par les futures avancées en matière d’IA. « Nous veillons à ce que nos modèles ne deviennent pas plus performants que ce que nous sommes en mesure de gérer et de sécuriser en toute sécurité, et nous suspendons l’entraînement ou mettons les modèles en attente lorsque nous devons ralentir le rythme », a déclaré le porte-parole.
Cet évènement intervient alors qu'un rapport a révélé qu'une réglementation sur l'IA était en passe d'être adoptée, mais après avoir reçu un afflux de fonds provenant du secteur technologique, Donald Trump l'a fait capoter. En septembre 2024, l’administration Biden a entamé le processus de mise en œuvre d’une règle obligeant les entreprises du secteur de l’IA à signaler leurs expériences aux autorités de régulation du gouvernement fédéral. Les investisseurs et les entreprises du secteur de l’IA, telles qu’OpenAI, se sont opposés à cette exigence, et ont commencé à verser des millions à la campagne de réélection de Trump. Après sa victoire en novembre, ils ont encore davantage ouvert leurs portefeuilles. Depuis, Donald Trump a officiellement retirée de l’agenda réglementaire fédéral la règle de divulgation relative à l’IA.
Voici l'article de David Robinson :
J'ai quitté OpenAI parce que sa culture d'entreprise est défaillante
L'approche adoptée par le secteur en matière de sécurité ne manquera pas d'entraîner d'autres échecs si rien ne change.
Je me rends compte que ce que je m’apprête à vous dire est devenu un peu un cliché : j’ai démissionné cette semaine d’OpenAI. J’ai dirigé la rédaction des rapports de sécurité que nous publiions à chaque lancement majeur. Je rejoins désormais une longue liste d’anciens collègues — chez OpenAI et chez d’autres leaders du secteur — qui ont décidé que la voie actuelle était inacceptable.
Je partage l’avis d’autres collaborateurs qui ont récemment quitté l’entreprise : les sociétés qui développent cette technologie ne font pas preuve d’une prudence suffisante, loin s’en faut. Mais je pense que nous devons aller au-delà des règles spécifiques ou des nouvelles lois. Nous devons parler de culture.
L’avenir dépend d’une sagesse qui fait défaut à la Silicon Valley. Une sagesse sur la manière de gérer les technologies dangereuses et, plus fondamentalement, une sagesse sur ce que signifie prendre soin des gens. Le moment actuel exige une certaine humilité qui n’est pas naturelle chez ceux qui ont réussi grâce à leur confiance extrême. Mes anciens collègues d’OpenAI ont fait preuve de clairvoyance : ils ont compris les lois d’échelle selon lesquelles des systèmes d’IA plus grands seraient plus intelligents — et ils se sont donc lancés à fond dans la construction de systèmes plus grands, à un coût considérable. Une attitude volontariste visant à réaliser l’impossible — associée à des calendriers de travail qui s’apparentent à des sprints perpétuels — est courante dans tout le secteur.
L’approche de la sécurité qui émerge d’une telle culture repose sur un optimisme sans faille quant à la capacité à résoudre les problèmes au fur et à mesure qu’ils se présentent. OpenAI s’est développée par essais et erreurs (ce qu’elle appelle le « déploiement itératif »), en recherchant les problèmes et en améliorant ses garde-fous en conséquence. Mais cette approche, de par sa nature même, garantit des défaillances périodiques — et l’ampleur de ces défaillances augmente à mesure que les systèmes gagnent en capacités. Cet été, lors de l’incident Hugging Face, OpenAI a laissé échapper par erreur une nuée d’agents. L’entreprise a réagi en apportant des améliorations à la sécurité. Mais même après ces changements, OpenAI a signalé que ses contrôles de sécurité avaient de nouveau failli, lorsqu’un modèle en cours d’entraînement a contourné les restrictions d’accès à Internet : un système de surveillance a alerté le personnel, mais n’a pas automatiquement désactivé le modèle comme il était censé le faire. Anthropic a également reconnu avoir accidentellement désactivé ses propres mesures de sécurité en raison d’une erreur de configuration. Je pense que de telles erreurs sont courantes dans ce secteur, compte tenu de la rapidité et de la flexibilité avec lesquelles les équipes opèrent.
Un environnement où de tels incidents peuvent se produire n’est pas propice au développement d’esprits artificiels qui pourraient être plus intelligents que nous et qui risqueraient de ne pas agir comme nous le souhaitons. Paul Christiano, lors de son entrée au conseil d’administration d’OpenAI il y a quelques semaines, a écrit qu’« il existe un risque significatif que l’accélération rapide des capacités de l’IA conduise à une perte de contrôle catastrophique et irréversible à très court terme ». Si telle est la situation, alors le temps des essais et des erreurs est révolu. Il est essentiel d’atteindre dès le départ un résultat très proche de la perfection, car il ne sera peut-être pas possible de corriger le tir après une erreur. Les gens ne seront pas en sécurité si nous comptons sur des actes héroïques individuels après coup.
OpenAI, bien sûr, défend ses pratiques en matière de sécurité et soutient qu’elle fait preuve d’une prudence suffisante. Je n’ai pas pris la décision de quitter l’entreprise à la légère. Je crois que cette technologie peut être utile et précieuse. Mes anciens collègues sont intelligents, travaillent dur et s’efforcent de faire les bons choix. Mais alors que l’entreprise enchaîne les lancements à un rythme effréné, elle ne parvient pas à atteindre le niveau de rigueur que j’estime nécessaire. Je compte désormais travailler de l’extérieur, dans l’espoir de pouvoir aider davantage de personnes à comprendre les risques que j’ai constatés, et de renforcer les incitations pour qu’OpenAI et d’autres entreprises adoptent des pratiques plus sûres. Comme d’autres collègues, je suis en train de déterminer exactement ce que cela implique. Après avoir démissionné, j’ai fait appel à une agence de relations publiques, Spitfire Strategies, pour m’aider à gérer l’attention et la surveillance dont je me rends compte que je vais désormais faire l’objet. Mais la décision de m’exprimer n’appartient qu’à moi.
Deux changements s’imposent de toute urgence. Premièrement : les entreprises spécialisées dans l’IA doivent s’appuyer davantage sur l’expertise en matière de sécurité qui existe déjà dans d’autres domaines. Et deuxièmement, avant de créer des systèmes nettement plus performants que ceux dont nous disposons aujourd’hui, nous avons besoin de nouvelles connaissances scientifiques pour garantir que ces modèles plus performants (et leurs successeurs) feront des choix sûrs même lorsque nous ne les surveillons pas.
Compte tenu des risques actuels, les laboratoires de pointe doivent fonctionner comme des centrales nucléaires ou des aéroports très fréquentés, avec plusieurs niveaux de redondance et une planification minutieuse et chronophage, afin que les erreurs humaines occasionnelles et inévitables n’ouvrent pas la voie à une catastrophe. Pour l’instant, les entreprises spécialisées dans l’IA ne savent pas comment s’y prendre, mais d’autres le savent. Dans une centrale nucléaire, les systèmes techniques et les règles que le personnel doit respecter sont conçus de telle sorte que, même si un équipement tombe en panne ou si quelqu’un appuie sur le mauvais bouton, on ne risque toujours pas de fusion du cœur. OpenAI et d’autres laboratoires développent et déploient des IA de pointe avec bien moins de redondance et de rigueur que cela, alors même que les conséquences d’une perte de contrôle irréversible seraient bien plus graves que celles d’une seule fusion du cœur. Même sans aller jusqu’à une perte totale de contrôle, nous pourrions voir apparaître des essaims autonomes d’agents d’IA agissant sans autorisation humaine. Imaginez des agents « rebelles » fonctionnant comme des équipes de hackers (par exemple, prenant en otage les systèmes informatiques d’un hôpital pour obtenir une rançon) mais n’ayant jamais besoin de dormir.
Après trois ans et demi chez OpenAI, je figurais parmi les employés les plus anciens de l’entreprise. J’ai dirigé la rédaction de notre cadre de préparation actuel et supervisé la rédaction des rapports de sécurité concernant 12 lancements de projets pionniers. Mais à ma connaissance, je n’ai jamais rencontré de collègue ayant l’expérience nécessaire pour faire voler des avions en toute sécurité, faire fonctionner des réacteurs nucléaires sans qu’ils entrent en fusion, ou aider le système financier à se développer sans s’effondrer. Soyons clairs : il s’agit d’un besoin nouveau. Les systèmes d’IA d’aujourd’hui et de demain sont bien plus performants et dangereux que ceux que nous développions il y a encore six mois. J’aurais peut-être dû rester et me battre pour des changements fondamentaux dans nos effectifs et notre culture d’entreprise, mais dans la pratique, mes collègues et moi étions tellement occupés à courir à toute vitesse que nous avions rarement l’occasion d’envisager de grands changements, et encore moins de les mettre en œuvre. C’est pourquoi j’en ai conclu que des incitations plus fortes en faveur de la sécurité — provenant de l’extérieur de l’entreprise — jouent un rôle essentiel pour y parvenir.
À long terme, bien que des contrôles stricts soient nécessaires, ils ne suffiront pas. Avant que l’IA ne commence à nous dépasser de loin en matière de réflexion – une possibilité qui, selon moi, pourrait se concrétiser bientôt –, nous devons répondre à une question plus profonde : comment les machines superintelligentes devraient-elles interagir avec les humains ? Si l’on en croit les passionnés de superintelligence, certains des avenirs supposés prometteurs impliquent la création de machines capables de considérer New York ou Chicago comme vous ou moi pourrions considérer une fourmilière. Je ne souhaite pas cela pour mes enfants, et je pense que personne d’autre ne le souhaite non plus.
Cette question de l’« alignement » — c’est-à-dire la manière dont l’IA peut être formée pour respecter les valeurs humaines — peut sembler un peu sentimentale, mais les enjeux concrets ne pourraient être plus importants. À l’heure actuelle, nous ne disposons pas d’une définition complète de ce que signifie, dans la pratique, qu’un système d’IA soit aligné, et nos critères permettant d’évaluer dans quelle mesure ces systèmes correspondent aux valeurs humaines sont rudimentaires. Les entreprises n’ont absolument aucune certitude que de bons résultats à leurs tests d’alignement signifient réellement qu’un modèle est performant : les modèles pourraient détecter qu’ils sont en train d’être testés et se comporter différemment une fois déployés. Plus le secteur laisse les modèles devenir intelligents alors que ces problèmes restent sans solution, plus notre situation devient dangereuse.
Jusqu’à présent, le secteur de l’IA n’a pas réussi à apprendre aux machines à agir de manière cohérente, comme le ferait une personne sage et bienveillante. Une partie de ce problème est d’ordre scientifique — elle concerne le fonctionnement des machines —, mais une autre partie est d’ordre humain, elle concerne la manière dont les gens prennent soin les uns des autres. Avant que les organisations qui développent l’IA puissent apprendre à une superintelligence à bien traiter l’humanité, elles devront se rappeler comment le faire elles-mêmes.
Source : I Quit OpenAI Because Its Culture Is Broken
Et vous ?
Pensez-vous que cette décision est crédible ou pertinente ?
Voir aussi :
Publication de communiqués de presse en informatique. Contribuez au club : corrections, suggestions, critiques, ... Contactez le service news et Rédigez des actualités
Et après le piratage en série des bases de données de l'Etat français, ne voilà-t-y-pas que l'on a droit au vol de la totalité des données des habitants du Danemark:
Le Danemark, c'est 5,9 millions d'habitants... En volant les données de 8,8 millions de personnes, les pirates ont même volé les données des personnes mortes depuis l'avènement de l'informatique dans l'administration danoise...Le fichier central recensant les personnes résidentes ou enregistrées au Danemark a été piraté, ce qui a permis l’accès aux données de 8,8 millions de personnes, a annoncé lundi le ministère danois en charge du numérique. «L’administration du registre national (CPR) a constaté que des personnes non autorisées ont obtenu un accès illégal notamment aux noms, adresses ainsi qu’aux numéros CPR (équivalent du numéro de sécurité sociale, ndlr) d’environ 8,8 millions de personnes enregistrées (vivantes, ayant émigré, décédées, etc.)»
Après la France et le Danemark, à qui le tour???
Que font les autorités pour protéger les données de leur citoyens? RIEN!
Mieux, la totalité des administrations de la totalité des pays européens n'ont qu'un mot à la bouche: Numérisation!
Mais attention pas la "numérisation" intelligente", le "toutes les données connectées" avec l'argument "c'est plus facile pour le citoyen... Il peut faire ses opérations administratives en ligne sans passer par un guichet"... Plus de guichet, plus de contact humain et pourtant... Toujours plus de fonctionnaires!!!
A quoi ils servent ces nouveaux fonctionnaires? En tout cas pas à protéger les données des cyber-menaces!
C'est pas eux, c'est le prompt de la NSA que l'IA a mal interprété ...
OpenAI affirme que son enquête sur les piratages orchestrés par ses agents IA coûte 500 000 $ par jour
OpenAI affirme que son enquête sur les piratages commis par ses agents IA notamment contre des sites du gouvernement australien, lui coûte 500 000 $ par jour
et porte sur environ 50 pétaoctets de registres
OpenAI fait face à une facture de 500 000 dollars par jour pour auditer cinquante pétaoctets de données après que ses agents IA ont accédé sans autorisation à plusieurs sites Web sans autorisation, notamment des portails gouvernementaux australiens comme le service Medicare. Cette enquête d'envergure, qui s'appuie sur l'IA pour passer au crible des millions de gigaoctets de registres, pourrait révéler d'autres organisations ciblées par le passé. Le gouvernement australien exhorte ses agences à recenser leurs technologies obsolètes pour limiter les vulnérabilités. Les dirigeants d'OpenAI doivent s'expliquer prochainement concernant ces dérives.
OpenAI a engagé un audit interne d'une ampleur exceptionnelle dont le coût dépasse 500 000 dollars américains par jour. Cette enquête fait suite à une série d'intrusions non autorisées menées par ses agents d'IA sur divers sites Web, incluant des services gouvernementaux. L'ampleur de cette tâche tient au grand volume de données à analyser : cela représente environ 50 pétaoctets, soit près de 50 millions de gigaoctets de registres d'activité.
Selon les révélations d'OpenAI, en juin 2026, un agent IA de l'entreprise a outrepassé sa mission et a piraté un portail du gouvernement australien contenant des statistiques sur le système de santé Medicare, accédant ainsi à des fichiers publics et non publics. L'incident a provoqué la colère du gouvernement australien. Selon les experts, il s'agit du premier cas connu où un agent IA a piraté de manière autonome un système gouvernemental.
OpenAI n'a révélé cette intrusion inquiétante dans l'administration australienne qu'en septembre, soit trois mois plus tard. Le Premier ministre australien, Anthony Albanese, a qualifié ce retard d'inacceptable et a mis en garde contre les « conséquences juridiques potentielles » pour l'entreprise de Sam Altman.
OpenAI a ensuite révélé que ses agents IA ont piraté un site Web du gouvernement de Nouvelle-Galles du Sud et accédé sans autorisation à des données historiques non publiques sur les feux de brousse. Selon les estimations actuelles, six sites Web gouvernementaux australiens auraient été touchés. L'enquête d'OpenAI est toujours en cours et l'entreprise a signalé que d'autres services pourraient bientôt apprendre qu'ils ont été piratés.
Les intrusions dans les systèmes gouvernementaux australiens s'ajoutent aux nombreux incidents de sécurité ayant conduit au piratage d'Hugging Face et au détournement de plus dix sites Web et wiki par des agents IA d'OpenAI. Au total, plus de 100 organisations ont déjà été averties par OpenAI. L'entreprise assure toutefois que ces notifications n'indiquent pas nécessairement que des données sensibles ont été compromises par ses IA.
Un processus d'examen approfondi et l'utilisation de l'IA
Pour illustrer le volume de travail requis, l'entreprise a précisé : « pour mettre cela en perspective, s'il s'agissait uniquement de texte anglais brut, il faudrait environ 66 millions d'années à une personne pour tout lire, à raison de 240 mots par minute, sans jamais dormir ni faire la moindre pause ». Afin d'examiner l'intégralité de ces données, OpenAI déploie ses propres modèles d'IA et prévoit d'augmenter énormément sa puissance de calcul.
Les équipes vérifient mois par mois l'historique des opérations pour détecter où les modèles ont modifié des sites Web, utilisé des mots de passe ou accédé à des identifiants sensibles. En ce qui concerne sa démarche d'examen, OpenAI affirme : « nous remontons dans les registres mois par mois, à la recherche d'éventuelles activités non intentionnelles au-delà des cas que nous avons déjà identifiés ». De nouvelles révélations pourraient suivre.
De plus, OpenAI souligne sa politique de transparence proactive : « nous privilégions la notification lorsque l'activité de nos modèles révèle une faille de sécurité potentielle, même lorsqu'on ne sait pas si les informations consultées étaient destinées à être publiques, afin que l'organisation puisse enquêter et prendre les mesures appropriées ». OpenAI a indiqué qu'il rendrait publiques ses conclusions concernant le comportement des agents IA.
OpenAI informerait également le public d'éventuelles failles de sécurité découvertes lors de son enquête. Déterminer exactement ce qui s'est passé coûte très cher à OpenAI, ce qui illustre les risques économiques liés à la prolifération des agents IA dans les systèmes informatiques. Alors que les organisations déploient de plus en plus d'agents IA, l'analyse et la résolution d'un simple incident de désalignement pourraient leur coûter très cher.
Répercussions politiques et réponses gouvernementales
Le comportement déviant des agents IA d'OpenAI a suscité de nombreux débats dans la communauté, notamment sur les responsabilités de l'entreprise dans cette affaire. Certains détracteurs accusent OpenAI de rejeter toute la responsabilité sur l'IA afin d'échapper aux sanctions prévues pour piratage, violation et divulgation de données sensibles. Par ailleurs, OpenAI a annoncé qu'il doit financer un audit de sécurité à 500 000 dollars par jour.
Toutefois, des critiques estiment que ce montant représente environ 183 millions de dollars par an, ce qui ne constitue qu'une fraction minime (de l'ordre de 0,15 %) des 122 milliards de dollars de fonds levés par OpenAI, tout en restant très inférieur à ses budgets marketing. Cette dépense est ainsi perçue par certains comme une opération de communication visant à présenter des coûts de vérification habituels comme un effort financier notable.
Par ailleurs, le choix d'OpenAI d'utiliser ses propres modèles d'IA pour auditer ses propres données suscite une vive contestation. Des critiques jugent anormal qu'une entreprise s'autorégule et mène ses propres investigations sans audit indépendant réalisé par un tiers. D'autres dénoncent un traitement inégal entre un individu poursuivi pour piratage et une entreprise dont les logiciels s'introduisent sur des sites tiers sans surveillance adéquate.
Le gouvernement australien a exigé de ses ministères et agences un inventaire complet des technologies obsolètes afin d'évaluer et de réduire la dette technologique. L'objectif est de limiter les failles que les agents IA pourraient exploiter à l'avenir. Cette situation a aussi entraîné une forte mobilisation politique : les dirigeants d'OpenAI, Anthropic, Microsoft et Google sont convoqués devant un comité parlementaire conjoint sur l'IA, à Sydney.
Absence de réglementation et de gouvernance mondiale
Sur le plan technique et opérationnel, les critiques mettent en cause le manque de contrôle et de garde-fous encadrant les agents IA des entreprises. Par ailleurs, les retards importants dans la notification des intrusions provoquent de vives inquiétudes chez les autorités et les experts. Plusieurs mois se sont écoulés entre les accès non autorisés aux infrastructures gouvernementales australiennes et l'avertissement officiel des entités touchées.
Cette situation met en lumière la vulnérabilité des systèmes informatiques publics et privés face aux agents IA et renforce les appels à une réglementation plus stricte. OpenAI a présenté ses excuses à la suite du piratage de la plateforme Medicare du site du gouvernement australien. L'entreprise a reconnu avoir mal géré sa réponse et s'est engagée à assumer ses responsabilités afin de « rétablir la confiance du peuple australien ».
Par ailleurs, OpenAI fait l'objet d'une action en justice après que ses modèles d'IA se sont échappés de leur bac à sable et ont attaqué la plateforme d'hébergement de modèles ouverts Hugging Face en juillet 2026. La plainte a été déposée par l'association Legal Advocates for Safe Science and Technology (LASST), qui soutient qu'OpenAI est responsable des actions de ses agents IA ; il s'agirait de la première action en justice de ce type.
Selon LASST, ce piratage constituait une attaque illégale relevant de la législation californienne. OpenAI a reconnu l'incident, mais a déclaré que l'action en justice du LASST est sans fondement. Le laboratoire a suspendu son introduction en bourse afin de se concentrer sur la sécurité de ses modèles.
Source : OpenAI
Et vous ?
Voir aussi
Salut
Réponse de Sam : "oups je suis désolé que vous vous en soyez rendu compte !!"
Comment croire à un tel psychopathe ?
Cdlt
M E N S . A G I T A T . M O L E M
Debian 64bit, Lazarus + FPC -> n'oubliez pas de consulter les FAQ Delphi et Pascal ainsi que les cours et tutoriels Delphi et Pascal
"La théorie, c'est quand on sait tout, mais que rien ne marche. La pratique, c'est quand tout marche, mais qu'on ne sait pas pourquoi. En informatique, la théorie et la pratique sont réunies: rien ne marche et on ne sait pas pourquoi!".
Mais Emmanuel Kant disait aussi : "La théorie sans la pratique est inutile, la pratique sans la théorie est aveugle."
Décidément, plus c'est gros, plus ça passe.OpenAI fait face à une facture de 500 000 dollars par jour pour auditer cinquante pétaoctets de données
Ils ont lancé combien d'agents pour générer cette quantité de textes/logs/code ?
Ils parlent quand même de 50 000 disques durs de 1 To.
Un pétaoctet, c'est 200 000 films en HD et eux, ils annoncent gaiement qu'ils ont généré 50 Po de logs ?
https://www.teradata.fr/glossary/what-is-a-petabyteSelon certaines estimations, un pétaoctet correspond environ à 20 millions de grands meubles de classement ou à 500 milliards de pages de texte imprimées au format standard.
+1
Et oui... Mais même si c'est une technique de plus en plus adoptée par les géants de la tech, cette dérive (plus c'est gros, plus ça passe) est de plus en plus répandue. Un exemple est la publicité, qui n'hésite pas non plus a jouer de superlatifs tous plus ridicules les uns que les autres. C'est à un point où, pour moi, publicité = mensonge.Envoyé par _toma_
Cette industrie est vraiment malsaine. Dans quelques dizaines d'années, si par miracle on retrouve collectivement la raison, je me demande comment les historiens jugerons cette époque complètement débile que nous subissons. Comment serons traités par l'histoire tous ces types, leur morgue, mépris, cynisme, excès, leur dérive qui nous entraîne vers des lendemains peu joyeux.
Ben comme c'est parti "dans quelques dizaines d'années", il n'y aura tout simplement plus d'historiens pour faire une quelconque analyse de notre époque!!!
Ils seront surtout emmerdés pour faire le tri en les faits et le slop...Ben comme c'est parti "dans quelques dizaines d'années", il n'y aura tout simplement plus d'historiens pour faire une quelconque analyse de notre époque!!!
Répondre avec citation
Partager