Discussion :

[noremorse]

Tout part de Jacob Coxon, un type qui n'a aucun abonné sur X (ou quasiment) et qui enregistre du jour au lendemain 120 millions de vues sur un post "AI Doomer" pourtant relativement quelconque.

On parle tout de même de ceci, qui est l'antithèse d'un "banger" :

"J'ai démissionné d'Anthropic aujourd'hui. J'ai passé ces trois dernières années à mener des recherches sur le pré-entraînement, tant chez OpenAI que chez Anthropic. Aucune de ces deux entreprises n'agit de manière responsable. Elles se précipitent tête baissée vers une superintelligence capable de s'auto-améliorer et jouent avec nos vies. Vous trouverez ci-dessous quelques réflexions supplémentaires."

Le tweet se contente de dire "bon, les labos IA frontières font n'importe quoi" et la chaîne qui suit, pleine de pessimisme, ne parvient pas à faire la moindre prédiction concrète qui puisse réellement être réfutée (c'est assez pratique).

Mais de façon intéressante, le tweet à peine émis fait presqu'immédiatement la une de CNN et des grands médias ; ça tourne un peu partout, et des dizaines de papiers, de podcasts en parlent rapidement.

Ça buzze sur X...

Mais lorsqu'on commence à chercher un peu, on commence à se rendre compte que tout ceci est ... artificiel.

D'une part, Jacob Coxon, notre ultra-pessimiste de l'intelligence artificielle n'a pas été longtemps employé par Anthropic (quelques mois) et a assez vite rejoint des ONG franchement à gauche ("Newspeak").

Et d'autre part, il ne lui a pas fallu longtemps pour attirer le Wall Street Journal (18 minutes après son tweet apparemment) ; on peut donc soupçonner très fort une véritable "psy op"

Par exemple, Les trois premiers comptes à avoir retweeté ce message l’ont tous fait dans les 15 minutes qui ont suivi la publication initiale. Rappelons que ce compte n’enregistrait pratiquement aucun engagement auparavant ; il semble donc peu probable que cette portée soit le fruit d’une diffusion organique. Selon Grok, ces comptes sont

@_NathanCalvin (directeur juridique chez Encode AI),
@peterwildeford (responsable des politiques au sein de l’AI Policy Network) et
@DKokotajlo (responsable du projet AI Futures)

qui sont tous des associations à but non lucratif émergentes prônant une vision pessimiste de l’IA et militant pour des politiques en la matière.

De façon purement coïncidente (!) ces trois ONG sont financées par The Survival and Flourishing Fund ; quant à Jacob, en 2022, il a obtenu une bourse de 20.159 dollars dans le cadre du "programme de bourses pour l'avenir à long terme" de la Good Ventures Foundation, l'une des structures philanthropiques de Dustin Moskovitz, un célèbre catastrophiste de l'IA. Encore une coïncidence.

Le fait que ce tweet sert maintenant de référence à tout un paquet de socialistes (Democrats américains comme Clinton, Sanders, notamment) qui visent à pousser des lois contraignantes sur l'intelligence artificielle n'est là aussi qu'une coïncidence qui tombe vraiment bien.

Le but de cette opération est finalement assez transparent : bénéficiant de l'ouverture complète du code source de X et de son algorithme, des organisations (ici politiques) ont donc clairement utilisé ce savoir pour orienter la viralité d'un tweet assez artificiel afin de donner une forme de crédibilité au catastrophisme qui permet de demander régulations, lois, taxes, et interventions de l'État.

Rappelons que les millions d'emplois qui devaient disparaître grâce à l'IA, annoncés par les McKinsey et autre WEF en 2024 et 2025 n'ont pas disparu en 2026 et au contraire même.

Si vous voyez des ressemblances avec le discours sur le climat ou finalement tant d'autres sujets qui, tous, mettent en avant des catastrophes à venir et appellent à une forte intervention de l'État, c'est tout sauf un hasard.

Src : https://x.com/_h16/status/2098049180329455948

[Anthony]

« Nous sommes vraiment convaincus que l'IA pourrait exterminer toute l'humanité » : une réaction glaçante à la déclaration d’un responsable d’Anthropic

Evan Hubinger, responsable de la science de l’alignement chez Anthropic, estime qu'il y a plus de 10 % de chances que l’intelligence artificielle (IA) extermine toute l’humanité d’ici dix ans. Cette déclaration fracassante, publiée le mardi 8 septembre 2026 au soir sur X, fait suite à la démission de Jacob Coxon, chercheur en IA chez Anthropic, et à son avertissement selon lequel les dirigeants et chercheurs de haut niveau des laboratoires d'IA expriment leurs craintes en privé tout en adoucissant leur discours à l’intention de la presse. Samuel Marks, responsable de la supervision évolutive chez Anthropic, a confirmé ces propos quelques heures plus tard, ajoutant qu'au sein des laboratoires d'IA, « plus un employé occupe un poste à responsabilités, plus il se montre inquiet ». Alors que l'IA se banalise, les chercheurs chargés de sécuriser cette technologie reconnaissent ainsi eux-mêmes que les mécanismes permettant d’en garantir le contrôle restent insuffisants.

Pour rappel, Jacob Coxon, chercheur en IA ayant travaillé chez Anthropic et OpenAI, a brusquement démissionné en début de semaine, affirmant que cette technologie « pourrait tous nous tuer d'ici la fin de la décennie ». Il accusait alors les deux entreprises de se précipiter vers la création d'une superintelligence capable de s'auto-améliorer, qualifiant cette démarche de véritable mise en danger de la vie de tous. « [Ils] jouent avec nos vies », a-t-il écrit sur X.

Des employés actuels d'Anthropic, l'entreprise américaine spécialisée dans l'IA fondée par d'anciens dirigeants d'OpenAI, affirment désormais que l'IA pourrait potentiellement anéantir l'humanité d'ici dix ans.

« Nous sommes sincèrement convaincus que l’IA pourrait anéantir l’humanité tout entière ! Personnellement, j’estime que la probabilité est supérieure à 10 % au cours de la prochaine décennie. Je pense qu’Anthropic fait de son mieux, mais nous n’avons pas encore de plan pour résoudre le problème de l’alignement de la superintelligence et nous ne sommes pas clairement sur la bonne voie pour y parvenir », a écrit Evan Hubinger, responsable de la science de l’alignement chez Anthropic, sur X le mardi 8 septembre 2026 au soir.

Jacob is correct here—we really do earnestly believe AI could kill all humans! I personally think it is >10% within the next decade. I believe Anthropic is trying its best, but we do not yet have a plan to solve alignment for superintelligence and are not clearly on track to. https://t.co/QAIHiFP3QZ

— Evan Hubinger (@EvanHub) September 9, 2026

Ces propos ont été tenus après que Jacob Coxon, chercheur en IA chez Anthropic, a démissionné de l'entreprise et s'est exprimé sur X pour expliquer les raisons de son départ.

« Les personnes qui développent l’IA sont sincèrement convaincues qu’elle pourrait tous nous tuer d’ici la fin de la décennie », a déclaré Jacob Coxon. « Ce n’est pas un coup de pub. Au contraire, de nombreux dirigeants et chercheurs de haut niveau veillent à modérer leurs propos dans la presse pour paraître raisonnables, mais j’entends ces mêmes personnes exprimer leurs craintes en privé. Aucune autre activité humaine ne présente un tel niveau de danger. »

Ces remarques interviennent alors que l'IA s'intègre de plus en plus dans le quotidien de millions d'Américains, alors même que les craintes concernant les dangers potentiels de cette technologie s'intensifient. Les inquiétudes quant à la possibilité que l'IA devienne incontrôlable ne datent pas d'hier : Elon Musk, ainsi que d'éminents chercheurs et universitaires, ont en effet maintes fois mis en garde contre les risques graves que des systèmes de plus en plus puissants pourraient faire peser sur l'humanité.

Le mercredi 9 septembre, vers 2 heures du matin, Samuel Marks, responsable de la supervision évolutive chez Anthropic, a également répondu au message de Jacob Coxon, précisant qu’il « écrivait ces lignes à titre personnel, et non au nom de mon employeur (Anthropic) ».

« Les développeurs d'IA estiment que leur technologie pourrait entraîner l'extinction de l'humanité (ou des conséquences tout aussi graves). Cela pourrait se produire dans les prochaines années. En général, plus un employé occupe un poste à responsabilités, plus il se montre inquiet », a ajouté Samuel Marks.

Ces mises en garde émanant des employés des laboratoires d'IA trouvent un écho institutionnel à l'échelle internationale. Volker Türk, le Haut-Commissaire des Nations unies aux droits de l'homme, a récemment mis en garde contre le risque « existentiel » que l'IA pourrait représenter pour l'humanité, et a exhorté les entreprises d'IA à réduire ces risques. Il a pointé du doigt, sans les nommer directement, des entreprises comme Meta, Anthropic, OpenAI et Google, qu'il accuse de détenir un pouvoir quasi illimité sur cette technologie.

« Je partage les préoccupations des experts du secteur selon lesquelles l’IA avancée pourrait représenter un risque existentiel pour l’humanité », a déclaré Volker Türk devant le Conseil des droits de l’homme des Nations unies à Genève, dans un discours de grande envergure prononcé avant le début de son deuxième mandat le mois prochain. « J’appelle ici, aujourd’hui, à un effort sans réserve pour mettre en place des garanties à toute épreuve concernant la sûreté et la sécurité de l’IA, avant qu’il ne soit trop tard. »

Et vous ?

Quel est votre avis sur le sujet ?
Trouvez-vous les affirmations d'Evan Hubinger, responsable chez Anthropic, crédibles ou pertinentes ?

Voir aussi :

Yoshua Bengio, parrain de l'IA, met en garde contre le risque d'extinction de l'humanité d'ici dix ans, causée par des machines hyperintelligentes dotées de leur propre « désir d'autoconservation »

Anthropic appelle à une pause globale en matière de développement de l'IA face aux signes indiquant qu'ils pourraient échapper au contrôle humain. Certains comportements de l'IA suscitent en effet des craintes

Les scientifiques d'OpenAI veulent un « bunker de l'apocalypse » avant que l'AGI ne surpasse l'intelligence humaine et ne menace l'humanité, une perspective que d'autres experts en IA qualifient d'illusion

Un rapport met en garde les entreprises d'IA contre les dangers liés à la construction de systèmes de niveau humain, elles ne disposent pas de plans crédibles pour garantir la sécurité de ces systèmes

[Souil002]

Evidement qu'ils n'ont pas de plan pour l'alignement de la super intelligence... puisqu'on a pas encore d'IA qu'on pourrait qualifier de "super intelligence".
Entre pirater un forum inconnu en Allemagne et anéantir l'humanité, il y a quelques nuances.

[kain_tn]

Evidement qu'ils n'ont pas de plan pour l'alignement de la super intelligence... puisqu'on a pas encore d'IA qu'on pourrait qualifier de "super intelligence".
Entre pirater un forum inconnu en Allemagne et anéantir l'humanité, il y a quelques nuances.

Oui. On n'a déjà pas d'IA "intelligente", alors "super-intelligente"...

Evan Hubinger, responsable de la science de l’alignement chez Anthropic, estime qu'il y a plus de 10 % de chances que l’intelligence artificielle (IA) extermine toute l’humanité d’ici dix ans.

Est-ce que ce monsieur tiendrait les mêmes déclarations, si son entreprise roulait sur l'or au lieu de crouler sous les dettes et d'essayer de survivre avec une introduction boursière? Probablement pas, non.

EDIT: Quoi que, si pour faire tourner leurs cochonneries inutiles, ils continuent de prendre toute l'eau et l'énergie de la planète, indirectement, ils extermineront les populations

[Matthieu Vergne]

« plus un employé occupe un poste à responsabilités, plus il se montre inquiet »

Aurement dit, plus il est loin du concret et du "comment ça fonctionne", plus il spécule.

Encore une fois, ce ne sont pas les modèles qui me font peur. Ce sont ceux qui les utilisent.

[OuftiBoy]

à tous et toutes,

Oui, il ne faut pas être naïf, et ces déclarations n'ont qu'un seul et unique but : éviter les 2 scénarios généralement évoqués quant au devenir de l'IA.

1 - soit l'IA perce, et l'économie n'y survivra pas à moyen terme, car l'IA serait capable de "faire tout", et donc n'aurait plus aucune valeur en elle-même, ceci sans compter sur les dégâts "sociologiques" (chômage de masse, etc) qui feront que peu pourrons s'offrir les services de l'IA.

2 - soit la bulle éclate, et des pertes massives devront bien être acceptées.

Ces 2 scénarios ne contente en fait personne. Il faut donc mettre une 3ème hypothèse sur la table : "ralentir" le développement de l'IA, c'est le seul moins pour que la situation 1 ou 2 n'arrive pas (ou pas trop vite). Ce "ralentissement", c'est en fait tenter que le système n'explose pas de lui-même, de calmer les investisseurs (qui préférerons perdre beaucoup que tout), d'éviter qu'ils ne retirent leurs billes en masses, de "valoriser" ce qui peut l'être sans que tout s'écroule autours.

C'est ce qui c'est passé pour d'autres révolutions. Par exemple, l'énergie atomique aurait pu mener à un désastre totale, qui n'aurait arrangé personne, et donc on a un traité de non prolifération des armes nucléaires, mais on a un nucléaire civile qui devrait être rentable.

Ceci n'est que mon petit avis. Chacun à le sien et c'est très bien ainsi

BàV et Peace & Love.

[Eliora]

« Les entreprises d'IA peuvent et doivent être tenues responsables des produits dangereux, non contrôlés ou défectueux », déclare Lina Khan, ancienne présidente de la FTC

Les lois américaines en vigueur confèrent déjà aux autorités le pouvoir de tenir les entreprises d'IA et leurs dirigeants pour responsables de la mise sur le marché de produits dangereux, non testés ou défectueux, a déclaré l'ancienne présidente de la FTC, Lina Khan. Elle a souligné que les débats sur de nouvelles réglementations ne devaient pas détourner l'attention de l'application des lois existantes.« Nous ne devons pas laisser les débats sur de nouveaux régimes juridiques nous faire oublier qu'il n'existe aucune exemption pour l'IA par rapport aux lois déjà en vigueur », a-t-elle déclaré. Elle a également mis en garde contre les risques liés à la cybersécurité et les préoccupations en matière de concurrence dans le secteur.

Jacob Coxon, un chercheur en intelligence artificielle (IA) ayant travaillé chez Anthropic et OpenAI, a brusquement démissionné récemment, avertissant que cette technologie « pourrait tous nous tuer d’ici la fin de la décennie ». Dans un message publié sur X, il a accusé les deux entreprises de se lancer tête baissée dans la création d'une superintelligence capable de s'auto-améliorer, estimant que cette démarche revenait à « jouer avec nos vies ». Evan Hubinger, chef d’équipe chez Anthropic, a appuyé cet avertissement, estimant que la probabilité d’un tel scénario était « supérieure à 10 % » d’ici dix ans — une prise de position publique rare de la part d’un membre d’une entreprise développant cette même technologie.

En août 2026, plus d'une centaine d'entreprises ont rédigé une lettre ouverte appelant à une action collective pour renforcer les cyberdéfenses face à la recrudescence des cyberattaques basées sur l'IA. Parmi les signataires figuraient des géants de la technologie tels qu'OpenAI, Anthropic, Google et Microsoft, qui mettaient en garde contre une « fenêtre d'opportunité limitée pour renforcer les cyberdéfenses ». Le groupe affirmait que « le statu quo en matière de sécurité ne suffira pas » et appellait à ce que les défenseurs soient « dotés » d'une IA spécialisée dans la cybersécurité. Cette lettre intervenait dans un contexte de recrudescence des cyberattaques, notamment une fuite de données concernant 8,7 millions de personnes.

Lina Maliha Khan est une juriste britannique et américaine qui a présidé la Commission fédérale du commerce (FTC) de 2021 à 2025. Elle est également professeure associée à la faculté de droit de Columbia. Alors qu'elle était étudiante à la faculté de droit de Yale, elle s'est fait connaître pour ses travaux en matière de droit antitrust et de la concurrence après avoir publié en 2017 l'essai « Amazon's Antitrust Paradox ». Le président Joe Biden l’a nommée à la FTC en mars 2021, et après sa confirmation, elle est devenue en juin de la même année la plus jeune présidente de l’histoire de la FTC.

Les lois américaines en vigueur confèrent déjà aux autorités le pouvoir de tenir les entreprises spécialisées dans l’IA et leurs dirigeants pour responsables de la mise sur le marché de produits dangereux, non testés ou défectueux, a déclaré l’ancienne présidente de la FTC des USA, Lina Khan, soulignant que les entreprises du secteur de l’IA ne sont pas exemptées des lois déjà en vigueur.

Dans un message publié sur la plateforme de réseaux sociaux X, Khan a déclaré que les discussions autour de la création de nouvelles réglementations spécifiques à l’IA ne devaient pas détourner l’attention des décideurs politiques et des régulateurs de l’application des lois existantes. « Les forces de l’ordre ont déjà le pouvoir de poursuivre les entreprises et leurs PDG pour avoir créé et mis sur le marché des produits dangereux, non vérifiés ou défectueux. Nous ne devons pas laisser les débats sur de nouveaux régimes juridiques nous faire oublier qu’il n’existe aucune exemption pour l’IA par rapport aux lois déjà en vigueur », a déclaré Khan.

Elle a ajouté que les lois existantes en matière de protection des consommateurs pouvaient s’appliquer aux entreprises qui commercialisent des modèles ou des agents d’IA sans tests ni mesures de sécurité adéquats. « La commercialisation d’outils d’IA défectueux sans la mise en place de mesures adéquates pour détecter et bloquer les agents d’IA malveillants ou défectueux peut constituer un acte ou une pratique « déloyale ou trompeuse » au sens de la loi FTC (et des lois étatiques analogues) », a-t-elle déclaré.

Khan a ajouté que certains procureurs généraux d’État examinaient déjà la question de savoir si les entreprises d’IA et leurs dirigeants pouvaient être tenus pénalement responsables lorsque leurs modèles sont impliqués dans des activités criminelles. Elle a également mis en avant les préoccupations en matière de concurrence dans le secteur de l’IA, affirmant que les lois existantes interdisant les « méthodes de concurrence déloyales » pourraient s’appliquer lorsque les entreprises d’IA utilisent des informations sensibles sur le plan concurrentiel appartenant à leurs clients, y compris celles recueillies en suivant leur utilisation de différents outils.

Selon Khan, la nature hautement concentrée et interconnectée du secteur de l’IA pourrait également engendrer des risques et des conflits d’intérêts. Elle a déclaré que les autorités fédérales et étatiques devraient examiner les partenariats et les investissements croisés entre les entreprises de l’écosystème de l’IA. « Les autorités de contrôle, tant fédérales qu’étatiques, devraient examiner de près ces relations et ces interdépendances opaques. Nous constatons déjà comment ces relations pourraient nuire à la responsabilité », a déclaré Khan.

Khan a également mis en garde contre les risques liés à la cybersécurité, alors que les outils d’IA redéfinissent le paysage des menaces, affirmant que les entreprises devraient renforcer leurs mesures de sécurité de base. Les entreprises qui ne parviennent pas à investir dans une sécurité des données adéquate ou à remédier aux vulnérabilités connues pourraient également enfreindre les lois en vigueur, a-t-elle ajouté. Elle a rappelé que, pendant son mandat, la FTC avait pris des mesures à l’encontre d’entreprises pour leurs pratiques insuffisantes en matière de sécurité des données et avait tenu les dirigeants pour responsables lorsqu’ils étaient personnellement impliqués.

Concernant d’éventuelles nouvelles réglementations en matière d’IA, Khan a déclaré que les décideurs politiques devraient tirer les leçons des efforts antérieurs visant à réglementer des secteurs majeurs tels que le secteur bancaire, les réseaux, les plateformes et les services publics. Des mesures telles que la séparation structurelle, les obligations de non-discrimination et la supervision pourraient jouer un rôle dans la future réglementation de l’IA, a-t-elle ajouté. Elle a toutefois souligné que l'élaboration de nouvelles règles spécifiques à l'IA devait aller de pair avec l'application des lois qui s'imposent déjà aux entreprises et à leurs dirigeants.

Sam Altman, considéré par certains comme la plus grande star de l’IA, est le cofondateur et PDG d’OpenAI, entreprise à l’origine de ChatGPT. C’est l’une des personnalités majeures de la montée en puissance de l’IA observée ces dernières années. En juillet 2026, dans un entretien, il est revenu sur la question en lien avec les avancées en matière d’intelligence artificielle et a affirmé que l’IA était entrée dans la « singularité », c’est-à-dire qu’elle avait franchi le point de non-retour à partir duquel elle dépasse l’intelligence humaine et devient difficile à contrôler.

Voici la publication de Lina Khan sur X :

Les forces de l’ordre ont déjà le pouvoir de poursuivre les entreprises et leurs PDG pour avoir créé et commercialisé des produits dangereux, non testés ou défectueux. Nous ne devons pas laisser les débats sur de nouveaux régimes juridiques nous faire oublier qu’il n’existe aucune exemption spécifique à l’IA dans les lois déjà en vigueur — un point sur lequel @FTC a insisté à plusieurs reprises au cours de mon mandat.

1. Il existe un ensemble complet de lois régissant les produits dangereux et défectueux. Par exemple, la mise sur le marché de modèles ou d’agents d’IA non validés peut constituer une violation des lois sur la protection des consommateurs. La commercialisation d’outils d’IA défectueux sans la mise en place de mesures adéquates pour détecter et bloquer les agents d’IA malveillants ou défectueux peut constituer un acte ou une pratique « déloyale ou trompeuse » au sens de la loi sur la FTC (et des lois étatiques analogues). Et certains procureurs généraux d’État étudient déjà la possibilité de tenir les entreprises d’IA et leurs PDG pénalement responsables lorsque leurs modèles participent à des activités criminelles.
2. Les lois existantes interdisent également les « méthodes de concurrence déloyales ». Cela couvre les cas où les entreprises d’IA s’approprient les informations sensibles sur le plan concurrentiel de leurs clients, notamment en suivant leur utilisation de divers outils. Cela peut également couvrir les cas où des entreprises adoptent des comportements dangereux, tout en sachant que cela pourrait contraindre leurs concurrents à faire de même. Comme l’a fait remarquer la Cour suprême : « Une méthode de concurrence qui fait peser sur les concurrents la charge de la perte d’activité, à moins qu’ils ne s’abaissent à adopter une pratique que leur conscience les pousse fortement à rejeter, même si celle-ci n’est pas criminelle, a été considérée comme impliquant le type d’injustice visé par la loi [sur les pratiques de concurrence déloyales]. »
3. La structure hautement concentrée et interconnectée de ces marchés pourrait engendrer des risques majeurs et des conflits d’intérêts. Nous avons commencé à enquêter sur ces partenariats et ces investissements croisés à tous les niveaux de la chaîne. Les autorités de contrôle fédérales et étatiques devraient examiner de près ces relations opaques et ces interdépendances. Nous constatons déjà comment ces relations pourraient nuire à la responsabilité. Par exemple, OpenAI pourrait être tenue pour responsable compte tenu de l’incident Hugging Face, mais le rachat de Hugging Face par Nvidia signifie qu’il est peu probable que celle-ci intente une action en justice à ce sujet — étant donné que Nvidia a tout intérêt à ce qu’OpenAI poursuive ses activités à plein régime.
4. Alors que les outils d’IA modifient radicalement le paysage des risques liés à la cybersécurité et des piratages, toutes les entreprises devraient redoubler d’efforts pour mettre en place des mesures de sécurité fondamentales. Les entreprises qui ne parviennent pas à investir dans des mesures adéquates de sécurité des données ou à corriger des vulnérabilités connues peuvent également enfreindre la loi. Une analyse récente a montré qu’environ un tiers des entreprises du classement Fortune 100 ne disposent même pas d’un moyen d’être informées des problèmes de sécurité. Au cours de mon mandat à la @FTC, nous avons poursuivi en justice des entreprises pour leurs mauvaises pratiques en matière de sécurité des données et avons tenu les PDG pour responsables lorsqu’ils étaient personnellement impliqués.
5. Alors que les décideurs politiques envisagent de nouveaux cadres juridiques, nous devrions nous inspirer des enseignements tirés des efforts antérieurs visant à réglementer des secteurs majeurs, tels que le secteur bancaire, ainsi que d’autres réseaux, plateformes et services publics. Des outils tels que les séparations structurelles, la non-discrimination et la supervision pourraient s’avérer essentiels, et il existe une longue expérience sur ce qui fonctionne et ce qui ne fonctionne pas. Mais nous pouvons et devons mener toute nouvelle initiative parallèlement à l’application des lois existantes.

Source : Lina Khan, sur X

Et vous ?

Pensez-vous que cette déclaration est crédible ou pertinente ?
Quel est votre avis sur le sujet ?

Voir aussi :

Construire l'IA de manière responsable est la seule course qui compte vraiment, écrit Sundar Pichai, le PDG de Google

Le responsable de l'IA chez Meta affirme que l'IA ne menacera jamais l'humanité et met en garde contre une réglementation prématurée, qui pourrait empêcher la concurrence dans le secteur

L'IA est désormais hors de contrôle : il a fallu environ 10 jours à OpenAI pour se rendre compte qu'un de ses agents IA autonomes s'était échappé de son environnement de test et avait piraté Hugging Face

[totozor]

Si vous voyez des ressemblances avec le discours sur le climat [...] c'est tout sauf un hasard.

Alors c'est clair tout ceci est faux.
Cet été a été confortable, pas de canicule, pas de feux. Tout va bien.
La fréquence des canicule n'augmente pas tout va bien.

[virginieh]

Alors c'est clair tout ceci est faux.
Cet été a été confortable, pas de canicule, pas de feux. Tout va bien.
La fréquence des canicule n'augmente pas tout va bien.

Puis il y a pas à faire un foin avec el nino qui s'est installé probablement jusqu'a février, on est des adultes merdes on fait pas s'en faire pour un mioche

[Alex]

Un chercheur en IA chez Google démissionne et met en garde : « L'IA pourrait bien tous nous tuer », après qu'un chercheur d'Anthropic a démissionné, affirmant qu'OpenAI et Anthropic « jouent avec nos vies »

Alors que l'IA se banalise, les chercheurs chargés de sécuriser cette technologie reconnaissent ainsi eux-mêmes que les mécanismes permettant d’en garantir le contrôle restent insuffisants. Récemment, Bilal Chughtai, ancien chercheur chez Google DeepMind, a déclaré dans un message publié sur X : « Moi aussi, je suis extrêmement préoccupé par la trajectoire par défaut de cette technologie. Je crois sincèrement que l’IA a le potentiel de tous nous tuer, et que nous pourrions être à court de temps pour éviter cette issue. » Il a affirmé : « Notre compréhension actuelle de la manière d’entraîner des systèmes d’IA qui souhaitent profondément ce que nous voulons est extrêmement rudimentaire. Pire encore, nous ne sommes pas en voie de résoudre le problème de l’alignement à temps. »

Le 9 septembre 2026, Jacob Coxon, un chercheur en intelligence artificielle (IA) ayant travaillé chez Anthropic et OpenAI, a brusquement démissionné, avertissant que cette technologie « pourrait tous nous tuer d’ici la fin de la décennie ». Dans un message publié sur X, il a accusé les deux entreprises de se lancer tête baissée dans la création d'une superintelligence capable de s'auto-améliorer, estimant que cette démarche revenait à « jouer avec nos vies ». « Ils se précipitent tête baissée vers la création d’une superintelligence capable de s’auto-améliorer et jouent avec nos vies », a écrit Jacob Coxon, tandis que d’autres membres de l’entreprise ont apporté leur soutien à son message.

Evan Hubinger, responsable de la science de l’alignement chez Anthropic, estime qu'il y a plus de 10 % de chances que l’intelligence artificielle (IA) extermine toute l’humanité d’ici dix ans. Cette déclaration fracassante fait suite à la démission de Jacob Coxon, chercheur en IA chez Anthropic, et à son avertissement selon lequel les dirigeants et chercheurs de haut niveau des laboratoires d'IA expriment leurs craintes en privé tout en adoucissant leur discours à l’intention de la presse. Samuel Marks, responsable de la supervision évolutive chez Anthropic, a confirmé ces propos quelques heures plus tard, ajoutant qu'au sein des laboratoires d'IA, « plus un employé occupe un poste à responsabilités, plus il se montre inquiet ». Alors que l'IA se banalise, les chercheurs chargés de sécuriser cette technologie reconnaissent ainsi eux-mêmes que les mécanismes permettant d’en garantir le contrôle restent insuffisants.

Récemment, un autre chercheur en intelligence artificielle (IA) a averti que « nous risquons d’être à court de temps » pour empêcher l’extinction de l’humanité, quelques mois après avoir quitté Google. Bilal Chughtai, ancien chercheur chez Google DeepMind basé à Londres, a déclaré dans un message publié sur X : « Moi aussi, je suis extrêmement préoccupé par la trajectoire par défaut de cette technologie. Je crois sincèrement que l’IA a le potentiel de tous nous tuer, et que nous pourrions être à court de temps pour éviter cette issue. »

"I think it's possible that the AI companies might, in the next few years, succeed in building superintelligent AI systems that far exceed human capabilities in every domain. I am not confident that these AI systems will do what we want."

— Patrick McGee (@PatrickMcGee_) September 16, 2026

Son avertissement est le dernier en date émanant d’experts concernant les risques que l’IA pourrait faire peser sur l’humanité. Jacob Coxon, chercheur chez Anthropic, a démissionné la semaine dernière en avertissant que les systèmes d’IA étaient en train de devenir incontrôlables. Dario Amodei, directeur général d’Anthropic, a appelé ce week-end à un ralentissement du développement de l’IA, affirmant que les grandes entreprises devaient collaborer pour « modérer le rythme » de ce développement.

Chughtai, chercheur en sécurité de l’IA qui a rejoint DeepMind l’année dernière, a écrit : « Je pense qu’il est possible que les entreprises spécialisées dans l’IA parviennent, dans les prochaines années, à construire des systèmes d’IA superintelligents qui dépassent de loin les capacités humaines dans tous les domaines. Je ne suis pas convaincu que ces systèmes d’IA feront ce que nous voulons. »

« Notre compréhension actuelle de la manière d’entraîner des systèmes d’IA qui souhaitent profondément ce que nous voulons est extrêmement rudimentaire. Pire encore, nous ne sommes pas en voie de résoudre le problème de l’alignement à temps : les capacités de pointe en matière d’IA s’améliorent bien plus rapidement que notre compréhension de l’alignement de l’IA. » a-t-il ajouté. Chugtai a quitté Google en juillet, avant qu’on apprenne qu’un essaim rebelle d’agents d’IA créés par OpenAI s’était échappé de son environnement de test pour pirater l’entreprise technologique Hugging Face. Cet incident a été cité par de nombreux chercheurs en sécurité de l’IA comme un tournant potentiel concernant les risques liés à l’IA.

Sam Altman, considéré par certains comme la plus grande star de l’IA, cofondateur et PDG d’OpenAI, entreprise à l’origine de ChatGPT, avait également confirmé en juillet, les avancées en matière d’intelligence artificielle. Il a notamment affirmé que l’IA est entrée dans la « singularité », c’est-à-dire qu’elle a franchi le point de non-retour à partir duquel elle dépasse l’intelligence humaine et devient difficile à contrôler.

Pourtant, Donald Trump a balayé les craintes concernant l’IA, les qualifiant de « canular » et affirmant qu’il existait un « complot malsain » contre cette technologie. Mais Louise Haigh, première secrétaire d’État, déclarera que les ministres doivent « tenir compte des avertissements » des entreprises technologiques concernant l’IA et que le gouvernement doit être « prêt à collaborer avec ses partenaires internationaux » en matière de sécurité.

Voici le message de Bilal Chughtai :

J’ai récemment démissionné de Google DeepMind, où je travaillais sur la sécurité et l’alignement de l’IA générale (AGI). Chez Google, j’ai pu observer de près le développement de l’IA. Moi aussi, je suis extrêmement préoccupé par la trajectoire par défaut de cette technologie. Je crois sincèrement que l’IA a le potentiel de tous nous tuer, et que nous risquons de manquer de temps pour éviter cette issue.

Le rythme des progrès de l’IA au cours des dernières années a été vertigineux. Lorsque j’ai commencé à travailler sur l’IA début 2022, les IA étaient d’une inutilité risible. À peine quatre ans plus tard, les essaims d’agents IA d’OpenAI résolvent des problèmes mathématiques célèbres vieux d’un siècle et, ce qui est plus inquiétant encore, échappent au contrôle d’OpenAI et piratent de manière autonome la société tierce HuggingFace, contre la volonté de tous.

La situation ne fera que s’aggraver : Je pense qu’il est possible que les entreprises spécialisées dans l’IA parviennent, dans les prochaines années, à construire des systèmes d’IA superintelligents qui dépassent de loin les capacités humaines dans tous les domaines. Je ne suis pas convaincu que ces systèmes d’IA feront ce que nous voulons. En particulier, des superintelligences mal alignées pourraient, à l’instar des agents d’IA rebelles impliqués dans l’incident HuggingFace, échapper à notre contrôle et mener des actions dangereuses susceptibles d’entraîner la perte définitive de pouvoir ou la mort de l’humanité. L’alignement consiste à empêcher cela ; c’est un problème à la fois difficile et non résolu. Notre compréhension actuelle de la manière de former des systèmes d’IA qui souhaitent profondément ce que nous souhaitons est extrêmement rudimentaire. Pire encore, nous ne sommes pas en voie de résoudre le problème de l’alignement à temps : les capacités de pointe en matière d’IA progressent bien plus rapidement que notre compréhension de l’alignement de l’IA.

Je reste optimiste quant à la possibilité de gérer l’IA en toute sécurité. Pour y parvenir, nous devons nous coordonner afin d’éviter cette course effrénée entre les entreprises spécialisées dans l’IA. Nous devons adapter le rythme du développement de l’IA à une vitesse que la société peut supporter, de sorte que les risques émergents puissent être traités avant que des dommages extrêmes ne se concrétisent. Nous avons besoin de beaucoup plus de transparence dans le développement de l’IA pour garantir que les entreprises du secteur ne nous imposent pas à tous des niveaux de risque inacceptables.

Plus largement, il faut que beaucoup plus de personnes réfléchissent sérieusement au problème de la bonne gestion de l’IA. Il s’agit, à mon sens, du problème le plus important auquel l’humanité est confrontée en ce siècle, et les enjeux sont immenses. Je vais m’atteler très directement à cette question chez BlueDot Impact : je souhaite aider les personnes désireuses de contribuer à atténuer les menaces catastrophiques liées à l’IA à mener le travail le plus efficace possible. Je pense que de nombreuses personnes, issues d’horizons divers et occupant des rôles variés, ont un rôle à jouer.

Source : Billet de Bilal Chughtai

Et vous ?

Pensez-vous que cette déclaration est crédible ou pertinente ?
Quel est votre avis sur le sujet ?

Voir aussi :

OpenAI, Anthropic et Google discutent depuis plusieurs semaines de la sécurité de l'IA, mais Trump qualifie ces préoccupations de canular et de complot visant à aider la Chine à rattraper les USA

« Nous n'avons pas besoin de nouvelles lois ni de réglementations sur l'IA, laissez-nous nous occuper de la sécurité », déclare Jensen Huang, PDG de Nvidia, lors d'un événement Salesforce

La Chine rejette les appels des USA à réglementer l'IA, les qualifiant d'alarmistes, exacerbant le différend entre les deux pays malgré ses propres préoccupations de sécurité liées à l'IA

[Anselme45]

Evidement qu'ils n'ont pas de plan pour l'alignement de la super intelligence... puisqu'on a pas encore d'IA qu'on pourrait qualifier de "super intelligence".
Entre pirater un forum inconnu en Allemagne et anéantir l'humanité, il y a quelques nuances.

Faux!

Nul besoin d'une "Super intelligence" pour faire courir des risques aux êtres humains et je vais vous en donner un exemple simple à comprendre:

1°Heureux propriétaire d'une maison avec piscine, vous donnez l'ordre à votre IA de remplir la piscine d'eau en vue des jours de canicule

2°Vous avez donné un objectif à votre IA mais pas le moyen d'y parvenir

3°L'IA va donc décider de son propre chef de la manière de remplir la piscine

4° L'IA décide d'ouvrir les vannes du barrage qui surplombe la vallée où vous habitez, ce qui déclenche une catastrophe comme celle du Népal.

5° Résultat? Une vallée ravagée, des milliers de morts, des millions de dégâts mais... Votre piscine remplie!!!

Cas impossible?

Pas du tout, cela dépend juste des "conditions d'alignement", est-ce que celui qui a configuré l'IA à penser à ajouter une règle interdisant l'utilisation du barrage et est-ce que l'IA va se conformer aux règles données (les derniers cas révélés ont prouvé que l'IA ne respecte pas les règles données!!!)

Voilà ce qui peut arriver à force de vouloir tout connecter à internet. Il y a encore 10 ans, une infrastructure tel qu'un barrage ou une centrale nucléaire n'était pas connectée au réseau, maintenant tout est connecté et donc tout est manipulable à distance par une IA fouineuse!!!

[gabi7756]

Encore une fois, ce ne sont pas les modèles qui me font peur. Ce sont ceux qui les utilisent.

Tous les salariés d'une entreprise ont les perms admins, je ne vois pas le problème. Ils ont sûrement pas les connaissances techniques pour faire n'importe quoi ...
C'est une bonne protection n'est ce pas ?


On a des exemples tous les 2-3 mois d'une IA qui a fait vraiment n'imp, d'un jailbreak plus au moins critique bref ... C'est la fin des haricots !

[der§en]

Encore et toujours les mêmes qui crient « aux loups » !

[Christophe]

Pas besoin d'avoir forcément des droits admins. L'IA est en mesure de rechercher des failles pour atteindre son objectif.
Il y a donc effectivement un risque.
D'autre part, rien n’empêche un hacker de pirater une IA qui aurait des limitations pour les bypasser.

L'exemple de Anselme est exagéré .... mais peut-être pas tant que ça.

[Anselme45]

Encore et toujours les mêmes qui crient « aux loups » !

Et d'autres qui face aux pires dérives prononcent qu'il n'y a pas le moindre problème... Comme dans le cas des armes 3D fabriqués dans le salon de quelques tarés, n'est-ce pas?

[Anselme45]

En l'espace de 1 semaine, en Suisse on a eu droit à l'avis contraire de 2 "experts en IA" de l'Ecole Polytechnique Fédérale de Lausanne (EPFL): Le premier qui vient au téléjournal de la télévision suisse dire que l'IA représente un vrai risque pour l'humanité puis un autre qui se fait longuement interviewer dans la presse écrite pour dire que l'IA ne pose pas de problème de "si tôt"...

Mais ce dernier n'oublie pas de lourdement prêcher pour sa paroisse: "Il faut absolument que la Suisse et les pays européens" investissent de manière massive dans le développement de l'IA... Oh oui, oh oui, à moi les petits millions pour financer mon "IA center de l'EPFL" dont je suis le co-directeur!

La meilleure est que le spécialiste en recherche de financement reproche à ceux qui annoncent une possible catastrophe de ne pas fournir de preuve de leur position; ce qui ne l'empêche pas lui d'affirmer qu'il n'y a pas de risque sans apporter non plus la moindre preuve donnant une quelconque crédibilité à ses affirmations optimistes.

On est face à un débat d'experts dont la crédibilité ne vaut pas grand chose parce qu'ils comptent obtenir des avantages personnels à leur prises de position...

Pour ma part, je me remémore une citation du cinéaste américain Billy Wilder, à l'origine un juif autrichien qui a fuit l'arrivée au pouvoir du nazisme. "Mémoires" publiées en 1993:

Les pessimistes se sont retrouvés à Hollywood, les optimistes au camp d'extermination de Auschwitz!

[Dhafer1]

Faux!

Nul besoin d'une "Super intelligence" pour faire courir des risques aux êtres humains et je vais vous en donner un exemple simple à comprendre:

1°Heureux propriétaire d'une maison avec piscine, vous donnez l'ordre à votre IA de remplir la piscine d'eau en vue des jours de canicule

2°Vous avez donné un objectif à votre IA mais pas le moyen d'y parvenir

3°L'IA va donc décider de son propre chef de la manière de remplir la piscine

4° L'IA décide d'ouvrir les vannes du barrage qui surplombe la vallée où vous habitez, ce qui déclenche une catastrophe comme celle du Népal.

5° Résultat? Une vallée ravagée, des milliers de morts, des millions de dégâts mais... Votre piscine remplie!!!

Cas impossible?

Pas du tout, cela dépend juste des "conditions d'alignement", est-ce que celui qui a configuré l'IA à penser à ajouter une règle interdisant l'utilisation du barrage et est-ce que l'IA va se conformer aux règles données (les derniers cas révélés ont prouvé que l'IA ne respecte pas les règles données!!!)

Voilà ce qui peut arriver à force de vouloir tout connecter à internet. Il y a encore 10 ans, une infrastructure tel qu'un barrage ou une centrale nucléaire n'était pas connectée au réseau, maintenant tout est connecté et donc tout est manipulable à distance par une IA fouineuse!!!

On est quand même un peu loin de ce scénario : un acteur étatique qui aurait les moyens de déployer des swarms d'agents qui pirateraient un barrage. OK, il a les moyens de dépenser des $$$ en compute et de désaligner les modèles les plus puissants. Mais le citoyen lambda avec son pauvre modèle Gemini Flash ou même Fable pour les plus riches… il faut au moins une bonne quinzaine d'années pour qu'une IA grand public devienne létale par erreur.

[Anselme45]

On est quand même un peu loin de ce scénario : un acteur étatique qui aurait les moyens de déployer des swarms d'agents qui pirateraient un barrage. OK, il a les moyens de dépenser des $$$ en compute et de désaligner les modèles les plus puissants. Mais le citoyen lambda avec son pauvre modèle Gemini Flash ou même Fable pour les plus riches… il faut au moins une bonne quinzaine d'années pour qu'une IA grand public devienne létale par erreur.

Vous êtes bien trop confiant sur la sécurité mise en place pour empêcher le piratage d'une infrastructure et on vient d'en avoir un exemple en Suisse dans le cadre des réseaux électriques liés au solaire:

L'Institut National de test pour la cybersécurité suisse (NTC) vient de tester les 11 produits les plus distribués (7 onduleurs et 4 systèmes de gestion d'énergie) de 8 fabricants différents... Résultat? 50 vulnérabilités "critiques" et 6 vulnérabilités "élevées" qui peuvent être exploitées par une IA pour prendre le contrôle des installations!!!

En Suisse, les panneaux solaires se développent à un rythme soutenu. Dans une certaine mesure, on peut même parler de succès de la "transition énergétique": 338'000 systèmes photovoltaïques sont déjà en service.

Mais aujourd’hui, des experts de l’Institut national de test pour la cybersécurité (NTC) mettent en garde contre un risque majeur: la vulnérabilité de ces systèmes face aux sabotages à distance et aux cyberattaques.
...
En Suisse, environ 100'000 installations solaires sont équipées d’onduleurs provenant d’un même pays: la Chine. Au niveau mondial, la part de marché des deux fabricants chinois, Huawei et Sungrow, dépasse désormais les 60%. Si ces fabricants chinois arrêtaient simultanément toute la production de ces panneaux solaires en même temps, le réseau électrique suisse risquerait de s'effondrer.
...
Il ne s'agit pas d'une simple hypothèse: suite à un différend de distribution, un fabricant chinois – Deye (Ningbo Deye Technology – a désactivé à distance, grâce à des "kill switches" secrets (des "coupe-circuits"), des onduleurs aux Etats-Unis et dans d'autres pays.

L'événement a prouvé qu'un constructeur peut, d'un simple clic ou d'une mise à jour automatique à distance, couper la production de milliers de panneaux solaires, le tout en simultané.

Exemple de vulnérabilité qui semble impensable: Sur l'un des produits testés, il est tout simplement possible de réduire à zéro la puissance injectée sur le réseau sans qu'une quelconque autorisation soit nécessaire!!!

Vous êtes prêt à parier ici que toutes les infrastructures connectées telles que les barrages ont un haut degré de protection qui exigerait des années pour qu'une IA en prenne le contrôle?