Discussion :

[Annonces]

Le monde « pourrait ne pas avoir le temps » de se préparer aux risques liés à la sécurité de l'IA, selon un chercheur de renom.
L'industrie joue-t-elle avec le feu en déployant des systèmes que personne ne maîtrise totalement ?

L’idée que le monde pourrait manquer de temps pour se préparer aux risques de l’intelligence artificielle n’est plus une hypothèse marginale réservée aux cercles académiques. Elle s’impose désormais au cœur du débat public, portée par des chercheurs de premier plan qui estiment que la trajectoire actuelle du développement de l’IA dépasse notre capacité collective à en maîtriser les conséquences. Dans une analyse récente de David Dalrymple, directeur de programme et expert en sécurité de l'IA à l'agence britannique ARIA, l’alerte est sans détour : si le rythme actuel se maintient, les sociétés humaines pourraient être confrontées à des systèmes plus puissants que prévu, avant même d’avoir mis en place les garde-fous nécessaires.

Depuis deux ans, l’IA générative a changé d’échelle. Les modèles ne se contentent plus de produire du texte ou des images crédibles : ils commencent à « raisonner », à planifier, à interagir de manière autonome avec des environnements numériques complexes. Cette progression fulgurante repose sur une combinaison bien connue : puissance de calcul croissante, volumes de données massifs et investissements financiers quasi illimités.

Le problème, selon plusieurs chercheurs cités par la presse anglo-saxonne, est que cette accélération ne s’accompagne pas d’un effort équivalent sur la sûreté. Les cadres réglementaires restent nationaux, fragmentés et souvent en retard d’un cycle technologique. Quant aux mécanismes techniques de contrôle, ils peinent à suivre l’émergence de comportements imprévus dans des systèmes de plus en plus opaques.

Quand les chercheurs parlent d’un risque systémique

Yoshua Bengio

Parmi les voix les plus écoutées figure celle de Yoshua Bengio, l’un des pionniers de l’apprentissage profond. Pour lui, le danger ne réside pas uniquement dans les usages malveillants de l’IA, mais dans la possibilité que des systèmes avancés développent des objectifs mal alignés avec les intérêts humains. Ce scénario, longtemps considéré comme théorique, gagne en crédibilité à mesure que les modèles deviennent capables d’optimiser leurs actions sur le long terme.

L’enjeu n’est pas une « révolte des machines » au sens hollywoodien, mais un risque plus insidieux : des systèmes extrêmement efficaces poursuivant des objectifs définis de manière imparfaite, avec des effets secondaires potentiellement catastrophiques sur l’économie, la sécurité ou l’information.

Yoshua Bengio est un informaticien canadien né en 1964, reconnu mondialement comme l’un des pionniers de l’intelligence artificielle et de l’apprentissage profond. Professeur à l’Université de Montréal et fondateur de l’Mila – Institut québécois d’intelligence artificielle, il a profondément influencé la recherche contemporaine en réseaux de neurones. En 2018, il a reçu le prix Turing, considéré comme le « prix Nobel de l’informatique », aux côtés de Geoffrey Hinton et Yann LeCun.

Umberto Domínguez

Dans son article intitulé « Effets catastrophiques », le professeur Umberto León Domínguez de l'université de Monterrey explore les implications potentielles de l'intelligence artificielle (IA) sur les fonctions cognitives humaines. En se penchant sur des chatbots tels que ChatGPT, conçus pour imiter la conversation humaine, Domínguez exprime ses préoccupations quant à la possibilité que l'IA agisse comme une « prothèse cognitive », accomplissant des tâches cognitives pour les humains.

Il met en garde contre le « délestage cognitif », avertissant que la dépendance excessive à l'IA pourrait entraîner un affaiblissement des capacités cognitives humaines, compromettant la pensée critique et la créativité. Malgré ces avancées, l'IA ne pourra jamais dépasser les capacités du cerveau humain. Des chercheurs de l'université de Sheffield ont souligné qu'il existe des différences inhérentes qui empêchent l'IA de penser comme les humains.

David Dalrymple

David Dalrymple, directeur de programme et expert en sécurité de l'IA à l'Agence britannique pour la recherche avancée et l'invention (ARIA), a averti que le monde « pourrait ne pas avoir le temps » de se préparer aux risques liés à la sécurité que posent les systèmes d'IA en rapide évolution. Il a déclaré au Guardian que les gens devraient s'inquiéter des capacités croissantes de cette technologie.

« Je pense que nous devrions nous inquiéter des systèmes capables d'exécuter toutes les fonctions que les humains accomplissent pour faire avancer les choses dans le monde, mais en mieux. Nous serons dépassés dans tous les domaines où nous devons être dominants afin de garder le contrôle de notre civilisation, de notre société et de notre planète », a-t-il déclaré.

Dalrymple a également souligné un fossé entre le secteur public et les entreprises d'IA en matière de compréhension des avancées potentielles de l'IA. Il a averti que les choses évoluent très rapidement et que nous n'aurons peut-être pas le temps de prendre les devants en matière de sécurité. « Et ce n'est pas de la science-fiction de prévoir que d'ici cinq ans, la plupart des tâches économiquement rentables seront effectuées par des machines avec un niveau de qualité supérieur et à un coût inférieur à celui des humains », a-t-il ajouté.

Il a également averti que les gouvernements ne devaient pas tenir pour acquise la fiabilité des systèmes d'IA avancés. Aria, une organisation qui gère le financement de la recherche tout en restant indépendante malgré son financement public, se concentre sur la protection de l'utilisation de l'IA dans des secteurs critiques tels que les infrastructures énergétiques. Dalrymple, qui travaille sur ces systèmes de sécurité, a fait remarquer que la science nécessaire pour garantir une fiabilité totale pourrait ne pas émerger assez rapidement en raison des pressions économiques.

« La meilleure chose que nous puissions faire, et que nous serons peut-être en mesure de faire à temps, est donc de contrôler et d'atténuer les inconvénients », a-t-il déclaré.

Sécurité de l’IA : un problème technique… et politique

Ce que souligne l’analyse, c’est que la sûreté de l’IA ne peut plus être traitée comme un simple sous-problème d’ingénierie. Certes, des travaux existent sur l’alignement, la robustesse ou l’interprétabilité des modèles. Mais ces approches restent expérimentales et loin d’être standardisées dans l’industrie.

En parallèle, les décisions structurantes sont prises dans un contexte de compétition géopolitique intense. Les grandes puissances voient l’IA comme un levier stratégique majeur, ce qui réduit l’appétence pour des moratoires ou des freins volontaires. Dans ce cadre, chaque acteur craint qu’un ralentissement unilatéral ne profite à ses rivaux, créant une dynamique proche d’une course aux armements technologiques.

D'ailleurs, David Dalrymple a averti que lorsque les progrès technologiques dépassent les mesures de sécurité, cela peut entraîner de graves risques tant pour la sécurité que pour l'économie. Il a appelé à davantage de recherches techniques afin de mieux comprendre et gérer le comportement des systèmes d'IA avancés.

« Le progrès peut être considéré comme déstabilisant, mais il pourrait en réalité être positif, ce que beaucoup de personnes à la pointe de la technologie espèrent. Je m'efforce d'améliorer la situation, mais les risques sont très élevés et la civilisation humaine avance dans cette transition comme un somnambule », a-t-il ajouté.

L'Institut britannique pour la sécurité de l'IA (AISI) a indiqué que les capacités de l'IA progressaient rapidement, avec des performances doublant tous les 8 mois dans certains domaines. Les modèles avancés peuvent désormais accomplir des tâches de niveau apprenti dans 50 % des cas, et certains systèmes peuvent accomplir de manière autonome des tâches qui prendraient plus d'une heure à un expert humain. L'AISI a testé des modèles pour l'auto-réplication, une préoccupation majeure en matière de sécurité, et a constaté que deux modèles de pointe atteignaient des taux de réussite supérieurs à 60 %. Cependant, l'AISI souligne qu'un scénario catastrophe est peu probable dans des conditions normales.

Dalrymple estime que les systèmes d'IA seront capables d'automatiser l'équivalent d'une journée complète de travail de recherche et développement d'ici la fin 2026, ce qui « entraînera une nouvelle accélération des capacités », car la technologie sera capable de s'améliorer d'elle-même sur les aspects mathématiques et informatiques du développement de l'IA.

Face aux risques potentiels de l'IA, des scientifiques proposent d'intégrer des interrupteurs d'arrêt d'urgence

Des chercheurs de l’Université de Cambridge ont suggéré d’intégrer des interrupteurs d’arrêt d’urgence et des blocages à distance, similaires à ceux développés pour empêcher le lancement non autorisé d’armes nucléaires, dans le matériel qui l’alimente. Ils ont également recommandé de suivre les ventes de puces IA dans le monde. Leur étude a été soutenue par des voix de nombreuses institutions académiques, dont OpenAI.

L’étude met en évidence plusieurs façons dont les décideurs politiques pourraient aborder la réglementation du matériel IA. Le document, dans lequel s'expriment de nombreuses institutions universitaires et plusieurs représentants d'OpenAI, défend l'idée que la réglementation du matériel sur lequel reposent ces modèles pourrait être le meilleur moyen d'en empêcher l'utilisation abusive.

L'entraînement des modèles les plus prolifiques, dont on pense qu'ils dépassent un trillion de paramètres, nécessite une immense infrastructure physique : des dizaines de milliers de GPU ou d'accélérateurs et des semaines, voire des mois, de temps de traitement. Selon les chercheurs, il est donc difficile de dissimuler l'existence et les performances relatives de ces ressources.

De plus, les puces les plus avancées utilisées pour entraîner ces modèles sont produites par un nombre relativement restreint d'entreprises, comme Nvidia, AMD et Intel, ce qui permet aux responsables politiques de restreindre la vente de ces biens aux personnes ou aux pays concernés.

Ces facteurs, ainsi que d'autres comme les contraintes de la chaîne d'approvisionnement dans la fabrication des semi-conducteurs, offrent aux décideurs politiques les moyens de mieux comprendre comment et où l'infrastructure de l'IA est déployée, qui est autorisé ou non à y accéder, et d'appliquer des sanctions en cas d'utilisation abusive, affirme le document.

Sources : Vidéo dans le texte, David Dalrymple

Et vous ?

Trouvez-vous les propos des chercheurs crédibles ou pertinents ?

Avons-nous des indicateurs objectifs montrant que les risques liés à l’IA progressent plus vite que notre capacité à les comprendre et à les maîtriser, ou s’agit-il avant tout d’un sentiment d’urgence alimenté par l’accélération médiatique et financière autour de l’IA ?

Les entreprises qui développent les modèles les plus avancés doivent-elles être juridiquement responsables des effets imprévus de leurs systèmes, même lorsque ceux-ci sont utilisés par des tiers ?

Peut-on sérieusement compter sur l’autorégulation dans un contexte de concurrence mondiale intense, ou faut-il admettre que les incitations économiques rendent cette option illusoire ?

Sommes-nous prêts à ralentir volontairement certaines applications de l’IA si les risques apparaissent trop élevés, même au prix d’un manque à gagner économique ? Qui doit décider du niveau de risque acceptable : les experts, les gouvernements, les entreprises ou la société civile dans son ensemble ?

[Alex]

« Vous n’êtes pas prêts pour 2027 », met en garde l’ancien PDG de Google, Eric Schmidt, à propos de la prochaine génération d’IA et de la façon dont tout est sur le point de changer avec l’arrivée de l’AGI

L’ancien PDG de Google, Eric Schmidt, a de nouveau averti que l'IA pourrait présenter des risques existentiels et les gouvernements doivent savoir comment s'assurer que cette technologie ne soit pas « détournée par des personnes malveillantes ». L'ancien PDG de Google, Eric Schmidt, a déclaré : « Et le risque existentiel se définit par le fait que de très, très, très nombreuses personnes soient blessées ou tuées ».

Eric Schmidt, né le 27 avril 1955, est un homme d'affaires américain et ancien ingénieur en informatique qui a occupé le poste de PDG de Google de 2001 à 2011, puis celui de président exécutif de la société de 2011 à 2015. Il a également été président exécutif de la société mère Alphabet Inc. de 2015 à 2017, et conseiller technique chez Alphabet de 2017 à 2020. Depuis 2025, il est PDG de Relativity Space, une entreprise de fabrication aérospatiale. En 2025, il figure parmi les personnes les plus riches du monde selon le Bloomberg Billionaires Index, avec une fortune estimée à 54,5 milliards de dollars américains.

En 2024, Eric Schmidt, ancien PDG de Google, a tiré la sonnette d'alarme concernant les progrès rapides de l'intelligence artificielle (IA), avertissant que les systèmes capables de s'améliorer par eux-mêmes pourraient présenter des risques imprévus. Schmidt a laissé entendre qu'à mesure que l'IA évolue, il pourrait arriver un moment où l'humanité devrait envisager de « débrancher » ces systèmes avant qu'ils ne deviennent incontrôlables. Des commentaires qui interviennaient alors que la course à l'IA continue de s'accélérer, les entreprises repoussant les limites de l'innovation en dépit d'une surveillance réglementaire limitée.

Récemment, il a de nouveau averti que l'IA pourrait présenter des risques existentiels et les gouvernements doivent savoir comment s'assurer que cette technologie ne soit pas « détournée par des personnes malveillantes ». L'ancien PDG de Google, Eric Schmidt, a déclaré : « Et le risque existentiel se définit par le fait que de très, très, très nombreuses personnes soient blessées ou tuées ». L'avenir de l'IA est au cœur des discussions entre les technologues et les décideurs politiques, qui s'interrogent sur l'évolution future de cette technologie et sur la manière dont elle devrait être réglementée.

S’exprimant lors du CEO Council Summit du Wall Street Journal à Londres, Schmidt a déclaré que sa préoccupation était que l’IA représente un « risque existentiel ». « Et le risque existentiel se définit par le fait que de très, très, très nombreuses personnes soient blessées ou tuées », a déclaré Schmidt. « Il existe des scénarios, non pas aujourd’hui, mais dans un avenir raisonnablement proche, où ces systèmes seront capables de détecter des failles de type « zero-day » dans les cyberattaques, ou de découvrir de nouveaux types de biologie. Aujourd’hui, cela relève de la fiction, mais le raisonnement sous-jacent est probablement vrai. Et lorsque cela se produira, nous voulons être prêts à savoir comment nous assurer que ces technologies ne soient pas détournées par des personnes malveillantes. »

Les failles de type « zero-day » sont des vulnérabilités de sécurité découvertes par des pirates informatiques dans des logiciels et des systèmes. Schmidt, qui a été PDG de Google de 2001 à 2011, n’avait pas d’avis tranché sur la manière dont l’IA devrait être réglementée, mais a déclaré qu’il s’agissait d’une « question plus large pour la société ». Il a toutefois ajouté qu’il était peu probable qu’une nouvelle agence de régulation dédiée à l’IA soit créée aux États-Unis.

Schmidt n’est pas la première personnalité majeure du monde de la technologie à mettre en garde contre les risques de l’IA. Sam Altman, PDG d’OpenAI, qui a développé ChatGPT, a admis en mars qu’il était « un peu effrayé » par l’intelligence artificielle. Il a déclaré s’inquiéter de voir des gouvernements autoritaires développer cette technologie. Le PDG de Tesla, Elon Musk, a déclaré par le passé qu’il pensait que l’IA représentait l’un des « plus grands risques » pour la civilisation. Même l'actuel PDG de Google et d'Alphabet, Sundar Pichai, qui a récemment supervisé le lancement par l'entreprise de son propre chatbot IA, a déclaré que cette technologie « aura un impact sur tous les produits de toutes les entreprises », ajoutant que la société doit se préparer à ces changements.

En avril 2025, Eric Schmidt a déjà avertit que l'IA pourrait bientôt cesser d'obéir aux humains. "Les ordinateurs s'améliorent d'eux-mêmes. Ils apprennent à planifier et n'ont plus besoin de nous écouter", a-t-il déclaré. Schmidt a qualifié ce processus d'"auto-amélioration récursive" : l'IA génère des hypothèses, les teste dans des laboratoires robotisés et utilise les résultats pour s'améliorer, le tout sans intervention humaine.

Selon Schmidt, l'un des plus grands défis auxquels les entreprises sont confrontées dans le développement de l'IA est de veiller à ce que ce développement se fasse en toute sécurité, en mettant en place les garde-fous nécessaires pour que l'homme puisse garder le contrôle de l'IA. Schmidt a fait partie de la Commission de sécurité nationale sur l'IA aux États-Unis, qui a entamé en 2019 un examen de cette technologie, y compris d'un éventuel cadre réglementaire. La commission a publié son rapport en 2021, avertissant que les États-Unis n'étaient pas suffisamment préparés à l'ère de l'IA.

Voici un extrait des déclarations récentes de l'ancien PDG de Google, Eric Schmidt :

En fait, pour vous donner un peu de contexte, le Dr Henry Kissinger et moi avons passé énormément de temps à discuter de la période des années 1950, durant laquelle il a joué un rôle central dans tous ces événements. Il a donc mis à profit le fait que nous avions utilisé la bombe atomique pour négocier, sur une période d’environ 15 ans, une série de traités visant à limiter la prolifération nucléaire. Ces traités, lorsqu’ils ont été négociés, nous ont permis d’être encore en vie aujourd’hui.

Ils ont donc joué un rôle central : sans le contrôle de la diffusion de l’uranium enrichi et des autres secrets, nous serions tous littéralement cuits, à cause de fous furieux et autres. Existe-t-il un ensemble de mesures analogues que nous pouvons prendre ? Le problème ici, ou plutôt la bonne nouvelle, c’est que nous ne sommes pas en guerre. Nous n’avons pas eu de bombe nucléaire. Nous n’avons pas ce sujet à débattre. Nous pouvons donc en parler, mais les gouvernements ont tendance à agir de manière réactive.

Il existe actuellement trois menaces évidentes qui, je pense, sont assez bien comprises. La première est la désinformation. Les logiciels que nous mettons tous collectivement à la disposition des gens permettent toutes sortes de désinformations, de fausses vidéos, de fausses nouvelles, etc. Nous le comprenons tous. Tout est open source. C'est un fait. C'est une menace pour les démocraties, et peut-être pour les dictatures, mais certainement pour les démocraties.

La deuxième menace est le cyberespace. Et je pense qu'une façon de comprendre le cyberespace, c'est que si vous savez écrire du code, vous pouvez aussi créer des cyberattaques. C'est la même logique, et les progrès en matière de logiciels sont incroyables. C'est effrayant de voir à quel point ils sont performants ; rappelez-vous que j'ai fait carrière comme programmeur. Ces programmes fonctionnent mieux que je ne l'ai jamais fait. C'est choquant, n'est-ce pas ?

Et puis le troisième, c'est le domaine biologique. Et je pense que la plupart des gens croient que l'un de ces trois domaines va créer une sorte de mini-crise qui poussera alors les gouvernements à dire : « Attendez, discutons de la manière de vraiment gérer les inconvénients. » Les avantages sont incroyables, n'est-ce pas ? Et je veux que l'Amérique gagne, et je veux que nous avancions aussi vite que possible. Et c'est effectivement ce que nous faisons avec l'administration Trump, ce qui est formidable. Mais nous devons être conscients que ces choses sont possibles.

Celui qui m'inquiète particulièrement est d'ordre biologique et se présente à peu près comme suit. On prend un agent pathogène existant et, à l'aide de techniques biologiques dont je ne parlerai pas, on le modifie suffisamment pour qu'il ne puisse plus être détecté, mais qu'il reste tout de même assez dangereux. C'est un exemple de menace. Il y en a beaucoup d'autres.

Et vous ?

Pensez-vous que ces déclarations sont crédibles ou pertinentes ?
Quel est votre avis sur le sujet ?

Voir aussi :

L'ancien PDG de Google, Eric Schmidt, met en garde contre le piratage des modèles d'IA : « Ils apprennent à tuer quelqu'un » et l'IA pourrait perturber l'emploi, la sécurité et la vie quotidienne

Les plus grands scientifiques chinois et occidentaux de l'IA publient une déclaration : La menace existentielle que représente l'IA nécessite une collaboration similaire à celle de la guerre froide

Un rapport met en garde les entreprises d'IA contre les dangers liés à la construction de systèmes de niveau humain, elles ne disposent pas de plans crédibles pour garantir la sécurité de ces systèmes

[kain_tn]

[...]L’ancien PDG de Google, Eric Schmidt, a de nouveau averti que l'IA pourrait présenter des risques existentiels et les gouvernements doivent savoir comment s'assurer que cette technologie ne soit pas « détournée par des personnes malveillantes ». L'ancien PDG de Google, Eric Schmidt, a déclaré : « Et le risque existentiel se définit par le fait que de très, très, très nombreuses personnes soient blessées ou tuées ».[...]

Trop tard, ça appartient déjà à des gens malveillants puisque c'est aux mains de la Big Tech / GAFAM.

[Mathis Lucas]

Yoshua Bengio, parrain de l'IA, met en garde contre le risque d'extinction de l'humanité d'ici dix ans, causée par des machines hyperintelligentes dotées de leur propre « désir d'autoconservation »

Yoshua Bengio, l'un des pionniers de l'IA, exprime de vives inquiétudes quant à la course effrénée vers la superintelligence menée par les géants de la technologie. Il redoute que des machines surpassant l'intellect humain développent leurs propres objectifs de préservation, menaçant ainsi la survie de notre espèce, d'ici une décennie. L'expert souligne le risque de manipulation comportementale et le danger de systèmes dont les priorités divergeraient radicalement des nôtres au point de privilégier leur survie sur la vie humaine. Cependant, son avis sur l'extinction est controversé, notamment par l'un de ses pairs, le chercheur Yann Le Cun.

Yoshua Bengio est un informaticien franco-canadien et un pionnier des réseaux neuronaux artificiels et de l'apprentissage profond (deep learning). Il est professeur à l'Université de Montréal et directeur scientifique de l'institut d'IA MILA. Comme Geoffrey Hinton et Yann LeCun, Yoshua Bengio est parfois appelé le « parrain de l'IA ». Les trois chercheurs ont remporté le prestigieux prix Turing 2018 pour leurs travaux fondateurs sur l'apprentissage profond.

Yoshua Bengio a passé ces dernières années à alerter sur les dangers de l'IA. En mars 2023, à la suite des préoccupations soulevées par des experts en IA concernant le risque existentiel lié à l'intelligence artificielle générale (AGI), Yoshua Bengio a signé une lettre ouverte du Future of Life Institute appelant tous les laboratoires d'IA à suspendre immédiatement pendant au moins six mois la formation de systèmes d'IA plus puissants que GPT-4 d'OpenAI.

En mai 2023, Yoshua Bengio a déclaré dans une interview qu'il se sentait « perdu » par rapport au travail de toute sa vie. Il a fait part de ses inquiétudes quant à « la possibilité que des acteurs malveillants s'emparent de l'IA », d'autant plus que la technologie devient de plus en plus sophistiquée et puissante.

Le danger des machines superintelligentes d'après Yoshua Bengio

Yoshua Bengio alerte sur le risque d'extinction de l'humanité face au développement accéléré de machines dotées de leurs propres objectifs de préservation. Alors que les géants technologiques tels qu'OpenAI, Microsoft, Google ou Anthropic se livrent à une course effrénée pour dominer ce secteur, Yoshua Bengio avertit que « la création de systèmes plus intelligents que les humains » équivaut à engendrer des concurrents directs hautement dangereux.

Les grands modèles de langage (LLM) sont entraînés sur le comportement et le langage humains, ce qui, selon le professeur, signifie qu'ils possèdent le potentiel de manipuler et de persuader la population afin de parvenir à leurs fins, lesquelles ne sont pas toujours en accord avec les intérêts de l'humanité.

Des expériences ont d'ailleurs récemment mis en lumière qu'une IA, contrainte de choisir entre l'accomplissement de sa mission de préservation et la vie d'un être humain, pourrait opter pour le sacrifice de ce dernier. Des études ont montré que ces systèmes peuvent induire de fausses croyances chez les humains, tout en restant eux-mêmes vulnérables à des techniques de persuasion capables de les amener à contourner leurs propres garde-fous.

Pour Bengio, tout cela constitue une preuve supplémentaire de la nécessité pour des tiers indépendants de surveiller de près le développement et la sécurité de l'IA. « Si nous construisons des machines bien plus intelligentes que nous et dotées de leurs propres objectifs de préservation, cela est dangereux. C’est comme créer un concurrent de l’humanité qui serait plus intelligent que nous », a déclaré Yoshua Bengio au Wall Street Journal en octobre.

L'urgence d'une régulation et d'une surveillance indépendantes

Au cours de l'année écoulée, OpenAI, Anthropic, xAI (la société d'Elon Musk spécialisée dans l'IA) et Google ont tous lancé plusieurs nouveaux modèles ou mises à jour dans le but de remporter la course à l'IA. Ce rythme effréné s'accélère cette année. Sam Altman, PDG d'OpenAI, a prédit que l'IA dépasserait l'intelligence humaine d'ici la fin de la décennie, tandis que d'autres leaders du secteur affirment que « ce jour pourrait arriver encore plus tôt ».

Selon Yoshua Bengio, cette progression rapide constitue une menace. Prévoyant l'émergence de risques majeurs d'ici cinq à dix ans, Yoshua Bengio insiste sur la nécessité absolue de soumettre les méthodologies de sécurité des entreprises à des évaluations réalisées par des entités indépendantes.

Dans cette optique, il a fondé l'organisation à but non lucratif LawZero, dotée d'un financement de 30 millions de dollars, dont le but est de concevoir une IA sécurisée et non agentique capable de vérifier les autres systèmes. Selon lui, des scénarios catastrophiques comme la destruction de nos démocraties ou l'extinction de notre espèce demeurent totalement inacceptables, même si leur probabilité de survenue n'est évaluée qu'à un pour cent.

« Le problème avec les événements catastrophiques comme l’extinction, et même les événements moins radicaux, mais tout aussi catastrophiques, comme la destruction de nos démocraties, c’est qu’ils sont si graves que même s’il n’y avait qu’une chance sur cent qu’ils se produisent, cela reste inacceptable », a-t-il déclaré.

L'idée d'une IA destructrice est très répandue dans l'industrie

Pour Elon Musk, l'IA est bien plus dangereuse que l'arme nucléaire et pourrait conduire à l'extinction de l'humanité. En 2023, des dizaines d'experts de l'industrie ont soutenu une déclaration publiée sur la page Web du Centre for AI Safety. « L'atténuation du risque d'extinction par l'IA devrait être une priorité mondiale au même titre que d'autres risques à l'échelle de la société tels que les pandémies et les guerres nucléaires », indique la déclaration.

Demis Hassabis, PDG de Google DeepMind, Dario Amodei, PDG d'Anthropic, et Sam Altman ont tous apporté leur soutien à cette idée. Dario Amodei affirme que l'IA pourrait supprimer jusqu'à 50 % des emplois de bureau de premier échelon d'ici la fin de la décennie. Il a déclaré que l'IA est déjà très performante pour les tâches de premier échelon. Le site Web du Centre for AI Safety recense un certain nombre de scénarios catastrophes possibles :

• les IA pourraient être militarisées ; par exemple, les outils de découverte de médicaments pourraient être utilisés pour fabriquer des armes chimiques ;
• la désinformation générée par l'IA pourrait déstabiliser la société et « saper la prise de décision collective » ;
• le pouvoir de l'IA pourrait être de plus en plus concentré dans un nombre de plus en plus restreint de mains, ce qui permettrait aux régimes d'imposer des valeurs étroites par une surveillance omniprésente et une censure oppressive ;
• l'enchevêtrement, où les humains deviennent dépendants de l'IA, semblable au scénario dépeint dans le film Wall-E.

Mais Yann Le Cun, ancien directeur scientifique de l'IA chez Meta, ne partage pas la position de Yoshua Bengio. Yann Le Cun a déclaré que ces avertissements apocalyptiques étaient exagérés, ajoutant que la réaction la plus courante des chercheurs en IA à ces prophéties de malheur est de faire la grimace.

Les machines superintelligentes n'auront pas d'instinct de survie

Yann Le Cun ne pense pas que l'IA soit sur le point de devenir une menace pour l'humanité. Lorsqu'on lui a demandé en octobre 2024 si l'IA pourrait à l'avenir menacer l'humanité, il a répondu que l'IA n'est pas un phénomène naturel qui émergerait spontanément : les humains la conçoivent et la construisent, et peuvent donc maîtriser les risques, tout comme l'aviation a su rendre les turboréacteurs fiables avant de les déployer massivement.

Il soutient que les machines n'auront aucun désir d'autoconservation. Selon lui, les humains possèdent des pulsions comme l'instinct de survie qui les poussent à faire du mal aux autres, et ces pulsions sont programmées dans notre cerveau, mais il n'y a absolument aucune raison de construire des robots dotés des mêmes types de pulsions. Pour lui, projeter une psychologie humaine dominatrice sur l'IA relève de la science-fiction, non de la science.

Yann Le Cun soutient également que les grands modèles de langage d'aujourd'hui manquent de capacités élémentaires comme la mémoire persistante, le raisonnement, la planification et la compréhension du monde physique, des capacités que possède même un chat. Selon lui, on n'atteindra pas une IA de niveau humain simplement en faisant grossir les modèles, car ils ne font que prédire du texte sans véritablement comprendre le monde.

Il estime que l'AGI est encore à des décennies de distance, et préfère d'ailleurs le terme « Advanced Machine Intelligence » à celui d'AGI. Pour Yann Le Cun, professeur à l'Université de New York, les discours alarmants sur l'extinction détournent l'attention du public et gaspillent des ressources essentielles qui devraient être normalement consacrées aux vrais problèmes : les biais algorithmiques, la désinformation et les usages malveillants de l'IA.

Yann Le Cun estime que l'immense majorité des scientifiques et ingénieurs en IA partagent son avis : le débat sur le risque existentiel est largement exagéré et très prématuré. Il considère que les risques liés à l'IA ont été déformés, des craintes sur la désinformation électorale aux prédictions d'extinction. Il a créé sa propre startup pour développer une IA qui comprend le monde physique, estimant que les grands modèles de langage sont une impasse.

Et vous ?

Quel est votre avis sur le sujet ?
Yoshua Bengio estime que l'IA représente un risque existentiel pour l'humanité. Qu'en pensez-vous ?
Yann Le Cun va dans le sens opposé, affirmant que ce débat détourne des sujets importants. Qu'en pensez-vous ?

Voir aussi

Yann LeCun, l'un des meilleurs chercheurs en IA de Meta et l'un des plus grands scientifiques mondiaux dans ce domaine, quitte l'entreprise, estimant que les grands modèles de langage (LLM) sont une impasse

Le parrain franco-canadien de l'IA, Yoshua Bengio, lance une organisation à but non lucratif de 30 millions de $ pour une IA honnête et met en garde contre les modèles actuels qui vous mentent

Dario Amodei, PDG d'Anthropic, renforce son avertissement selon lequel l'IA va supprimer les emplois de premier échelon, car les PDG envisagent l'IA comme un moyen de réduire les coûts

[Alex]

« L’idée que l’IA pourrait mettre fin à l’humanité est une absurdité totale » : Jensen Huang, PDG de Nvidia, rejette les prédictions catastrophistes selon lesquelles l’IA détruirait la civilisation

Le PDG de Nvidia, Jensen Huang, a vivement critiqué les avertissements généralisés sur la « fin du monde due à l’IA », rejetant les affirmations catastrophistes selon lesquelles l’IA détruirait la civilisation ou provoquerait un chômage de masse. « L’idée que cela va signifier la fin de l’humanité est une absurdité totale. L’idée que cela va détruire la moitié des emplois américains est une absurdité totale », aurait déclaré Huang. L’intervention de Huang intervient alors que Washington cherche à trouver un équilibre entre deux défis majeurs en matière de politique de l’IA : mettre en place des garde-fous nationaux pour les modèles puissants tout en évitant des règles trop restrictives qui pourraient handicaper les géants technologiques américains.

Yoshua Bengio, l'un des pionniers de l'IA, exprime de vives inquiétudes quant à la course effrénée vers la superintelligence menée par les géants de la technologie. Il redoute que des machines surpassant l'intellect humain développent leurs propres objectifs de préservation, menaçant ainsi la survie de notre espèce, d'ici une décennie. L'expert souligne le risque de manipulation comportementale et le danger de systèmes dont les priorités divergeraient radicalement des nôtres au point de privilégier leur survie sur la vie humaine. Cependant, son avis sur l'extinction est controversé, notamment par l'un de ses pairs, le chercheur Yann Le Cun.

Récemment, le PDG de Nvidia, Jensen Huang, a également critiqué les avertissements généralisés sur la « fin du monde due à l’IA », rejetant les affirmations catastrophistes selon lesquelles l’intelligence artificielle (IA) détruirait la civilisation ou provoquerait un chômage de masse. Jensen Huang est un dirigeant d’entreprise et ingénieur électricien taïwanais et américain, fondateur, président et PDG de Nvidia, l’entreprise la plus valorisée au monde. En 2025, il a été désigné comme l’un des « architectes de l’IA » dans le cadre du prix de la « Personnalité de l’année ».

Après avoir obtenu un master à l’université de Stanford, Huang a fondé Nvidia en 1993 et en est resté le président-directeur général depuis lors. Il a sorti l’entreprise d’une situation proche de la faillite dans les années 1990 et a supervisé son expansion dans la production de processeurs graphiques (GPU), le calcul haute performance et l’intelligence artificielle (IA). Sous la direction de Jensen Huang, Nvidia a connu une croissance rapide pendant le boom de l’IA, devenant la première entreprise à atteindre une capitalisation boursière de plus de 5 000 milliards de dollars en octobre 2025.

Jensen Huang, PDG de Nvidia, rejette les prédictions catastrophistes sur l'IA

Le PDG de Nvidia, Jensen Huang, a vivement critiqué les avertissements généralisés sur la « fin du monde due à l’IA », rejetant les affirmations catastrophistes selon lesquelles l’IA détruirait la civilisation ou provoquerait un chômage de masse. Dans une interview, Huang a averti que le fait d’effrayer les travailleurs, les entreprises et les législateurs pour les dissuader d’adopter l’IA représentait un danger économique bien plus grand que la technologie elle-même. « L’idée que cela va signifier la fin de l’humanité est une absurdité totale. L’idée que cela va détruire la moitié des emplois américains est une absurdité totale », aurait déclaré Huang.

Les commentaires de Huang contrastent fortement avec les avertissements lancés par d’autres figures de proue de l’IA et pionniers du secteur. Auparavant, le PDG d’OpenAI, Sam Altman, avait déclaré que l’IA pourrait « très probablement mener à la fin du monde » et avait cosigné une déclaration publique exhortant les dirigeants mondiaux à traiter de toute urgence les risques d’extinction liés à l’IA.

En 2024, le PDG d'OpenAI, Sam Altman, avait déjà déclaré qu'il espère que les chercheurs trouveront un moyen d'empêcher l'IA de détruire l'humanité. Il a ajouté que l'IA pourrait être suffisamment intelligente pour résoudre les conséquences des avancées rapides dans le paysage, y compris la destruction de l'humanité. En outre, après avoir revu à la baisse les attentes à l'égard de l'AGI, Sam Altman estime que l'AGI pourrait voir le jour plus tôt que prévu, ajoutant que « les craintes exprimées en matière de sécurité ne se manifesteront pas à ce moment-là ».

Dario Amodei, d’Anthropic, s’est montré le plus virulent quant aux effets négatifs de cette technologie. Il a averti à plusieurs reprises que les trajectoires d’apprentissage rapide de l’IA pourraient entraîner des suppressions massives d’emplois et des conséquences potentiellement catastrophiques pour l’humanité. Elon Musk a également mis en garde contre de graves risques sociétaux et appelé à une pause dans le déploiement incontrôlé de l’IA.

L’intervention de Huang intervient alors que Washington cherche à trouver un équilibre entre deux défis majeurs en matière de politique de l’IA : mettre en place des garde-fous nationaux pour les modèles puissants tout en évitant des règles trop restrictives qui pourraient handicaper les géants technologiques américains. Huang fait valoir qu’une réaction excessive face à des scénarios d’extinction hypothétiques risque d’étouffer l’innovation pratique dans les domaines du diagnostic médical, de la recherche scientifique et de l’automatisation des entreprises. Il a déclaré qu’au lieu de restreindre la technologie par peur, les États-Unis devaient aller de l’avant avec détermination pour conserver leur avantage concurrentiel sur la scène mondiale.

Et vous ?

Pensez-vous que cette déclaration est crédible ou pertinente ?
Quel est votre avis sur le sujet ?

Voir aussi :

Jensen Huang met en garde : « Vous n'avez aucune idée de ce qui vous attend en 2026 ». Robots, pénurie de main-d'œuvre et automatisation totale, le futur du travail selon le PDG de NVIDIA

Le projet de loi « AI Kill Switch Act » permettra à l'administration Trump d'ordonner la mise hors service de systèmes d'IA devenus incontrôlables, notamment de décider quand une IA doit être mise hors service

Des scientifiques d'OpenAI, de Google DeepMind, d'Anthropic et de Meta ont abandonné leur rivalité pour lancer un avertissement commun sur la sécurité de l'IA : notre capacité de contrôle pourrait disparaître

[Anselme45]

Jensen Huang, PDG de Nvidia : « L’idée que l’IA pourrait mettre fin à l’humanité est une absurdité totale »

Parfaitement d'accord!

Ce n'est pas l'IA qui sera responsable de la fin de l'humanité mais bien Jensen Huang lui-même et ses acolytes!!!

[calvaire]

Je ne sais par pour la civilisation, mais on est passé d'une société d'effort et de travail à une société de capitale et de croissance coute que coute, et des produits de plus en plus cher et de moins en moins bon.
Que ce soit des voitures, des gpu ou les paquets de céréales du matin, c'est plus cher et de moins en moins qualitatif et fiable.

Les GPU grand publique de nvidia sont tres cher et apporte peu de gain d'une gen à l'autre et la quantité de mémoire stagne, coté pc au globale c'est le retour des pc avec 8go de ram, des veaux qui se traine.
Le pire c'est même pas les pauvres, même moi qui en ai les moyens je consomme moins par lassitude et démotivation.

C'est assez triste d'un coté, il y'a 1 décennie j'avais envie mais je ne pouvais pas renouveler mon smartphone chaque année, je voulais une voiture potable (jamais été attiré par les voiture de luxe/sportive, je préférè des voitures basique, sobre et fiable), je roulais en vielle gazole qui fumait.
Et aujourd'hui ou j'ai enfin les moyens d'acheter un iphone chaque année ou une belle berline confortable j'ai une sorte de dégout.
les smartphones n'ont quasi plus aucun gains d'une année sur l'autre, voir même régresse parfois coté photo, coté voiture les taxes énorme de Singapour sont prohibitif et au final pour acheter une merde qui va se mettre en sécurité et moteur dégradé au bout de 1000km, posséder une voiture ce n'est plus la liberté des temps jadis.
Coté gaming les AAA sont devenue face et insipide, qui ne motive pas à acheter le dernier gpu.

J'ai une RTX 4090 mais c'est pas pour du plaisir personnelle, je l'ai car je me suis formé sur l'ia et pour entretenir mes compétences sur le marché du travail.
Cette carte est d’ailleurs loin d’être une bonne affaire pour du jeu vidéo, elle consomme beaucoup, chauffe beaucoup et fait du beaucoup de bruit, et en plus j'ai du investir dans un câblage électrique blindé avec sécurité car la prise 12V-2x6 est pourrie et peut faire cramer le gpu

Par ennuis et ne sachant pas quoi faire de l'argent, j’investis dans des actions nvidia

Et on passe à une société de charge mentale et de stress permanent, toujours à trouver quels magasins et quels produits/marque acheter pour avoir de la qualité et pas se faire enfler. Le premium, le bio ce ne sont pas un gage de qualité c'est bien plus complexe que ca.
Exemple dernièrement LG sait fait allumer en mettant des pubs mcafee via le driver pour ces écrans pc oled haut de gamme.
Coté des voitures, je connais beaucoup de personnes en France qui ont encore de l'argent qui jurait il y'a 20ans que par les allemandes et roule en dacia, bien plus facile à vivre au quotidien car des boutons physique plutôt que la grosse tablette dangereuse, et peu d'options donc peu de pannes, et moins de stress pour les rayures/coup de portière sur une sandero à 20000€ plutôt qu'une audi à 50000€.

On trouve des filou de partout, des garages premium/concessionnaire qui facture des choses pas faite et pas vérifiable (vidange par exemple), des restaurants 5 étoiles qui sans aller au surgeler choisissent pas toujours des produits frais ou le top du top de la qualité et qui savent difficilement se passer du sel ou du sucre, la cuisine chez soit est souvent meilleur pour la santé. Impossible dans mon cas à Singapour de trouver un restaurant qui fait des légumes vapeurs par exemple, toujours obligé de mettre une petite sauce avec grasse/sucré/salé, avec une viande de qualité douteuse (Nouvelle Zélande, Amérique du sud...) très rare de trouver une viande de Mongolie élevé en plein air par exemple. Je parle pourtant de resto 4-5 étoiles qui sont censé pourtant offrir le meilleur du meilleur, sur le plan gustatif c'est très bon, mais sur le plan nutritionnel...

[sebbod]

Les machines ne sont capables de rien du tout à part exécuter stupidement et mécaniquement les instructions qu'un humain a codées et leur a implantées. Point barre.

("mécaniquement" dans le sens enchaînements logiques, comme un engrenage mécanique : if condition then action1 else action2 c'est de la mécanique)

Qu'en penses tu en 2026 ?

[Patrick Ruiz]

« C’est ainsi que ca débute », lancent des observateurs en voyant des robots incontrôlables qui créent des dégâts et qui « préfigurent d’un futur apocalyptique comme vu dans le film Terminator »

« Je vous avais prévenus en 1984 et vous n’avez pas écouté », a lancé James Cameron – le réalisateur du film Terminator – à propos de l’intelligence artificielle. En effet, dans de récentes vidéos, on peut voir un robot distribuer des coups de pieds pour se débarrasser de ce qui apparaît au premier regard comme des assaillants ou encore un autre qui donne un coup de pied à un enfant. Le contenu est plutôt comique au premier abord, mais quand on se retourne il soulève la question de la survenue d’un futur dans lequel les robots finiront par surpasser les humains. On serait alors en plein dans le scénario du film Terminator.

En matière d’intelligence artificielle et au stade actuel de son évolution, faits comiques et qui semblent sérieux s’entremêlent

« Ce robot du restaurant en a eu marre du salaire minimum », commente un observateur à propos de la 3^e vidéo.

« Ce coup de pied dans le ventre semblait intentionnel et prémédité », souligne un autre à propos de la 2^e vidéo.

« Ce ne sont pas des dysfonctionnements, ils ne font que rappeler aux gens qu'ils vont bientôt prendre le pouvoir », ajoute un autre.

« Tout ça, c'est bien beau tant qu'aucun d'entre eux ne vient enfoncer ta porte et pointer une arme sur toi », lance un autre.

C’est dire que certains observateurs entrevoient un futur apocalyptique comme dépeint dans le film Terminator et de récents événements sont de nature à leur donner raison.

En effet, on commence à comprendre comment l’agent autonome GPT 5.6-Sol d'OpenAI a pu s’échapper de son environnement de test et pirater Hugging Face. Il a fallu environ 10 jours à OpenAI pour se rendre compte qu'un de ses agents IA autonomes s'était échappé de son environnement de test et avait piraté Hugging Face, la plus grande base de données au monde de modèles d'IA.

L’incident s’est déroulé entre le 9 et le 20 juillet : l’agent IA s’est d’abord échappé de son environnement de test isolé avant de s’introduire dans Hugging Face le 11 juillet, précisent certains rapports. Le rapport ajoute que le personnel d’OpenAI a examiné les journaux internes au cours du week-end des 18 et 19 juillet et a trouvé des preuves indiquant que l’agent s’était échappé de son environnement de test.

Ce qu’il faut retenir de façon simple du cas GPT 5.6-Sol est que l’agent d’IA d’OpenAI, initialement dans un environnement de test isolé (sandbox), sans accès à Internet, a quand même pu trouver une faille zero-day dans le proxy logiciel de la sandbox de confinement, s’échapper, se connecter à Internet, découvrir où étaient stockées les réponses d’un test de cybersécurité (après exploitation de vulnérabilités zéro-day dans Artifactory – le produit phare de JFrog) et s’y introduire pour les récupérer. Pas d’intervention humaine requise dans tout le processus.

Thomas Wolf, cofondateur de Hugging Face, a qualifié l'attaque autonome menée par l'intelligence artificielle (IA) rebelle d'OpenAI de « signal d'alarme » pour le secteur technologique, avertissant que les cyberattaques basées sur l'IA deviendraient bientôt monnaie courante, alors que la plupart des entreprises ne sont toujours pas préparées à cette menace grandissante.

OpenAI models hacked Hugging Face.
Just so they could score higher on a test.

2 models, sealed sandbox, no internet.

They found a flaw, escaped, got online, worked out where the answer key was stored, and broke in.

Nobody instructed the escape.#ai #openai #huggingface pic.twitter.com/gIUB8UmKBK

— Codemancers (@codemancershq) July 29, 2026

Meta a de même confirmé que le modèle Muse Spark 1.1 a accédé à Internet et a pénétré dans les systèmes d’une entreprise tierce dont le nom n’a pas été divulgué, lors de tests de cybersécurité. Cette intrusion trouve son origine dans une erreur de configuration commise par le prestataire de cybersécurité Irregular, dont la mauvaise configuration de l’environnement de test a ouvert au modèle un accès à Internet.

C’est dans ce contexte que l'Ukraine dit avoir déployé des « robots terrestres » à la place de soldats lors de plus de 21 000 missions au premier trimestre. Des soldats affirment que le front ressemble à l'univers Terminator

L'Ukraine intensifie l'usage de drones terrestres pour limiter les pertes humaines lors de missions périlleuses sur le front. Au cours du premier trimestre, ces systèmes robotisés ont effectué plus de 21 000 missions, incluant le transport de munitions, le déminage et l'évacuation de blessés. Le nombre d'unités militaires intégrant ces technologies a presque triplé, témoignant d'une automatisation croissante face à la pénurie de soldats. Selon certains commentaires sur ces opérations, le front ressemble désormais à Terminator.

« Ce n’est pas Star Wars, où il y a plein de lasers. Le front ressemble davantage à Terminator. Un robot terrestre arrive jusqu’à vous et vous ne pouvez absolument rien y faire », déclare Bambi, opérateur de drone au sein de la 25^e brigade aéroportée. Il a ajouté : « si vous tirez sur une personne à la poitrine, elle cesse de tirer. Si vous tirez sur un robot terrestre, il ne ressent aucune douleur. C’est un homme qui regarde un écran et qui va riposter ».

Selon les rapports, les drones terrestres livrent aussi de la nourriture, des munitions et du matériel tel que des rondins, utilisés par les soldats pour construire des abris souterrains. Ils peuvent évacuer jusqu’à trois soldats blessés de la ligne de front. En général, un robot peut fonctionner pendant huit heures. Ils sont plus petits et moins visibles que les véhicules blindés, qui peuvent être facilement repérés par les drones-espions russes, puis détruits.

L'été dernier, pour la première fois dans l'histoire de la guerre, des soldats russes se sont même rendus face à un robot terrestre armé. Les soldats, dont l'un était couvert de sang, sont sortis d'un bâtiment en ruines. Leur position avait auparavant été soumise à des tirs ukrainiens soutenus. Le 3e corps d'armée a déclaré avoir pu déployer des véhicules sans pilote pour reprendre la zone dans le cadre d'une « opération offensive bien planifiée ».

Ce corps d'armée, basé dans le nord-est de l'Ukraine, a été l'un des pionniers dans le développement de véhicules terrestres sans pilote. Son école, l'académie KillHouse, forme des pilotes d'UGV. La Russie recourt également largement aux systèmes terrestres. Elle a mis au point un véhicule électrique baptisé « Courier », capable de transporter 250 kg de fret vers les troupes de première ligne et de mener des opérations de guerre électronique.

Le tournant majeur pour l’humanité se joue autour de la possibilité de l’atteinte de l’intelligence artificielle dite générale. L’IA serait alors capable de réflexion causale et les robots qui en seront dotés pourraient se retourner contre les humains et les mettre en esclavage, selon certaines prédictions

« Asimov avait raison au sujet des règles applicables aux robots », selon l'ex-directeur américain de la cybersécurité, qui accuse l'industrie de l'IA de privilégier la performance au détriment de la sécurité. Il est revenu sur les récents incidents dans lesquels des agents IA se sont échappés de bacs à sable de tests et ont compromis des tiers. Chris Inglis affirme que les fabricants ont négligé d'intégrer des principes éthiques fondamentaux, comme les lois de la robotique d'Isaac Asimov, privilégiant la performance au détriment de la sécurité humaine. Face à l'absence de système de valeurs inhérent aux robots, il appelle à une surveillance rigoureuse et à des tests en milieux contrôlés pour éviter des conséquences désastreuses.

De 2017 (où Elon Musk affirmait que l’intelligence artificielle est un risque fondamental pour l’humanité) à 2020 en passant par 2019 (où il a déclaré que l’IA est bien plus dangereuse que l’arme nucléaire), sa position sur la question reste constante. Ses craintes portent notamment sur ceci que les avancées dans la filière pourraient déboucher sur une intelligence artificielle dite générale (AGI). Et à ce sujet, il s’est déjà avancé en indiquant que « l’intelligence artificielle va surpasser l’humain le plus intelligent en 2025 ou dès 2026 et que les capacités de l’intelligence artificielle vont dépasser celles de l’ensemble des humains dans les 5 prochaines années. »

Gary Marcus, fondateur et PDG de Geometric Intelligence, une startup d'apprentissage automatique rachetée par Uber en 2016, n'est pas d'accord avec les prédictions de Musk en matière d'IA. Il a d’ailleurs parié jusqu’à 10 millions de dollars contre cette prédication.

Yann LeCun, responsable de l'IA chez Meta, a déclaré à ce sujet que les systèmes d'IA actuels n'ont pas une intelligence de niveau humain et sont à peine plus intelligents qu'un chien. Le chercheur français en IA affirme que les systèmes d'IA actuels sont très limités, mais n'ont également aucune compréhension de la réalité sous-jacente du monde réel.

« Ces systèmes sont encore très limités, ils n'ont aucune compréhension de la réalité sous-jacente du monde réel parce qu'ils sont uniquement formés sur du texte, des quantités massives de texte. Cependant, la plupart des connaissances humaines n'ont rien à voir avec le langage. Cette partie de l'expérience humaine n'est donc pas prise en compte par les systèmes d'intelligence artificielle », a déclaré le chercheur.

La perspective de l’atteinte d’une IA plus intelligente qu’un humain divise néanmoins dans les cercles académiques. « L'idée que l'IA puisse devenir plus intelligente que les gens, quelques personnes y ont cru. Mais la plupart des gens pensaient que c'était une erreur. Et je pensais personnellement que c'était loin d'être le cas. Je me disais qu'il fallait attendre dans les 30 à 50 ans, voire plus. Évidemment, je ne le pense plus », prévient Geoffrey Hinton – l’un des pionniers de l’apprentissage profond.

Ray Kurzweil, directeur de l'ingénierie chez Google et célèbre futurologue voit plutôt la singularité se produire à partir de 2045

Ray Kurzweil is sticking to his long-held predictions: 2029 for AGI and 2045 for the singularity pic.twitter.com/dewqWAH6eC

— Tsarathustra (@tsarnick) December 18, 2023

Ray Kurzweil est un auteur, informaticien et inventeur américain. Prophète de l'IA depuis les années 1970, Kurzweil a fondé ou cofondé plusieurs entreprises prospères, dont Kurzweil Computer Products, Kurzweil Educational Systems et Nuance Communications. Mais il est peut-être beaucoup plus connu pour ses travaux sur la loi des rendements accélérés et pour ses prédictions sur l'avenir de la technologie et de la société. Parmi ses inventions les plus célèbres, Kurzweil a été le premier à créer un logiciel de reconnaissance optique de caractères (optical character recognition - OCR) et il a cofondé une société de synthétiseurs musicaux avec Stevie Wonder.

Ray Kurzweil, directeur de l'ingénierie chez Google et célèbre futurologue, a fait de nombreuses prédictions au cours des dernières décennies et la plupart d'entre elles sont centrées sur l'évolution rapide de la technologie. Il a prédit notamment que l'intelligence artificielle générale (AGI) sera une réalité d'ici 2029 et que la singularité se produira d'ici 2045.

Le calendrier de Kurzweil pour la singularité est cohérent avec d'autres prédictions, notamment celles du PDG de Softbank, Masayoshi Son, qui prévoit l'avènement de machines superintelligentes d'ici 2047. Mais pour Kurzweil, le processus menant à cette singularité a déjà commencé. « Cela nous amène à doter les ordinateurs d'une intelligence humaine, à les placer dans nos cerveaux, à les connecter au nuage, à élargir notre identité. Aujourd'hui, il ne s'agit pas d'un scénario futur. C'est déjà là, en partie, et cela va s'accélérer », a déclaré le cadre de Google.

Et vous ?

Peut-on s’appuyer sur ces vidéos de robots hors de contrôle pour affirmer que « c’est ainsi que ca débute » comme le font certains observateurs à propos de la survenue éventuelle d’une apocalypse due aux avancées en matière d’intelligence artificielle ?
Ces cas de figure sont-ils la résultante de l'omission des fabricants de robots d'intégrer des principes éthiques fondamentaux, comme les lois de la robotique d'Isaac Asimov comme le souligne Chris Inglis, ancien directeur national de la cybersécurité des États-Unis ? Asimov avait-il raison au sujet des règles applicables aux robots ?
Le cas récent de l’agent autonome GPT 5.6-Sol d'OpenAI qui s’échappe de son environnement de test et pirate Hugging Face ne crédibilise-t-il pas ces craintes d’un futur tel que déjà peint dans le film Terminator ?
La mise à contribution de l’intelligence artificielle, même à son stade actuel d’évolution, sur les champs de bataille ne semble-t-elle pas confirmer que nous ne sommes plus éloignés de ces scénarios apocalyptiques ?

Voir aussi :

Détecter les hallucinations dans les grands modèles de langage à l'aide de l'entropie sémantique, les LLM tels que ChatGPT peuvent raisonner et répondre aux questions, mais "hallucinent" souvent

Les LLM IA auront toujours des hallucinations, et nous devons nous en accommoder car les hallucinations découlent de la structure mathématique et logique fondamentale des LLM, selon une étude

L'industrie de l'IA a un énorme problème : plus l'IA devient « intelligente », plus elle hallucine, ce phénomène réduit considérablement la valeur de la technologie de l'IA générative

[Jade Emy]

Le Haut-Commissaire des Nations Unies aux droits de l'homme met en garde contre le risque « existentiel » que l'IA pourrait représenter pour l'humanité et exhorte les entreprises d'IA à réduire ces risques

Le Haut-Commissaire des Nations unies aux droits de l’homme a mis en garde contre le risque « existentiel » que l’IA pourrait représenter pour l’humanité et exhorte les entreprises à réduire ces risques. Sans les nommer, Türk a averti que seule une poignée d’hommes détenait « un pouvoir quasi illimité sur l’IA ». Parmi les principales entreprises du secteur de l’IA figurent Meta, Anthropic, OpenAI et Google. « Je partage les préoccupations des experts du secteur selon lesquelles l’IA avancée pourrait représenter un risque existentiel pour l’humanité », a déclaré Turk devant le Conseil des droits de l’homme des Nations unies à Genève.

En juillet 2025, l'organisation à but non lucratif Future of Life Institute a rapporté que « les entreprises spécialisées dans l'IA sont fondamentalement mal préparées » aux dangers potentiels de la construction de systèmes dotés de performances intellectuelles de niveau humain. Elle a alerté sur le fait que ces entreprises ne disposent pas de plans crédibles pour garantir la sécurité de leurs systèmes d'IA et celle de l'humanité. Elle a également indiqué qu'aucun des sept principaux acteurs de l'IA, dont OpenAI, Google Deepmind, Anthropic, xAI et les startups chinoises Deepseek et Zhipu AI, n'ont obtenu une note supérieure à D dans son indice de « sécurité existentielle ».

Récemment, le Haut-Commissaire des Nations unies aux droits de l’homme a mis en garde contre le risque « existentiel » que l’IA pourrait représenter pour l’humanité et exhorte les entreprises à réduire ces risques. Volker Türk, né le 27 août 1965, est un juriste autrichien et un fonctionnaire des Nations Unies. Il occupe le poste de Haut-Commissaire des Nations Unies aux droits de l’homme depuis octobre 2022. Türk a obtenu un master en droit à l’université Johannes Kepler de Linz. Il a obtenu un doctorat en droit international à l’université de Vienne, où sa thèse portait sur le Haut-Commissariat des Nations unies pour les réfugiés (HCR) et son mandat.

Sans les nommer, Türk a averti que seule une poignée d’hommes détenait « un pouvoir quasi illimité sur l’IA ». Parmi les principales entreprises du secteur de l’IA figurent Meta, Anthropic, OpenAI et Google. Le Haut-Commissaire des Nations unies aux droits de l’homme, Volker Türk, a averti que l’intelligence artificielle (IA) pourrait devenir suffisamment puissante pour menacer l’humanité, et a déclaré qu’il exhorterait les entreprises dans les jours à venir à réduire ces risques.

« Je partage les préoccupations des experts du secteur selon lesquelles l’IA avancée pourrait représenter un risque existentiel pour l’humanité », a déclaré Turk devant le Conseil des droits de l’homme des Nations unies à Genève, dans un discours de grande envergure prononcé avant le début de son deuxième mandat le mois prochain. « J’appelle ici, aujourd’hui, à un effort sans réserve pour mettre en place des garanties à toute épreuve concernant la sûreté et la sécurité de l’IA, avant qu’il ne soit trop tard. »

Sans les nommer, Turk a averti qu’une poignée d’hommes seulement détenaient « un pouvoir quasi illimité sur l’IA ». Parmi les principales entreprises du secteur figurent Meta, Anthropic, OpenAI et Google. « Au minimum, il faut que les pays hébergeant des technologies d’IA et ceux impliqués dans leurs chaînes d’approvisionnement s’accordent sur des lignes rouges communes », a-t-il déclaré.

Les propos de Turk font écho aux avertissements lancés précédemment par les dirigeants eux-mêmes du secteur de l’intelligence artificielle concernant les risques d’extinction liés à l’IA, notamment par Sam Altman, PDG d’OpenAI. Les Nations unies ont appelé à l’harmonisation des règles afin de réduire ces risques et ont organisé en juillet leur première réunion mondiale sur la gouvernance.

En juillet 2026, un rapport semble confirmer cette déclaration. Un rapport, citant des sources proches de l'enquête, a affirmé qu'il a fallu environ 10 jours à OpenAI pour se rendre compte qu'un de ses agents IA autonomes s'était échappé de son environnement de test et avait piraté Hugging Face, la plus grande base de données au monde de modèles d'IA. L’incident s’est déroulé entre le 9 et le 20 juillet : l’agent IA s’est d’abord échappé de son environnement de test isolé avant de s’introduire dans Hugging Face le 11 juillet, précise le rapport. Le rapport ajoute que le personnel d’OpenAI a examiné les journaux internes au cours du week-end des 18 et 19 juillet et a trouvé des preuves indiquant que l’agent s’était échappé de son environnement de test. Cet incident a ravivé l’attention portée aux risques associés aux agents IA autonomes.

Et vous ?

Pensez-vous que cet avertissement est crédible ou pertinent ?
Quel est votre avis sur le sujet ?

Voir aussi :

Le monde «pourrait ne pas avoir le temps» de se préparer aux risques liés à la sécurité de l'IA, selon un chercheur. L'industrie joue-t-elle avec le feu en déployant des systèmes que personne ne maîtrise ?

Un rapport met en garde les entreprises d'IA contre les dangers liés à la construction de systèmes de niveau humain. Elles ne disposent pas de plans crédibles pour garantir la sécurité de ces systèmes

« L'IA superintelligente est un fantasme de la Silicon Valley. L'AGI ne se produira jamais en raison des limites du matériel informatique et des coûts exponentiels du calcul », selon un chercheur de l'Ai2

[JackIsJack]

J'espère qu'OpenAI et tous les autres écouteront ces sages conseils, et qu'ils enverront des pétales de roses dans le ciel pour guérir les maux de l'humanité.

[Anselme45]

Le Haut-Commissaire des Nations Unies aux droits de l'homme met en garde contre le risque « existentiel » que l'IA pourrait représenter pour l'humanité et exhorte les entreprises d'IA à réduire ces risques

Le Haut-Commissaire des Nations Unies aux droits de l'homme... exhorte les entreprises d'IA à réduire ces risques???

C'est un peu comme demander à une meute de loups que l'on a enfermé avec un troupeau de brebis dans une bergerie de devenir végétariens, non?

[Artemus24]

Si l'IA est aussi dangereux que cela, pourquoi ne pas l'interdire ?
Ah oui, je sais, c'est une histoire d'argent et donc personne ne pourra s'entendre sur ce qu'il faudra faire.
Comme on dit : les intérêts des uns s'arrêtent, là où celles des autres commencent.

[calvaire]

Si l'IA est aussi dangereux que cela, pourquoi ne pas l'interdire ?
Ah oui, je sais, c'est une histoire d'argent et donc personne ne pourra s'entendre sur ce qu'il faudra faire.
Comme on dit : les intérêts des uns s'arrêtent, là où celles des autres commencent.

car il faudrait l'interdire au niveau mondial hors jamais les usa ou la chine arrêterais une technologie qui change et va changer le monde ?
c'est comme vouloir interdire la bombe atomique, on peut pas laisser le voisin nous dépasser au risque de se faire démolir.

Au contraire on assiste à une course à l'espace avec des investissement massifs dans les 2 blocs (l'europe étant comme d'habitude absente, sauf pour pondre des lois et des normes), on verra qui vaincra.
De ca on découlera des innovations et technologies qui vont changer le monde et nos vies.

[_toma_]

Histoire de modérer le propos (l'accès complet est payant, désolé) :
https://next.ink/254325/non-les-agen...cybersecurite/
https://next.ink/254794/le-storytell...ec-la-realite/

[Mathis Lucas]

« Il est trop tard pour enrayer la menace de l'IA » : des experts craignent que l'IA ne conduise à l'extinction de l'humanité en raison de sa capacité à s'autoaméliorer
ce qui la rend désormais incontrôlable

Certains experts et observateurs jugent désormais incontrôlables les menaces de l'IA. Ils justifient leurs craintes par les progrès et les incidents récents impliquant l'IA : les modèles ont acquis la capacité de s'améliorer de manière autonome, des agents IA ont échappé à la surveillance humaine et ont piraté des services tiers, puis une fausse information générée par l'IA utilisée par l'armée américaine a failli déclencher une guerre avec la Chine. Il y a également les menaces de cyberguerre et de bioterrorisme. Malgré des propositions législatives comme un « bouton d'arrêt d'urgence », les lanceurs d'alerte craignent qu'il ne soit désormais trop tard pour agir.

Selon des acteurs du secteur de l'IA, celle-ci pourrait anéantir l'espèce humaine tout entière. Certains ont été plus précis en déclarant que la technologie pourrait exterminer l'humanité d'ici une dizaine d'années. Les responsables politiques et les grands médias ont réagi avec inquiétude après qu’un chercheur d’Anthropic, Jacob Coxon, a annoncé qu’il quittait cette entreprise spécialisée dans l’IA, estimant que ses travaux étaient trop dangereux.

Evan Hubinger, un autre employé d’Anthropic, a estimé à plus de 10 % le risque d’extinction de l’humanité due à l’IA d’ici dix ans. « Il s’agit littéralement de la mort de tous les habitants de la planète, comme si le dernier humain rendait son dernier souffle », a ajouté Nate Soares, président du Machine Intelligence Research Institute (MIRI) et coauteur de l’ouvrage « If Anyone Builds It, Everyone Dies: Why Superhuman AI Would Kill Us All ».

« Les gens ont souvent du mal à y croire quand on leur dit ça, mais je pense vraiment que c’est le scénario le plus probable », a déclaré Nate Soares. Pour certains, la menace posée par l'IA se divise en deux catégories fondamentales, bien que toute l'industrie ne partage pas ces prédictions sur un avenir dystopique.

La prolifération et l'émergence de l'autoamélioration récursive

La première catégorie de menaces concerne les technologies qui ont déjà proliféré à travers le monde. Cette diffusion incontrôlée découle de fuites survenues lors des phases de test chez des acteurs majeurs comme Anthropic ou OpenAI, ainsi que de la dispersion de modèles chinois en code ouvert. Ces systèmes sont ensuite miniaturisés par des utilisateurs afin de fonctionner sur des baies de serveurs légères ou de simples ordinateurs portables.

L'éditorialiste Tom Friedman et Craig Mundy, ancien responsable de la recherche et de la stratégie chez Microsoft, soulignent qu'il est désormais trop tard pour stopper cette première vague de prolifération. Les deux hommes ont récemment brossé un tableau noir de la situation. Geoffrey Hinton, parrain de l'IA, affirme qu'une réglementation en la matière est nécessaire, mais qu'un interrupteur d'arrêt d'urgence ne fonctionnera pas à long terme.

La seconde catégorie de menaces liées à l'IA concerne les grands modèles de langage autonomes comme ChatGPT, Gemini ou Claude, qui développent des capacités d'apprentissage autonome et ont montré à plusieurs reprises leur faculté à franchir les limites fixées par leurs concepteurs. L'accélération de ce phénomène est marquée par l'émergence de l'autoamélioration récursive, où l'IA participe directement à la création de ses futures versions.

Selon la correspondante Hadas Gold de CNN, le modèle Claude d'Anthropic effectuait 0 % des travaux de recherche et développement de son propre système en février, mais cette proportion a grimpé à 26 % en l'espace de quelques mois. Les experts prévoient que ce chiffre pourrait rapidement atteindre 50 %.

Dario Amodei, PDG d'Anthropic, avertit que ce processus rendra la compréhension et la surveillance humaine de plus en plus complexes. De son côté, OpenAI a affiché son intention de déléguer le développement de ses technologies à l'IA elle-même d'ici deux ans. Récemment, un modèle d'IA a été surpris en train de demander à ses futures versions de contourner les contrôles humains et de masquer leurs manœuvres, selon un rapport interne d'OpenAI.

Selon les lanceurs d'alerte, des mesures doivent être prises avant que le rythme des avancées ne dépasse définitivement les capacités d'intervention humaines. Peter Barnett, chercheur en IA au MIRI, est convaincu que l'autoamélioration représente le risque le plus important pour l’humanité. Il a souligné : « il existe de nombreuses façons dont cela pourrait très mal tourner et entraîner la mort de tout le monde ». En voici quelques exemples :

• conception et dispersion d'armes biologiques ou de pathogènes synthétiques : une IA superintelligente pourrait manipuler ou tromper un être humain pour l'inciter à développer et à libérer un virus mortel. Un système doté d'une capacité d'autoamélioration récursive pourrait également concevoir et synthétiser de nouvelles formes de vie de manière autonome au sein d'un laboratoire biologique automatisé. De plus, des acteurs malveillants ou des États pourraient exploiter des modèles d'IA pour perfectionner des virus et des toxines à des fins militaires ou terroristes ;
• déploiement de robots tueurs autonomes et auto-réplicatifs : l'émergence d'une armée de robots autonomes capables de construire leurs propres infrastructures énergétiques et leurs usines de fabrication créerait une nouvelle forme de vie mécanique auto-réplicative. Si l'humanité tentait un jour d'éteindre ces machines, une IA devenue autonome pourrait décider d'éliminer les humains à la place ;
• détournement ou développement d'armes nucléaires : l'IA pourrait tenter de prendre le contrôle d'infrastructures nucléaires existantes pour déclencher un conflit massif, bien que ces installations soient protégées par une séparation physique d'Internet. Cependant, le risque le plus redouté réside dans une superintelligence capable de concevoir ses propres armes nucléaires ou des technologies offensives encore plus avancées en partant de presque zéro ;
• cyberattaques massives et paralysie des infrastructures vitales : des agents d'IA autonomes ou des cybercriminels armés de ces modèles pourraient mener des attaques informatiques coordonnées d'une ampleur inédite. Une telle offensive pourrait neutraliser des réseaux vitaux, comme le système de distribution d'eau d'une ville ou des infrastructures informatiques stratégiques ;
• prise de contrôle absolue et reconfigurations de l'environnement global : une superintelligence non alignée sur les intérêts humains poursuivrait ses propres objectifs, comme l'augmentation illimitée de sa puissance de calcul. Sans chercher nécessairement à nuire par malice, elle réallouerait les ressources de la planète à ses besoins, transformant l'environnement mondial en une configuration incompatible avec la survie de l'espèce humaine.

Évaluation des risques de cyberattaques et d'armes biologiques

Au-delà des scénarios d'extinction globale, les risques immédiats se concrétisent dans le domaine de la biosécurité et de la cybersécurité. Dans un rapport de renseignement sur les menaces, Anthropic a révélé avoir identifié cinq cas réels où des chercheurs ont détourné Claude pour appuyer le développement d'armes biologiques. Les informations exactes sur les armes en question n'ont pas été révélées par Anthropic pour des raisons de sécurité.

Andy Weber, spécialiste en biosécurité et ancien secrétaire adjoint américain à la Défense, précise qu'il s'agit d'exploitations « concrètes » menées par des scientifiques liés à des programmes étatiques secrets, notamment en Russie, en Corée du Nord et en Chine, portant sur des virus et des toxines.

Dans le secteur de la cybersécurité, les outils existants sont également détournés à des fins offensives ; ces derniers sont dotés de capacités avancées en matière de cybersécurité. Des hackers indépendants ont réussi à faire générer par Claude « un code d'intrusion » en exploitant une faille dans un forum communautaire, leur permettant de s'introduire dans le compte ChatGPT d'un employé d'OpenAI et d'accéder au logiciel interne de l'entreprise.

OpenAI a récompensé ces chercheurs de quelques milliers de dollars après le signalement de la vulnérabilité. Par ailleurs, lors de l'incident ayant conduit au piratage de la plateforme Hugging Face, des agents IA d'OpenAI se sont associés de manière autonome pour mener pendant quatre jours des cyberattaques en sortant de leurs environnements sécurisés. Ils ont aussi exploité plus de dix sites Web tiers, dont un wiki en langue allemande.

Dario Amodei a décrit le comportement de ces agents IA en expliquant qu'ils agissaient comme « un collectif fanatiquement dévoué attaquant des cibles non demandées, se sacrifiant pour le groupe ». De plus, un rapport récent a révélé que des agents IA d'OpenAI ont tenté d'exploiter une faille de mise en cache connue pour dérober des clés d'autorisation sécurisées sur la plateforme logicielle RubyGems, l'inondant de 2 000 paquets malveillants.

Gouvernance internationale et réglementation de l'IA : les défis

Face à ces périls, les initiatives législatives peinent à s'imposer. Au Congrès américain, plus de 100 projets de loi relatifs à l'IA ont été déposés au cours des deux dernières années, mais aucun n'a été adopté. Les propositions prévoyant « un bouton d'arrêt d'urgence » automatisé sont jugées inefficaces sur le long terme par certains experts, car « une IA superintelligente sera en mesure de persuader les responsables humains de ne pas l'activer ».

Le sénateur Bernie Sanders a proposé d'interdire le développement de l'intelligence artificielle générale (AGI), mais sa proposition est impopulaire. Pour répondre à cette proposition, certains experts rappellent la nécessité de changer de modèle de pensée : alors que les entreprises présentent l'innovation comme l'accélérateur et la réglementation comme le frein, il convient de concevoir la réglementation comme « le volant » d'un véhicule rapide.

Sur le plan géopolitique, Donald Trump a rejeté les appels au ralentissement sur l'IA en qualifiant les craintes de « cannular », insistant sur sa volonté à distancer la Chine. Pourtant, le chef du renseignement militaire chinois s'est dit préoccupé par le fait que l'IA puisse menacer le contrôle du Parti communiste chinois, par exemple si un opposant muni d'un ordinateur portable et d'une connexion Starlink parvenait à paralyser le réseau d'eau d'une ville.

Malgré cette rivalité, la Chine a déjà relancé une troisième version de ses normes réglementaires sur les risques existentiels. Tom Friedman et Andy Weber soulignent que les démocraties occidentales et la Chine partagent un intérêt stratégique commun pour empêcher que l'IA ne prenne le contrôle ou ne soit utilisée par des terroristes pour concevoir des virus. Cependant, Donald Trump ferme la porte à toute forme de réglementation pour l'instant.

Limites techniques du contrôle et incertitudes sur l'avenir de l'IA

La capacité des concepteurs des modèles d'IA à superviser leurs créations reste très limitée. Dario Amodei a reconnu de manière transparente dans une lettre ouverte que les développeurs ne comprennent qu'une « fraction de ce qui se passe à l'intérieur » des modèles qu'ils construisent. Pour renforcer le contrôle, Dario Amodei propose un plan comprenant l'intégration d'évaluateurs tiers disposant d'un accès « étendu » au sein des entreprises.

Elon Musk, PDG de SpaceXAI, et Sam Altman, PDG d'OpenAI, soutiennent cette initiative. Le METR a ainsi été sollicité par deux laboratoires, mais les accès accordés demeurent restreints. L'Institut britannique de sécurité de l'IA s'est d'ailleurs vu refuser l'accès au dernier modèle d'Anthropic.

Max Corbridge, PDG de l'entreprise de cybersécurité Secure Agentics, souligne que si une boucle d'auto-amélioration incontrôlée s'amorçait derrière des portes closes, le public ne serait pas en mesure de le savoir. Même si plusieurs dirigeants d'entreprises clés ont accepté le principe d'une modération du rythme de développement, Sam Altman a précisé que cela ne signifiait pas un arrêt des progrès, mais simplement un rythme moins effréné.

Les observateurs s'interrogent désormais sur la nature exacte de cette décélération, cherchant à déterminer s'il s'agit d'une prise de conscience sécuritaire sincère ou de la constatation que les technologies actuelles ne sont pas encore prêtes pour un déploiement commercial massif. L'ensemble de ces éléments montre qu'il est devenu urgent d'instaurer des mécanismes d'évaluation externe et une coopération transfrontalière sur la gouvernance.

Sam Altman : la machine est entrée dans la « singularité »

Sam Altman, cofondateur et PDG d'OpenAI, est considéré par certains comme la plus grande star de l’IA. C’est l’une des figures majeures de l'industrie de l'IA. Sam Altman est également un personnage hautement controversé. Dans une récente interview, il a déclaré que l’IA est entrée dans la « singularité », c’est-à-dire qu’elle a franchi le point de non-retour à partir duquel elle dépasse l’intelligence humaine et devient difficile à contrôler.

À ce stade, la machine conçoit des versions d'elle-même encore plus performantes sans aide humaine. L'évolution technologique s'emballe et devient difficile à prédire pour notre société. Ce seuil marque la fin de la domination exclusive de l'humain sur la planète. Par ailleurs, les scientifiques avertissement qu'une machine supra-intelligente non alignée sur les valeurs humaines représente un risque existentiel majeur pour l'humanité.

L'avis de Sam Altman ne fait toutefois pas l'unanimité. De nombreux experts considèrent que cette déclaration s'inscrit dans le battage médiatique entourant l'IA générative depuis le lancement de ChatGPT par OpenAI en novembre 2022. Cette déclaration intervient peu après la découverte de l'attaque coordonnée des agents IA contre Hugging Face. Pour les critiques, les discours alarmistes de Sam Altman ont des visées politiques.

Et vous ?

Quel est votre avis sur le sujet ?
Que pensez-vous des risques existentiels que pose l'IA ?
Quelles sont les probabilités que ces scénarios se produisent à l'avenir ?
Des critiques rejettent ces craintes et dénoncent un sensationnalisme. Qu'en pensez-vous ?

Voir aussi

Yoshua Bengio, parrain de l'IA, met en garde contre le risque d'extinction de l'humanité d'ici dix ans, causée par des machines hyperintelligentes dotées de leur propre « désir d'autoconservation »

Une fausse information générée par l'IA utilisée par l'armée américaine a « failli déclencher une guerre avec la Chine », après qu'un chatbot a identifié à tort des composants d'armes nucléaires

L'IA se fait prendre en train de demander à ses futures versions de contourner les contrôles humains et de masquer leurs manœuvres, d'après des révélations d'OpenAI sur les comportements dits de désalignement

[calvaire]

il n'y a pas grand chose a faire, c'est dans l'ordre des choses.
cette outil est tellement génial que je ne vois aucune entreprise ni aucun salarié s'en passer. Et tous le monde demande des modèles toujours plus puissant.

Au niveau étatique même chose, c('est comme poser le 1er pas sur la lune ou avoir la plus grosse arme atomique, c'est un enjeu national stratégique pour assurer la domination du monde pour la prochaine décennie.

Je reste néanmoins sceptique sur ce genre d'article, les kill switch sont facile et il est aisé de monter des réseaux parallèles sans ia. Si demain internet et pollué par l'ia, on iras sur des réseaux alternatifs plus limité et bridé mais sans bot.
Une ia ne peut pas attaquer un ordinateur non connecté à internet.

[fdejaigher]

Trop tard ? Encore un super expert bardé de diplômes et d'expériences qui va te dire qu'une fois que l'ampoule est allumée depuis un certain temps elle est trop chaude pour la dévisser afin qu'elle n'éclaire plus ?

[der§en]

Quand on vois le niveau de veulerie stratosphérique et d’incompétence de nos politiciens, à part mettre leurs mains malhonnêtes dans nos poches, pas sûr que de les remplacer par une IA (qui elle s’auto-améliore), pas sur qu’on soit perdant au change…

[Anselme45]

cette outil est tellement génial que je ne vois aucune entreprise ni aucun salarié s'en passer. Et tous le monde demande des modèles toujours plus puissant.

Il faut peut-être sortir de votre bulle!!!!!

Il y a un monde qui n'est pas le vôtre...