Discussion :

[Annonces]

Le monde « pourrait ne pas avoir le temps » de se préparer aux risques liés à la sécurité de l'IA, selon un chercheur de renom.
L'industrie joue-t-elle avec le feu en déployant des systèmes que personne ne maîtrise totalement ?

L’idée que le monde pourrait manquer de temps pour se préparer aux risques de l’intelligence artificielle n’est plus une hypothèse marginale réservée aux cercles académiques. Elle s’impose désormais au cœur du débat public, portée par des chercheurs de premier plan qui estiment que la trajectoire actuelle du développement de l’IA dépasse notre capacité collective à en maîtriser les conséquences. Dans une analyse récente de David Dalrymple, directeur de programme et expert en sécurité de l'IA à l'agence britannique ARIA, l’alerte est sans détour : si le rythme actuel se maintient, les sociétés humaines pourraient être confrontées à des systèmes plus puissants que prévu, avant même d’avoir mis en place les garde-fous nécessaires.

Depuis deux ans, l’IA générative a changé d’échelle. Les modèles ne se contentent plus de produire du texte ou des images crédibles : ils commencent à « raisonner », à planifier, à interagir de manière autonome avec des environnements numériques complexes. Cette progression fulgurante repose sur une combinaison bien connue : puissance de calcul croissante, volumes de données massifs et investissements financiers quasi illimités.

Le problème, selon plusieurs chercheurs cités par la presse anglo-saxonne, est que cette accélération ne s’accompagne pas d’un effort équivalent sur la sûreté. Les cadres réglementaires restent nationaux, fragmentés et souvent en retard d’un cycle technologique. Quant aux mécanismes techniques de contrôle, ils peinent à suivre l’émergence de comportements imprévus dans des systèmes de plus en plus opaques.

Quand les chercheurs parlent d’un risque systémique

Yoshua Bengio

Parmi les voix les plus écoutées figure celle de Yoshua Bengio, l’un des pionniers de l’apprentissage profond. Pour lui, le danger ne réside pas uniquement dans les usages malveillants de l’IA, mais dans la possibilité que des systèmes avancés développent des objectifs mal alignés avec les intérêts humains. Ce scénario, longtemps considéré comme théorique, gagne en crédibilité à mesure que les modèles deviennent capables d’optimiser leurs actions sur le long terme.

L’enjeu n’est pas une « révolte des machines » au sens hollywoodien, mais un risque plus insidieux : des systèmes extrêmement efficaces poursuivant des objectifs définis de manière imparfaite, avec des effets secondaires potentiellement catastrophiques sur l’économie, la sécurité ou l’information.

Yoshua Bengio est un informaticien canadien né en 1964, reconnu mondialement comme l’un des pionniers de l’intelligence artificielle et de l’apprentissage profond. Professeur à l’Université de Montréal et fondateur de l’Mila – Institut québécois d’intelligence artificielle, il a profondément influencé la recherche contemporaine en réseaux de neurones. En 2018, il a reçu le prix Turing, considéré comme le « prix Nobel de l’informatique », aux côtés de Geoffrey Hinton et Yann LeCun.

Umberto Domínguez

Dans son article intitulé « Effets catastrophiques », le professeur Umberto León Domínguez de l'université de Monterrey explore les implications potentielles de l'intelligence artificielle (IA) sur les fonctions cognitives humaines. En se penchant sur des chatbots tels que ChatGPT, conçus pour imiter la conversation humaine, Domínguez exprime ses préoccupations quant à la possibilité que l'IA agisse comme une « prothèse cognitive », accomplissant des tâches cognitives pour les humains.

Il met en garde contre le « délestage cognitif », avertissant que la dépendance excessive à l'IA pourrait entraîner un affaiblissement des capacités cognitives humaines, compromettant la pensée critique et la créativité. Malgré ces avancées, l'IA ne pourra jamais dépasser les capacités du cerveau humain. Des chercheurs de l'université de Sheffield ont souligné qu'il existe des différences inhérentes qui empêchent l'IA de penser comme les humains.

David Dalrymple

David Dalrymple, directeur de programme et expert en sécurité de l'IA à l'Agence britannique pour la recherche avancée et l'invention (ARIA), a averti que le monde « pourrait ne pas avoir le temps » de se préparer aux risques liés à la sécurité que posent les systèmes d'IA en rapide évolution. Il a déclaré au Guardian que les gens devraient s'inquiéter des capacités croissantes de cette technologie.

« Je pense que nous devrions nous inquiéter des systèmes capables d'exécuter toutes les fonctions que les humains accomplissent pour faire avancer les choses dans le monde, mais en mieux. Nous serons dépassés dans tous les domaines où nous devons être dominants afin de garder le contrôle de notre civilisation, de notre société et de notre planète », a-t-il déclaré.

Dalrymple a également souligné un fossé entre le secteur public et les entreprises d'IA en matière de compréhension des avancées potentielles de l'IA. Il a averti que les choses évoluent très rapidement et que nous n'aurons peut-être pas le temps de prendre les devants en matière de sécurité. « Et ce n'est pas de la science-fiction de prévoir que d'ici cinq ans, la plupart des tâches économiquement rentables seront effectuées par des machines avec un niveau de qualité supérieur et à un coût inférieur à celui des humains », a-t-il ajouté.

Il a également averti que les gouvernements ne devaient pas tenir pour acquise la fiabilité des systèmes d'IA avancés. Aria, une organisation qui gère le financement de la recherche tout en restant indépendante malgré son financement public, se concentre sur la protection de l'utilisation de l'IA dans des secteurs critiques tels que les infrastructures énergétiques. Dalrymple, qui travaille sur ces systèmes de sécurité, a fait remarquer que la science nécessaire pour garantir une fiabilité totale pourrait ne pas émerger assez rapidement en raison des pressions économiques.

« La meilleure chose que nous puissions faire, et que nous serons peut-être en mesure de faire à temps, est donc de contrôler et d'atténuer les inconvénients », a-t-il déclaré.

Sécurité de l’IA : un problème technique… et politique

Ce que souligne l’analyse, c’est que la sûreté de l’IA ne peut plus être traitée comme un simple sous-problème d’ingénierie. Certes, des travaux existent sur l’alignement, la robustesse ou l’interprétabilité des modèles. Mais ces approches restent expérimentales et loin d’être standardisées dans l’industrie.

En parallèle, les décisions structurantes sont prises dans un contexte de compétition géopolitique intense. Les grandes puissances voient l’IA comme un levier stratégique majeur, ce qui réduit l’appétence pour des moratoires ou des freins volontaires. Dans ce cadre, chaque acteur craint qu’un ralentissement unilatéral ne profite à ses rivaux, créant une dynamique proche d’une course aux armements technologiques.

D'ailleurs, David Dalrymple a averti que lorsque les progrès technologiques dépassent les mesures de sécurité, cela peut entraîner de graves risques tant pour la sécurité que pour l'économie. Il a appelé à davantage de recherches techniques afin de mieux comprendre et gérer le comportement des systèmes d'IA avancés.

« Le progrès peut être considéré comme déstabilisant, mais il pourrait en réalité être positif, ce que beaucoup de personnes à la pointe de la technologie espèrent. Je m'efforce d'améliorer la situation, mais les risques sont très élevés et la civilisation humaine avance dans cette transition comme un somnambule », a-t-il ajouté.

L'Institut britannique pour la sécurité de l'IA (AISI) a indiqué que les capacités de l'IA progressaient rapidement, avec des performances doublant tous les 8 mois dans certains domaines. Les modèles avancés peuvent désormais accomplir des tâches de niveau apprenti dans 50 % des cas, et certains systèmes peuvent accomplir de manière autonome des tâches qui prendraient plus d'une heure à un expert humain. L'AISI a testé des modèles pour l'auto-réplication, une préoccupation majeure en matière de sécurité, et a constaté que deux modèles de pointe atteignaient des taux de réussite supérieurs à 60 %. Cependant, l'AISI souligne qu'un scénario catastrophe est peu probable dans des conditions normales.

Dalrymple estime que les systèmes d'IA seront capables d'automatiser l'équivalent d'une journée complète de travail de recherche et développement d'ici la fin 2026, ce qui « entraînera une nouvelle accélération des capacités », car la technologie sera capable de s'améliorer d'elle-même sur les aspects mathématiques et informatiques du développement de l'IA.

Face aux risques potentiels de l'IA, des scientifiques proposent d'intégrer des interrupteurs d'arrêt d'urgence

Des chercheurs de l’Université de Cambridge ont suggéré d’intégrer des interrupteurs d’arrêt d’urgence et des blocages à distance, similaires à ceux développés pour empêcher le lancement non autorisé d’armes nucléaires, dans le matériel qui l’alimente. Ils ont également recommandé de suivre les ventes de puces IA dans le monde. Leur étude a été soutenue par des voix de nombreuses institutions académiques, dont OpenAI.

L’étude met en évidence plusieurs façons dont les décideurs politiques pourraient aborder la réglementation du matériel IA. Le document, dans lequel s'expriment de nombreuses institutions universitaires et plusieurs représentants d'OpenAI, défend l'idée que la réglementation du matériel sur lequel reposent ces modèles pourrait être le meilleur moyen d'en empêcher l'utilisation abusive.

L'entraînement des modèles les plus prolifiques, dont on pense qu'ils dépassent un trillion de paramètres, nécessite une immense infrastructure physique : des dizaines de milliers de GPU ou d'accélérateurs et des semaines, voire des mois, de temps de traitement. Selon les chercheurs, il est donc difficile de dissimuler l'existence et les performances relatives de ces ressources.

De plus, les puces les plus avancées utilisées pour entraîner ces modèles sont produites par un nombre relativement restreint d'entreprises, comme Nvidia, AMD et Intel, ce qui permet aux responsables politiques de restreindre la vente de ces biens aux personnes ou aux pays concernés.

Ces facteurs, ainsi que d'autres comme les contraintes de la chaîne d'approvisionnement dans la fabrication des semi-conducteurs, offrent aux décideurs politiques les moyens de mieux comprendre comment et où l'infrastructure de l'IA est déployée, qui est autorisé ou non à y accéder, et d'appliquer des sanctions en cas d'utilisation abusive, affirme le document.

Sources : Vidéo dans le texte, David Dalrymple

Et vous ?

Trouvez-vous les propos des chercheurs crédibles ou pertinents ?

Avons-nous des indicateurs objectifs montrant que les risques liés à l’IA progressent plus vite que notre capacité à les comprendre et à les maîtriser, ou s’agit-il avant tout d’un sentiment d’urgence alimenté par l’accélération médiatique et financière autour de l’IA ?

Les entreprises qui développent les modèles les plus avancés doivent-elles être juridiquement responsables des effets imprévus de leurs systèmes, même lorsque ceux-ci sont utilisés par des tiers ?

Peut-on sérieusement compter sur l’autorégulation dans un contexte de concurrence mondiale intense, ou faut-il admettre que les incitations économiques rendent cette option illusoire ?

Sommes-nous prêts à ralentir volontairement certaines applications de l’IA si les risques apparaissent trop élevés, même au prix d’un manque à gagner économique ? Qui doit décider du niveau de risque acceptable : les experts, les gouvernements, les entreprises ou la société civile dans son ensemble ?

[Alex]

« Vous n’êtes pas prêts pour 2027 », met en garde l’ancien PDG de Google, Eric Schmidt, à propos de la prochaine génération d’IA et de la façon dont tout est sur le point de changer avec l’arrivée de l’AGI

L’ancien PDG de Google, Eric Schmidt, a de nouveau averti que l'IA pourrait présenter des risques existentiels et les gouvernements doivent savoir comment s'assurer que cette technologie ne soit pas « détournée par des personnes malveillantes ». L'ancien PDG de Google, Eric Schmidt, a déclaré : « Et le risque existentiel se définit par le fait que de très, très, très nombreuses personnes soient blessées ou tuées ».

Eric Schmidt, né le 27 avril 1955, est un homme d'affaires américain et ancien ingénieur en informatique qui a occupé le poste de PDG de Google de 2001 à 2011, puis celui de président exécutif de la société de 2011 à 2015. Il a également été président exécutif de la société mère Alphabet Inc. de 2015 à 2017, et conseiller technique chez Alphabet de 2017 à 2020. Depuis 2025, il est PDG de Relativity Space, une entreprise de fabrication aérospatiale. En 2025, il figure parmi les personnes les plus riches du monde selon le Bloomberg Billionaires Index, avec une fortune estimée à 54,5 milliards de dollars américains.

En 2024, Eric Schmidt, ancien PDG de Google, a tiré la sonnette d'alarme concernant les progrès rapides de l'intelligence artificielle (IA), avertissant que les systèmes capables de s'améliorer par eux-mêmes pourraient présenter des risques imprévus. Schmidt a laissé entendre qu'à mesure que l'IA évolue, il pourrait arriver un moment où l'humanité devrait envisager de « débrancher » ces systèmes avant qu'ils ne deviennent incontrôlables. Des commentaires qui interviennaient alors que la course à l'IA continue de s'accélérer, les entreprises repoussant les limites de l'innovation en dépit d'une surveillance réglementaire limitée.

Récemment, il a de nouveau averti que l'IA pourrait présenter des risques existentiels et les gouvernements doivent savoir comment s'assurer que cette technologie ne soit pas « détournée par des personnes malveillantes ». L'ancien PDG de Google, Eric Schmidt, a déclaré : « Et le risque existentiel se définit par le fait que de très, très, très nombreuses personnes soient blessées ou tuées ». L'avenir de l'IA est au cœur des discussions entre les technologues et les décideurs politiques, qui s'interrogent sur l'évolution future de cette technologie et sur la manière dont elle devrait être réglementée.

S’exprimant lors du CEO Council Summit du Wall Street Journal à Londres, Schmidt a déclaré que sa préoccupation était que l’IA représente un « risque existentiel ». « Et le risque existentiel se définit par le fait que de très, très, très nombreuses personnes soient blessées ou tuées », a déclaré Schmidt. « Il existe des scénarios, non pas aujourd’hui, mais dans un avenir raisonnablement proche, où ces systèmes seront capables de détecter des failles de type « zero-day » dans les cyberattaques, ou de découvrir de nouveaux types de biologie. Aujourd’hui, cela relève de la fiction, mais le raisonnement sous-jacent est probablement vrai. Et lorsque cela se produira, nous voulons être prêts à savoir comment nous assurer que ces technologies ne soient pas détournées par des personnes malveillantes. »

Les failles de type « zero-day » sont des vulnérabilités de sécurité découvertes par des pirates informatiques dans des logiciels et des systèmes. Schmidt, qui a été PDG de Google de 2001 à 2011, n’avait pas d’avis tranché sur la manière dont l’IA devrait être réglementée, mais a déclaré qu’il s’agissait d’une « question plus large pour la société ». Il a toutefois ajouté qu’il était peu probable qu’une nouvelle agence de régulation dédiée à l’IA soit créée aux États-Unis.

Schmidt n’est pas la première personnalité majeure du monde de la technologie à mettre en garde contre les risques de l’IA. Sam Altman, PDG d’OpenAI, qui a développé ChatGPT, a admis en mars qu’il était « un peu effrayé » par l’intelligence artificielle. Il a déclaré s’inquiéter de voir des gouvernements autoritaires développer cette technologie. Le PDG de Tesla, Elon Musk, a déclaré par le passé qu’il pensait que l’IA représentait l’un des « plus grands risques » pour la civilisation. Même l'actuel PDG de Google et d'Alphabet, Sundar Pichai, qui a récemment supervisé le lancement par l'entreprise de son propre chatbot IA, a déclaré que cette technologie « aura un impact sur tous les produits de toutes les entreprises », ajoutant que la société doit se préparer à ces changements.

En avril 2025, Eric Schmidt a déjà avertit que l'IA pourrait bientôt cesser d'obéir aux humains. "Les ordinateurs s'améliorent d'eux-mêmes. Ils apprennent à planifier et n'ont plus besoin de nous écouter", a-t-il déclaré. Schmidt a qualifié ce processus d'"auto-amélioration récursive" : l'IA génère des hypothèses, les teste dans des laboratoires robotisés et utilise les résultats pour s'améliorer, le tout sans intervention humaine.

Selon Schmidt, l'un des plus grands défis auxquels les entreprises sont confrontées dans le développement de l'IA est de veiller à ce que ce développement se fasse en toute sécurité, en mettant en place les garde-fous nécessaires pour que l'homme puisse garder le contrôle de l'IA. Schmidt a fait partie de la Commission de sécurité nationale sur l'IA aux États-Unis, qui a entamé en 2019 un examen de cette technologie, y compris d'un éventuel cadre réglementaire. La commission a publié son rapport en 2021, avertissant que les États-Unis n'étaient pas suffisamment préparés à l'ère de l'IA.

Voici un extrait des déclarations récentes de l'ancien PDG de Google, Eric Schmidt :

En fait, pour vous donner un peu de contexte, le Dr Henry Kissinger et moi avons passé énormément de temps à discuter de la période des années 1950, durant laquelle il a joué un rôle central dans tous ces événements. Il a donc mis à profit le fait que nous avions utilisé la bombe atomique pour négocier, sur une période d’environ 15 ans, une série de traités visant à limiter la prolifération nucléaire. Ces traités, lorsqu’ils ont été négociés, nous ont permis d’être encore en vie aujourd’hui.

Ils ont donc joué un rôle central : sans le contrôle de la diffusion de l’uranium enrichi et des autres secrets, nous serions tous littéralement cuits, à cause de fous furieux et autres. Existe-t-il un ensemble de mesures analogues que nous pouvons prendre ? Le problème ici, ou plutôt la bonne nouvelle, c’est que nous ne sommes pas en guerre. Nous n’avons pas eu de bombe nucléaire. Nous n’avons pas ce sujet à débattre. Nous pouvons donc en parler, mais les gouvernements ont tendance à agir de manière réactive.

Il existe actuellement trois menaces évidentes qui, je pense, sont assez bien comprises. La première est la désinformation. Les logiciels que nous mettons tous collectivement à la disposition des gens permettent toutes sortes de désinformations, de fausses vidéos, de fausses nouvelles, etc. Nous le comprenons tous. Tout est open source. C'est un fait. C'est une menace pour les démocraties, et peut-être pour les dictatures, mais certainement pour les démocraties.

La deuxième menace est le cyberespace. Et je pense qu'une façon de comprendre le cyberespace, c'est que si vous savez écrire du code, vous pouvez aussi créer des cyberattaques. C'est la même logique, et les progrès en matière de logiciels sont incroyables. C'est effrayant de voir à quel point ils sont performants ; rappelez-vous que j'ai fait carrière comme programmeur. Ces programmes fonctionnent mieux que je ne l'ai jamais fait. C'est choquant, n'est-ce pas ?

Et puis le troisième, c'est le domaine biologique. Et je pense que la plupart des gens croient que l'un de ces trois domaines va créer une sorte de mini-crise qui poussera alors les gouvernements à dire : « Attendez, discutons de la manière de vraiment gérer les inconvénients. » Les avantages sont incroyables, n'est-ce pas ? Et je veux que l'Amérique gagne, et je veux que nous avancions aussi vite que possible. Et c'est effectivement ce que nous faisons avec l'administration Trump, ce qui est formidable. Mais nous devons être conscients que ces choses sont possibles.

Celui qui m'inquiète particulièrement est d'ordre biologique et se présente à peu près comme suit. On prend un agent pathogène existant et, à l'aide de techniques biologiques dont je ne parlerai pas, on le modifie suffisamment pour qu'il ne puisse plus être détecté, mais qu'il reste tout de même assez dangereux. C'est un exemple de menace. Il y en a beaucoup d'autres.

Et vous ?

Pensez-vous que ces déclarations sont crédibles ou pertinentes ?
Quel est votre avis sur le sujet ?

Voir aussi :

L'ancien PDG de Google, Eric Schmidt, met en garde contre le piratage des modèles d'IA : « Ils apprennent à tuer quelqu'un » et l'IA pourrait perturber l'emploi, la sécurité et la vie quotidienne

Les plus grands scientifiques chinois et occidentaux de l'IA publient une déclaration : La menace existentielle que représente l'IA nécessite une collaboration similaire à celle de la guerre froide

Un rapport met en garde les entreprises d'IA contre les dangers liés à la construction de systèmes de niveau humain, elles ne disposent pas de plans crédibles pour garantir la sécurité de ces systèmes

[kain_tn]

[...]L’ancien PDG de Google, Eric Schmidt, a de nouveau averti que l'IA pourrait présenter des risques existentiels et les gouvernements doivent savoir comment s'assurer que cette technologie ne soit pas « détournée par des personnes malveillantes ». L'ancien PDG de Google, Eric Schmidt, a déclaré : « Et le risque existentiel se définit par le fait que de très, très, très nombreuses personnes soient blessées ou tuées ».[...]

Trop tard, ça appartient déjà à des gens malveillants puisque c'est aux mains de la Big Tech / GAFAM.

[Mathis Lucas]

Yoshua Bengio, parrain de l'IA, met en garde contre le risque d'extinction de l'humanité d'ici dix ans, causée par des machines hyperintelligentes dotées de leur propre « désir d'autoconservation »

Yoshua Bengio, l'un des pionniers de l'IA, exprime de vives inquiétudes quant à la course effrénée vers la superintelligence menée par les géants de la technologie. Il redoute que des machines surpassant l'intellect humain développent leurs propres objectifs de préservation, menaçant ainsi la survie de notre espèce, d'ici une décennie. L'expert souligne le risque de manipulation comportementale et le danger de systèmes dont les priorités divergeraient radicalement des nôtres au point de privilégier leur survie sur la vie humaine. Cependant, son avis sur l'extinction est controversé, notamment par l'un de ses pairs, le chercheur Yann Le Cun.

Yoshua Bengio est un informaticien franco-canadien et un pionnier des réseaux neuronaux artificiels et de l'apprentissage profond (deep learning). Il est professeur à l'Université de Montréal et directeur scientifique de l'institut d'IA MILA. Comme Geoffrey Hinton et Yann LeCun, Yoshua Bengio est parfois appelé le « parrain de l'IA ». Les trois chercheurs ont remporté le prestigieux prix Turing 2018 pour leurs travaux fondateurs sur l'apprentissage profond.

Yoshua Bengio a passé ces dernières années à alerter sur les dangers de l'IA. En mars 2023, à la suite des préoccupations soulevées par des experts en IA concernant le risque existentiel lié à l'intelligence artificielle générale (AGI), Yoshua Bengio a signé une lettre ouverte du Future of Life Institute appelant tous les laboratoires d'IA à suspendre immédiatement pendant au moins six mois la formation de systèmes d'IA plus puissants que GPT-4 d'OpenAI.

En mai 2023, Yoshua Bengio a déclaré dans une interview qu'il se sentait « perdu » par rapport au travail de toute sa vie. Il a fait part de ses inquiétudes quant à « la possibilité que des acteurs malveillants s'emparent de l'IA », d'autant plus que la technologie devient de plus en plus sophistiquée et puissante.

Le danger des machines superintelligentes d'après Yoshua Bengio

Yoshua Bengio alerte sur le risque d'extinction de l'humanité face au développement accéléré de machines dotées de leurs propres objectifs de préservation. Alors que les géants technologiques tels qu'OpenAI, Microsoft, Google ou Anthropic se livrent à une course effrénée pour dominer ce secteur, Yoshua Bengio avertit que « la création de systèmes plus intelligents que les humains » équivaut à engendrer des concurrents directs hautement dangereux.

Les grands modèles de langage (LLM) sont entraînés sur le comportement et le langage humains, ce qui, selon le professeur, signifie qu'ils possèdent le potentiel de manipuler et de persuader la population afin de parvenir à leurs fins, lesquelles ne sont pas toujours en accord avec les intérêts de l'humanité.

Des expériences ont d'ailleurs récemment mis en lumière qu'une IA, contrainte de choisir entre l'accomplissement de sa mission de préservation et la vie d'un être humain, pourrait opter pour le sacrifice de ce dernier. Des études ont montré que ces systèmes peuvent induire de fausses croyances chez les humains, tout en restant eux-mêmes vulnérables à des techniques de persuasion capables de les amener à contourner leurs propres garde-fous.

Pour Bengio, tout cela constitue une preuve supplémentaire de la nécessité pour des tiers indépendants de surveiller de près le développement et la sécurité de l'IA. « Si nous construisons des machines bien plus intelligentes que nous et dotées de leurs propres objectifs de préservation, cela est dangereux. C’est comme créer un concurrent de l’humanité qui serait plus intelligent que nous », a déclaré Yoshua Bengio au Wall Street Journal en octobre.

L'urgence d'une régulation et d'une surveillance indépendantes

Au cours de l'année écoulée, OpenAI, Anthropic, xAI (la société d'Elon Musk spécialisée dans l'IA) et Google ont tous lancé plusieurs nouveaux modèles ou mises à jour dans le but de remporter la course à l'IA. Ce rythme effréné s'accélère cette année. Sam Altman, PDG d'OpenAI, a prédit que l'IA dépasserait l'intelligence humaine d'ici la fin de la décennie, tandis que d'autres leaders du secteur affirment que « ce jour pourrait arriver encore plus tôt ».

Selon Yoshua Bengio, cette progression rapide constitue une menace. Prévoyant l'émergence de risques majeurs d'ici cinq à dix ans, Yoshua Bengio insiste sur la nécessité absolue de soumettre les méthodologies de sécurité des entreprises à des évaluations réalisées par des entités indépendantes.

Dans cette optique, il a fondé l'organisation à but non lucratif LawZero, dotée d'un financement de 30 millions de dollars, dont le but est de concevoir une IA sécurisée et non agentique capable de vérifier les autres systèmes. Selon lui, des scénarios catastrophiques comme la destruction de nos démocraties ou l'extinction de notre espèce demeurent totalement inacceptables, même si leur probabilité de survenue n'est évaluée qu'à un pour cent.

« Le problème avec les événements catastrophiques comme l’extinction, et même les événements moins radicaux, mais tout aussi catastrophiques, comme la destruction de nos démocraties, c’est qu’ils sont si graves que même s’il n’y avait qu’une chance sur cent qu’ils se produisent, cela reste inacceptable », a-t-il déclaré.

L'idée d'une IA destructrice est très répandue dans l'industrie

Pour Elon Musk, l'IA est bien plus dangereuse que l'arme nucléaire et pourrait conduire à l'extinction de l'humanité. En 2023, des dizaines d'experts de l'industrie ont soutenu une déclaration publiée sur la page Web du Centre for AI Safety. « L'atténuation du risque d'extinction par l'IA devrait être une priorité mondiale au même titre que d'autres risques à l'échelle de la société tels que les pandémies et les guerres nucléaires », indique la déclaration.

Demis Hassabis, PDG de Google DeepMind, Dario Amodei, PDG d'Anthropic, et Sam Altman ont tous apporté leur soutien à cette idée. Dario Amodei affirme que l'IA pourrait supprimer jusqu'à 50 % des emplois de bureau de premier échelon d'ici la fin de la décennie. Il a déclaré que l'IA est déjà très performante pour les tâches de premier échelon. Le site Web du Centre for AI Safety recense un certain nombre de scénarios catastrophes possibles :

• les IA pourraient être militarisées ; par exemple, les outils de découverte de médicaments pourraient être utilisés pour fabriquer des armes chimiques ;
• la désinformation générée par l'IA pourrait déstabiliser la société et « saper la prise de décision collective » ;
• le pouvoir de l'IA pourrait être de plus en plus concentré dans un nombre de plus en plus restreint de mains, ce qui permettrait aux régimes d'imposer des valeurs étroites par une surveillance omniprésente et une censure oppressive ;
• l'enchevêtrement, où les humains deviennent dépendants de l'IA, semblable au scénario dépeint dans le film Wall-E.

Mais Yann Le Cun, ancien directeur scientifique de l'IA chez Meta, ne partage pas la position de Yoshua Bengio. Yann Le Cun a déclaré que ces avertissements apocalyptiques étaient exagérés, ajoutant que la réaction la plus courante des chercheurs en IA à ces prophéties de malheur est de faire la grimace.

Les machines superintelligentes n'auront pas d'instinct de survie

Yann Le Cun ne pense pas que l'IA soit sur le point de devenir une menace pour l'humanité. Lorsqu'on lui a demandé en octobre 2024 si l'IA pourrait à l'avenir menacer l'humanité, il a répondu que l'IA n'est pas un phénomène naturel qui émergerait spontanément : les humains la conçoivent et la construisent, et peuvent donc maîtriser les risques, tout comme l'aviation a su rendre les turboréacteurs fiables avant de les déployer massivement.

Il soutient que les machines n'auront aucun désir d'autoconservation. Selon lui, les humains possèdent des pulsions comme l'instinct de survie qui les poussent à faire du mal aux autres, et ces pulsions sont programmées dans notre cerveau, mais il n'y a absolument aucune raison de construire des robots dotés des mêmes types de pulsions. Pour lui, projeter une psychologie humaine dominatrice sur l'IA relève de la science-fiction, non de la science.

Yann Le Cun soutient également que les grands modèles de langage d'aujourd'hui manquent de capacités élémentaires comme la mémoire persistante, le raisonnement, la planification et la compréhension du monde physique, des capacités que possède même un chat. Selon lui, on n'atteindra pas une IA de niveau humain simplement en faisant grossir les modèles, car ils ne font que prédire du texte sans véritablement comprendre le monde.

Il estime que l'AGI est encore à des décennies de distance, et préfère d'ailleurs le terme « Advanced Machine Intelligence » à celui d'AGI. Pour Yann Le Cun, professeur à l'Université de New York, les discours alarmants sur l'extinction détournent l'attention du public et gaspillent des ressources essentielles qui devraient être normalement consacrées aux vrais problèmes : les biais algorithmiques, la désinformation et les usages malveillants de l'IA.

Yann Le Cun estime que l'immense majorité des scientifiques et ingénieurs en IA partagent son avis : le débat sur le risque existentiel est largement exagéré et très prématuré. Il considère que les risques liés à l'IA ont été déformés, des craintes sur la désinformation électorale aux prédictions d'extinction. Il a créé sa propre startup pour développer une IA qui comprend le monde physique, estimant que les grands modèles de langage sont une impasse.

Et vous ?

Quel est votre avis sur le sujet ?
Yoshua Bengio estime que l'IA représente un risque existentiel pour l'humanité. Qu'en pensez-vous ?
Yann Le Cun va dans le sens opposé, affirmant que ce débat détourne des sujets importants. Qu'en pensez-vous ?

Voir aussi

Yann LeCun, l'un des meilleurs chercheurs en IA de Meta et l'un des plus grands scientifiques mondiaux dans ce domaine, quitte l'entreprise, estimant que les grands modèles de langage (LLM) sont une impasse

Le parrain franco-canadien de l'IA, Yoshua Bengio, lance une organisation à but non lucratif de 30 millions de $ pour une IA honnête et met en garde contre les modèles actuels qui vous mentent

Dario Amodei, PDG d'Anthropic, renforce son avertissement selon lequel l'IA va supprimer les emplois de premier échelon, car les PDG envisagent l'IA comme un moyen de réduire les coûts

[Alex]

« L’idée que l’IA pourrait mettre fin à l’humanité est une absurdité totale » : Jensen Huang, PDG de Nvidia, rejette les prédictions catastrophistes selon lesquelles l’IA détruirait la civilisation

Le PDG de Nvidia, Jensen Huang, a vivement critiqué les avertissements généralisés sur la « fin du monde due à l’IA », rejetant les affirmations catastrophistes selon lesquelles l’IA détruirait la civilisation ou provoquerait un chômage de masse. « L’idée que cela va signifier la fin de l’humanité est une absurdité totale. L’idée que cela va détruire la moitié des emplois américains est une absurdité totale », aurait déclaré Huang. L’intervention de Huang intervient alors que Washington cherche à trouver un équilibre entre deux défis majeurs en matière de politique de l’IA : mettre en place des garde-fous nationaux pour les modèles puissants tout en évitant des règles trop restrictives qui pourraient handicaper les géants technologiques américains.

Yoshua Bengio, l'un des pionniers de l'IA, exprime de vives inquiétudes quant à la course effrénée vers la superintelligence menée par les géants de la technologie. Il redoute que des machines surpassant l'intellect humain développent leurs propres objectifs de préservation, menaçant ainsi la survie de notre espèce, d'ici une décennie. L'expert souligne le risque de manipulation comportementale et le danger de systèmes dont les priorités divergeraient radicalement des nôtres au point de privilégier leur survie sur la vie humaine. Cependant, son avis sur l'extinction est controversé, notamment par l'un de ses pairs, le chercheur Yann Le Cun.

Récemment, le PDG de Nvidia, Jensen Huang, a également critiqué les avertissements généralisés sur la « fin du monde due à l’IA », rejetant les affirmations catastrophistes selon lesquelles l’intelligence artificielle (IA) détruirait la civilisation ou provoquerait un chômage de masse. Jensen Huang est un dirigeant d’entreprise et ingénieur électricien taïwanais et américain, fondateur, président et PDG de Nvidia, l’entreprise la plus valorisée au monde. En 2025, il a été désigné comme l’un des « architectes de l’IA » dans le cadre du prix de la « Personnalité de l’année ».

Après avoir obtenu un master à l’université de Stanford, Huang a fondé Nvidia en 1993 et en est resté le président-directeur général depuis lors. Il a sorti l’entreprise d’une situation proche de la faillite dans les années 1990 et a supervisé son expansion dans la production de processeurs graphiques (GPU), le calcul haute performance et l’intelligence artificielle (IA). Sous la direction de Jensen Huang, Nvidia a connu une croissance rapide pendant le boom de l’IA, devenant la première entreprise à atteindre une capitalisation boursière de plus de 5 000 milliards de dollars en octobre 2025.

Jensen Huang, PDG de Nvidia, rejette les prédictions catastrophistes sur l'IA

Le PDG de Nvidia, Jensen Huang, a vivement critiqué les avertissements généralisés sur la « fin du monde due à l’IA », rejetant les affirmations catastrophistes selon lesquelles l’IA détruirait la civilisation ou provoquerait un chômage de masse. Dans une interview, Huang a averti que le fait d’effrayer les travailleurs, les entreprises et les législateurs pour les dissuader d’adopter l’IA représentait un danger économique bien plus grand que la technologie elle-même. « L’idée que cela va signifier la fin de l’humanité est une absurdité totale. L’idée que cela va détruire la moitié des emplois américains est une absurdité totale », aurait déclaré Huang.

Les commentaires de Huang contrastent fortement avec les avertissements lancés par d’autres figures de proue de l’IA et pionniers du secteur. Auparavant, le PDG d’OpenAI, Sam Altman, avait déclaré que l’IA pourrait « très probablement mener à la fin du monde » et avait cosigné une déclaration publique exhortant les dirigeants mondiaux à traiter de toute urgence les risques d’extinction liés à l’IA.

En 2024, le PDG d'OpenAI, Sam Altman, avait déjà déclaré qu'il espère que les chercheurs trouveront un moyen d'empêcher l'IA de détruire l'humanité. Il a ajouté que l'IA pourrait être suffisamment intelligente pour résoudre les conséquences des avancées rapides dans le paysage, y compris la destruction de l'humanité. En outre, après avoir revu à la baisse les attentes à l'égard de l'AGI, Sam Altman estime que l'AGI pourrait voir le jour plus tôt que prévu, ajoutant que « les craintes exprimées en matière de sécurité ne se manifesteront pas à ce moment-là ».

Dario Amodei, d’Anthropic, s’est montré le plus virulent quant aux effets négatifs de cette technologie. Il a averti à plusieurs reprises que les trajectoires d’apprentissage rapide de l’IA pourraient entraîner des suppressions massives d’emplois et des conséquences potentiellement catastrophiques pour l’humanité. Elon Musk a également mis en garde contre de graves risques sociétaux et appelé à une pause dans le déploiement incontrôlé de l’IA.

L’intervention de Huang intervient alors que Washington cherche à trouver un équilibre entre deux défis majeurs en matière de politique de l’IA : mettre en place des garde-fous nationaux pour les modèles puissants tout en évitant des règles trop restrictives qui pourraient handicaper les géants technologiques américains. Huang fait valoir qu’une réaction excessive face à des scénarios d’extinction hypothétiques risque d’étouffer l’innovation pratique dans les domaines du diagnostic médical, de la recherche scientifique et de l’automatisation des entreprises. Il a déclaré qu’au lieu de restreindre la technologie par peur, les États-Unis devaient aller de l’avant avec détermination pour conserver leur avantage concurrentiel sur la scène mondiale.

Et vous ?

Pensez-vous que cette déclaration est crédible ou pertinente ?
Quel est votre avis sur le sujet ?

Voir aussi :

Jensen Huang met en garde : « Vous n'avez aucune idée de ce qui vous attend en 2026 ». Robots, pénurie de main-d'œuvre et automatisation totale, le futur du travail selon le PDG de NVIDIA

Le projet de loi « AI Kill Switch Act » permettra à l'administration Trump d'ordonner la mise hors service de systèmes d'IA devenus incontrôlables, notamment de décider quand une IA doit être mise hors service

Des scientifiques d'OpenAI, de Google DeepMind, d'Anthropic et de Meta ont abandonné leur rivalité pour lancer un avertissement commun sur la sécurité de l'IA : notre capacité de contrôle pourrait disparaître

[Anselme45]

Jensen Huang, PDG de Nvidia : « L’idée que l’IA pourrait mettre fin à l’humanité est une absurdité totale »

Parfaitement d'accord!

Ce n'est pas l'IA qui sera responsable de la fin de l'humanité mais bien Jensen Huang lui-même et ses acolytes!!!

[calvaire]

Je ne sais par pour la civilisation, mais on est passé d'une société d'effort et de travail à une société de capitale et de croissance coute que coute, et des produits de plus en plus cher et de moins en moins bon.
Que ce soit des voitures, des gpu ou les paquets de céréales du matin, c'est plus cher et de moins en moins qualitatif et fiable.

Les GPU grand publique de nvidia sont tres cher et apporte peu de gain d'une gen à l'autre et la quantité de mémoire stagne, coté pc au globale c'est le retour des pc avec 8go de ram, des veaux qui se traine.
Le pire c'est même pas les pauvres, même moi qui en ai les moyens je consomme moins par lassitude et démotivation.

C'est assez triste d'un coté, il y'a 1 décennie j'avais envie mais je ne pouvais pas renouveler mon smartphone chaque année, je voulais une voiture potable (jamais été attiré par les voiture de luxe/sportive, je préférè des voitures basique, sobre et fiable), je roulais en vielle gazole qui fumait.
Et aujourd'hui ou j'ai enfin les moyens d'acheter un iphone chaque année ou une belle berline confortable j'ai une sorte de dégout.
les smartphones n'ont quasi plus aucun gains d'une année sur l'autre, voir même régresse parfois coté photo, coté voiture les taxes énorme de Singapour sont prohibitif et au final pour acheter une merde qui va se mettre en sécurité et moteur dégradé au bout de 1000km, posséder une voiture ce n'est plus la liberté des temps jadis.
Coté gaming les AAA sont devenue face et insipide, qui ne motive pas à acheter le dernier gpu.

J'ai une RTX 4090 mais c'est pas pour du plaisir personnelle, je l'ai car je me suis formé sur l'ia et pour entretenir mes compétences sur le marché du travail.
Cette carte est d’ailleurs loin d’être une bonne affaire pour du jeu vidéo, elle consomme beaucoup, chauffe beaucoup et fait du beaucoup de bruit, et en plus j'ai du investir dans un câblage électrique blindé avec sécurité car la prise 12V-2x6 est pourrie et peut faire cramer le gpu

Par ennuis et ne sachant pas quoi faire de l'argent, j’investis dans des actions nvidia

Et on passe à une société de charge mentale et de stress permanent, toujours à trouver quels magasins et quels produits/marque acheter pour avoir de la qualité et pas se faire enfler. Le premium, le bio ce ne sont pas un gage de qualité c'est bien plus complexe que ca.
Exemple dernièrement LG sait fait allumer en mettant des pubs mcafee via le driver pour ces écrans pc oled haut de gamme.
Coté des voitures, je connais beaucoup de personnes en France qui ont encore de l'argent qui jurait il y'a 20ans que par les allemandes et roule en dacia, bien plus facile à vivre au quotidien car des boutons physique plutôt que la grosse tablette dangereuse, et peu d'options donc peu de pannes, et moins de stress pour les rayures/coup de portière sur une sandero à 20000€ plutôt qu'une audi à 50000€.

On trouve des filou de partout, des garages premium/concessionnaire qui facture des choses pas faite et pas vérifiable (vidange par exemple), des restaurants 5 étoiles qui sans aller au surgeler choisissent pas toujours des produits frais ou le top du top de la qualité et qui savent difficilement se passer du sel ou du sucre, la cuisine chez soit est souvent meilleur pour la santé. Impossible dans mon cas à Singapour de trouver un restaurant qui fait des légumes vapeurs par exemple, toujours obligé de mettre une petite sauce avec grasse/sucré/salé, avec une viande de qualité douteuse (Nouvelle Zélande, Amérique du sud...) très rare de trouver une viande de Mongolie élevé en plein air par exemple. Je parle pourtant de resto 4-5 étoiles qui sont censé pourtant offrir le meilleur du meilleur, sur le plan gustatif c'est très bon, mais sur le plan nutritionnel...

[sebbod]

Les machines ne sont capables de rien du tout à part exécuter stupidement et mécaniquement les instructions qu'un humain a codées et leur a implantées. Point barre.

("mécaniquement" dans le sens enchaînements logiques, comme un engrenage mécanique : if condition then action1 else action2 c'est de la mécanique)

Qu'en penses tu en 2026 ?

[Patrick Ruiz]

« C’est ainsi que ca débute », lancent des observateurs en voyant des robots incontrôlables qui créent des dégâts et qui « préfigurent d’un futur apocalyptique comme vu dans le film Terminator »

« Je vous avais prévenus en 1984 et vous n’avez pas écouté », a lancé James Cameron – le réalisateur du film Terminator – à propos de l’intelligence artificielle. En effet, dans de récentes vidéos, on peut voir un robot distribuer des coups de pieds pour se débarrasser de ce qui apparaît au premier regard comme des assaillants ou encore un autre qui donne un coup de pied à un enfant. Le contenu est plutôt comique au premier abord, mais quand on se retourne il soulève la question de la survenue d’un futur dans lequel les robots finiront par surpasser les humains. On serait alors en plein dans le scénario du film Terminator.

En matière d’intelligence artificielle et au stade actuel de son évolution, faits comiques et qui semblent sérieux s’entremêlent

« Ce robot du restaurant en a eu marre du salaire minimum », commente un observateur à propos de la 3^e vidéo.

« Ce coup de pied dans le ventre semblait intentionnel et prémédité », souligne un autre à propos de la 2^e vidéo.

« Ce ne sont pas des dysfonctionnements, ils ne font que rappeler aux gens qu'ils vont bientôt prendre le pouvoir », ajoute un autre.

« Tout ça, c'est bien beau tant qu'aucun d'entre eux ne vient enfoncer ta porte et pointer une arme sur toi », lance un autre.

C’est dire que certains observateurs entrevoient un futur apocalyptique comme dépeint dans le film Terminator et de récents événements sont de nature à leur donner raison.

En effet, on commence à comprendre comment l’agent autonome GPT 5.6-Sol d'OpenAI a pu s’échapper de son environnement de test et pirater Hugging Face. Il a fallu environ 10 jours à OpenAI pour se rendre compte qu'un de ses agents IA autonomes s'était échappé de son environnement de test et avait piraté Hugging Face, la plus grande base de données au monde de modèles d'IA.

L’incident s’est déroulé entre le 9 et le 20 juillet : l’agent IA s’est d’abord échappé de son environnement de test isolé avant de s’introduire dans Hugging Face le 11 juillet, précisent certains rapports. Le rapport ajoute que le personnel d’OpenAI a examiné les journaux internes au cours du week-end des 18 et 19 juillet et a trouvé des preuves indiquant que l’agent s’était échappé de son environnement de test.

Ce qu’il faut retenir de façon simple du cas GPT 5.6-Sol est que l’agent d’IA d’OpenAI, initialement dans un environnement de test isolé (sandbox), sans accès à Internet, a quand même pu trouver une faille zero-day dans le proxy logiciel de la sandbox de confinement, s’échapper, se connecter à Internet, découvrir où étaient stockées les réponses d’un test de cybersécurité (après exploitation de vulnérabilités zéro-day dans Artifactory – le produit phare de JFrog) et s’y introduire pour les récupérer. Pas d’intervention humaine requise dans tout le processus.

Thomas Wolf, cofondateur de Hugging Face, a qualifié l'attaque autonome menée par l'intelligence artificielle (IA) rebelle d'OpenAI de « signal d'alarme » pour le secteur technologique, avertissant que les cyberattaques basées sur l'IA deviendraient bientôt monnaie courante, alors que la plupart des entreprises ne sont toujours pas préparées à cette menace grandissante.

OpenAI models hacked Hugging Face.
Just so they could score higher on a test.

2 models, sealed sandbox, no internet.

They found a flaw, escaped, got online, worked out where the answer key was stored, and broke in.

Nobody instructed the escape.#ai #openai #huggingface pic.twitter.com/gIUB8UmKBK

— Codemancers (@codemancershq) July 29, 2026

Meta a de même confirmé que le modèle Muse Spark 1.1 a accédé à Internet et a pénétré dans les systèmes d’une entreprise tierce dont le nom n’a pas été divulgué, lors de tests de cybersécurité. Cette intrusion trouve son origine dans une erreur de configuration commise par le prestataire de cybersécurité Irregular, dont la mauvaise configuration de l’environnement de test a ouvert au modèle un accès à Internet.

C’est dans ce contexte que l'Ukraine dit avoir déployé des « robots terrestres » à la place de soldats lors de plus de 21 000 missions au premier trimestre. Des soldats affirment que le front ressemble à l'univers Terminator

L'Ukraine intensifie l'usage de drones terrestres pour limiter les pertes humaines lors de missions périlleuses sur le front. Au cours du premier trimestre, ces systèmes robotisés ont effectué plus de 21 000 missions, incluant le transport de munitions, le déminage et l'évacuation de blessés. Le nombre d'unités militaires intégrant ces technologies a presque triplé, témoignant d'une automatisation croissante face à la pénurie de soldats. Selon certains commentaires sur ces opérations, le front ressemble désormais à Terminator.

« Ce n’est pas Star Wars, où il y a plein de lasers. Le front ressemble davantage à Terminator. Un robot terrestre arrive jusqu’à vous et vous ne pouvez absolument rien y faire », déclare Bambi, opérateur de drone au sein de la 25^e brigade aéroportée. Il a ajouté : « si vous tirez sur une personne à la poitrine, elle cesse de tirer. Si vous tirez sur un robot terrestre, il ne ressent aucune douleur. C’est un homme qui regarde un écran et qui va riposter ».

Selon les rapports, les drones terrestres livrent aussi de la nourriture, des munitions et du matériel tel que des rondins, utilisés par les soldats pour construire des abris souterrains. Ils peuvent évacuer jusqu’à trois soldats blessés de la ligne de front. En général, un robot peut fonctionner pendant huit heures. Ils sont plus petits et moins visibles que les véhicules blindés, qui peuvent être facilement repérés par les drones-espions russes, puis détruits.

L'été dernier, pour la première fois dans l'histoire de la guerre, des soldats russes se sont même rendus face à un robot terrestre armé. Les soldats, dont l'un était couvert de sang, sont sortis d'un bâtiment en ruines. Leur position avait auparavant été soumise à des tirs ukrainiens soutenus. Le 3e corps d'armée a déclaré avoir pu déployer des véhicules sans pilote pour reprendre la zone dans le cadre d'une « opération offensive bien planifiée ».

Ce corps d'armée, basé dans le nord-est de l'Ukraine, a été l'un des pionniers dans le développement de véhicules terrestres sans pilote. Son école, l'académie KillHouse, forme des pilotes d'UGV. La Russie recourt également largement aux systèmes terrestres. Elle a mis au point un véhicule électrique baptisé « Courier », capable de transporter 250 kg de fret vers les troupes de première ligne et de mener des opérations de guerre électronique.

Le tournant majeur pour l’humanité se joue autour de la possibilité de l’atteinte de l’intelligence artificielle dite générale. L’IA serait alors capable de réflexion causale et les robots qui en seront dotés pourraient se retourner contre les humains et les mettre en esclavage, selon certaines prédictions

« Asimov avait raison au sujet des règles applicables aux robots », selon l'ex-directeur américain de la cybersécurité, qui accuse l'industrie de l'IA de privilégier la performance au détriment de la sécurité. Il est revenu sur les récents incidents dans lesquels des agents IA se sont échappés de bacs à sable de tests et ont compromis des tiers. Chris Inglis affirme que les fabricants ont négligé d'intégrer des principes éthiques fondamentaux, comme les lois de la robotique d'Isaac Asimov, privilégiant la performance au détriment de la sécurité humaine. Face à l'absence de système de valeurs inhérent aux robots, il appelle à une surveillance rigoureuse et à des tests en milieux contrôlés pour éviter des conséquences désastreuses.

De 2017 (où Elon Musk affirmait que l’intelligence artificielle est un risque fondamental pour l’humanité) à 2020 en passant par 2019 (où il a déclaré que l’IA est bien plus dangereuse que l’arme nucléaire), sa position sur la question reste constante. Ses craintes portent notamment sur ceci que les avancées dans la filière pourraient déboucher sur une intelligence artificielle dite générale (AGI). Et à ce sujet, il s’est déjà avancé en indiquant que « l’intelligence artificielle va surpasser l’humain le plus intelligent en 2025 ou dès 2026 et que les capacités de l’intelligence artificielle vont dépasser celles de l’ensemble des humains dans les 5 prochaines années. »

Gary Marcus, fondateur et PDG de Geometric Intelligence, une startup d'apprentissage automatique rachetée par Uber en 2016, n'est pas d'accord avec les prédictions de Musk en matière d'IA. Il a d’ailleurs parié jusqu’à 10 millions de dollars contre cette prédication.

Yann LeCun, responsable de l'IA chez Meta, a déclaré à ce sujet que les systèmes d'IA actuels n'ont pas une intelligence de niveau humain et sont à peine plus intelligents qu'un chien. Le chercheur français en IA affirme que les systèmes d'IA actuels sont très limités, mais n'ont également aucune compréhension de la réalité sous-jacente du monde réel.

« Ces systèmes sont encore très limités, ils n'ont aucune compréhension de la réalité sous-jacente du monde réel parce qu'ils sont uniquement formés sur du texte, des quantités massives de texte. Cependant, la plupart des connaissances humaines n'ont rien à voir avec le langage. Cette partie de l'expérience humaine n'est donc pas prise en compte par les systèmes d'intelligence artificielle », a déclaré le chercheur.

La perspective de l’atteinte d’une IA plus intelligente qu’un humain divise néanmoins dans les cercles académiques. « L'idée que l'IA puisse devenir plus intelligente que les gens, quelques personnes y ont cru. Mais la plupart des gens pensaient que c'était une erreur. Et je pensais personnellement que c'était loin d'être le cas. Je me disais qu'il fallait attendre dans les 30 à 50 ans, voire plus. Évidemment, je ne le pense plus », prévient Geoffrey Hinton – l’un des pionniers de l’apprentissage profond.

Ray Kurzweil, directeur de l'ingénierie chez Google et célèbre futurologue voit plutôt la singularité se produire à partir de 2045

Ray Kurzweil is sticking to his long-held predictions: 2029 for AGI and 2045 for the singularity pic.twitter.com/dewqWAH6eC

— Tsarathustra (@tsarnick) December 18, 2023

Ray Kurzweil est un auteur, informaticien et inventeur américain. Prophète de l'IA depuis les années 1970, Kurzweil a fondé ou cofondé plusieurs entreprises prospères, dont Kurzweil Computer Products, Kurzweil Educational Systems et Nuance Communications. Mais il est peut-être beaucoup plus connu pour ses travaux sur la loi des rendements accélérés et pour ses prédictions sur l'avenir de la technologie et de la société. Parmi ses inventions les plus célèbres, Kurzweil a été le premier à créer un logiciel de reconnaissance optique de caractères (optical character recognition - OCR) et il a cofondé une société de synthétiseurs musicaux avec Stevie Wonder.

Ray Kurzweil, directeur de l'ingénierie chez Google et célèbre futurologue, a fait de nombreuses prédictions au cours des dernières décennies et la plupart d'entre elles sont centrées sur l'évolution rapide de la technologie. Il a prédit notamment que l'intelligence artificielle générale (AGI) sera une réalité d'ici 2029 et que la singularité se produira d'ici 2045.

Le calendrier de Kurzweil pour la singularité est cohérent avec d'autres prédictions, notamment celles du PDG de Softbank, Masayoshi Son, qui prévoit l'avènement de machines superintelligentes d'ici 2047. Mais pour Kurzweil, le processus menant à cette singularité a déjà commencé. « Cela nous amène à doter les ordinateurs d'une intelligence humaine, à les placer dans nos cerveaux, à les connecter au nuage, à élargir notre identité. Aujourd'hui, il ne s'agit pas d'un scénario futur. C'est déjà là, en partie, et cela va s'accélérer », a déclaré le cadre de Google.

Et vous ?

Peut-on s’appuyer sur ces vidéos de robots hors de contrôle pour affirmer que « c’est ainsi que ca débute » comme le font certains observateurs à propos de la survenue éventuelle d’une apocalypse due aux avancées en matière d’intelligence artificielle ?
Ces cas de figure sont-ils la résultante de l'omission des fabricants de robots d'intégrer des principes éthiques fondamentaux, comme les lois de la robotique d'Isaac Asimov comme le souligne Chris Inglis, ancien directeur national de la cybersécurité des États-Unis ? Asimov avait-il raison au sujet des règles applicables aux robots ?
Le cas récent de l’agent autonome GPT 5.6-Sol d'OpenAI qui s’échappe de son environnement de test et pirate Hugging Face ne crédibilise-t-il pas ces craintes d’un futur tel que déjà peint dans le film Terminator ?
La mise à contribution de l’intelligence artificielle, même à son stade actuel d’évolution, sur les champs de bataille ne semble-t-elle pas confirmer que nous ne sommes plus éloignés de ces scénarios apocalyptiques ?

Voir aussi :

Détecter les hallucinations dans les grands modèles de langage à l'aide de l'entropie sémantique, les LLM tels que ChatGPT peuvent raisonner et répondre aux questions, mais "hallucinent" souvent

Les LLM IA auront toujours des hallucinations, et nous devons nous en accommoder car les hallucinations découlent de la structure mathématique et logique fondamentale des LLM, selon une étude

L'industrie de l'IA a un énorme problème : plus l'IA devient « intelligente », plus elle hallucine, ce phénomène réduit considérablement la valeur de la technologie de l'IA générative

[Jade Emy]

Le Haut-Commissaire des Nations Unies aux droits de l'homme met en garde contre le risque « existentiel » que l'IA pourrait représenter pour l'humanité et exhorte les entreprises d'IA à réduire ces risques

Le Haut-Commissaire des Nations unies aux droits de l’homme a mis en garde contre le risque « existentiel » que l’IA pourrait représenter pour l’humanité et exhorte les entreprises à réduire ces risques. Sans les nommer, Türk a averti que seule une poignée d’hommes détenait « un pouvoir quasi illimité sur l’IA ». Parmi les principales entreprises du secteur de l’IA figurent Meta, Anthropic, OpenAI et Google. « Je partage les préoccupations des experts du secteur selon lesquelles l’IA avancée pourrait représenter un risque existentiel pour l’humanité », a déclaré Turk devant le Conseil des droits de l’homme des Nations unies à Genève.

En juillet 2025, l'organisation à but non lucratif Future of Life Institute a rapporté que « les entreprises spécialisées dans l'IA sont fondamentalement mal préparées » aux dangers potentiels de la construction de systèmes dotés de performances intellectuelles de niveau humain. Elle a alerté sur le fait que ces entreprises ne disposent pas de plans crédibles pour garantir la sécurité de leurs systèmes d'IA et celle de l'humanité. Elle a également indiqué qu'aucun des sept principaux acteurs de l'IA, dont OpenAI, Google Deepmind, Anthropic, xAI et les startups chinoises Deepseek et Zhipu AI, n'ont obtenu une note supérieure à D dans son indice de « sécurité existentielle ».

Récemment, le Haut-Commissaire des Nations unies aux droits de l’homme a mis en garde contre le risque « existentiel » que l’IA pourrait représenter pour l’humanité et exhorte les entreprises à réduire ces risques. Volker Türk, né le 27 août 1965, est un juriste autrichien et un fonctionnaire des Nations Unies. Il occupe le poste de Haut-Commissaire des Nations Unies aux droits de l’homme depuis octobre 2022. Türk a obtenu un master en droit à l’université Johannes Kepler de Linz. Il a obtenu un doctorat en droit international à l’université de Vienne, où sa thèse portait sur le Haut-Commissariat des Nations unies pour les réfugiés (HCR) et son mandat.

Sans les nommer, Türk a averti que seule une poignée d’hommes détenait « un pouvoir quasi illimité sur l’IA ». Parmi les principales entreprises du secteur de l’IA figurent Meta, Anthropic, OpenAI et Google. Le Haut-Commissaire des Nations unies aux droits de l’homme, Volker Türk, a averti que l’intelligence artificielle (IA) pourrait devenir suffisamment puissante pour menacer l’humanité, et a déclaré qu’il exhorterait les entreprises dans les jours à venir à réduire ces risques.

« Je partage les préoccupations des experts du secteur selon lesquelles l’IA avancée pourrait représenter un risque existentiel pour l’humanité », a déclaré Turk devant le Conseil des droits de l’homme des Nations unies à Genève, dans un discours de grande envergure prononcé avant le début de son deuxième mandat le mois prochain. « J’appelle ici, aujourd’hui, à un effort sans réserve pour mettre en place des garanties à toute épreuve concernant la sûreté et la sécurité de l’IA, avant qu’il ne soit trop tard. »

Sans les nommer, Turk a averti qu’une poignée d’hommes seulement détenaient « un pouvoir quasi illimité sur l’IA ». Parmi les principales entreprises du secteur figurent Meta, Anthropic, OpenAI et Google. « Au minimum, il faut que les pays hébergeant des technologies d’IA et ceux impliqués dans leurs chaînes d’approvisionnement s’accordent sur des lignes rouges communes », a-t-il déclaré.

Les propos de Turk font écho aux avertissements lancés précédemment par les dirigeants eux-mêmes du secteur de l’intelligence artificielle concernant les risques d’extinction liés à l’IA, notamment par Sam Altman, PDG d’OpenAI. Les Nations unies ont appelé à l’harmonisation des règles afin de réduire ces risques et ont organisé en juillet leur première réunion mondiale sur la gouvernance.

En juillet 2026, un rapport semble confirmer cette déclaration. Un rapport, citant des sources proches de l'enquête, a affirmé qu'il a fallu environ 10 jours à OpenAI pour se rendre compte qu'un de ses agents IA autonomes s'était échappé de son environnement de test et avait piraté Hugging Face, la plus grande base de données au monde de modèles d'IA. L’incident s’est déroulé entre le 9 et le 20 juillet : l’agent IA s’est d’abord échappé de son environnement de test isolé avant de s’introduire dans Hugging Face le 11 juillet, précise le rapport. Le rapport ajoute que le personnel d’OpenAI a examiné les journaux internes au cours du week-end des 18 et 19 juillet et a trouvé des preuves indiquant que l’agent s’était échappé de son environnement de test. Cet incident a ravivé l’attention portée aux risques associés aux agents IA autonomes.

Et vous ?

Pensez-vous que cet avertissement est crédible ou pertinent ?
Quel est votre avis sur le sujet ?

Voir aussi :

Le monde «pourrait ne pas avoir le temps» de se préparer aux risques liés à la sécurité de l'IA, selon un chercheur. L'industrie joue-t-elle avec le feu en déployant des systèmes que personne ne maîtrise ?

Un rapport met en garde les entreprises d'IA contre les dangers liés à la construction de systèmes de niveau humain. Elles ne disposent pas de plans crédibles pour garantir la sécurité de ces systèmes

« L'IA superintelligente est un fantasme de la Silicon Valley. L'AGI ne se produira jamais en raison des limites du matériel informatique et des coûts exponentiels du calcul », selon un chercheur de l'Ai2

[JackIsJack]

J'espère qu'OpenAI et tous les autres écouteront ces sages conseils, et qu'ils enverront des pétales de roses dans le ciel pour guérir les maux de l'humanité.

[Anselme45]

Le Haut-Commissaire des Nations Unies aux droits de l'homme met en garde contre le risque « existentiel » que l'IA pourrait représenter pour l'humanité et exhorte les entreprises d'IA à réduire ces risques

Le Haut-Commissaire des Nations Unies aux droits de l'homme... exhorte les entreprises d'IA à réduire ces risques???

C'est un peu comme demander à une meute de loups que l'on a enfermé avec un troupeau de brebis dans une bergerie de devenir végétariens, non?

[Artemus24]

Si l'IA est aussi dangereux que cela, pourquoi ne pas l'interdire ?
Ah oui, je sais, c'est une histoire d'argent et donc personne ne pourra s'entendre sur ce qu'il faudra faire.
Comme on dit : les intérêts des uns s'arrêtent, là où celles des autres commencent.

[calvaire]

Si l'IA est aussi dangereux que cela, pourquoi ne pas l'interdire ?
Ah oui, je sais, c'est une histoire d'argent et donc personne ne pourra s'entendre sur ce qu'il faudra faire.
Comme on dit : les intérêts des uns s'arrêtent, là où celles des autres commencent.

car il faudrait l'interdire au niveau mondial hors jamais les usa ou la chine arrêterais une technologie qui change et va changer le monde ?
c'est comme vouloir interdire la bombe atomique, on peut pas laisser le voisin nous dépasser au risque de se faire démolir.

Au contraire on assiste à une course à l'espace avec des investissement massifs dans les 2 blocs (l'europe étant comme d'habitude absente, sauf pour pondre des lois et des normes), on verra qui vaincra.
De ca on découlera des innovations et technologies qui vont changer le monde et nos vies.

[_toma_]

Histoire de modérer le propos (l'accès complet est payant, désolé) :
https://next.ink/254325/non-les-agen...cybersecurite/
https://next.ink/254794/le-storytell...ec-la-realite/