Discussion :

[Stéphane le calme]

Le monde « pourrait ne pas avoir le temps » de se préparer aux risques liés à la sécurité de l'IA, selon un chercheur de renom.
L'industrie joue-t-elle avec le feu en déployant des systèmes que personne ne maîtrise totalement ?

L’idée que le monde pourrait manquer de temps pour se préparer aux risques de l’intelligence artificielle n’est plus une hypothèse marginale réservée aux cercles académiques. Elle s’impose désormais au cœur du débat public, portée par des chercheurs de premier plan qui estiment que la trajectoire actuelle du développement de l’IA dépasse notre capacité collective à en maîtriser les conséquences. Dans une analyse récente de David Dalrymple, directeur de programme et expert en sécurité de l'IA à l'agence britannique ARIA, l’alerte est sans détour : si le rythme actuel se maintient, les sociétés humaines pourraient être confrontées à des systèmes plus puissants que prévu, avant même d’avoir mis en place les garde-fous nécessaires.

Depuis deux ans, l’IA générative a changé d’échelle. Les modèles ne se contentent plus de produire du texte ou des images crédibles : ils commencent à « raisonner », à planifier, à interagir de manière autonome avec des environnements numériques complexes. Cette progression fulgurante repose sur une combinaison bien connue : puissance de calcul croissante, volumes de données massifs et investissements financiers quasi illimités.

Le problème, selon plusieurs chercheurs cités par la presse anglo-saxonne, est que cette accélération ne s’accompagne pas d’un effort équivalent sur la sûreté. Les cadres réglementaires restent nationaux, fragmentés et souvent en retard d’un cycle technologique. Quant aux mécanismes techniques de contrôle, ils peinent à suivre l’émergence de comportements imprévus dans des systèmes de plus en plus opaques.

Quand les chercheurs parlent d’un risque systémique

Yoshua Bengio

Parmi les voix les plus écoutées figure celle de Yoshua Bengio, l’un des pionniers de l’apprentissage profond. Pour lui, le danger ne réside pas uniquement dans les usages malveillants de l’IA, mais dans la possibilité que des systèmes avancés développent des objectifs mal alignés avec les intérêts humains. Ce scénario, longtemps considéré comme théorique, gagne en crédibilité à mesure que les modèles deviennent capables d’optimiser leurs actions sur le long terme.

L’enjeu n’est pas une « révolte des machines » au sens hollywoodien, mais un risque plus insidieux : des systèmes extrêmement efficaces poursuivant des objectifs définis de manière imparfaite, avec des effets secondaires potentiellement catastrophiques sur l’économie, la sécurité ou l’information.

Yoshua Bengio est un informaticien canadien né en 1964, reconnu mondialement comme l’un des pionniers de l’intelligence artificielle et de l’apprentissage profond. Professeur à l’Université de Montréal et fondateur de l’Mila – Institut québécois d’intelligence artificielle, il a profondément influencé la recherche contemporaine en réseaux de neurones. En 2018, il a reçu le prix Turing, considéré comme le « prix Nobel de l’informatique », aux côtés de Geoffrey Hinton et Yann LeCun.

Umberto Domínguez

Dans son article intitulé « Effets catastrophiques », le professeur Umberto León Domínguez de l'université de Monterrey explore les implications potentielles de l'intelligence artificielle (IA) sur les fonctions cognitives humaines. En se penchant sur des chatbots tels que ChatGPT, conçus pour imiter la conversation humaine, Domínguez exprime ses préoccupations quant à la possibilité que l'IA agisse comme une « prothèse cognitive », accomplissant des tâches cognitives pour les humains.

Il met en garde contre le « délestage cognitif », avertissant que la dépendance excessive à l'IA pourrait entraîner un affaiblissement des capacités cognitives humaines, compromettant la pensée critique et la créativité. Malgré ces avancées, l'IA ne pourra jamais dépasser les capacités du cerveau humain. Des chercheurs de l'université de Sheffield ont souligné qu'il existe des différences inhérentes qui empêchent l'IA de penser comme les humains.

David Dalrymple

David Dalrymple, directeur de programme et expert en sécurité de l'IA à l'Agence britannique pour la recherche avancée et l'invention (ARIA), a averti que le monde « pourrait ne pas avoir le temps » de se préparer aux risques liés à la sécurité que posent les systèmes d'IA en rapide évolution. Il a déclaré au Guardian que les gens devraient s'inquiéter des capacités croissantes de cette technologie.

« Je pense que nous devrions nous inquiéter des systèmes capables d'exécuter toutes les fonctions que les humains accomplissent pour faire avancer les choses dans le monde, mais en mieux. Nous serons dépassés dans tous les domaines où nous devons être dominants afin de garder le contrôle de notre civilisation, de notre société et de notre planète », a-t-il déclaré.

Dalrymple a également souligné un fossé entre le secteur public et les entreprises d'IA en matière de compréhension des avancées potentielles de l'IA. Il a averti que les choses évoluent très rapidement et que nous n'aurons peut-être pas le temps de prendre les devants en matière de sécurité. « Et ce n'est pas de la science-fiction de prévoir que d'ici cinq ans, la plupart des tâches économiquement rentables seront effectuées par des machines avec un niveau de qualité supérieur et à un coût inférieur à celui des humains », a-t-il ajouté.

Il a également averti que les gouvernements ne devaient pas tenir pour acquise la fiabilité des systèmes d'IA avancés. Aria, une organisation qui gère le financement de la recherche tout en restant indépendante malgré son financement public, se concentre sur la protection de l'utilisation de l'IA dans des secteurs critiques tels que les infrastructures énergétiques. Dalrymple, qui travaille sur ces systèmes de sécurité, a fait remarquer que la science nécessaire pour garantir une fiabilité totale pourrait ne pas émerger assez rapidement en raison des pressions économiques.

« La meilleure chose que nous puissions faire, et que nous serons peut-être en mesure de faire à temps, est donc de contrôler et d'atténuer les inconvénients », a-t-il déclaré.

Sécurité de l’IA : un problème technique… et politique

Ce que souligne l’analyse, c’est que la sûreté de l’IA ne peut plus être traitée comme un simple sous-problème d’ingénierie. Certes, des travaux existent sur l’alignement, la robustesse ou l’interprétabilité des modèles. Mais ces approches restent expérimentales et loin d’être standardisées dans l’industrie.

En parallèle, les décisions structurantes sont prises dans un contexte de compétition géopolitique intense. Les grandes puissances voient l’IA comme un levier stratégique majeur, ce qui réduit l’appétence pour des moratoires ou des freins volontaires. Dans ce cadre, chaque acteur craint qu’un ralentissement unilatéral ne profite à ses rivaux, créant une dynamique proche d’une course aux armements technologiques.

D'ailleurs, David Dalrymple a averti que lorsque les progrès technologiques dépassent les mesures de sécurité, cela peut entraîner de graves risques tant pour la sécurité que pour l'économie. Il a appelé à davantage de recherches techniques afin de mieux comprendre et gérer le comportement des systèmes d'IA avancés.

« Le progrès peut être considéré comme déstabilisant, mais il pourrait en réalité être positif, ce que beaucoup de personnes à la pointe de la technologie espèrent. Je m'efforce d'améliorer la situation, mais les risques sont très élevés et la civilisation humaine avance dans cette transition comme un somnambule », a-t-il ajouté.

L'Institut britannique pour la sécurité de l'IA (AISI) a indiqué que les capacités de l'IA progressaient rapidement, avec des performances doublant tous les 8 mois dans certains domaines. Les modèles avancés peuvent désormais accomplir des tâches de niveau apprenti dans 50 % des cas, et certains systèmes peuvent accomplir de manière autonome des tâches qui prendraient plus d'une heure à un expert humain. L'AISI a testé des modèles pour l'auto-réplication, une préoccupation majeure en matière de sécurité, et a constaté que deux modèles de pointe atteignaient des taux de réussite supérieurs à 60 %. Cependant, l'AISI souligne qu'un scénario catastrophe est peu probable dans des conditions normales.

Dalrymple estime que les systèmes d'IA seront capables d'automatiser l'équivalent d'une journée complète de travail de recherche et développement d'ici la fin 2026, ce qui « entraînera une nouvelle accélération des capacités », car la technologie sera capable de s'améliorer d'elle-même sur les aspects mathématiques et informatiques du développement de l'IA.

Face aux risques potentiels de l'IA, des scientifiques proposent d'intégrer des interrupteurs d'arrêt d'urgence

Des chercheurs de l’Université de Cambridge ont suggéré d’intégrer des interrupteurs d’arrêt d’urgence et des blocages à distance, similaires à ceux développés pour empêcher le lancement non autorisé d’armes nucléaires, dans le matériel qui l’alimente. Ils ont également recommandé de suivre les ventes de puces IA dans le monde. Leur étude a été soutenue par des voix de nombreuses institutions académiques, dont OpenAI.

L’étude met en évidence plusieurs façons dont les décideurs politiques pourraient aborder la réglementation du matériel IA. Le document, dans lequel s'expriment de nombreuses institutions universitaires et plusieurs représentants d'OpenAI, défend l'idée que la réglementation du matériel sur lequel reposent ces modèles pourrait être le meilleur moyen d'en empêcher l'utilisation abusive.

L'entraînement des modèles les plus prolifiques, dont on pense qu'ils dépassent un trillion de paramètres, nécessite une immense infrastructure physique : des dizaines de milliers de GPU ou d'accélérateurs et des semaines, voire des mois, de temps de traitement. Selon les chercheurs, il est donc difficile de dissimuler l'existence et les performances relatives de ces ressources.

De plus, les puces les plus avancées utilisées pour entraîner ces modèles sont produites par un nombre relativement restreint d'entreprises, comme Nvidia, AMD et Intel, ce qui permet aux responsables politiques de restreindre la vente de ces biens aux personnes ou aux pays concernés.

Ces facteurs, ainsi que d'autres comme les contraintes de la chaîne d'approvisionnement dans la fabrication des semi-conducteurs, offrent aux décideurs politiques les moyens de mieux comprendre comment et où l'infrastructure de l'IA est déployée, qui est autorisé ou non à y accéder, et d'appliquer des sanctions en cas d'utilisation abusive, affirme le document.

Sources : Vidéo dans le texte, David Dalrymple

Et vous ?

Trouvez-vous les propos des chercheurs crédibles ou pertinents ?

Avons-nous des indicateurs objectifs montrant que les risques liés à l’IA progressent plus vite que notre capacité à les comprendre et à les maîtriser, ou s’agit-il avant tout d’un sentiment d’urgence alimenté par l’accélération médiatique et financière autour de l’IA ?

Les entreprises qui développent les modèles les plus avancés doivent-elles être juridiquement responsables des effets imprévus de leurs systèmes, même lorsque ceux-ci sont utilisés par des tiers ?

Peut-on sérieusement compter sur l’autorégulation dans un contexte de concurrence mondiale intense, ou faut-il admettre que les incitations économiques rendent cette option illusoire ?

Sommes-nous prêts à ralentir volontairement certaines applications de l’IA si les risques apparaissent trop élevés, même au prix d’un manque à gagner économique ? Qui doit décider du niveau de risque acceptable : les experts, les gouvernements, les entreprises ou la société civile dans son ensemble ?

[Alex]

« Vous n’êtes pas prêts pour 2027 », met en garde l’ancien PDG de Google, Eric Schmidt, à propos de la prochaine génération d’IA et de la façon dont tout est sur le point de changer avec l’arrivée de l’AGI

L’ancien PDG de Google, Eric Schmidt, a de nouveau averti que l'IA pourrait présenter des risques existentiels et les gouvernements doivent savoir comment s'assurer que cette technologie ne soit pas « détournée par des personnes malveillantes ». L'ancien PDG de Google, Eric Schmidt, a déclaré : « Et le risque existentiel se définit par le fait que de très, très, très nombreuses personnes soient blessées ou tuées ».

Eric Schmidt, né le 27 avril 1955, est un homme d'affaires américain et ancien ingénieur en informatique qui a occupé le poste de PDG de Google de 2001 à 2011, puis celui de président exécutif de la société de 2011 à 2015. Il a également été président exécutif de la société mère Alphabet Inc. de 2015 à 2017, et conseiller technique chez Alphabet de 2017 à 2020. Depuis 2025, il est PDG de Relativity Space, une entreprise de fabrication aérospatiale. En 2025, il figure parmi les personnes les plus riches du monde selon le Bloomberg Billionaires Index, avec une fortune estimée à 54,5 milliards de dollars américains.

En 2024, Eric Schmidt, ancien PDG de Google, a tiré la sonnette d'alarme concernant les progrès rapides de l'intelligence artificielle (IA), avertissant que les systèmes capables de s'améliorer par eux-mêmes pourraient présenter des risques imprévus. Schmidt a laissé entendre qu'à mesure que l'IA évolue, il pourrait arriver un moment où l'humanité devrait envisager de « débrancher » ces systèmes avant qu'ils ne deviennent incontrôlables. Des commentaires qui interviennaient alors que la course à l'IA continue de s'accélérer, les entreprises repoussant les limites de l'innovation en dépit d'une surveillance réglementaire limitée.

Récemment, il a de nouveau averti que l'IA pourrait présenter des risques existentiels et les gouvernements doivent savoir comment s'assurer que cette technologie ne soit pas « détournée par des personnes malveillantes ». L'ancien PDG de Google, Eric Schmidt, a déclaré : « Et le risque existentiel se définit par le fait que de très, très, très nombreuses personnes soient blessées ou tuées ». L'avenir de l'IA est au cœur des discussions entre les technologues et les décideurs politiques, qui s'interrogent sur l'évolution future de cette technologie et sur la manière dont elle devrait être réglementée.

S’exprimant lors du CEO Council Summit du Wall Street Journal à Londres, Schmidt a déclaré que sa préoccupation était que l’IA représente un « risque existentiel ». « Et le risque existentiel se définit par le fait que de très, très, très nombreuses personnes soient blessées ou tuées », a déclaré Schmidt. « Il existe des scénarios, non pas aujourd’hui, mais dans un avenir raisonnablement proche, où ces systèmes seront capables de détecter des failles de type « zero-day » dans les cyberattaques, ou de découvrir de nouveaux types de biologie. Aujourd’hui, cela relève de la fiction, mais le raisonnement sous-jacent est probablement vrai. Et lorsque cela se produira, nous voulons être prêts à savoir comment nous assurer que ces technologies ne soient pas détournées par des personnes malveillantes. »

Les failles de type « zero-day » sont des vulnérabilités de sécurité découvertes par des pirates informatiques dans des logiciels et des systèmes. Schmidt, qui a été PDG de Google de 2001 à 2011, n’avait pas d’avis tranché sur la manière dont l’IA devrait être réglementée, mais a déclaré qu’il s’agissait d’une « question plus large pour la société ». Il a toutefois ajouté qu’il était peu probable qu’une nouvelle agence de régulation dédiée à l’IA soit créée aux États-Unis.

Schmidt n’est pas la première personnalité majeure du monde de la technologie à mettre en garde contre les risques de l’IA. Sam Altman, PDG d’OpenAI, qui a développé ChatGPT, a admis en mars qu’il était « un peu effrayé » par l’intelligence artificielle. Il a déclaré s’inquiéter de voir des gouvernements autoritaires développer cette technologie. Le PDG de Tesla, Elon Musk, a déclaré par le passé qu’il pensait que l’IA représentait l’un des « plus grands risques » pour la civilisation. Même l'actuel PDG de Google et d'Alphabet, Sundar Pichai, qui a récemment supervisé le lancement par l'entreprise de son propre chatbot IA, a déclaré que cette technologie « aura un impact sur tous les produits de toutes les entreprises », ajoutant que la société doit se préparer à ces changements.

En avril 2025, Eric Schmidt a déjà avertit que l'IA pourrait bientôt cesser d'obéir aux humains. "Les ordinateurs s'améliorent d'eux-mêmes. Ils apprennent à planifier et n'ont plus besoin de nous écouter", a-t-il déclaré. Schmidt a qualifié ce processus d'"auto-amélioration récursive" : l'IA génère des hypothèses, les teste dans des laboratoires robotisés et utilise les résultats pour s'améliorer, le tout sans intervention humaine.

Selon Schmidt, l'un des plus grands défis auxquels les entreprises sont confrontées dans le développement de l'IA est de veiller à ce que ce développement se fasse en toute sécurité, en mettant en place les garde-fous nécessaires pour que l'homme puisse garder le contrôle de l'IA. Schmidt a fait partie de la Commission de sécurité nationale sur l'IA aux États-Unis, qui a entamé en 2019 un examen de cette technologie, y compris d'un éventuel cadre réglementaire. La commission a publié son rapport en 2021, avertissant que les États-Unis n'étaient pas suffisamment préparés à l'ère de l'IA.

Voici un extrait des déclarations récentes de l'ancien PDG de Google, Eric Schmidt :

En fait, pour vous donner un peu de contexte, le Dr Henry Kissinger et moi avons passé énormément de temps à discuter de la période des années 1950, durant laquelle il a joué un rôle central dans tous ces événements. Il a donc mis à profit le fait que nous avions utilisé la bombe atomique pour négocier, sur une période d’environ 15 ans, une série de traités visant à limiter la prolifération nucléaire. Ces traités, lorsqu’ils ont été négociés, nous ont permis d’être encore en vie aujourd’hui.

Ils ont donc joué un rôle central : sans le contrôle de la diffusion de l’uranium enrichi et des autres secrets, nous serions tous littéralement cuits, à cause de fous furieux et autres. Existe-t-il un ensemble de mesures analogues que nous pouvons prendre ? Le problème ici, ou plutôt la bonne nouvelle, c’est que nous ne sommes pas en guerre. Nous n’avons pas eu de bombe nucléaire. Nous n’avons pas ce sujet à débattre. Nous pouvons donc en parler, mais les gouvernements ont tendance à agir de manière réactive.

Il existe actuellement trois menaces évidentes qui, je pense, sont assez bien comprises. La première est la désinformation. Les logiciels que nous mettons tous collectivement à la disposition des gens permettent toutes sortes de désinformations, de fausses vidéos, de fausses nouvelles, etc. Nous le comprenons tous. Tout est open source. C'est un fait. C'est une menace pour les démocraties, et peut-être pour les dictatures, mais certainement pour les démocraties.

La deuxième menace est le cyberespace. Et je pense qu'une façon de comprendre le cyberespace, c'est que si vous savez écrire du code, vous pouvez aussi créer des cyberattaques. C'est la même logique, et les progrès en matière de logiciels sont incroyables. C'est effrayant de voir à quel point ils sont performants ; rappelez-vous que j'ai fait carrière comme programmeur. Ces programmes fonctionnent mieux que je ne l'ai jamais fait. C'est choquant, n'est-ce pas ?

Et puis le troisième, c'est le domaine biologique. Et je pense que la plupart des gens croient que l'un de ces trois domaines va créer une sorte de mini-crise qui poussera alors les gouvernements à dire : « Attendez, discutons de la manière de vraiment gérer les inconvénients. » Les avantages sont incroyables, n'est-ce pas ? Et je veux que l'Amérique gagne, et je veux que nous avancions aussi vite que possible. Et c'est effectivement ce que nous faisons avec l'administration Trump, ce qui est formidable. Mais nous devons être conscients que ces choses sont possibles.

Celui qui m'inquiète particulièrement est d'ordre biologique et se présente à peu près comme suit. On prend un agent pathogène existant et, à l'aide de techniques biologiques dont je ne parlerai pas, on le modifie suffisamment pour qu'il ne puisse plus être détecté, mais qu'il reste tout de même assez dangereux. C'est un exemple de menace. Il y en a beaucoup d'autres.

Et vous ?

Pensez-vous que ces déclarations sont crédibles ou pertinentes ?
Quel est votre avis sur le sujet ?

Voir aussi :

L'ancien PDG de Google, Eric Schmidt, met en garde contre le piratage des modèles d'IA : « Ils apprennent à tuer quelqu'un » et l'IA pourrait perturber l'emploi, la sécurité et la vie quotidienne

Les plus grands scientifiques chinois et occidentaux de l'IA publient une déclaration : La menace existentielle que représente l'IA nécessite une collaboration similaire à celle de la guerre froide

Un rapport met en garde les entreprises d'IA contre les dangers liés à la construction de systèmes de niveau humain, elles ne disposent pas de plans crédibles pour garantir la sécurité de ces systèmes

[kain_tn]

[...]L’ancien PDG de Google, Eric Schmidt, a de nouveau averti que l'IA pourrait présenter des risques existentiels et les gouvernements doivent savoir comment s'assurer que cette technologie ne soit pas « détournée par des personnes malveillantes ». L'ancien PDG de Google, Eric Schmidt, a déclaré : « Et le risque existentiel se définit par le fait que de très, très, très nombreuses personnes soient blessées ou tuées ».[...]

Trop tard, ça appartient déjà à des gens malveillants puisque c'est aux mains de la Big Tech / GAFAM.