Les scientifiques d'OpenAI veulent un « bunker de l'apocalypse » pour se mettre à l'abri de l'AGI
Les scientifiques d'OpenAI veulent un « bunker de l'apocalypse » avant que l'AGI ne surpasse l'intelligence humaine et ne menace l'humanité
une perspective que d'autres experts en IA qualifient d'illusion
L'ancien scientifique en chef d'OpenAI Ilya Sutskever reste convaincu que l'IA pose un risque existentiel pour l'humanité. Avant de quitter OpenAI, il avait élaboré un plan visant à mettre à l'abri les scientifiques du laboratoire avant le lancement de l'intelligence artificielle générale (AGI). Il prévoyait de construire un « bunker de l'apocalypse », car selon lui, la commercialisation de l'AGI pourrait conduire à un chaos géopolitique ou une concurrence violente entre les puissances mondiales. Mais la question divise la communauté de l'IA. Le responsable de l'IA chez Meta rejette l'idée selon laquelle l'IA constitue une menace existentielle pour l'humanité.
Ilya Sutskever est chercheur en sécurité de l'IA et l'un des plus grands noms dans ce domaine. Il a été pendant des années le scientifique en chef d'OpenAI et dirigeant l'équipe Superalignment de la société, chargée de s'assurer que l'IA soit alignée sur les valeurs humaines. Son but était de créer des réseaux neuronaux d'apprentissage profond qui seraient un jour capables de penser et de raisonner aussi bien, sinon mieux, que n'importe quel être humain.
Ses travaux devaient permettre à OpenAI de créer une intelligence artificielle générale (AGI), un terme qui désigne une forme d'intelligence artificielle capable de comprendre, d'apprendre et de raisonner de manière aussi large, flexible et autonome qu'un être humain. Il s'agit du Saint-Graal de l'industrie, une chance pour l'humanité de donner enfin naissance à sa propre forme de vie sensible, même si elle n'est basée que sur le silicium et non sur le carbone.
Mais alors que le reste de l'humanité débat des avantages et des inconvénients d'une technologie que même les chercheurs ont du mal à comprendre, Ilya Sutskever planifiait déjà le jour où son équipe arriverait en tête de la course au développement de l'AGI. Il a estimé que ses collègues scientifiques auraient besoin d'une protection à ce moment-là, car l'AGI est trop puissante pour ne pas devenir un objet de convoitise pour les puissances du monde entier.
D'après des extraits publiés par The Atlantic d'un nouveau livre, intitulé « Empire of AI: Dreams and Nightmares in Sam Altman's OpenAI », son plan incluait un abri de la fin du monde pour les chercheurs de l'OpenAI. « Nous allons certainement construire un bunker avant de lancer l'AGI », a déclaré Ilya Sutskever.
Il aurait fait cette déclaration à son équipe en 2023, quelques mois avant de quitter l'entreprise. Il est intéressant de noter que ce n'est pas la seule fois où Ilya Sutskever a fait référence à son bunker de sécurité. L'ancien cadre d'OpenAI aurait souvent parlé du bunker lors des discussions et des réunions internes. Selon un chercheur, de nombreuses personnes partageaient les craintes d'Ilya Sutskever au sujet de l'AGI et de son potentiel à ravir l'humanité.
Certains laboratoires déclarent être poches de créer une forme d'AGI
Si l'on en croit les derniers rapports, la plupart des laboratoires d'IA sont potentiellement sur le point d'atteindre le seuil convoité de l'AGI . Plus précisément, OpenAI et Anthropic prédisent que l'AGI pourrait être atteinte au cours de cette décennie. Le PDG de Google DeepMind, Demis Hassabis, a récemment indiqué que Google pourrait être sur le point d'atteindre une forme d'AGI à la suite de la publication de nouvelles mises à jour de ses modèles Gemini.
Demis Hassabis a fait part de ses inquiétudes, estimant que la société n'était pas prête et que « la perspective d'une AGI l'empêche de dormir ». De son côté, le PDG d'Anthropic, Dario Amodei, a admis que l'entreprise ne comprend pas pleinement comment ses modèles fonctionnent. (Tous les laboratoires sont dans ce cas.) Dario Amodei a ajouté que la société devrait s'inquiéter de ce manque de compréhension et des menaces qui en découlent.
Bien que Ilya Sutskever ait refusé de commenter les allégations du livre, l'idée d'un bunker sûr pour les scientifiques d'OpenAI qui développent l'AGI souligne les angoisses qui animent certains des cerveaux à l'origine de la technologie. Ilya Sutskever a longtemps été considéré comme une sorte de mystique au sein d'OpenAI. Selon l'auteur du livre, l'ancien cadre d'OpenAI est connu pour discuter de l'IA avec des termes moraux et même métaphysiques.
En même temps, Ilya Sutskever est aussi l'un des esprits les plus doués techniquement derrière ChatGPT et d'autres grands modèles de langage qui ont propulsé l'entreprise sur le devant de la scène mondiale. Comme le PDG d'Anthropic, Dario Amodei, de nombreux autres chercheurs sont d'avis avec Ilya Sutskever.
Roman Yampolskiy, chercheur en sécurité de l'IA et directeur du laboratoire de cybersécurité de l'université de Louisville, a averti qu'il y a environ 99,999999 % de chances que l'IA mette fin à l'humanité. Mais contrairement à Ilya Sutskever, le PDG d'OpenAI, Sam Altman, pense que cette potentielle menace existentielle ne se manifestera pas au moment de l'AGI. Au lieu de cela, elle passera simplement en coup de vent, avec un « impact sociétal faible ».
Sécurité de l'IA : les divergences entre Ilya Sutskever et Sam Altman
L'idée que l'IA déclenche un bouleversement des civilisations n'est pas l'apanage de Sutskever. En mai 2023, Sam Altman a cosigné une lettre publique avertissant que les technologies de l'IA pourraient constituer un « risque d'extinction » pour l'humanité. Toutefois, si cette lettre visait à orienter les discussions sur la réglementation, la planification d'un bunker laisse entrevoir des craintes plus profondes et plus personnelles chez les dirigeants d'OpenAI.
La tension entre ces craintes et les ambitions commerciales agressives d'OpenAI a atteint son paroxysme plus tard en 2023, lorsque Ilya Sutskever et Mira Murati, alors directrice de la technologie, ont aidé à orchestrer un coup d'État au sein du conseil d'administration qui a évincé Sam Altman de la société.
Au cœur de leurs préoccupations se trouvait la conviction que Sam Altman contournait les protocoles de sécurité internes et qu'il exerçait un contrôle trop important sur l'avenir de l'entreprise. Selon les échanges rapportés par l'auteur du livre, Karen Hao, Ilya Sutskever, qui croyait fermement à la mission initiale d'OpenAI de construire une AGI centrée sur les valeurs humaines et bénéfique pour toute l'humanité, serait devenu de plus en plus désillusionné.
Ilya Sutskever et Mira Murati auraient donc tous deux déclaré aux membres du conseil d'administration de l'époque qu'ils ne faisaient plus confiance à Sam Altman pour guider l'organisation de manière responsable vers son objectif ultime. Selon les notes examinées par Karen Hao, Ilya Sutskever aurait déclaré aux membres du conseil d'administration de l'époque : « je ne pense pas que Sam soit la personne qui devrait avoir le doigt sur le bouton pour AGI ».
La décision du conseil d'administration d'écarter Sam Altman a été de courte durée. La pression croissante exercée par les investisseurs, les employés et Microsoft a conduit à sa réintégration quelques jours plus tard. Ilya Sutskever et Mira Murati ont, quant à eux, fini par quitter l'entreprise. Le bunker proposé par Ilya Sutskever - bien qu'il n'ait jamais été officiellement annoncé ou planifié - en est venu à symboliser l'extrême conviction des initiés de l'IA.
Yann LeCun reste convaincu que l'IA ne menacera jamais l'humanité
Yann LeCun est un éminent chercheur français en IA et lauréat du prix Turing 2018. Les recherches qu'il a menées dans les années 1980 et 1990 ont contribué à jeter les bases de bon nombre des innovations les plus importantes de la dernière décennie dans le domaine de l'IA. Entre autres exemples, le chercheur français est à l'origine des réseaux de neurones convolutifs qui ont été essentiels pour rendre l'apprentissage profond beaucoup plus efficace.
Yann LeCun est le scientifique en chef du laboratoire d'IA de Meta, la société mère de Facebook, Instagram et WhatsApp. Il est professeur à l'université de New York où il a créé le laboratoire « Center for Data Sciences » au sein duquel il travaillerait également sur les technologies des voitures autonomes.
Yann LeCun est l'un des rares éminents chercheurs en IA qui n'épousent pas le discours dominant qui présente l'IA comme une menace existentielle pour l'humanité. Malgré le nom, Yann LeCun estime que l'IA n'est pas du tout intelligente. Interrogé sur les limites actuelles de l'IA, il s'est concentré sur l'IA générative formée sur de grands modèles de langage, affirmant qu'elle n'est pas intelligente en raison du fait qu'elle est uniquement guidée par le langage.
« Ces systèmes sont encore très limités, ils n'ont aucune compréhension de la réalité sous-jacente du monde réel parce qu'ils sont uniquement formés sur du texte, des quantités massives de texte. Cependant, la plupart des connaissances humaines n'ont rien à voir avec le langage. Cette partie de l'expérience humaine n'est donc pas prise en compte par les systèmes d'IA », a-t-il déclaré. Selon lui, l'IA est encore loin d'une intelligence canine ou féline.
« Les développements en cours montrent qu'il manque quelque chose de vraiment important afin d'atteindre non seulement une intelligence de niveau humain, mais même une intelligence de chien. En fait, les experts n'ont aucune idée de la manière de reproduire cette capacité avec des machines à ce jour. Tant que nous n'y parviendrons pas, ces systèmes d'IA n'auront pas une intelligence de niveau humaine ni une intelligence canine ou féline », déclare LeCun.
Yann LeCun rejette en sus l'idée selon laquelle les robots vont s'emparer du monde. « Une crainte popularisée par les fictions scientifiques est que si les robots sont plus intelligents que nous, ils voudront s'emparer du monde. Il n'y a pas de corrélation entre le fait d'être intelligent et le fait de vouloir s'emparer du monde », a-t-il souligné. Yann LeCun met aussi en garde contre une réglementation prématurée qui pourrait nuire à l'innovation dans le secteur.
Conclusion
L'idée de construire un bunker pour protéger les scientifiques d'OpenAI, fréquemment évoquée lors de discussions internes, souligne les profondes inquiétudes au sein de la direction d'OpenAI concernant le pouvoir transformateur et potentiellement catastrophique de l'AGI. Ces craintes ont contribué à des tensions internes, principalement dirigées contre le PDG Sam Altman, accusé de négliger les protocoles de sécurité et de centraliser le contrôle et le profit.
Cette anecdote illustre les débats intenses au sein de la communauté sur les risques existentiels posés par l'IA et la nécessité de mesures de sécurité pour encadrer son développement. Mais d'autres chercheurs, tels que Yann LeCun, mettent en garde contre l'illusion du risque existentiel de l'IA.
Selon ces chercheurs, le fait de se focaliser sur ce risque peut occulter les problèmes réels et immédiats que crée l'IA, comme la surveillance, la désinformation, l'utilisation militaire et l'inadaptation économique. L'atténuation de ces problèmes pourrait aider à prévenir le risque existentiel à long terme.
Source : le livre « Empire of AI: Dreams and Nightmares in Sam Altman's OpenAI » de Karen Hao
Et vous ?
Quel est votre avis sur le sujet ?
Voir aussi
Répondre avec citation
Envoyé par Mathis Lucas
Partager