Discussion :

[Jade Emy]

Le cofondateur d'OpenAI, Ilya Sutskever, annonce son départ de la société créatrice de ChatGPT et déclare : "Je suis convaincu qu'OpenAI construira une AGI à la fois sûre et bénéfique."

Le cofondateur d'OpenAI, Ilya Sutskever, annonce son départ de la société créatrice de ChatGPT.

Le cofondateur d'OpenAI, Ilya Sutskever, l'un des premiers créateurs de la technologie d'intelligence artificielle à l'origine de ChatGPT, a annoncé qu'il quittait l'entreprise après une dizaine d'années. M. Sutskever était l'un des quatre membres du conseil d'administration qui, à l'automne dernier, ont voté en faveur de l'éviction du PDG Sam Altman, avant de le réintégrer rapidement. C'est M. Sutskever, scientifique en chef d'OpenAI, qui a annoncé à M. Altman, en novembre dernier, qu'il était licencié.

M. Sutskever a annoncé sa décision sur le site de médias sociaux X. Il a indiqué qu'il travaillait sur un nouveau projet qui lui tient personnellement à cœur, mais il n'a pas donné d'autres détails.

Après presque une décennie, j'ai pris la décision de quitter OpenAI. La trajectoire de l'entreprise a été tout simplement miraculeuse, et je suis convaincu qu'OpenAI construira une AGI à la fois sûre et bénéfique sous la direction de @sama, @gdb, @miramurati et maintenant, sous l'excellente direction de recherche de
@merettm. Ce fut un honneur et un privilège de travailler ensemble, et tout le monde me manquera beaucoup. À bientôt, et merci pour tout. Je suis enthousiaste pour la suite - un projet qui me tient personnellement à cœur et dont je partagerai les détails en temps voulu.

After almost a decade, I have made the decision to leave OpenAI. The company’s trajectory has been nothing short of miraculous, and I’m confident that OpenAI will build AGI that is both safe and beneficial under the leadership of @sama, @gdb, @miramurati and now, under the…

— Ilya Sutskever (@ilyasut) May 14, 2024

M. Altman, quant à lui, a écrit que cette séparation était "très triste" et a qualifié M. Sutskever de "l'un des plus grands esprits de notre génération, d'un guide dans notre domaine et d'un ami très cher".

M. Sutskever sera remplacé par Jakub Pachocki en tant que scientifique en chef de la société OpenAI, basée à San Francisco. M. Altman a qualifié M. Pachocki de "l'un des plus grands esprits de notre génération" et s'est dit "très confiant dans sa capacité à nous faire progresser rapidement et en toute sécurité vers notre mission, qui est de faire en sorte que l'AGI profite à tout le monde".

Abréviation d'intelligence artificielle générale, l'AGI est une vision futuriste de machines aussi intelligentes que les humains ou, du moins, capables de faire beaucoup de choses aussi bien qu'eux. Récemment, OpenAI a présenté une mise à jour de son modèle d'IA qui, selon elle, peut raisonner sur du texte, de l'audio et de la vidéo en temps réel. L'Associated Press et OpenAI ont conclu un accord de licence et de technologie qui permet à OpenAI d'accéder à une partie des archives textuelles de l'Associated Press.

Et vous ?

Quel est votre avis sur cette annonce ?

Voir aussi :

Ilya Sutskever, cofondateur et scientifique en chef d'OpenAI, déclare qu'il regrette profondément d'avoir participé à l'éviction de Sam Altman et signe la lettre demandant son retour

Nous avons désormais plus de détails sur ce qui s'est passé à OpenAI et qui a conduit au licenciement de Sam Altman. Ce dernier a été accusé de monter les membres du conseil les uns contre les autres

Le PDG d'OpenAI, Sam Altman, affirme que l'IA de niveau humain est imminente, mais qu'elle ne changera pas le monde autant que nous le pensons et que les craintes autour de l'AGI sont exagérées

[Stéphane le calme]

OpenAI a vu démissionner trois des cadres chargés de s'assurer que les humains sont à l'abri de la superintelligence.
Ilya Sutskever, cofondateur d'OpenAI, a tenté de faire éjecter Sam Altman l'année dernière

La semaine même où OpenAI a attiré l'attention du monde entier pour la publication de son dernier modèle d'IA, des dirigeants de premier plan, Ilya Sutskever (cofondateur et scientifique en chef d'OpenAI) et Jan Leike (qui a codirigé le groupe « superalignement » d'OpenAI, une équipe qui s'efforce d'aligner ses systèmes d'intelligence artificielle sur les intérêts humains), ont annoncé qu'ils quittaient l'entreprise. Si l'on ajoute à cela le départ d'Andrej Karpathy en février, il semble que les personnes les plus engagées dans le développement d'une IA sûre et centrée sur l'humain aient quitté l'entreprise.

Deux employés chevronnés d'OpenAI, Ilya Sutskever et Jan Leike, ont annoncé leur démission. Cette décision intervient six mois après une tentative infructueuse d'éviction du PDG Sam Altman de la société d'intelligence artificielle.

Sutskever, qui a cofondé la start-up de San Francisco et y travaille depuis près de dix ans, a indiqué qu'il quittait son rôle de scientifique en chef dans un message publié sur X. Qualifiant la croissance d'OpenAI de « tout simplement miraculeuse », Sutskever s'est dit convaincu que l'entreprise construira une IA « à la fois sûre et bénéfique » sous la direction d'Altman, du président et cofondateur Greg Brockman et de la directrice de la technologie Mira Murati.

Il a également félicité Jakub Pachocki pour l'avoir remplacé en tant que scientifique en chef d'OpenAI.

« Ce fut un honneur et un privilège de travailler ensemble, et tout le monde me manquera énormément. À bientôt, et merci pour tout », a écrit Sutskever. « Je suis enthousiaste pour la suite - un projet qui me tient personnellement à cœur et dont je partagerai les détails en temps voulu ».

After almost a decade, I have made the decision to leave OpenAI. The company’s trajectory has been nothing short of miraculous, and I’m confident that OpenAI will build AGI that is both safe and beneficial under the leadership of @sama, @gdb, @miramurati and now, under the…

— Ilya Sutskever (@ilyasut) May 14, 2024

Leike, qui a codirigé le groupe dit de superalignement à OpenAI, a été moins loquace au sujet de sa démission, faisant l'annonce sur X simplement avec les mots « J'ai démissionné ».

I resigned

— Jan Leike (@janleike) May 15, 2024

Leike et Sutskever dirigeaient l'équipe de superalignement d'OpenAI, qui a connu un certain nombre de départs au cours des derniers mois

C'est en juillet qu'OpenAI a mis sur pieds une division de recherche « d'alignement », conçue pour se préparer à l'essor de la superintelligence artificielle et s'assurer qu'elle ne se tourne pas contre les humains. Cette équipe s'est vue confier la tâche de maitriser et à superviser l’IA. Elle est composée de « chercheurs et d’ingénieurs de haut niveau en apprentissage automatique », se concentrera sur l’avènement de la « superintelligence ».

Il s’agit d’une intelligence artificielle, encore au stade hypothétique, capable de surpasser l’esprit humain, explique OpenAI. Cette technologie pourrait aider l’humanité « à résoudre bon nombre des problèmes les plus importants du monde ».

La superintelligence sera la technologie la plus percutante que l'humanité ait jamais inventée et pourrait nous aider à résoudre bon nombre des problèmes les plus importants du monde. Mais le vaste pouvoir de la superintelligence pourrait également être très dangereux et pourrait conduire à la perte de pouvoir de l'humanité ou même à l'extinction humaine.

« Nous avons besoin de percées scientifiques et techniques pour diriger et contrôler des systèmes d'IA beaucoup plus intelligents que nous », a déclaré OpenAI à propos du superalignement dans un message publié le 5 juillet 2023 sur son site web. « Pour résoudre ce problème d'ici quatre ans, nous créons une nouvelle équipe, codirigée par Ilya Sutskever et Jan Leike, et nous consacrons à cet effort 20 % du calcul que nous avons obtenu à ce jour. »

Il s'ensuit qu'une partie du travail du duo consistait, selon OpenAI, à « s'assurer que les systèmes d'IA beaucoup plus intelligents que les humains suivent les intentions de ces derniers ».

Le fait qu'il n'existe pas encore de tels contrôles est un problème que l'OpenAI a reconnu, comme l'indique son message de juillet 2023.

« Actuellement, nous n'avons pas de solution pour diriger ou contrôler une IA potentiellement superintelligente et l'empêcher d'agir de manière déréglée. Nos techniques actuelles d'alignement de l'IA, telles que l'apprentissage par renforcement à partir de commentaires humains, reposent sur la capacité des humains à superviser l'IA », peut-on lire dans le billet d'OpenAI. « Mais les humains ne seront pas en mesure de superviser de manière fiable des systèmes d'IA beaucoup plus intelligents que nous, et nos techniques d'alignement actuelles ne pourront donc pas s'adapter à la superintelligence. Nous avons besoin de nouvelles percées scientifiques et techniques. »

Leike, qui a travaillé chez DeepMind de Google avant de rejoindre OpenAI, a de grandes ambitions pour « protéger les humains de la superintelligence que nous avons créée ». « C'est comme si nous avions ce problème difficile dont nous parlons depuis des années et des années, et que nous avions maintenant une réelle chance de le résoudre », a déclaré Leike dans un épisode d'août 2023 du podcast « 80 000 heures ».

Le feuilleton du licenciement de Sam Altman

La décision de licencier Altman a été prise soudainement en novembre de l'année dernière, lorsque OpenAI a annoncé que Murati avait été nommé PDG par intérim. Selon le Financial Times, Sutskever était l'un des employés qui s'étaient opposés à Altman à l'époque.

Le NYT explique pour sa part :

Certains membres du conseil d’administration d’OpenAI avaient trouvé en Altman un opérateur incroyablement glissant. Par exemple, plus tôt cet automne, il avait confronté un membre, Helen Toner, directrice du Centre pour la sécurité et les technologies émergentes de l'Université de Georgetown, pour avoir co-écrit un article qui apparemment critiquait OpenAI pour « attiser les flammes du battage médiatique sur l'IA ». Toner s'était défendue (même si elle s'est ensuite excusée auprès du conseil d'administration de ne pas avoir prévu comment le journal pourrait être perçu). Altman a commencé à contacter individuellement d'autres membres du conseil d'administration pour la remplacer. Lorsque ces membres ont comparé leurs notes sur les conversations, certains ont estimé qu’Altman les avait présentés à tort comme soutenant le retrait de Toner. « Il les montait les uns contre les autres en mentant sur ce que pensaient les autres », m’a dit la personne familière avec les discussions du conseil d’administration.

Dans un communiqué, la société a déclaré que son conseil d'administration avait mené un « processus d'examen délibératif » et affirmé qu'Altman n'avait pas été « constamment franc dans ses communications ». En conséquence, le conseil d'administration a déclaré qu'il n'avait plus confiance dans la capacité d'Altman à diriger OpenAI. « Nous sommes reconnaissants à Sam pour ses nombreuses contributions à la fondation et à la croissance de l'OpenAI », a déclaré l'OpenAI. « En même temps, nous pensons qu'un nouveau leadership est nécessaire pour aller de l'avant.

Le départ d'Altman est intervenu quelques jours seulement après qu'il a annoncé que la société avait suspendu les inscriptions à ChatGPT Plus en raison d'une « augmentation de l'utilisation ». Au début du mois, la société a déclaré qu'elle souffrait de pannes dues à un trafic anormal qui « reflétait » une attaque DDoS.

Brockman a également été démis de ses fonctions au sein du conseil d'administration de l'OpenAI, mais il a été autorisé à conserver son rôle de président. Il a quitté OpenAI en réaction à ces événements.

Le 20 novembre, le PDG de Microsoft, Satya Nadella, a déclaré qu'Altman et Brockman rejoignaient Microsoft pour diriger une nouvelle « équipe de recherche en IA avancée ». Le 22 novembre, Altman a été rétabli dans ses fonctions de PDG de l'OpenAI, avec un nouveau conseil d'administration composé de Larry Summers, Adam D'Angelo et Bret Taylor en tant que président.

Les rapports de l'époque suggèrent que les employés de la société, déconcertés par l'absence d'explication qui leur a été donnée au sujet du licenciement d'Altman, ont fait pression sur le conseil d'administration pour qu'il démissionne et rétablisse l'ancien PDG dans ce qu'ils estimaient être son poste légitime.

Ilya Sutskever a déclaré qu'il regrette profondément d'avoir participé à l'éviction de Sam Altman

« Je regrette profondément ma participation aux actions du conseil d'administration. Je n'ai jamais eu l'intention de nuire à OpenAI », a déclaré Sutskever dans un post X en novembre. « J'aime tout ce que nous avons construit ensemble et je ferai tout ce que je peux pour l'unité dans l'entreprise ».

Peu de temps après la déclaration du scientifique en chef, Altman a répondu à son message avec trois émojis en forme de cœur.

I deeply regret my participation in the board's actions. I never intended to harm OpenAI. I love everything we've built together and I will do everything I can to reunite the company.

— Ilya Sutskever (@ilyasut) November 20, 2023

OpenAI était en révolte ouverte lorsque plus de 700 employés ont signé une lettre ouverte menaçant de partir à moins que le conseil d'administration ne démissionne et ne réintègre Sam Altman au poste de PDG, aux côtés de son cofondateur et ancien président Greg Brockman.

« Le processus par lequel vous avez licencié Sam Altman et retiré Greg Brockman du conseil d'administration a mis en péril tout ce travail et sapé notre mission et notre entreprise », indique la lettre. « Votre conduite a clairement montré que vous n'aviez pas la compétence pour superviser OpenAI ».

Les signataires de la lettre incluaient Ilya Sutskever, qui a été accusé d’avoir coordonné le coup d’État contre Altman en premier lieu. Environ 95 % de l'entreprise a signé la lettre.

Quoiqu'il en soit, Sam Altman n'a pas manqué de lui laisser un message après l'annonce de son départ :

« Ilya et OpenAI vont se séparer. C'est très triste pour moi ; Ilya est facilement l'un des plus grands esprits de notre génération, un guide dans notre domaine et un ami très cher. Sa brillance et sa vision sont bien connues ; sa chaleur et sa compassion le sont moins, mais elles n'en sont pas moins importantes.

« OpenAI ne serait pas ce qu'elle est sans lui. Bien qu'il aille travailler sur quelque chose de personnellement significatif, je suis à jamais reconnaissant pour ce qu'il a fait ici et je m'engage à terminer la mission que nous avons commencée ensemble. Je suis heureux d'avoir pu côtoyer pendant si longtemps un génie aussi remarquable et quelqu'un d'aussi déterminé à assurer le meilleur avenir possible à l'humanité.

« Jakub sera notre nouveau scientifique en chef. Jakub est également l'un des plus grands esprits de notre génération ; je suis ravi qu'il prenne le relais. Il a dirigé un grand nombre de nos projets les plus importants et je suis convaincu qu'il nous permettra de progresser rapidement et en toute sécurité vers la réalisation de notre mission, qui consiste à faire en sorte que l'AGI profite à tout le monde ».

Source : OpenAI

Et vous ?

Quel impact pensez-vous que les démissions d’Ilya Sutskever et de Jan Leike auront sur l’avenir de la recherche en IA chez OpenAI ?
Comment l’alignement éthique de l’IA peut-il être maintenu lorsque des figures clés comme Jan Leike quittent une organisation ?
En quoi ces changements de leadership pourraient-ils affecter la confiance du public dans les systèmes d’IA ?
Quelles mesures OpenAI devrait-elle prendre pour assurer la continuité de ses projets d’IA sécurisée et alignée ?
Comment la communauté de l’IA peut-elle collaborer pour surmonter les défis posés par le départ de leaders influents ?

[Stéphane le calme]

Greg Brockman et Sam Altman répondent aux critiques de Jan Leike. Après avoir quitté son poste de chef de l'équipe de superalignement,
il a révélé qu'au cours des derniers mois « mon équipe a navigué à contre-courant »

Ilya Sutskever et Jan Leike, figures de proue de l’équipe de sécurité d’OpenAI, ont démissionné de leurs postes. Cette nouvelle intervient dans un contexte de préoccupations croissantes concernant la sécurité et l’alignement des systèmes d’intelligence artificielle (IA) super-intelligents. Sutskever, cofondateur et scientifique en chef, et Leike, qui dirigeait les travaux sur l’alignement, ont été des acteurs clés dans la mise en place de protocoles visant à prévenir les risques potentiels associés aux IA avancées. Leur départ soulève des questions sur l’avenir de la sécurité de l’IA chez OpenAI, surtout à un moment où l’entreprise est sous les feux de la rampe pour ses avancées technologiques.

C'est en juillet qu'OpenAI a mis sur pieds une division de recherche de « superalignement », conçue pour se préparer à l'essor de la superintelligence artificielle et s'assurer qu'elle ne se tourne pas contre les humains. Cette équipe s'est vue confier la tâche de maîtriser et à superviser l’IA. Elle est composée de « chercheurs et d’ingénieurs de haut niveau en apprentissage automatique », se concentrera sur l’avènement de la « superintelligence ».

La superintelligence sera la technologie la plus percutante que l'humanité ait jamais inventée et pourrait nous aider à résoudre bon nombre des problèmes les plus importants du monde. Mais le vaste pouvoir de la superintelligence pourrait également être très dangereux et pourrait conduire à la perte de pouvoir de l'humanité ou même à l'extinction humaine.

« Nous avons besoin de percées scientifiques et techniques pour diriger et contrôler des systèmes d'IA beaucoup plus intelligents que nous », a déclaré OpenAI à propos du superalignement dans un message publié le 5 juillet 2023 sur son site web. « Pour résoudre ce problème d'ici quatre ans, nous créons une nouvelle équipe, codirigée par Ilya Sutskever et Jan Leike, et nous consacrons à cet effort 20 % du calcul que nous avons obtenu à ce jour. »

Il s'ensuit qu'une partie du travail du duo consistait, selon OpenAI, à « s'assurer que les systèmes d'IA beaucoup plus intelligents que les humains suivent les intentions de ces derniers ».

Le fait qu'il n'existe pas encore de tels contrôles est un problème que l'OpenAI a reconnu, comme l'indique son message de juillet 2023.

« Actuellement, nous n'avons pas de solution pour diriger ou contrôler une IA potentiellement superintelligente et l'empêcher d'agir de manière déréglée. Nos techniques actuelles d'alignement de l'IA, telles que l'apprentissage par renforcement à partir de commentaires humains, reposent sur la capacité des humains à superviser l'IA », peut-on lire dans le billet d'OpenAI. « Mais les humains ne seront pas en mesure de superviser de manière fiable des systèmes d'IA beaucoup plus intelligents que nous, et nos techniques d'alignement actuelles ne pourront donc pas s'adapter à la superintelligence. Nous avons besoin de nouvelles percées scientifiques et techniques. »

Naturellement, de nombreuses personnes se sont inquiétées : pourquoi une telle équipe devrait-elle exister en premier lieu ? Récemment, un événement qui pourrait susciter d'autres interrogations s'est produit : les dirigeants de l'équipe, Ilya Sutskever et Jan Leike, viennent de quitter l'OpenAI.

Jan Leike : « Nous avons navigué à contre-courant au cours des derniers mois »

Sur X, Jan Leike a fait part des difficultés que son équipe a rencontrées :

« Se retirer de ce travail a été l'une des choses les plus difficiles que j'aie jamais faites, car il est urgent de trouver comment diriger et contrôler des systèmes d'intelligence artificielle beaucoup plus intelligents que nous.

« J'ai rejoint l'entreprise parce que je pensais qu'OpenAI serait le meilleur endroit au monde pour faire cette recherche. Cependant, j'ai été en désaccord avec la direction d'OpenAI sur les priorités fondamentales de l'entreprise pendant un certain temps, jusqu'à ce que nous ayons finalement atteint un point de rupture[...]. Au cours des derniers mois, mon équipe a navigué à contre-courant. Parfois, nous avions du mal à calculer et il devenait de plus en plus difficile de mener à bien cette recherche cruciale ».

Yesterday was my last day as head of alignment, superalignment lead, and executive @OpenAI.

— Jan Leike (@janleike) May 17, 2024

La réponse de Greg Brockman et Sam Altman

Sur X, il a assuré que la sécurité reste au cœur de l'action d'OpenAI :

We’re really grateful to Jan for everything he's done for OpenAI, and we know he'll continue to contribute to the mission from outside. In light of the questions his departure has raised, we wanted to explain a bit about how we think about our overall strategy.

First, we have… https://t.co/djlcqEiLLN

— Greg Brockman (@gdb) May 18, 2024

Sam Altman s'est voulu plus modeste dans sa réponse :

J'apprécie énormément les contributions de Jan Leike à la recherche sur l'alignement et à la culture de la sécurité d'OpenAI, et je suis très triste de le voir partir. il a raison, nous avons encore beaucoup à faire ; nous sommes déterminés à le faire. je publierai un billet plus long dans les deux prochains jours.

i'm super appreciative of @janleike's contributions to openai's alignment research and safety culture, and very sad to see him leave. he's right we have a lot more to do; we are committed to doing it. i'll have a longer post in the next couple of days.

🧡 https://t.co/t2yexKtQEk

— Sam Altman (@sama) May 17, 2024

Des démissions en cascade dans l'équipe chargée de la sécurité

La démission des dirigeants de l'équipe chargée du superalignement est la dernière d'une série de départs notables de l'entreprise, dont certains proviennent de l'équipe de Sutskever et Leike, axée sur la sécurité. En novembre 2023, Sutskever et le conseil d'administration d'OpenAI ont tenté en vain d'évincer le PDG Sam Altman. Six mois plus tard, plusieurs membres du personnel d'OpenAI ont quitté l'entreprise, soit parce qu'ils s'étaient exprimés ouvertement sur la sécurité de l'IA, soit parce qu'ils travaillaient au sein d'équipes clés chargées de la sécurité.

Sutskever a fini par s'excuser pour son, déclarant dans un post X en novembre : « Je regrette profondément ma participation aux actions du conseil d'administration. Je n'ai jamais eu l'intention de nuire à OpenAI ». Puis de continuer en disant : « J'aime tout ce que nous avons construit ensemble et je ferai tout ce que je peux pour l'unité dans l'entreprise ».

I deeply regret my participation in the board's actions. I never intended to harm OpenAI. I love everything we've built together and I will do everything I can to reunite the company.

— Ilya Sutskever (@ilyasut) November 20, 2023

Il a signé une lettre avec 738 employés d'OpenAI (sur un total de 770) demandant la réintégration d'Altman et du président Greg Brockman. Toutefois, selon une copie de la lettre obtenue par le New York Times avec 702 signatures, plusieurs membres du personnel qui ont maintenant démissionné n'ont pas signé la lettre de soutien à la direction d'OpenAI ou ont tardé à le faire.

Les noms de Jan Leike, Leopold Aschenbrenner et William Saunders, membres de l'équipe chargée du Superalignement, qui ont depuis quitté l'organisation, n'apparaissent pas aux côtés de plus de 700 autres membres du personnel d'OpenAI qui soutiennent Altman et Brockman dans la copie du Times.

Le chercheur en IA de renommée mondiale Andrej Karpathy et les anciens membres du personnel de l'OpenAI Daniel Kokotajlo et Cullen O'Keefe n'apparaissent pas non plus dans cette première version de la lettre et ont depuis quitté l'OpenAI. Il est possible que ces personnes aient signé la dernière version de la lettre pour signaler leur soutien, mais si c'est le cas, elles semblent avoir été les dernières à le faire.

Pourquoi l'équipe de sécurité d'OpenAI s'est méfiée de Sam Altman

Pour comprendre ce qui s'est passé, il faut remonter au mois de novembre dernier. C'est à ce moment-là que Sutskever, en collaboration avec le conseil d'administration d'OpenAI, a tenté de licencier Altman. Le conseil d'administration a déclaré qu'Altman n'était « pas toujours franc dans ses communications ». Traduction : Nous ne lui faisons pas confiance.

L'éviction a échoué de manière spectaculaire. Altman et son allié, le président de l'entreprise Greg Brockman, ont menacé d'emmener les meilleurs talents d'OpenAI chez Microsoft - détruisant ainsi OpenAI - à moins qu'Altman ne soit rétabli dans ses fonctions. Face à cette menace, le conseil d'administration a cédé. Altman est revenu plus puissant que jamais, avec de nouveaux membres du conseil d'administration plus solidaires et plus libres de diriger l'entreprise.

Lorsque vous tirez sur le roi et que vous le ratez, les choses ont tendance à devenir gênantes.

Publiquement, Sutskever et Altman ont donné l'impression de poursuivre leur amitié. Lorsque Sutskever a annoncé son départ il y a quelques jours, il a déclaré qu'il partait poursuivre « un projet qui me tient personnellement à cœur ». Deux minutes plus tard, Altman a posté un message sur X, déclarant : « Je suis très triste ; Ilya est [...] un ami très cher ».

Pourtant, Sutskever n'a pas été vu au bureau d'OpenAI depuis environ six mois - depuis la tentative de coup d'État. Il codirigeait à distance l'équipe « superalignement », chargée de veiller à ce qu'une future IAG soit alignée sur les objectifs de l'humanité au lieu d'être dévoyée. C'est une belle ambition, mais qui n'a rien à voir avec les activités quotidiennes de l'entreprise, qui s'est empressée de commercialiser des produits sous la direction d'Altman. Et puis il y a eu ce tweet, posté peu après la réintégration d'Altman et rapidement effacé :

Ainsi, malgré la camaraderie affichée, il y a des raisons d'être sceptique sur le fait que Sutskever et Altman étaient amis après que le premier ait tenté d'évincer le second.

La réaction d'Altman après son licenciement a révélé quelque chose sur son caractère : sa menace d'évider OpenAI à moins que le conseil d'administration ne le réengage, et son insistance à remplir le conseil d'administration avec de nouveaux membres biaisés en sa faveur, ont montré une détermination à conserver le pouvoir et à éviter les contrôles futurs. D'anciens collègues et employés l'ont décrit comme un manipulateur qui tient un double langage - quelqu'un qui prétend, par exemple, vouloir donner la priorité à la sécurité, mais qui le contredit dans son comportement.

Par exemple, Altman collectait des fonds auprès de régimes autocratiques tels que l'Arabie saoudite afin de pouvoir créer une nouvelle entreprise de fabrication de puces d'IA, ce qui lui permettrait de disposer d'une grande quantité de ressources convoitées nécessaires à la construction d'une IA de pointe. Les employés soucieux de la sécurité s'en sont alarmés. Si Altman se souciait vraiment de construire et de déployer l'IA de la manière la plus sûre possible, pourquoi semblait-il se lancer dans une course effrénée pour accumuler autant de puces que possible, ce qui ne ferait qu'accélérer la technologie ? D'ailleurs, pourquoi prenait-il le risque de travailler avec des régimes susceptibles d'utiliser l'IA pour renforcer la surveillance numérique ou les violations des droits de l'homme ?

Pour les employés, tout cela a conduit à une « perte progressive de la conviction que lorsqu'OpenAI dit qu'elle va faire quelque chose ou qu'elle dit qu'elle valorise quelque chose, c'est effectivement vrai ».

Quelques talents qui ont quitté OpenAI

Plus généralement, la sécurité à l'OpenAI a toujours été un sujet de discorde

C'est ce qui a poussé Dario et Daniela Amodei, en 2021, à créer leur propre entreprise d'IA, Anthropic, avec neuf autres anciens employés de l'OpenAI. Ce sont également les problèmes de sécurité qui auraient conduit les membres du conseil d'administration d'OpenAI à évincer Altman et Brockman. Ces membres du conseil ont été remplacés par des entrepreneurs tristement célèbres de la Silicon Valley.

OpenAI compte encore de nombreuses personnes travaillant sur la sécurité au sein de l'entreprise. Après tout, la mission déclarée de la startup est de créer en toute sécurité une IA qui profite à l'humanité ! Cela dit, voici la liste des défenseurs de la sécurité de l'IA qui ont quitté OpenAI depuis l'éviction d'Altman :

• Ilya Sutskever et Jan Leike : Les anciens responsables de l'équipe de Superalignement d'OpenAI ont démissionné le même jour, la veille OpenAI a publié son modèle GPT-4 Omni. L'objectif de cette équipe, décrit lors de son lancement en juillet 2023, était de développer des méthodes pour « diriger ou contrôler une IA potentiellement superintelligente, et l'empêcher de devenir rebelle ».
• Andrej Karpathy : Karpathy, membre fondateur d'OpenAI, a quitté l'entreprise pour la deuxième fois en février 2024. Il a déclaré à l'époque qu'il ne s'était « rien passé », bien que son départ intervienne environ un an après qu'il a quitté Tesla pour rejoindre OpenAI. Karpathy est largement considéré comme l'un des esprits les plus influents et les plus respectés dans le domaine de l'intelligence artificielle. Il a travaillé sous la direction de la « marraine de l'IA » Fei-Fei Li à Stanford, une autre militante convaincue de la sécurité de l'IA.
• L'ancien conseil d'administration de l'OpenAI : Helen Toner et Tasha McCauley ont été les premières victimes du retour au pouvoir de Sam Altman. Quand Altman est revenu, ces deux-là sont parties. À l'époque, Toner a déclaré que la décision de renvoyer Altman concernait « la capacité du conseil d'administration à superviser efficacement l'entreprise ». Toner a déclaré qu'elle poursuivrait son travail en se concentrant sur la politique d'intelligence artificielle, la sécurité et la sûreté. McCauley, quant à elle, en a dit encore moins à l'époque, bien qu'elle ait des liens avec le mouvement de l'altruisme efficace, qui prétend donner la priorité à la lutte contre les dangers de l'IA plutôt qu'aux profits à court terme.
• Leopold Aschenbrenner et Pavel Izmailov : Aschenbrennar était un allié connu de Sutskever et un membre de l'équipe de Superalignement. Il a été licencié en avril 2024 pour avoir prétendument divulgué des informations à des journalistes, selon The Information. Il a également des liens avec le mouvement de l'altruisme efficace. Izmailov est un autre membre du personnel licencié pour avoir divulgué des informations à des journalistes en avril 2024. Il travaillait dans l'équipe de raisonnement, mais a également passé du temps du côté de la sécurité.
• William Saunders : Selon Business Insider, Saunders, qui travaillait pour OpenAI au sein de l'équipe de Superalignement de Sutskever et Leike, a démissionné en février 2024. Les raisons exactes de sa démission ne sont pas claires.
• Daniel Kokotajlo : Kokotajlo a démissionné d'OpenAI en avril 2024, après avoir travaillé dans l'équipe de gouvernance de l'entreprise. Sur la page Less Wrong de Kokotajlo, il écrit qu'il « a quitté OpenAI parce qu'il n'avait plus confiance dans le fait qu'elle se comporterait de manière responsable à l'époque de l'AGI ».
• Cullen O’Keefe : O'Keefe semble avoir démissionné d'OpenAI en avril 2024 après plus de quatre ans au sein de l'équipe de gouvernance de l'entreprise, selon son LinkedIn. O'Keefe publie fréquemment des blogs sur la sécurité de l'IA et déclare dans un billet qu'il continue à rechercher « une AGI sûre et bénéfique, mais maintenant dans un rôle indépendant. »

Sources : Sam Altman, Greg Brockman, Daniel Kokotajlo

Et vous ?

Quelles mesures concrètes les entreprises d’IA devraient-elles prendre pour garantir la sécurité et l’alignement éthique de leurs technologies ?
Comment les départs de figures clés influencent-ils votre perception de la sécurité au sein des entreprises d’IA comme OpenAI ?
Dans quelle mesure la communauté internationale devrait-elle intervenir dans la régulation de l’IA pour prévenir les risques potentiels ?
Quel rôle les chercheurs et les développeurs d’IA ont-ils dans la communication transparente des défis liés à la sécurité de l’IA ?
Comment les utilisateurs finaux peuvent-ils contribuer à façonner un avenir où l’IA est à la fois puissante et sûre ?