IdentifiantMot de passe
Loading...
Mot de passe oublié ?Je m'inscris ! (gratuit)
Navigation

Inscrivez-vous gratuitement
pour pouvoir participer, suivre les réponses en temps réel, voter pour les messages, poser vos propres questions et recevoir la newsletter

Intelligence artificielle Discussion :

Exode chez OpenAI : près de la moitié du personnel chargé de la sécurité de l'AGI a quitté l'entreprise


Sujet :

Intelligence artificielle

  1. #1
    Communiqués de presse

    Femme Profil pro
    Traductrice Technique
    Inscrit en
    Juin 2023
    Messages
    1 553
    Détails du profil
    Informations personnelles :
    Sexe : Femme
    Localisation : France

    Informations professionnelles :
    Activité : Traductrice Technique

    Informations forums :
    Inscription : Juin 2023
    Messages : 1 553
    Points : 108 623
    Points
    108 623
    Par défaut Exode chez OpenAI : près de la moitié du personnel chargé de la sécurité de l'AGI a quitté l'entreprise
    Le cofondateur d'OpenAI, Ilya Sutskever, annonce son départ de la société créatrice de ChatGPT et déclare : "Je suis convaincu qu'OpenAI construira une AGI à la fois sûre et bénéfique."

    Le cofondateur d'OpenAI, Ilya Sutskever, annonce son départ de la société créatrice de ChatGPT.

    Le cofondateur d'OpenAI, Ilya Sutskever, l'un des premiers créateurs de la technologie d'intelligence artificielle à l'origine de ChatGPT, a annoncé qu'il quittait l'entreprise après une dizaine d'années. M. Sutskever était l'un des quatre membres du conseil d'administration qui, à l'automne dernier, ont voté en faveur de l'éviction du PDG Sam Altman, avant de le réintégrer rapidement. C'est M. Sutskever, scientifique en chef d'OpenAI, qui a annoncé à M. Altman, en novembre dernier, qu'il était licencié.

    M. Sutskever a annoncé sa décision sur le site de médias sociaux X. Il a indiqué qu'il travaillait sur un nouveau projet qui lui tient personnellement à cœur, mais il n'a pas donné d'autres détails.

    Après presque une décennie, j'ai pris la décision de quitter OpenAI. La trajectoire de l'entreprise a été tout simplement miraculeuse, et je suis convaincu qu'OpenAI construira une AGI à la fois sûre et bénéfique sous la direction de @sama, @gdb, @miramurati et maintenant, sous l'excellente direction de recherche de
    @merettm. Ce fut un honneur et un privilège de travailler ensemble, et tout le monde me manquera beaucoup. À bientôt, et merci pour tout. Je suis enthousiaste pour la suite - un projet qui me tient personnellement à cœur et dont je partagerai les détails en temps voulu.
    M. Altman, quant à lui, a écrit que cette séparation était "très triste" et a qualifié M. Sutskever de "l'un des plus grands esprits de notre génération, d'un guide dans notre domaine et d'un ami très cher".

    M. Sutskever sera remplacé par Jakub Pachocki en tant que scientifique en chef de la société OpenAI, basée à San Francisco. M. Altman a qualifié M. Pachocki de "l'un des plus grands esprits de notre génération" et s'est dit "très confiant dans sa capacité à nous faire progresser rapidement et en toute sécurité vers notre mission, qui est de faire en sorte que l'AGI profite à tout le monde".

    Abréviation d'intelligence artificielle générale, l'AGI est une vision futuriste de machines aussi intelligentes que les humains ou, du moins, capables de faire beaucoup de choses aussi bien qu'eux. Récemment, OpenAI a présenté une mise à jour de son modèle d'IA qui, selon elle, peut raisonner sur du texte, de l'audio et de la vidéo en temps réel. L'Associated Press et OpenAI ont conclu un accord de licence et de technologie qui permet à OpenAI d'accéder à une partie des archives textuelles de l'Associated Press.


    Et vous ?

    Quel est votre avis sur cette annonce ?

    Voir aussi :

    Ilya Sutskever, cofondateur et scientifique en chef d'OpenAI, déclare qu'il regrette profondément d'avoir participé à l'éviction de Sam Altman et signe la lettre demandant son retour

    Nous avons désormais plus de détails sur ce qui s'est passé à OpenAI et qui a conduit au licenciement de Sam Altman. Ce dernier a été accusé de monter les membres du conseil les uns contre les autres

    Le PDG d'OpenAI, Sam Altman, affirme que l'IA de niveau humain est imminente, mais qu'elle ne changera pas le monde autant que nous le pensons et que les craintes autour de l'AGI sont exagérées

  2. #2
    Chroniqueur Actualités

    Homme Profil pro
    Administrateur de base de données
    Inscrit en
    Mars 2013
    Messages
    8 913
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : Canada

    Informations professionnelles :
    Activité : Administrateur de base de données

    Informations forums :
    Inscription : Mars 2013
    Messages : 8 913
    Points : 206 597
    Points
    206 597
    Par défaut OpenAI a vu démissionner trois des cadres engagés dans le développement d'une IA sûre et centrée sur l'humain
    OpenAI a vu démissionner trois des cadres chargés de s'assurer que les humains sont à l'abri de la superintelligence.
    Ilya Sutskever, cofondateur d'OpenAI, a tenté de faire éjecter Sam Altman l'année dernière

    La semaine même où OpenAI a attiré l'attention du monde entier pour la publication de son dernier modèle d'IA, des dirigeants de premier plan, Ilya Sutskever (cofondateur et scientifique en chef d'OpenAI) et Jan Leike (qui a codirigé le groupe « superalignement » d'OpenAI, une équipe qui s'efforce d'aligner ses systèmes d'intelligence artificielle sur les intérêts humains), ont annoncé qu'ils quittaient l'entreprise. Si l'on ajoute à cela le départ d'Andrej Karpathy en février, il semble que les personnes les plus engagées dans le développement d'une IA sûre et centrée sur l'humain aient quitté l'entreprise.

    Deux employés chevronnés d'OpenAI, Ilya Sutskever et Jan Leike, ont annoncé leur démission. Cette décision intervient six mois après une tentative infructueuse d'éviction du PDG Sam Altman de la société d'intelligence artificielle.

    Sutskever, qui a cofondé la start-up de San Francisco et y travaille depuis près de dix ans, a indiqué qu'il quittait son rôle de scientifique en chef dans un message publié sur X. Qualifiant la croissance d'OpenAI de « tout simplement miraculeuse », Sutskever s'est dit convaincu que l'entreprise construira une IA « à la fois sûre et bénéfique » sous la direction d'Altman, du président et cofondateur Greg Brockman et de la directrice de la technologie Mira Murati.

    Il a également félicité Jakub Pachocki pour l'avoir remplacé en tant que scientifique en chef d'OpenAI.

    « Ce fut un honneur et un privilège de travailler ensemble, et tout le monde me manquera énormément. À bientôt, et merci pour tout », a écrit Sutskever. « Je suis enthousiaste pour la suite - un projet qui me tient personnellement à cœur et dont je partagerai les détails en temps voulu ».

    Leike, qui a codirigé le groupe dit de superalignement à OpenAI, a été moins loquace au sujet de sa démission, faisant l'annonce sur X simplement avec les mots « J'ai démissionné ».

    Leike et Sutskever dirigeaient l'équipe de superalignement d'OpenAI, qui a connu un certain nombre de départs au cours des derniers mois

    C'est en juillet qu'OpenAI a mis sur pieds une division de recherche « d'alignement », conçue pour se préparer à l'essor de la superintelligence artificielle et s'assurer qu'elle ne se tourne pas contre les humains. Cette équipe s'est vue confier la tâche de maitriser et à superviser l’IA. Elle est composée de « chercheurs et d’ingénieurs de haut niveau en apprentissage automatique », se concentrera sur l’avènement de la « superintelligence ».

    Il s’agit d’une intelligence artificielle, encore au stade hypothétique, capable de surpasser l’esprit humain, explique OpenAI. Cette technologie pourrait aider l’humanité « à résoudre bon nombre des problèmes les plus importants du monde ».

    Citation Envoyé par OpenAI
    La superintelligence sera la technologie la plus percutante que l'humanité ait jamais inventée et pourrait nous aider à résoudre bon nombre des problèmes les plus importants du monde. Mais le vaste pouvoir de la superintelligence pourrait également être très dangereux et pourrait conduire à la perte de pouvoir de l'humanité ou même à l'extinction humaine.
    « Nous avons besoin de percées scientifiques et techniques pour diriger et contrôler des systèmes d'IA beaucoup plus intelligents que nous », a déclaré OpenAI à propos du superalignement dans un message publié le 5 juillet 2023 sur son site web. « Pour résoudre ce problème d'ici quatre ans, nous créons une nouvelle équipe, codirigée par Ilya Sutskever et Jan Leike, et nous consacrons à cet effort 20 % du calcul que nous avons obtenu à ce jour. »

    Il s'ensuit qu'une partie du travail du duo consistait, selon OpenAI, à « s'assurer que les systèmes d'IA beaucoup plus intelligents que les humains suivent les intentions de ces derniers ».

    Le fait qu'il n'existe pas encore de tels contrôles est un problème que l'OpenAI a reconnu, comme l'indique son message de juillet 2023.

    « Actuellement, nous n'avons pas de solution pour diriger ou contrôler une IA potentiellement superintelligente et l'empêcher d'agir de manière déréglée. Nos techniques actuelles d'alignement de l'IA, telles que l'apprentissage par renforcement à partir de commentaires humains, reposent sur la capacité des humains à superviser l'IA », peut-on lire dans le billet d'OpenAI. « Mais les humains ne seront pas en mesure de superviser de manière fiable des systèmes d'IA beaucoup plus intelligents que nous, et nos techniques d'alignement actuelles ne pourront donc pas s'adapter à la superintelligence. Nous avons besoin de nouvelles percées scientifiques et techniques. »

    Leike, qui a travaillé chez DeepMind de Google avant de rejoindre OpenAI, a de grandes ambitions pour « protéger les humains de la superintelligence que nous avons créée ». « C'est comme si nous avions ce problème difficile dont nous parlons depuis des années et des années, et que nous avions maintenant une réelle chance de le résoudre », a déclaré Leike dans un épisode d'août 2023 du podcast « 80 000 heures ».


    Le feuilleton du licenciement de Sam Altman

    La décision de licencier Altman a été prise soudainement en novembre de l'année dernière, lorsque OpenAI a annoncé que Murati avait été nommé PDG par intérim. Selon le Financial Times, Sutskever était l'un des employés qui s'étaient opposés à Altman à l'époque.

    Le NYT explique pour sa part :

    Certains membres du conseil d’administration d’OpenAI avaient trouvé en Altman un opérateur incroyablement glissant. Par exemple, plus tôt cet automne, il avait confronté un membre, Helen Toner, directrice du Centre pour la sécurité et les technologies émergentes de l'Université de Georgetown, pour avoir co-écrit un article qui apparemment critiquait OpenAI pour « attiser les flammes du battage médiatique sur l'IA ». Toner s'était défendue (même si elle s'est ensuite excusée auprès du conseil d'administration de ne pas avoir prévu comment le journal pourrait être perçu). Altman a commencé à contacter individuellement d'autres membres du conseil d'administration pour la remplacer. Lorsque ces membres ont comparé leurs notes sur les conversations, certains ont estimé qu’Altman les avait présentés à tort comme soutenant le retrait de Toner. « Il les montait les uns contre les autres en mentant sur ce que pensaient les autres », m’a dit la personne familière avec les discussions du conseil d’administration.
    Dans un communiqué, la société a déclaré que son conseil d'administration avait mené un « processus d'examen délibératif » et affirmé qu'Altman n'avait pas été « constamment franc dans ses communications ». En conséquence, le conseil d'administration a déclaré qu'il n'avait plus confiance dans la capacité d'Altman à diriger OpenAI. « Nous sommes reconnaissants à Sam pour ses nombreuses contributions à la fondation et à la croissance de l'OpenAI », a déclaré l'OpenAI. « En même temps, nous pensons qu'un nouveau leadership est nécessaire pour aller de l'avant.

    Le départ d'Altman est intervenu quelques jours seulement après qu'il a annoncé que la société avait suspendu les inscriptions à ChatGPT Plus en raison d'une « augmentation de l'utilisation ». Au début du mois, la société a déclaré qu'elle souffrait de pannes dues à un trafic anormal qui « reflétait » une attaque DDoS.

    Brockman a également été démis de ses fonctions au sein du conseil d'administration de l'OpenAI, mais il a été autorisé à conserver son rôle de président. Il a quitté OpenAI en réaction à ces événements.

    Le 20 novembre, le PDG de Microsoft, Satya Nadella, a déclaré qu'Altman et Brockman rejoignaient Microsoft pour diriger une nouvelle « équipe de recherche en IA avancée ». Le 22 novembre, Altman a été rétabli dans ses fonctions de PDG de l'OpenAI, avec un nouveau conseil d'administration composé de Larry Summers, Adam D'Angelo et Bret Taylor en tant que président.

    Les rapports de l'époque suggèrent que les employés de la société, déconcertés par l'absence d'explication qui leur a été donnée au sujet du licenciement d'Altman, ont fait pression sur le conseil d'administration pour qu'il démissionne et rétablisse l'ancien PDG dans ce qu'ils estimaient être son poste légitime.


    Ilya Sutskever a déclaré qu'il regrette profondément d'avoir participé à l'éviction de Sam Altman

    « Je regrette profondément ma participation aux actions du conseil d'administration. Je n'ai jamais eu l'intention de nuire à OpenAI », a déclaré Sutskever dans un post X en novembre. « J'aime tout ce que nous avons construit ensemble et je ferai tout ce que je peux pour l'unité dans l'entreprise ».

    Peu de temps après la déclaration du scientifique en chef, Altman a répondu à son message avec trois émojis en forme de cœur.

    OpenAI était en révolte ouverte lorsque plus de 700 employés ont signé une lettre ouverte menaçant de partir à moins que le conseil d'administration ne démissionne et ne réintègre Sam Altman au poste de PDG, aux côtés de son cofondateur et ancien président Greg Brockman.

    « Le processus par lequel vous avez licencié Sam Altman et retiré Greg Brockman du conseil d'administration a mis en péril tout ce travail et sapé notre mission et notre entreprise », indique la lettre. « Votre conduite a clairement montré que vous n'aviez pas la compétence pour superviser OpenAI ».

    Les signataires de la lettre incluaient Ilya Sutskever, qui a été accusé d’avoir coordonné le coup d’État contre Altman en premier lieu. Environ 95 % de l'entreprise a signé la lettre.

    Nom : openai.png
Affichages : 1904
Taille : 194,7 Ko

    Quoiqu'il en soit, Sam Altman n'a pas manqué de lui laisser un message après l'annonce de son départ :

    « Ilya et OpenAI vont se séparer. C'est très triste pour moi ; Ilya est facilement l'un des plus grands esprits de notre génération, un guide dans notre domaine et un ami très cher. Sa brillance et sa vision sont bien connues ; sa chaleur et sa compassion le sont moins, mais elles n'en sont pas moins importantes.

    « OpenAI ne serait pas ce qu'elle est sans lui. Bien qu'il aille travailler sur quelque chose de personnellement significatif, je suis à jamais reconnaissant pour ce qu'il a fait ici et je m'engage à terminer la mission que nous avons commencée ensemble. Je suis heureux d'avoir pu côtoyer pendant si longtemps un génie aussi remarquable et quelqu'un d'aussi déterminé à assurer le meilleur avenir possible à l'humanité.

    « Jakub sera notre nouveau scientifique en chef. Jakub est également l'un des plus grands esprits de notre génération ; je suis ravi qu'il prenne le relais. Il a dirigé un grand nombre de nos projets les plus importants et je suis convaincu qu'il nous permettra de progresser rapidement et en toute sécurité vers la réalisation de notre mission, qui consiste à faire en sorte que l'AGI profite à tout le monde ».

    Source : OpenAI

    Et vous ?

    Quel impact pensez-vous que les démissions d’Ilya Sutskever et de Jan Leike auront sur l’avenir de la recherche en IA chez OpenAI ?
    Comment l’alignement éthique de l’IA peut-il être maintenu lorsque des figures clés comme Jan Leike quittent une organisation ?
    En quoi ces changements de leadership pourraient-ils affecter la confiance du public dans les systèmes d’IA ?
    Quelles mesures OpenAI devrait-elle prendre pour assurer la continuité de ses projets d’IA sécurisée et alignée ?
    Comment la communauté de l’IA peut-elle collaborer pour surmonter les défis posés par le départ de leaders influents ?

  3. #3
    Chroniqueur Actualités

    Homme Profil pro
    Administrateur de base de données
    Inscrit en
    Mars 2013
    Messages
    8 913
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : Canada

    Informations professionnelles :
    Activité : Administrateur de base de données

    Informations forums :
    Inscription : Mars 2013
    Messages : 8 913
    Points : 206 597
    Points
    206 597
    Par défaut La sécurité de l’IA au cœur des préoccupations : la direction d’OpenAI aux critiques de Jan Leike
    Greg Brockman et Sam Altman répondent aux critiques de Jan Leike. Après avoir quitté son poste de chef de l'équipe de superalignement,
    il a révélé qu'au cours des derniers mois « mon équipe a navigué à contre-courant »

    Ilya Sutskever et Jan Leike, figures de proue de l’équipe de sécurité d’OpenAI, ont démissionné de leurs postes. Cette nouvelle intervient dans un contexte de préoccupations croissantes concernant la sécurité et l’alignement des systèmes d’intelligence artificielle (IA) super-intelligents. Sutskever, cofondateur et scientifique en chef, et Leike, qui dirigeait les travaux sur l’alignement, ont été des acteurs clés dans la mise en place de protocoles visant à prévenir les risques potentiels associés aux IA avancées. Leur départ soulève des questions sur l’avenir de la sécurité de l’IA chez OpenAI, surtout à un moment où l’entreprise est sous les feux de la rampe pour ses avancées technologiques.

    C'est en juillet qu'OpenAI a mis sur pieds une division de recherche de « superalignement », conçue pour se préparer à l'essor de la superintelligence artificielle et s'assurer qu'elle ne se tourne pas contre les humains. Cette équipe s'est vue confier la tâche de maîtriser et à superviser l’IA. Elle est composée de « chercheurs et d’ingénieurs de haut niveau en apprentissage automatique », se concentrera sur l’avènement de la « superintelligence ».

    Citation Envoyé par OpenAI
    La superintelligence sera la technologie la plus percutante que l'humanité ait jamais inventée et pourrait nous aider à résoudre bon nombre des problèmes les plus importants du monde. Mais le vaste pouvoir de la superintelligence pourrait également être très dangereux et pourrait conduire à la perte de pouvoir de l'humanité ou même à l'extinction humaine.
    « Nous avons besoin de percées scientifiques et techniques pour diriger et contrôler des systèmes d'IA beaucoup plus intelligents que nous », a déclaré OpenAI à propos du superalignement dans un message publié le 5 juillet 2023 sur son site web. « Pour résoudre ce problème d'ici quatre ans, nous créons une nouvelle équipe, codirigée par Ilya Sutskever et Jan Leike, et nous consacrons à cet effort 20 % du calcul que nous avons obtenu à ce jour. »

    Il s'ensuit qu'une partie du travail du duo consistait, selon OpenAI, à « s'assurer que les systèmes d'IA beaucoup plus intelligents que les humains suivent les intentions de ces derniers ».

    Le fait qu'il n'existe pas encore de tels contrôles est un problème que l'OpenAI a reconnu, comme l'indique son message de juillet 2023.

    « Actuellement, nous n'avons pas de solution pour diriger ou contrôler une IA potentiellement superintelligente et l'empêcher d'agir de manière déréglée. Nos techniques actuelles d'alignement de l'IA, telles que l'apprentissage par renforcement à partir de commentaires humains, reposent sur la capacité des humains à superviser l'IA », peut-on lire dans le billet d'OpenAI. « Mais les humains ne seront pas en mesure de superviser de manière fiable des systèmes d'IA beaucoup plus intelligents que nous, et nos techniques d'alignement actuelles ne pourront donc pas s'adapter à la superintelligence. Nous avons besoin de nouvelles percées scientifiques et techniques. »

    Naturellement, de nombreuses personnes se sont inquiétées : pourquoi une telle équipe devrait-elle exister en premier lieu ? Récemment, un événement qui pourrait susciter d'autres interrogations s'est produit : les dirigeants de l'équipe, Ilya Sutskever et Jan Leike, viennent de quitter l'OpenAI.


    Jan Leike : « Nous avons navigué à contre-courant au cours des derniers mois »

    Sur X, Jan Leike a fait part des difficultés que son équipe a rencontrées :

    « Se retirer de ce travail a été l'une des choses les plus difficiles que j'aie jamais faites, car il est urgent de trouver comment diriger et contrôler des systèmes d'intelligence artificielle beaucoup plus intelligents que nous.

    « J'ai rejoint l'entreprise parce que je pensais qu'OpenAI serait le meilleur endroit au monde pour faire cette recherche. Cependant, j'ai été en désaccord avec la direction d'OpenAI sur les priorités fondamentales de l'entreprise pendant un certain temps, jusqu'à ce que nous ayons finalement atteint un point de rupture[...]. Au cours des derniers mois, mon équipe a navigué à contre-courant. Parfois, nous avions du mal à calculer et il devenait de plus en plus difficile de mener à bien cette recherche cruciale ».

    La réponse de Greg Brockman et Sam Altman

    Sur X, il a assuré que la sécurité reste au cœur de l'action d'OpenAI :

    Sam Altman s'est voulu plus modeste dans sa réponse :

    J'apprécie énormément les contributions de Jan Leike à la recherche sur l'alignement et à la culture de la sécurité d'OpenAI, et je suis très triste de le voir partir. il a raison, nous avons encore beaucoup à faire ; nous sommes déterminés à le faire. je publierai un billet plus long dans les deux prochains jours.
    Des démissions en cascade dans l'équipe chargée de la sécurité

    La démission des dirigeants de l'équipe chargée du superalignement est la dernière d'une série de départs notables de l'entreprise, dont certains proviennent de l'équipe de Sutskever et Leike, axée sur la sécurité. En novembre 2023, Sutskever et le conseil d'administration d'OpenAI ont tenté en vain d'évincer le PDG Sam Altman. Six mois plus tard, plusieurs membres du personnel d'OpenAI ont quitté l'entreprise, soit parce qu'ils s'étaient exprimés ouvertement sur la sécurité de l'IA, soit parce qu'ils travaillaient au sein d'équipes clés chargées de la sécurité.

    Sutskever a fini par s'excuser pour son, déclarant dans un post X en novembre : « Je regrette profondément ma participation aux actions du conseil d'administration. Je n'ai jamais eu l'intention de nuire à OpenAI ». Puis de continuer en disant : « J'aime tout ce que nous avons construit ensemble et je ferai tout ce que je peux pour l'unité dans l'entreprise ».

    Il a signé une lettre avec 738 employés d'OpenAI (sur un total de 770) demandant la réintégration d'Altman et du président Greg Brockman. Toutefois, selon une copie de la lettre obtenue par le New York Times avec 702 signatures, plusieurs membres du personnel qui ont maintenant démissionné n'ont pas signé la lettre de soutien à la direction d'OpenAI ou ont tardé à le faire.

    Les noms de Jan Leike, Leopold Aschenbrenner et William Saunders, membres de l'équipe chargée du Superalignement, qui ont depuis quitté l'organisation, n'apparaissent pas aux côtés de plus de 700 autres membres du personnel d'OpenAI qui soutiennent Altman et Brockman dans la copie du Times.

    Le chercheur en IA de renommée mondiale Andrej Karpathy et les anciens membres du personnel de l'OpenAI Daniel Kokotajlo et Cullen O'Keefe n'apparaissent pas non plus dans cette première version de la lettre et ont depuis quitté l'OpenAI. Il est possible que ces personnes aient signé la dernière version de la lettre pour signaler leur soutien, mais si c'est le cas, elles semblent avoir été les dernières à le faire.

    Pourquoi l'équipe de sécurité d'OpenAI s'est méfiée de Sam Altman

    Pour comprendre ce qui s'est passé, il faut remonter au mois de novembre dernier. C'est à ce moment-là que Sutskever, en collaboration avec le conseil d'administration d'OpenAI, a tenté de licencier Altman. Le conseil d'administration a déclaré qu'Altman n'était « pas toujours franc dans ses communications ». Traduction : Nous ne lui faisons pas confiance.

    L'éviction a échoué de manière spectaculaire. Altman et son allié, le président de l'entreprise Greg Brockman, ont menacé d'emmener les meilleurs talents d'OpenAI chez Microsoft - détruisant ainsi OpenAI - à moins qu'Altman ne soit rétabli dans ses fonctions. Face à cette menace, le conseil d'administration a cédé. Altman est revenu plus puissant que jamais, avec de nouveaux membres du conseil d'administration plus solidaires et plus libres de diriger l'entreprise.

    Lorsque vous tirez sur le roi et que vous le ratez, les choses ont tendance à devenir gênantes.

    Publiquement, Sutskever et Altman ont donné l'impression de poursuivre leur amitié. Lorsque Sutskever a annoncé son départ il y a quelques jours, il a déclaré qu'il partait poursuivre « un projet qui me tient personnellement à cœur ». Deux minutes plus tard, Altman a posté un message sur X, déclarant : « Je suis très triste ; Ilya est [...] un ami très cher ».

    Pourtant, Sutskever n'a pas été vu au bureau d'OpenAI depuis environ six mois - depuis la tentative de coup d'État. Il codirigeait à distance l'équipe « superalignement », chargée de veiller à ce qu'une future IAG soit alignée sur les objectifs de l'humanité au lieu d'être dévoyée. C'est une belle ambition, mais qui n'a rien à voir avec les activités quotidiennes de l'entreprise, qui s'est empressée de commercialiser des produits sous la direction d'Altman. Et puis il y a eu ce tweet, posté peu après la réintégration d'Altman et rapidement effacé :

    Nom : Ilya.png
Affichages : 5165
Taille : 113,9 Ko

    Ainsi, malgré la camaraderie affichée, il y a des raisons d'être sceptique sur le fait que Sutskever et Altman étaient amis après que le premier ait tenté d'évincer le second.

    La réaction d'Altman après son licenciement a révélé quelque chose sur son caractère : sa menace d'évider OpenAI à moins que le conseil d'administration ne le réengage, et son insistance à remplir le conseil d'administration avec de nouveaux membres biaisés en sa faveur, ont montré une détermination à conserver le pouvoir et à éviter les contrôles futurs. D'anciens collègues et employés l'ont décrit comme un manipulateur qui tient un double langage - quelqu'un qui prétend, par exemple, vouloir donner la priorité à la sécurité, mais qui le contredit dans son comportement.

    Par exemple, Altman collectait des fonds auprès de régimes autocratiques tels que l'Arabie saoudite afin de pouvoir créer une nouvelle entreprise de fabrication de puces d'IA, ce qui lui permettrait de disposer d'une grande quantité de ressources convoitées nécessaires à la construction d'une IA de pointe. Les employés soucieux de la sécurité s'en sont alarmés. Si Altman se souciait vraiment de construire et de déployer l'IA de la manière la plus sûre possible, pourquoi semblait-il se lancer dans une course effrénée pour accumuler autant de puces que possible, ce qui ne ferait qu'accélérer la technologie ? D'ailleurs, pourquoi prenait-il le risque de travailler avec des régimes susceptibles d'utiliser l'IA pour renforcer la surveillance numérique ou les violations des droits de l'homme ?

    Pour les employés, tout cela a conduit à une « perte progressive de la conviction que lorsqu'OpenAI dit qu'elle va faire quelque chose ou qu'elle dit qu'elle valorise quelque chose, c'est effectivement vrai ».

    Quelques talents qui ont quitté OpenAI

    Plus généralement, la sécurité à l'OpenAI a toujours été un sujet de discorde

    C'est ce qui a poussé Dario et Daniela Amodei, en 2021, à créer leur propre entreprise d'IA, Anthropic, avec neuf autres anciens employés de l'OpenAI. Ce sont également les problèmes de sécurité qui auraient conduit les membres du conseil d'administration d'OpenAI à évincer Altman et Brockman. Ces membres du conseil ont été remplacés par des entrepreneurs tristement célèbres de la Silicon Valley.

    OpenAI compte encore de nombreuses personnes travaillant sur la sécurité au sein de l'entreprise. Après tout, la mission déclarée de la startup est de créer en toute sécurité une IA qui profite à l'humanité ! Cela dit, voici la liste des défenseurs de la sécurité de l'IA qui ont quitté OpenAI depuis l'éviction d'Altman :
    • Ilya Sutskever et Jan Leike : Les anciens responsables de l'équipe de Superalignement d'OpenAI ont démissionné le même jour, la veille OpenAI a publié son modèle GPT-4 Omni. L'objectif de cette équipe, décrit lors de son lancement en juillet 2023, était de développer des méthodes pour « diriger ou contrôler une IA potentiellement superintelligente, et l'empêcher de devenir rebelle ».
    • Andrej Karpathy : Karpathy, membre fondateur d'OpenAI, a quitté l'entreprise pour la deuxième fois en février 2024. Il a déclaré à l'époque qu'il ne s'était « rien passé », bien que son départ intervienne environ un an après qu'il a quitté Tesla pour rejoindre OpenAI. Karpathy est largement considéré comme l'un des esprits les plus influents et les plus respectés dans le domaine de l'intelligence artificielle. Il a travaillé sous la direction de la « marraine de l'IA » Fei-Fei Li à Stanford, une autre militante convaincue de la sécurité de l'IA.
    • L'ancien conseil d'administration de l'OpenAI : Helen Toner et Tasha McCauley ont été les premières victimes du retour au pouvoir de Sam Altman. Quand Altman est revenu, ces deux-là sont parties. À l'époque, Toner a déclaré que la décision de renvoyer Altman concernait « la capacité du conseil d'administration à superviser efficacement l'entreprise ». Toner a déclaré qu'elle poursuivrait son travail en se concentrant sur la politique d'intelligence artificielle, la sécurité et la sûreté. McCauley, quant à elle, en a dit encore moins à l'époque, bien qu'elle ait des liens avec le mouvement de l'altruisme efficace, qui prétend donner la priorité à la lutte contre les dangers de l'IA plutôt qu'aux profits à court terme.
    • Leopold Aschenbrenner et Pavel Izmailov : Aschenbrennar était un allié connu de Sutskever et un membre de l'équipe de Superalignement. Il a été licencié en avril 2024 pour avoir prétendument divulgué des informations à des journalistes, selon The Information. Il a également des liens avec le mouvement de l'altruisme efficace. Izmailov est un autre membre du personnel licencié pour avoir divulgué des informations à des journalistes en avril 2024. Il travaillait dans l'équipe de raisonnement, mais a également passé du temps du côté de la sécurité.
    • William Saunders : Selon Business Insider, Saunders, qui travaillait pour OpenAI au sein de l'équipe de Superalignement de Sutskever et Leike, a démissionné en février 2024. Les raisons exactes de sa démission ne sont pas claires.
    • Daniel Kokotajlo : Kokotajlo a démissionné d'OpenAI en avril 2024, après avoir travaillé dans l'équipe de gouvernance de l'entreprise. Sur la page Less Wrong de Kokotajlo, il écrit qu'il « a quitté OpenAI parce qu'il n'avait plus confiance dans le fait qu'elle se comporterait de manière responsable à l'époque de l'AGI ».
    • Cullen O’Keefe : O'Keefe semble avoir démissionné d'OpenAI en avril 2024 après plus de quatre ans au sein de l'équipe de gouvernance de l'entreprise, selon son LinkedIn. O'Keefe publie fréquemment des blogs sur la sécurité de l'IA et déclare dans un billet qu'il continue à rechercher « une AGI sûre et bénéfique, mais maintenant dans un rôle indépendant. »

    Sources : Sam Altman, Greg Brockman, Daniel Kokotajlo

    Et vous ?

    Quelles mesures concrètes les entreprises d’IA devraient-elles prendre pour garantir la sécurité et l’alignement éthique de leurs technologies ?
    Comment les départs de figures clés influencent-ils votre perception de la sécurité au sein des entreprises d’IA comme OpenAI ?
    Dans quelle mesure la communauté internationale devrait-elle intervenir dans la régulation de l’IA pour prévenir les risques potentiels ?
    Quel rôle les chercheurs et les développeurs d’IA ont-ils dans la communication transparente des défis liés à la sécurité de l’IA ?
    Comment les utilisateurs finaux peuvent-ils contribuer à façonner un avenir où l’IA est à la fois puissante et sûre ?

  4. #4
    Chroniqueur Actualités

    Homme Profil pro
    Administrateur de base de données
    Inscrit en
    Mars 2013
    Messages
    8 913
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : Canada

    Informations professionnelles :
    Activité : Administrateur de base de données

    Informations forums :
    Inscription : Mars 2013
    Messages : 8 913
    Points : 206 597
    Points
    206 597
    Par défaut OpenAI : des documents divulgués révèlent des tactiques agressives à l'égard d'anciens employés
    OpenAI : des documents divulgués révèlent des tactiques agressives à l'égard d'anciens employés avec la signature de Sam Altman,
    menaçant de les priver de leurs options d'achats

    Des documents internes récemment fuités d'OpenAI révèlent des tactiques controversées utilisées contre les anciens employés, soulevant des questions sur la transparence et l'intégrité de l'entreprise pionnière dans le domaine de l'intelligence artificielle.

    Vendredi, les médias ont rapporté que les employés du spécialiste de l'AI OpenAI qui souhaitaient quitter l'entreprise ont été confrontés à des documents de sortie étendus et très restrictifs. S'ils refusaient de signer dans un délai relativement court, ils étaient menacés de perdre leurs droits acquis dans l'entreprise - une disposition sévère qui n'est pas courante dans la Silicon Valley. Cette politique avait pour effet de forcer les ex-employés à choisir entre renoncer à des millions de dollars qu'ils avaient déjà gagnés ou accepter de ne pas critiquer l'entreprise, sans date butoir.

    Selon des sources internes à l'entreprise, la nouvelle a provoqué une tempête au sein d'OpenAI, une société privée actuellement évaluée à quelque 86 milliards de dollars. À l'instar de nombreuses start-ups de la Silicon Valley, les employés d'OpenAI reçoivent souvent la majorité de leur rémunération globale sous forme d'actions. Ils ont tendance à penser qu'une fois « acquis », selon le calendrier établi dans leur contrat, ces fonds leur appartiennent et ne peuvent être repris, pas plus qu'une entreprise ne récupèrerait un salaire versé.

    Nom : valorisation.png
Affichages : 4595
Taille : 24,5 Ko

    Un jour après la publication de ces révélations, le PDG Sam Altman a présenté ses excuses, en déclarant :

    Citation Envoyé par Sam Altman
    En ce qui concerne les récentes informations sur la manière dont OpenAI gère les fonds propres :

    Nous n'avons jamais récupéré les droits acquis de qui que ce soit, et nous ne le ferons pas si les gens ne signent pas un accord de séparation (ou n'acceptent pas un accord de non-dénigrement). Les droits acquis sont des droits acquis, point final.

    Il y avait une disposition concernant l'annulation potentielle des actions dans nos documents de sortie précédents ; bien que nous n'ayons jamais récupéré quoi que ce soit, cela n'aurait jamais dû figurer dans aucun document ou communication. C'est de ma faute et c'est l'une des rares fois où j'ai été vraiment été embarrassé dans ma direction d'OpenAI ; je ne savais pas que cela se produisait et j'aurais dû le savoir.

    L'équipe était déjà en train de corriger les documents de sortie standard au cours du dernier mois environ. Si un ancien employé qui a signé l'un de ces anciens accords est inquiet à ce sujet, il peut me contacter et nous le corrigerons également. Je suis vraiment désolée.
    Ces excuses ont été reprises dans des communications internes par certains membres de l'équipe de direction d'OpenAI. Dans un message aux employés qui a fuité dans la presse, le responsable de la stratégie d'OpenAI, Jason Kwon, a reconnu que la disposition était en place depuis 2019, mais que « l'équipe s'en est aperçue il y a environ un mois. Le fait que cela ait duré aussi longtemps avant que l'équipe ne s'en aperçoive est de ma faute ».

    Mais ces excuses de la direction de l'entreprise posent un problème

    Les documents de l'entreprise obtenus par les médias avec les signatures d'Altman et de Kwon compliquent leur affirmation selon laquelle les dispositions de récupération étaient quelque chose dont ils n'avaient pas connaissance. Une lettre de séparation figurant sur les documents de licenciement dit en langage clair : « Si vous avez des parts acquises [...], vous devez signer un accord de renonciation aux réclamations dans les 60 jours afin de conserver ces parts. » Il est signé par Kwon, ainsi que par la vice-présidente d'OpenAI, Diane Yoon (qui a récemment quitté OpenAI). La NDA (clause de non-divulgation) secrète ultra-restrictive, signée uniquement pour la « contrepartie » des actions déjà acquises, est signée par le directeur de l'exploitation Brad Lightcap.

    Parallèlement, selon des documents fournis à la presse par d'anciens employés, les documents d'incorporation de la société holding qui gère les actions d'OpenAI contiennent de nombreux passages avec des termes qui donnent à la société le pouvoir quasi arbitraire de récupérer les actions des anciens employés ou - ce qui est tout aussi important - de les empêcher de les vendre.

    Ces documents constitutifs ont été signés le 10 avril 2023 par Sam Altman en sa qualité de PDG d'OpenAI.

    Une énorme contradiction

    Le NYT a demandé à OpenAI si elle pouvait expliquer si et comment ces clauses avaient été intégrées dans les documents d'incorporation à l'insu d'Altman. Bien que cette question n'ait pas reçu de réponse directe, Kwon a déclaré au NYT : « Nous sommes désolés pour la détresse que cela a causée à des personnes formidables qui ont travaillé dur pour nous. Nous nous sommes efforcés de résoudre ce problème aussi rapidement que possible. Nous travaillerons encore plus dur pour être meilleurs ».

    La contradiction apparente entre les déclarations récentes des dirigeants d'OpenAI et ces documents a des ramifications qui vont bien au-delà de l'argent. OpenAI est sans doute l'entreprise la plus influente, et certainement la plus visible, dans le domaine de l'intelligence artificielle aujourd'hui, une entreprise dont l'ambition déclarée est de « veiller à ce que l'intelligence artificielle générale profite à l'ensemble de l'humanité ».

    Nom : humanite.png
Affichages : 1061
Taille : 298,3 Ko

    Il y a un peu plus d'une semaine, les dirigeants d'OpenAI présentaient sur scène le dernier modèle de l'entreprise, le ChatGPT-4o, dont ils étaient fiers de souligner qu'il était capable de mener des conversations très réalistes avec les utilisateurs (avec une voix, comme il s'est avéré, un peu trop proche de celle de l'actrice Scarlett Johansson).

    Mais mettre au monde l'intelligence artificielle générale est un rôle qui exige une grande confiance de la part du public et une grande transparence. Si les employés d'OpenAI ne se sentent pas libres d'exprimer leurs critiques sans risquer des représailles financières, comment l'entreprise et son PDG peuvent-ils être dignes de cette confiance ?

    Des tactiques de pression à l'OpenAI

    Dans les centaines de pages de documents divulgués à la presse, un schéma se dessine. Pour amener les ex-employés à signer l'accord de non-dénigrement et de non-divulgation ultra-restrictif, il fallait les menacer d'annuler leurs actions - mais cela impliquait aussi beaucoup plus.

    Dans deux cas examinés par le NYT, les documents de résiliation longs et complexes envoyés par OpenAI ont expiré au bout de sept jours. Cela signifie que les anciens employés avaient une semaine pour décider s'ils acceptaient la muselière d'OpenAI ou s'ils risquaient de perdre ce qui pourrait représenter des millions de dollars - un délai serré pour une décision d'une telle ampleur, et qui laissait peu de temps pour trouver un avocat à l'extérieur.

    Lorsque les ex-employés ont demandé plus de temps pour obtenir une aide juridique et examiner les documents, ils se sont heurtés à une forte réticence de la part d'OpenAI. « La décharge générale et l'accord de séparation requièrent votre signature dans les sept jours », a déclaré un représentant à un employé dans un courriel envoyé au printemps, lorsque l'employé a demandé une semaine supplémentaire pour examiner les documents complexes.

    « Nous voulons nous assurer que vous comprenez que si vous ne signez pas, cela pourrait avoir un impact sur votre équité. C'est vrai pour tout le monde, et nous faisons les choses dans les règles », a déclaré par courriel un représentant d'OpenAI à un deuxième employé qui avait demandé deux semaines supplémentaires pour examiner l'accord.

    La plupart des ex-employés ont cédé à la pression. Pour ceux qui ont persisté, l'entreprise a sorti un autre outil de ce qu'un ancien employé a appelé la « boîte à outils de représailles juridiques » qu'il a rencontrée en quittant l'entreprise. Lorsqu'il a refusé de signer le premier accord de résiliation qui lui avait été envoyé et qu'il a fait appel à un conseiller juridique, l'entreprise a changé de tactique. Au lieu de lui dire qu'elle pourrait annuler ses actions s'il refusait de signer l'accord, elle lui a dit qu'elle pourrait l'empêcher de vendre ses actions.

    Nom : offre.png
Affichages : 1082
Taille : 215,0 Ko

    Les options d'achat chez OpenAI

    Dans une société cotée en bourse, comme Google, l'équité signifie simplement des actions. Les employés sont payés en partie sous forme de salaire et en partie sous forme d'actions Google, qu'ils peuvent détenir ou vendre sur le marché boursier comme n'importe quel actionnaire.

    Dans une société privée comme OpenAI, les employés reçoivent toujours des actions de la société (ou, plus fréquemment, des options d'achat d'actions de la société à bas prix), mais doivent attendre l'occasion de vendre ces actions, ce qui peut ne pas se produire avant des années. Les grandes entreprises privées font parfois des « offres publiques d'achat » où les employés et les anciens employés peuvent vendre leurs actions. OpenAI organise parfois des offres publiques d'achat, mais les détails exacts sont étroitement gardés secrets.

    En annonçant qu'une personne qui ne signe pas l'accord restrictif est exclue de toutes les futures offres publiques d'achat, OpenAI rend effectivement ces actions, évaluées à des millions de dollars, conditionnelles à la signature de l'accord par l'employé - tout en disant en toute honnêteté qu'ils n'ont techniquement pas récupéré les actions acquises de quiconque, comme Altman l'a prétendu dans son tweet du 18 mai.

    En quoi cette situation est importante ?

    OpenAI s'est longtemps positionnée comme une entreprise qui devrait être tenue à un niveau plus élevé. Elle prétendait que sa structure d'entreprise unique - une société à but lucratif gouvernée par une organisation à but non lucratif - lui permettrait d'apporter au monde une technologie transformatrice et de s'assurer qu'elle « profite à l'humanité tout entière », comme le dit la déclaration de mission de l'entreprise, et pas seulement à ses actionnaires. Les dirigeants d'OpenAI ont longuement parlé de leurs responsabilités en matière de responsabilité, de transparence et de participation démocratique. L'année dernière, Altman lui-même a déclaré au Congrès que « mes pires craintes sont que nous - le domaine, la technologie, l'industrie - causions des dommages significatifs au monde ».

    Mais malgré tout cet idéalisme, l'OpenAI a également connu sa part de scandales. En novembre, Altman a été licencié par le conseil d'administration de l'OpenAI, qui a déclaré dans un communiqué qu'Altman « n'était pas toujours franc avec le conseil d'administration ». Ce licenciement maladroit a immédiatement provoqué un tollé parmi les employés, d'autant plus que le conseil d'administration n'a pas fourni d'explication plus détaillée sur ce qui avait justifié le licenciement du PDG d'une entreprise technologique de premier plan.

    Altman a rapidement conclu un accord pour emmener l'entreprise et la plupart de ses employés chez Microsoft, avant d'être finalement réintégré, la plupart des membres du conseil d'administration ayant alors démissionné.

    À l'époque, les termes employés par le conseil d'administration - « pas toujours franc » - avaient de quoi laisser perplexe. Mais six mois plus tard, il semble que nous commencions à voir publiquement certains des problèmes qui ont conduit à la conflagration inattendue du conseil d'administration.

    OpenAI peut encore rectifier le tir, et il se peut qu'elle soit en train d'entamer le long et difficile processus pour y parvenir. L'entreprise a pris les premières mesures nécessaires. La déclaration initiale d'Altman a été critiquée parce qu'elle ne faisait pas assez pour arranger les choses pour les anciens employés, mais dans une déclaration envoyée par courriel, OpenAI a assuré que « nous sommes en train d'identifier et de contacter les anciens employés qui ont signé un accord de sortie standard pour leur faire comprendre qu'OpenAI n'a pas annulé et n'annulera pas leurs actions acquises et les libère des obligations de non-disparition » - ce qui va beaucoup plus loin dans la réparation de leur erreur.

    Conclusion

    Les documents fuités d'OpenAI et les excuses de Sam Altman ouvrent un débat nécessaire sur les pratiques éthiques au sein des entreprises technologiques. Alors que l'intelligence artificielle continue de transformer notre société, il est impératif que les leaders de cette industrie adoptent des politiques qui respectent non seulement les droits de leurs employés mais aussi les valeurs qu'ils prétendent défendre.

    Sources : Sam Altman, OpenAI, NYT, comprendre les offres publiques d'achat pour les entreprises privées

    Et vous ?

    Que pensez-vous de cette stratégie visant à contraindre l'ancien employé à signer ce type de document (accord de non-divulgation et accord de non critique) sous peine de se voir privé de ses options d'achats ? Est-ce légal dans votre pays ?
    Les options d'achats sont-elles la propriété de l'ancien employé ou de l'employeur ?
    Que pensez-vous des excuses présentés par Sam Altman ?
    Dans quelle mesure les excuses publiques d'un PDG influencent-elles votre perception de l'intégrité d'une entreprise ?
    De façon plus générale, quelle lecture faites-vous de cette situation ?

  5. #5
    Chroniqueur Actualités

    Homme Profil pro
    Rédacteur technique
    Inscrit en
    Juin 2023
    Messages
    846
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : Bénin

    Informations professionnelles :
    Activité : Rédacteur technique
    Secteur : High Tech - Éditeur de logiciels

    Informations forums :
    Inscription : Juin 2023
    Messages : 846
    Points : 15 064
    Points
    15 064
    Par défaut Tous les employés d'OpenAI qui quittent le navire sont-ils des alarmistes ou l'entreprise est-elle en crise ?
    Tous les employés d'OpenAI qui quittent le navire sont-ils de simples alarmistes, ou le signe d'une profonde crise de confiance sur la nouvelle direction que Sam Altman impose à OpenAI ?

    Il devient de plus en plus évident qu'OpenAI traverse une mauvaise passe. Avec les démissions massives qui tendent à confirmer les rumeurs sur des désaccords internes, l'avenir de l'entreprise d'IA s'assombrit et elle doit faire face à des polémiques en rapport avec la sécurité de ses outils d'IA. Au moins onze chercheurs en IA de renom ont quitté OpenAI au cours des derniers mois et les voix émotives intégrées dans son dernier modèle d'IA sont perçues comme une orientation potentiellement dangereuse qui pourrait exploiter les vulnérabilités humaines. En outre, ses tactiques agressives visant à faire taire d'anciens employés suscitent d'importantes préoccupations.

    OpenAI fait face à la fuite de ses cerveaux et les départs ont atteint un niveau alarmant

    Que se passe-t-il chez OpenAI ? Il est difficile de répondre à la question avec précision, mais l'on peut dire sans risquer de se tromper que le laboratoire d'IA de San Francisco traverse une phase trouble. Depuis le drame de novembre dernier, où Sam Altman a été éjecté du poste de PDG d'OpenAI pendant un week-end, l'ambiance au sein de la startup semble avoir profondément changé et nous n'avons jamais appris la véritable raison pour laquelle cela s'est produit en premier lieu. Depuis cet épisode, les désaccords internes semblent s'être intensifiés et les démissions au sein d'OpenAI ont désormais atteint un niveau critique.


    Ilya Sutskever, cofondateur et ancien directeur scientifique d'OpenAI, a démissionné la semaine dernière. Son départ semblait inévitable, étant donné qu'il avait été à la tête de la campagne qui avait abouti à l'éviction d'Altman du poste de PDG pendant une courte période en novembre. Néanmoins, son départ et son importance pour l'entreprise ont soulevé des questions parmi les observateurs quant à l'avenir d'OpenAI. Personne ne sait exactement pourquoi tant de talents quittent OpenAI. Il peut s'agir de divergences philosophiques sur l'orientation du produit. Il peut s'agir d'offres d'emploi lucratives de la part de rivaux.

    Ou il est tout simplement question de l'épuisement professionnel qui accompagne souvent les horaires et le rythme de travail d'une startup. Mais selon certains analystes, il devient de plus en plus évident que cela a à voir avec la direction prise par Altman en matière de partenariats et de produits. Voici une liste non exhaustive des départs les plus médiatisés de ces derniers mois :

    • Ilya Sutskever : il était à la fois cofondateur et scientifique en chef d'OpenAI, ainsi que le chef de l'équipe Superalignment. Compte tenu de son rôle dans la tentative de coup d'État d'Altman, il est difficile de savoir s'il a été gentiment mis à la porte ou s'il est parti de son propre chef ;
    • Jan Leike : il était chargé (avec Sutskever) de veiller à ce que les systèmes d'IA d'OpenAI soient alignés sur les intérêts humains et avait été désigné l'année dernière par le magazine Time comme l'une des 100 personnes les plus influentes dans le domaine de l'IA ;
    • Evan Morikawa : il était ingénieur en chef chez OpenAI. Il a quitté l'entreprise la semaine dernière après trois ans et demi d'activité. Il prévoit de lancer une nouvelle initiative avec des vétérans de Boston Dynamics et DeepMind ;
    • Daniel Kokotajlo : ancien membre de l'équipe de sécurité d'OpenAI, il a quitté l'entreprise en février. Il a depuis critiqué publiquement OpenAI, déclarant qu'il avait quitté l'entreprise, car il ne croyait plus qu'elle se comporterait de manière responsable à l'ère de l'AGI ;
    • William Saunders : il a quitté OpenAI en février, abandonnant son poste de manager au sein de l'équipe Superalignment. Dans des messages sur le forum LessWrong, Saunders a refusé d'expliquer les raisons de son départ ;
    • Leopold Aschenbrenner : il était aussi membre de l'équipe Superalignment, travaillant avec Leike et Sutskever. Son départ n'était cependant pas une démission. Il a été licencié en avril pour avoir prétendument divulgué des informations à des journalistes ;
    • Andrey Karpathy : membre fondateur d'OpenAI, Karpathy avait déjà quitté l'organisation une fois, mais était revenu en février 2023. Cela n'a duré qu'un an, lorsqu'il est reparti, bien que dans un tweet il ait déclaré que ce n'était pas le résultat d'un événement, d'un problème ou d'un drame particulier ;
    • Logan Kilpatrick : il a quitté le navire il y a deux mois pour un poste chez Google. Il a confié que les changements intervenus au sein de l'entreprise étaient en partie à l'origine de son départ, soulignant que la croissance explosive avait modifié la façon de travailler d'OpenAI.
    • Pavel Izmailov : le poste d'Izmailov aurait été supprimé en même temps que celui d'Aschenbrenner. Tous deux étaient de solides alliés de Sutskever. Ni son nom ni celui d'Aschenbrenner ne figuraient sur la liste des employés qui ont manifesté leur soutien à Altman lors du chaos de novembre ;
    • Diane Yoon : elle a quitté OpenAI au début du mois de mai, démissionnant de son poste de vice-présidente du personnel. Aucune raison n'a été donnée pour ce départ, mais Yoon était l'un des cadres les plus anciens de l'entreprise ;
    • Chris Clark : il a aussi quitté OpenAI au début du mois. Il était responsable des initiatives stratégiques et à but non lucratif.


    Après les départs de Sutskever et Leike, OpenAI a dissous l'équipe Superalignment. Avec leur départ, l'entreprise venait de perdre ses deux principaux chercheurs en matière de sécurité de l'IA et deux des cadres qui fait d'elle un leader incontesté du secteur de l'IA. Il n'y avait donc plus de raison de garder l'équipe et de toute façon, des rapports ont récemment signalé qu'OpenAI semblait de moins en moins se soucier de la sécurité des produits. La rumeur indique qu'Altman donne désormais la priorité au lancement de nouveaux produits et la réalisation de profits. Une orientation qui pourrait expliquer ces nombreux départs.

    La même rumeur avait circulé en novembre lorsqu'Altman a été éjecté du poste de PDG. Il était apparu que les "idées" d'Altman entraient en conflit avec les principes fondateurs de l'entreprise, ce qui avait poussé l'ancien conseil d'administration à le licencier. Une déclaration indiquait qu'Altman avait pris des initiatives tout en laissant le conseil d'administration dans le flou. Le conseil d'administration porterait une réflexion sérieuse sur les conséquences d'un développement trop rapide de l'IA (ou l'AGI). Mais il y a toujours un nuage de mystère autour des véritables raisons du licenciement d’Altman. La question reste donc posée.

    Néanmoins, il est important de souligner que les récents partenariats d'OpenAI suscitent des préoccupations et donnent du poids aux allégations selon lesquelles Altman court désormais après les profits. OpenAI a annoncé un partenariat avec NewsCorp, une société américaine de médias. Un critique de ce partenariat a écrit : « il s'agit de l'une des pires sociétés de médias avec laquelle il est possible de travailler. La propagande de droite est leur modèle d'affaires, orientant les discussions politiques et utilisant tous les moyens nécessaires pour faire avancer un récit, allant jusqu'à nier l'élection présidentielle de 2020 à travers Fox News ».

    OpenAI est accusé d'avoir tiré un trait sur tous les principes fondateurs de l'entreprise

    L'annonce de cet accord intervient quelque temps après qu'un document ayant fait l'objet de fuite a révélé qu'OpenAI prévoit d'inclure des placements prioritaires pour les marques dans les conversations avec ChatGPT. L'initiative est appelée "Preferred Publishers Program" (PPP). Une partie du document indique : « les membres du programme bénéficient d'un placement prioritaire et d'une expression plus riche de la marque dans les conversations de chat, et leur contenu bénéficie d'un traitement des liens plus proéminent. À travers ce programme, OpenAI offre également des conditions financières sous licence aux éditeurs ».


    Par ailleurs, d'autres sources allèguent qu'OpenAI, avec le soutien de son principal bailleur de fonds Microsoft, fait du lobbying contre le développement de l'IA open source. OpenAI, créé à l'origine par Elon Musk et compagnie pour développer une IA sûre en adoptant une approche entièrement ouverte, a pris un virage à 180° depuis 2019, à la suite d'un investissement d'un milliard de dollars par Microsoft. Depuis, OpenAI s'est renfermé, évoquant des raisons commerciales, et s'oppose systématiquement au développement de l'IA en open source. Cette position lui a valu des critiques et une action en justice de la part d'Elon Musk.

    Outre ces faits, la nouvelle orientation d'OpenAI avec des assistants vocaux dotés de voix émotives suscite également d'importantes préoccupations. GPT-4o, le dernier produit de l'entreprise, intègre un assistant vocal appelé Sky dont la voix est étrangement similaire à celle de l'actrice Scarlett Johansson. Sky rappelle notamment la performance de l'actrice dans le film de science-fiction Her paru en 2023. Selon les critiques de GPT-4o, il s'agit d'une orientation potentiellement dangereuse qui consiste à développer une voix hautement émotionnelle et la capacité de lire le bien-être émotionnel d'une personne au son de sa voix.

    Les analystes affirment que cela devrait également constituer une préoccupation en matière de protection de la vie privée. La rumeur indique que Sutskever était opposé à cette approche, affirmant que l'IA n'avait pas grand-chose à gagner en apprenant la modalité vocale, si ce n'est la persuasion. Avant les récents développements, OpenAI a ouvert sa technologie aux militaires au début de l'année en supprimant discrètement de sa politique d'utilisation la partie qui interdisait les cas d'utilisation militaires de son IA. Il s'agit d'une décision lourde de conséquences à cause de l'utilisation croissante de l'IA dans les conflits.

    Cette semaine, des documents ayant fait l'objet de fuite ont révélé des tactiques agressives à l'égard d'anciens employés. Ces documents portent la signature d'Altman et visent à faire taire les anciens employés. Ils révèlent notamment que si les employés souhaitant quitter l'entreprise refusaient de signer "une clause de sortie" dans un délai relativement court, ils étaient menacés de perdre leurs droits acquis dans l'entreprise. Il s'agirait d'une disposition très sévère qui ne serait pas courante dans la Silicon Valley. Cette clause mettait beaucoup de pressions sur les travailleurs qui partaient et sur ceux qui envisageaient de le faire.

    « Avec tout cela, je pense que ce pour quoi les gens partent est assez clair. Personnellement, j'aurais quitté l'entreprise avec seulement la moitié de ces décisions. Je pense qu'ils se dirigent dans une direction très dangereuse et ils n'auront pas mon soutien à l'avenir malheureusement. C'est triste de voir où Sam va avec tout ça », a écrit un critique d'OpenAI. Il y a un flou complet qui entoure ce qui se passez chez OpenAI et l'entreprise est en train de perdre les cerveaux qui ont fait d'elle l'acteur incontournable qu'elle est devenue dans le domaine de l'IA. À l'heure où son avenir s'assombrit, les rivaux pourraient repêcher ces talents.

    Musk semble être un grand fan de Sutskever. Ce denier pourrait donc être tenté de rejoindre la nouvelle entreprise xAI créée par Musk pour faire de l'ombre à OpenAI. Mais rien n'est sûr et Sutskever a déclaré vouloir se concentrer sur des projets personnels. D'autres rivaux tels que Meta, Google et Anthropic pourraient également se positionner. Ni Altman ni OpenAI ne laisse rien transparaître, mais pour un observateur externe, il semble évident que l'entreprise est en crise.

    Et vous ?

    Quel est votre avis sur le sujet ?
    Que pensez-vous de la situation qui prévaut actuellement chez OpenAI ?
    Partagez-vous l'avis selon lequel l'avenir de l'entreprise commence à devenir incertain ?
    Pensez-vous que tous les départs de ces cerveaux sont liés à la direction qu'Altman donne à OpenAI ?
    Que pensez-vous des récentes polémiques dans lesquelles OpenAI est engouffré ? Est-ce le signe d'une décadence ?
    Que pensez-vous des produits d'IA d'OpenAI en général ? Quid des préoccupations qui entourent ces produits, notamment Sky ?

    Voir aussi

    Une fuite pourrait avoir révélé comment OpenAI propose des partenariats avec les éditeurs, dans le cadre d'une initiative appelée Preferred Publishers Program

    OpenAI supprime discrètement l'interdiction d'utiliser ChatGPT à des fins "militaires et de guerre", une décision lourde de conséquences à cause de l'utilisation croissante de l'IA dans les conflits

    OpenAI : des documents divulgués révèlent des tactiques agressives à l'égard d'anciens employés avec la signature de Sam Altman, menaçant de les priver de leurs options d'achats s'ils ne signent pas un document

  6. #6
    Chroniqueur Actualités
    Avatar de Patrick Ruiz
    Homme Profil pro
    Redacteur web
    Inscrit en
    Février 2017
    Messages
    2 070
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : Cameroun

    Informations professionnelles :
    Activité : Redacteur web
    Secteur : Communication - Médias

    Informations forums :
    Inscription : Février 2017
    Messages : 2 070
    Points : 56 126
    Points
    56 126
    Par défaut William Saunders dit avoir démissionné d’OpenAI parce que la vision est similaire à celle derrière le Titanic
    William Saunders dit avoir démissionné d’OpenAI parce que la vision est similaire à celle derrière le Titanic :
    S’empresser de lancer le plus gros navire qui va finir par couler faute de sécurité

    William Saunders fait partie de la longue liste d’employés qui continuent de quitter le navire OpenAI depuis quelques mois déjà. Il a quitté OpenAI en février, abandonnant son poste de manager au sein de l'équipe Superalignment. Il n’avait jusque-là pas révélé les raisons de sa démission. C’est désormais chose faite avec une remarque qui touche à l’ensemble de la filière intelligence artificielle dans sa globalité : les entreprises négligent l’aspect sécurité pour s’assurer d’arriver sur le marché avec la plus « grosse IA. »

    Il a pour cela utilisé une analogie : « La vision chez OpenAI est similaire à celle derrière le Titanic : s’empresser de lancer le plus gros navire qui va finir par couler faute de sécurité. »


    Les flops initiaux des moutures de Bing et Microsoft Edge animées par ChatGPT illustrent le propos de l’ex-chercheur chez OpenAI

    Lors des premiers retours d’expérience Bing a affiché 2,5 milliards de personnes en réponse à la question de savoir quelle est la population sur la planète Mars. La situation avait soulevé la question de savoir si la montée en puissance de l’intelligence artificielle ne va pas plutôt amener les humains à travailler plus dur pour lutter contre la désinformation.

    Nom : 0.png
Affichages : 4768
Taille : 361,4 Ko

    Le tableau faisait suite à une mise en garde de Steve Wozniak – cofondateur d’Apple : « Le problème est que l’IA fait de bonnes choses pour nous, mais elle peut faire d'horribles erreurs étant donné qu’elle ne sait pas ce qu'est l'humanité. »

    Même son de cloche avec Bard dans ses tentatives de positionnement comme moteur de réponses

    Au mois de février de l’année précédente, Google a annoncé son chatbot AI Bard. Mais le bot n'a pas pris un bon départ, les experts notant que Bard a fait une erreur factuelle dans sa toute première démo.

    Un GIF partagé par Google montrait Bard répondant à la question : « De quelles nouvelles découvertes du télescope spatial James Webb puis-je parler à mon enfant de 9 ans ? » Bard proposa une liste à puces de trois éléments, parmi lesquels un élément indiquant que le télescope « a pris les toutes premières images d'une planète en dehors de notre propre système solaire. »

    Nom : 1.png
Affichages : 810
Taille : 101,8 Ko

    Y faisant suite un certain nombre d'astronomes sur Twitter avaient souligné que c'était incorrect et que la première image d'une exoplanète avait été prise en 2004 - comme indiqué sur le site Web de la NASA (voir en source) : « Ce n'est pas pour faire mon connard (en fait, si finalement) et je suis sûr que Bard sera impressionnant, mais pour mémoire : JWST n'a pas pris 'la toute première image d'une planète en dehors de notre système solaire' », a tweeté l'astrophysicien Grant Tremblay.

    Nom : 2.png
Affichages : 806
Taille : 69,2 Ko

    La controverse autour du terme Full Self Driving dont Tesla fait usage illustre à souhait l’empressement des entreprises à aller sur le marché avec des « intelligences artificielles » qui finissent par faire couler le navire

    Full Self-Driving (FSD) s’entend conduite entièrement autonome. Full Self-Driving est aussi le nom donné par Tesla à son programme d’essais visant à atteindre la conduite entièrement autonome classée au niveau 5 sur l’échelle de classification de la SAE. L’appellation faisait déjà l’objet de controverses compte tenu des incidents dans lesquels les véhicules du constructeur se sont retrouvés impliqués depuis 2020 – période de lancement de la bêta du mode Full Self-Driving. Elle l’est de plus en plus avec la publication de récentes vidéos qui montrent des Teslas avec la fonction de conduite entièrement autonome en train de créer des dégâts.

    Un agent de la police de Fullerton enquêtait sur un accident mortel vers minuit près des avenues Orangethorpe et Courtney. L'officier gérait la circulation et des fusées de détresse avaient été placées sur la route. L'agent se tenait à l'extérieur de son véhicule de patrouille, dont les feux de détresse étaient allumés et a réussi à s'écarter avant que le conducteur d'une Tesla bleue ne percute sa voiture. Aucun policier n'a été blessé dans l'accident. Le conducteur de la Tesla affirme qu'il conduisait le véhicule en mode de conduite autonome tout en utilisant son téléphone portable, selon le rapport de police. Il est resté sur les lieux et a coopéré à l'enquête.


    C’est in incident qui faisait suite à un autre dans lequel une Tesla se trouve à deux doigts de se faire écraser par un train parce que la technologie de conduite autonome n’a pas détecté ce dernier.

    C’est grâce à l’intervention du propriétaire que le pire ne s’est pas produit. Le conducteur déclare que sa Tesla n'a pas ralenti à l'approche du train et qu'il a freiné et pris la direction de la voiture manuellement, la faisant dévier de la route pour éviter le train.

    « Je me suis dit qu'il était impossible qu'il ne voie pas le train. Il est impossible qu'il ne voie pas les feux clignotants. Oui, il y avait du brouillard, mais on pouvait quand même voir les lumières », précise-t-il.


    L'accident s'est produit dans la matinée du 8 mai. M. Doty, évaluateur général certifié dans l'Ohio, conduisait à environ 100 km par heure, selon un rapport d'accident de Tesla. La limite de vitesse sur la route était de moins de 90 km par heure, selon Doty et un rapport de police associé à l'accident. Les conducteurs peuvent demander des rapports d'accident à Tesla, qui sont générés à partir des données que les voitures individuelles envoient aux serveurs de Tesla. La vidéo même a été enregistrée par le véhicule accidenté.

    C’est en raison de ces politiques à controverse que des entreprises comme OpenAI connaissent une fuite de leurs cerveaux

    • Ilya Sutskever : il était à la fois cofondateur et scientifique en chef d'OpenAI, ainsi que le chef de l'équipe Superalignment. Compte tenu de son rôle dans la tentative de coup d'État d'Altman, il est difficile de savoir s'il a été gentiment mis à la porte ou s'il est parti de son propre chef ;
    • Jan Leike : il était chargé (avec Sutskever) de veiller à ce que les systèmes d'IA d'OpenAI soient alignés sur les intérêts humains et avait été désigné l'année dernière par le magazine Time comme l'une des 100 personnes les plus influentes dans le domaine de l'IA ;
    • Evan Morikawa : il était ingénieur en chef chez OpenAI. Il a quitté l'entreprise la semaine dernière après trois ans et demi d'activité. Il prévoit de lancer une nouvelle initiative avec des vétérans de Boston Dynamics et DeepMind ;
    • Daniel Kokotajlo : ancien membre de l'équipe de sécurité d'OpenAI, il a quitté l'entreprise en février. Il a depuis critiqué publiquement OpenAI, déclarant qu'il avait quitté l'entreprise, car il ne croyait plus qu'elle se comporterait de manière responsable à l'ère de l'AGI ;
    • Leopold Aschenbrenner : il était aussi membre de l'équipe Superalignment, travaillant avec Leike et Sutskever. Son départ n'était cependant pas une démission. Il a été licencié en avril pour avoir prétendument divulgué des informations à des journalistes ;
    • Andrey Karpathy : membre fondateur d'OpenAI, Karpathy avait déjà quitté l'organisation une fois, mais était revenu en février 2023. Cela n'a duré qu'un an, lorsqu'il est reparti, bien que dans un tweet il ait déclaré que ce n'était pas le résultat d'un événement, d'un problème ou d'un drame particulier ;
    • Logan Kilpatrick : il a quitté le navire il y a deux mois pour un poste chez Google. Il a confié que les changements intervenus au sein de l'entreprise étaient en partie à l'origine de son départ, soulignant que la croissance explosive avait modifié la façon de travailler d'OpenAI.
    • Pavel Izmailov : le poste d'Izmailov aurait été supprimé en même temps que celui d'Aschenbrenner. Tous deux étaient de solides alliés de Sutskever. Ni son nom ni celui d'Aschenbrenner ne figuraient sur la liste des employés qui ont manifesté leur soutien à Altman lors du chaos de novembre ;
    • Diane Yoon : elle a quitté OpenAI au début du mois de mai, démissionnant de son poste de vice-présidente du personnel. Aucune raison n'a été donnée pour ce départ, mais Yoon était l'un des cadres les plus anciens de l'entreprise ;
    • Chris Clark : il a aussi quitté OpenAI au début du mois. Il était responsable des initiatives stratégiques et à but non lucratif.

    La même rumeur avait circulé en novembre lorsqu'Altman a été éjecté du poste de PDG. Il était apparu que les "idées" d'Altman entraient en conflit avec les principes fondateurs de l'entreprise, ce qui avait poussé l'ancien conseil d'administration à le licencier. Une déclaration indiquait qu'Altman avait pris des initiatives tout en laissant le conseil d'administration dans le flou. Le conseil d'administration porterait une réflexion sérieuse sur les conséquences d'un développement trop rapide de l'IA (ou l'AGI). Mais il y a toujours un nuage de mystère autour des véritables raisons du licenciement d’Altman. La question reste donc posée.

    Néanmoins, il est important de souligner que les récents partenariats d'OpenAI suscitent des préoccupations et donnent du poids aux allégations selon lesquelles Altman court désormais après les profits. OpenAI a annoncé un partenariat avec NewsCorp, une société américaine de médias. Un critique de ce partenariat a écrit : « il s'agit de l'une des pires sociétés de médias avec laquelle il est possible de travailler. La propagande de droite est leur modèle d'affaires, orientant les discussions politiques et utilisant tous les moyens nécessaires pour faire avancer un récit, allant jusqu'à nier l'élection présidentielle de 2020 à travers Fox News ».

    Source : William Saunders

    Et vous ?

    Est-ce tous ces chercheurs qui ne servent à rien ou c’est OpenAI qui devient un danger via les orientation de Sam Altman ?
    Partagez-vous l’analogie selon laquelle les entreprises de la filière intelligence artificielle s’apparentent à des constructeurs qui s’empressent chacun de lancer le plus gros navire qui finira par couler faute de sécurité ?

    Voir aussi :

    Une fuite pourrait avoir révélé comment OpenAI propose des partenariats avec les éditeurs, dans le cadre d'une initiative appelée Preferred Publishers Program

    OpenAI supprime discrètement l'interdiction d'utiliser ChatGPT à des fins "militaires et de guerre", une décision lourde de conséquences à cause de l'utilisation croissante de l'IA dans les conflits

    OpenAI : des documents divulgués révèlent des tactiques agressives à l'égard d'anciens employés avec la signature de Sam Altman, menaçant de les priver de leurs options d'achats s'ils ne signent pas un document
    Contribuez au club : Corrections, suggestions, critiques, ... : Contactez le service news et Rédigez des actualités

  7. #7
    Membre éclairé
    Homme Profil pro
    Inscrit en
    Mai 2003
    Messages
    299
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Âge : 44
    Localisation : Suisse

    Informations professionnelles :
    Secteur : Industrie

    Informations forums :
    Inscription : Mai 2003
    Messages : 299
    Points : 884
    Points
    884
    Par défaut
    Il y a peut-être aussi une autre raison bassement pécuniaire: tout ces beaux cerveaux n'ont ils pas décroché le jackpot en tant qu'employés d OpenAI? Leurs stocks-options les ont tous rendu millionnaires, non? On peut bien quitter le bateau qd on reçoit qques millions de cash!

  8. #8
    Chroniqueur Actualités

    Homme Profil pro
    Administrateur de base de données
    Inscrit en
    Mars 2013
    Messages
    8 913
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : Canada

    Informations professionnelles :
    Activité : Administrateur de base de données

    Informations forums :
    Inscription : Mars 2013
    Messages : 8 913
    Points : 206 597
    Points
    206 597
    Par défaut Près de la moitié du personnel chargé de la sécurité de l'AGI a quitté l'entreprise, selon un ancien chercheur
    Près de la moitié du personnel chargé de la sécurité de l'AGI a quitté l'entreprise, selon un ancien chercheur.
    Notant que Sam Altman a réclamé une réglementation de l'IA, mais dès qu'elle est proposée, il s'y oppose

    OpenAI, l’un des leaders mondiaux dans le développement de l’intelligence artificielle (IA), fait face à une vague de départs parmi ses chercheurs spécialisés en sécurité de l’intelligence générale artificielle (AGI). Selon Daniel Kokotajlo, un ancien chercheur en gouvernance chez OpenAI, près de la moitié des employés travaillant sur les risques à long terme des IA superpuissantes ont quitté l’entreprise au cours des derniers mois.

    Selon Daniel Kokotajlo, un ancien chercheur en gouvernance d'OpenAI, près de la moitié du personnel de l'entreprise qui se concentrait autrefois sur les risques à long terme d'une IA surpuissante a quitté l'entreprise au cours des derniers mois.

    OpenAI, le fabricant de l'assistant d'IA ChatGPT, est largement considéré comme l'une des rares entreprises à l'avant-garde du développement de l'IA. Sa mission, selon la charte fondatrice de l'entreprise, est de développer une technologie connue sous le nom d'intelligence artificielle générale, ou AGI, d'une manière qui « profite à l'ensemble de l'humanité ». OpenAI définit l'AGI comme des systèmes autonomes capables d'effectuer les tâches les plus rentables, comme le font actuellement les humains.

    Parce que de tels systèmes peuvent présenter des risques importants, y compris, selon certains chercheurs en IA, la possibilité qu'ils échappent au contrôle humain et constituent une menace existentielle pour l'ensemble de l'humanité, OpenAI emploie depuis sa création un grand nombre de chercheurs qui se concentrent sur ce que l'on appelle la « sécurité de l'AGI », c'est-à-dire des techniques visant à garantir qu'un futur système d'AGI ne présente pas de danger catastrophique ou même existentiel.

    C'est ce groupe de chercheurs qui, selon Kokotajlo, a été décimé par les récentes démissions. Les départs concernent Jan Hendrik Kirchner, Collin Burns, Jeffrey Wu, Jonathan Uesato, Steven Bills, Yuri Burda, Todor Markov et le cofondateur John Schulman. Leur départ fait suite aux démissions très médiatisées, en mai, du scientifique en chef Ilya Sutskever et de Jan Leike, un autre chercheur, qui codirigeaient ensemble ce que la société appelait son équipe « superalignement ».

    En annonçant sa démission sur la plateforme de médias sociaux X, Jan Leike a déclaré que la sécurité était de plus en plus « reléguée au second plan par rapport aux produits brillants » au sein de la société d'IA de San Francisco. (L'équipe « superalignement » était censée travailler sur les moyens de contrôler la « superintelligence artificielle », une technologie encore plus spéculative que l'IAG qui impliquerait des systèmes autonomes plus performants que l'intelligence collective de tous les humains réunis).

    De façon plus larges, la fuite de cerveaux s'est effectuée chez OpenAI dans plusieurs départements :
    • Ilya Sutskever : il était à la fois cofondateur et scientifique en chef d'OpenAI, ainsi que le chef de l'équipe Superalignment. Compte tenu de son rôle dans la tentative de coup d'État d'Altman, il est difficile de savoir s'il a été gentiment mis à la porte ou s'il est parti de son propre chef ;
    • Jan Leike : il était chargé (avec Sutskever) de veiller à ce que les systèmes d'IA d'OpenAI soient alignés sur les intérêts humains et avait été désigné l'année dernière par le magazine Time comme l'une des 100 personnes les plus influentes dans le domaine de l'IA ;
    • Evan Morikawa : il était ingénieur en chef chez OpenAI. Il a quitté l'entreprise en juillet après trois ans et demi d'activité. Il prévoit de lancer une nouvelle initiative avec des vétérans de Boston Dynamics et DeepMind ;
    • Daniel Kokotajlo : ancien membre de l'équipe de sécurité d'OpenAI, il a quitté l'entreprise en février. Il a depuis critiqué publiquement OpenAI, déclarant qu'il avait quitté l'entreprise, car il ne croyait plus qu'elle se comporterait de manière responsable à l'ère de l'AGI ;
    • Leopold Aschenbrenner : il était aussi membre de l'équipe Superalignment, travaillant avec Leike et Sutskever. Son départ n'était cependant pas une démission. Il a été licencié en avril pour avoir prétendument divulgué des informations à des journalistes ;
    • Andrey Karpathy : membre fondateur d'OpenAI, Karpathy avait déjà quitté l'organisation une fois, mais était revenu en février 2023. Cela n'a duré qu'un an, lorsqu'il est reparti, bien que dans un tweet il ait déclaré que ce n'était pas le résultat d'un événement, d'un problème ou d'un drame particulier ;
    • Logan Kilpatrick : il a quitté le navire en avril pour un poste chez Google. Il a confié que les changements intervenus au sein de l'entreprise étaient en partie à l'origine de son départ, soulignant que la croissance explosive avait modifié la façon de travailler d'OpenAI.
    • Pavel Izmailov : le poste d'Izmailov aurait été supprimé en même temps que celui d'Aschenbrenner. Tous deux étaient de solides alliés de Sutskever. Ni son nom ni celui d'Aschenbrenner ne figuraient sur la liste des employés qui ont manifesté leur soutien à Altman lors du chaos de novembre ;
    • Diane Yoon : elle a quitté OpenAI au début du mois de mai, démissionnant de son poste de vice-présidente du personnel. Aucune raison n'a été donnée pour ce départ, mais Yoon était l'un des cadres les plus anciens de l'entreprise ;
    • Chris Clark : il a aussi quitté OpenAI début juillet. Il était responsable des initiatives stratégiques et à but non lucratif.
    • William Saunders : il a quitté OpenAI en février, abandonnant son poste de manager au sein de l'équipe Superalignment, parce que la vision est similaire à celle derrière le Titanic : s'empresser de lancer le plus gros navire qui va finir par couler faute de sécurité.

    Nom : openai.png
Affichages : 6939
Taille : 523,6 Ko

    Sur une trentaine d'employés travaillant sur les questions liées à la sécurité de l'AGI, il n'en reste plus que 16

    Kokotajlo, qui a rejoint OpenAI en 2022 et l'a quittée en avril 2023, a déclaré dans une interview exclusive qu'il y avait eu un exode lent et régulier en 2024. Sur une trentaine d'employés qui travaillaient sur des questions liées à la sécurité de l'AGI, il n'en reste plus que 16.

    « Il n'y a pas eu de coordination. Je pense qu'il s'agit simplement de personnes qui abandonnent individuellement », a déclaré Kokotajlo, alors qu'OpenAI continue de s'orienter vers un produit et une orientation commerciale, en accordant moins d'importance à la recherche visant à déterminer comment garantir que les AGI peuvent être développées en toute sécurité. Au cours des derniers mois, OpenAI a engagé Sarah Friar en tant que directrice financière et Kevin Weil en tant que directeur des produits. La semaine dernière, l'entreprise a recruté Irina Kofman, ancienne dirigeante de Meta, pour diriger les initiatives stratégiques.

    Ces départs sont importants en raison de ce qu'ils peuvent indiquer sur le degré de prudence d'OpenAI quant aux risques possibles de la technologie qu'elle développe et sur la question de savoir si des motifs de profit conduisent l'entreprise à prendre des mesures susceptibles de présenter des dangers. Kokotajlo a déjà qualifié de « téméraire » la course des grandes entreprises technologiques au développement de l'AGI.

    Un porte-parole d'OpenAI a déclaré que l'entreprise était « fière de ses antécédents en matière de fourniture des systèmes d'IA les plus performants et les plus sûrs, et qu'elle croyait en son approche scientifique de la gestion des risques ». Le porte-parole a également déclaré que l'entreprise reconnaissait qu'un « débat rigoureux » sur les risques éventuels de l'IA était « crucial » et qu'elle « continuerait à s'engager avec les gouvernements, la société civile et d'autres communautés dans le monde entier ».

    Même si les chercheurs en sécurité de l'AGI étaient principalement préoccupés par la manière de contrôler les futurs systèmes d'AGI, certains des moyens les plus efficaces de mieux contrôler les grands modèles de langage qui sous-tendent les logiciels d'IA actuels - pour s'assurer qu'ils n'utilisent pas de langage raciste ou toxique, qu'ils n'écrivent pas de logiciels malveillants ou qu'ils ne fournissent pas aux utilisateurs des instructions pour fabriquer des armes biologiques - sont venus des chercheurs travaillant sur la sécurité de l'AGI.

    Bien que Kokotajlo n'ait pas pu expliquer les raisons de toutes ces démissions, il soupçonne qu'elles correspondent à sa conviction qu'OpenAI est « assez proche » du développement de l'AGI, mais qu'elle n'est pas prête « à gérer tout ce que cela implique ». Cela a conduit à ce qu'il a décrit comme un « effet de refroidissement » au sein de l'entreprise sur ceux qui tentent de publier des recherches sur les risques de l'AGI et une « influence croissante des ailes de communication et de lobbying d'OpenAI » sur ce qu'il est approprié de publier.

    « Les personnes qui se consacrent principalement à la réflexion sur la sécurité et la préparation de l'AGI sont de plus en plus marginalisées »

    Kokotajlo a déclaré que ses propres inquiétudes concernant l'évolution de la culture d'OpenAI ont commencé avant le drame survenu dans la salle du conseil en novembre 2023, lorsque le PDG Sam Altman a été licencié, puis rapidement réembauché. À ce moment-là, trois membres du conseil d'administration d'OpenAI, qui s'occupaient de la sécurité de l'AGI, ont été démis de leurs fonctions. « Cela a en quelque sorte scellé l'affaire. Il n'y a pas eu de retour en arrière après cela », a-t-il déclaré, ajoutant que bien qu'il n'ait pas eu accès à ce qui se passait en coulisses, il avait l'impression qu'Altman et le président Greg Brockman (qui a récemment pris un congé prolongé) avaient « consolidé le pouvoir » depuis lors.

    « Les personnes qui se consacrent principalement à la réflexion sur la sécurité et la préparation de l'AGI sont de plus en plus marginalisées », a-t-il déclaré.

    Toutefois, de nombreux chercheurs en IA, dont Andrew Ng, ancien cofondateur de Google Brain, Fei-Fei Li, professeur à l'université de Stanford, et Yann LeCun, directeur scientifique de Meta, considèrent que l'accent mis par la communauté de la sécurité de l'IA sur la prétendue menace de l'IA pour l'humanité est exagéré. Selon eux, l'AGI n'existera pas avant plusieurs dizaines d'années et l'IA peut contribuer à résoudre les véritables risques existentiels pour l'humanité, notamment le changement climatique et les futures pandémies.

    En outre, ils affirment que l'hyper-focalisation sur les risques de l'AGI, souvent par des chercheurs et des organisations financés par des organisations liées au mouvement controversé de l'altruisme efficace qui est fortement axé sur le « risque existentiel » de l'IA pour l'humanité, conduira à des lois qui étouffent l'innovation et punissent les développeurs de modèles, plutôt que de se concentrer sur les applications des modèles de l'IA.

    Selon ces critiques, le projet de loi californien SB 1047, soutenu par des groupes liés à l'altruisme efficace et qui a suscité un vif débat avant un vote législatif final attendu cette semaine, est un exemple de ce type de loi. Ce projet de loi vise à mettre en place des garde-fous pour le développement et l'utilisation des modèles d'IA les plus puissants.


    « Sam Altman, notre ancien patron, a réclamé à plusieurs reprises une réglementation de l'IA. Aujourd'hui, lorsqu'il est question de réglementation, il s'y oppose »

    Kokotajlo s'est dit déçu, mais pas surpris, qu'OpenAI se soit prononcée contre le projet de loi SB 1047. Avec son ancien collègue William Saunders, il a rédigé la semaine dernière une lettre adressée au parrain du projet de loi, le sénateur Scott Wiener, dans laquelle il affirme que les plaintes d'OpenAI concernant le projet de loi « ne semblent pas de bonne foi ».

    « Dans un certain sens, il s'agit d'une trahison du plan que nous avions en 2022 », a déclaré Kokotajlo, soulignant ce qu'il appelle un effort de la part d'OpenAI et de l'ensemble de l'industrie de l'IA pour évaluer les risques à long terme de l'AGI et obtenir des engagements volontaires sur la manière de réagir au franchissement de seuils dangereux, et utiliser ces résultats comme « inspiration et modèle pour la législation et la réglementation ».

    Cependant, Kokotajlo ne regrette pas d'avoir rejoint l'OpenAI. « Je pense que j'y ai appris un tas de choses utiles. J'ai le sentiment d'avoir probablement fait une différence positive », a-t-il déclaré, même s'il regrette de ne pas être parti plus tôt. « J'avais déjà commencé à y réfléchir avant la crise du conseil d'administration et, rétrospectivement, j'aurais dû le faire. »

    Conséquences et perspectives

    Les départs massifs de chercheurs en sécurité soulèvent des questions sur la capacité d’OpenAI à gérer les risques potentiels associés au développement de l’AGI. Alors que l’entreprise continue de progresser vers la création d’une intelligence artificielle générale, la réduction de l’équipe de sécurité pourrait compromettre les efforts pour garantir que ces systèmes puissants ne posent pas de dangers catastrophiques ou existentiels.

    L’exode des chercheurs en sécurité chez OpenAI met en lumière les tensions entre les objectifs commerciaux et les impératifs de sécurité dans le domaine de l’intelligence artificielle. La manière dont OpenAI naviguera ces défis déterminera en grande partie l’avenir de l’AGI et son impact sur l’humanité.

    Sources : lettre de Kokotajlo et Saunders pour soutenir le projet de loi californien (au format PDF), OpenAI, Daniel Kokotajlo

    Et vous ?

    Quels sont, selon vous, les principaux défis auxquels OpenAI devra faire face avec la réduction de son équipe de sécurité AGI ?
    Pensez-vous que la priorité donnée aux produits commerciaux au détriment de la recherche sur la sécurité est justifiée ? Pourquoi ou pourquoi pas ?
    Comment évalueriez-vous l’impact potentiel de ces départs sur la sécurité et l’éthique des futurs systèmes d’IA développés par OpenAI ?
    Quelles mesures OpenAI pourrait-elle prendre pour attirer et retenir les talents dans le domaine de la sécurité AGI ?
    Croyez-vous que d’autres entreprises technologiques pourraient rencontrer des problèmes similaires ? Pourquoi ?
    Quel rôle les régulateurs et les gouvernements devraient-ils jouer pour garantir la sécurité des développements en IA ?
    Comment les chercheurs en IA peuvent-ils équilibrer les impératifs commerciaux et les préoccupations éthiques dans leur travail ?
    À votre avis, quelles sont les conséquences à long terme de la perte de chercheurs en sécurité pour l’industrie de l’IA dans son ensemble ?
    Comment les utilisateurs finaux peuvent-ils influencer les priorités des entreprises technologiques en matière de sécurité et d’éthique ?
    Quels sont les risques potentiels si les entreprises technologiques négligent la recherche sur la sécurité de l’AGI ?
    Images attachées Images attachées
    Contribuez au club : Corrections, suggestions, critiques, ... : Contactez le service news et Rédigez des actualités

Discussions similaires

  1. Réponses: 3
    Dernier message: 18/02/2022, 10h49
  2. NVIDIA annonce son moteur de lancer de rayon NVIRT
    Par TanEk dans le forum Développement 2D, 3D et Jeux
    Réponses: 5
    Dernier message: 08/03/2011, 08h16
  3. Réponses: 105
    Dernier message: 10/10/2009, 23h12

Partager

Partager
  • Envoyer la discussion sur Viadeo
  • Envoyer la discussion sur Twitter
  • Envoyer la discussion sur Google
  • Envoyer la discussion sur Facebook
  • Envoyer la discussion sur Digg
  • Envoyer la discussion sur Delicious
  • Envoyer la discussion sur MySpace
  • Envoyer la discussion sur Yahoo