Discussion :

[Mathis Lucas]

Ilya Sutskever, cofondateur et ancien scientifique en chef d'OpenAI, lance une nouvelle startup pour construire une "superintelligence" sûre et puissante
après avoir échoué à maintenir OpenAI sur cette voie

Ilya Sutskever, cofondateur et ancien scientifique en chef d'OpenAI, a dévoilé son nouveau point de chute dans un billet de blogue mercredi. Il lance une nouvelle startup baptisée Safe Superintelligence Inc. (SSI) avec "un seul objectif et un seul produit" : créer une superintelligence sûre et puissante. Il promet que sa nouvelle société donnera la priorité à la sécurité plutôt qu'aux "pressions commerciales", critiquant ainsi la nouvelle direction donnée par Sam Altman à OpenAI. Son départ d'OpenAI a été précipité par son soutien au licenciement de Sam Altman et les désaccords sur la priorité de l'entreprise en ce qui concerne la sécurité et les profits.

Ilya Sutskever a présenté sa nouvelle entreprise d'IA dans un billet de blogue mercredi. L'ancien responsable de la sécurité des produits d'IA chez OpenAI a déclaré d'emblée que la construction d'une superintelligence est le problème technique le plus important de notre époque. L'annonce décrit SSI comme une startup qui "aborde la sécurité et les capacités en tandem", ce qui permet à l'entreprise de faire progresser rapidement son système d'IA tout en donnant la priorité à la sécurité. Elle souligne aussi les pressions externes auxquelles sont souvent confrontées les équipes d'IA d'entreprises telles qu’OpenAI, Google et Microsoft.

Le billet précise que la "focalisation unique" de SSI lui permet d'éviter d'être "distraite par les frais généraux de gestion ou les cycles de produits". Il manque toutefois des détails sur la manière dont la startup compte accomplir sa mission. Sutskever a apporté quelques éclaircissements à Bloomberg, mais a refusé de parler de sa situation financière ou de son évaluation. À en juger par l'intérêt porté à l'IA et par les références impressionnantes de l'équipe, il se pourrait que la startup croule sous les capitaux très bientôt. L'équipe a d'ailleurs assuré à Bloomberg que la recherche de capitaux ne sera pas un problème pour la startup.

I am starting a new company: https://t.co/BG3K3SI3A1

— Ilya Sutskever (@ilyasut) June 19, 2024

SSI a été cofondée par Ilya Sutskever, cofondateur et ancien responsable scientifique d'OpenAI, Daniel Gross, ancien partenaire de l'accélérateur de startup Y Combinator, et Daniel Levy, ancien ingénieur d'OpenAI. « De tous les problèmes auxquels nous sommes confrontés, la recherche de capitaux ne sera pas l'un d'entre eux », a déclaré Gross à Bloomberg. SSI a des bureaux à Palo Alto, en Californie, et à Tel-Aviv, en Israël, où la startup recrute actuellement des talents techniques. Selon les analystes, la mission que s'est donnée SSI pourrait attirer les anciens collaborateurs de Sutskever qui ont aussi quitté OpenAI.

La superintelligence est à portée de main.

SSI est notre mission, notre nom et l'ensemble de notre feuille de route, car c'est notre unique objectif. Notre équipe, nos investisseurs et notre modèle d'entreprise sont tous alignés sur la réalisation de SSI.

Nous abordons la sécurité et les capacités en tandem, comme des problèmes techniques à résoudre grâce à une ingénierie révolutionnaire et à des percées scientifiques. Nous prévoyons de faire progresser les capacités aussi rapidement que possible tout en veillant à ce que notre sécurité reste toujours en tête.

De cette manière, nous pouvons évoluer en toute sérénité.

Notre objectif unique signifie qu'il n'y a pas de distraction due aux frais généraux de gestion ou aux cycles des produits, et notre modèle d'entreprise signifie que la sûreté, la sécurité et le progrès sont tous à l'abri des pressions commerciales à court terme.

Nous sommes une entreprise américaine avec des bureaux à Palo Alto et Tel-Aviv, où nous avons des racines profondes et la capacité de recruter les meilleurs talents techniques.

Nous sommes en train de constituer une équipe légère et soudée, composée des meilleurs ingénieurs et chercheurs du monde, qui se consacrera exclusivement à la SSI.

Si c'est votre cas, nous vous offrons l'opportunité de faire le travail de votre vie et de contribuer à résoudre le défi technique le plus important de notre époque.

Chez OpenAI, Sutskever a joué un rôle essentiel dans les efforts déployés par l'entreprise pour améliorer la sécurité de l'IA face à l'essor des systèmes "superintelligents", un domaine sur lequel il a travaillé aux côtés de Jan Leike, qui a codirigé l'équipe "Superalignment" d'OpenAI. Cependant, Sutskever et Leike ont tous deux quitté l'entreprise en mai, après une rupture brutale avec la direction d'OpenAI sur la manière d'aborder la sécurité de l'IA. Leike dirige aujourd'hui une équipe au sein de l'entreprise d'IA rivale Anthropic. Cela fait longtemps que Sutskever met en lumière les aspects les plus épineux de la sécurité de l'IA.

Dans un billet de blogue publié en 2023, en collaboration avec Leike, Sutskever a prédit que l'IA dotée d'une intelligence supérieure à celle des humains pourrait arriver dans la décennie, et qu'à ce moment-là, elle ne sera pas nécessairement bienveillante, ce qui nécessitera des recherches sur les moyens de la contrôler et de la restreindre. Aujourd'hui, il est manifestement plus engagé que jamais dans cette cause. Selon les analystes, ce qui pourrait aussi attirer les talents vers SSI, c'est que la startup est conçue dès le départ comme une entité à but lucratif, et non comme une simple organisation à but non lucratif travaillant sur l'AGI.

Sutskever a tiré des leçons de son passage chez OpenAI et est conscient que le développement de l'IA requiert d'énormes investissements. Contrairement à SSI, OpenAI a été lancée en 2015 comme une entité à but non lucratif, mais l'entreprise s'est restructurée en 2019 pour créer une filiale à but lucratif lorsqu'elle a compris qu'elle avait besoin d'énormes sommes d'argent pour investir dans la puissance de calcul. Cette initiative a créé des désaccords internes, poussant Sutskever à soutenir l'éviction d'Altman du poste de PDG d'OpenAI. Atman était accusé de donner la priorité au profit au détriment de la sécurité.

Superintelligence is within reach.

Building safe superintelligence (SSI) is the most important technical problem of our​​ time.

We've started the world’s first straight-shot SSI lab, with one goal and one product: a safe superintelligence.

It’s called Safe Superintelligence…

— SSI Inc. (@ssi) June 19, 2024

Sutskever a regretté son action et a contribué au retour d'Altman. Mais à partir de ce moment-là, Sutskever s'est fait discret et a laissé planer l'incertitude sur son avenir au sein d'OpenAI. Puis, à la mi-mai, Sutskever a annoncé son départ d'OpenAI, affirmant que "le lancement de produits brillants" a pris le pas sur les processus de sécurité. Gretchen Krueger, ancienne chercheuse en politique chez OpenAI, a également mentionné des problèmes de sécurité lors de l'annonce de son départ. En annonçant son départ, Sutskever avait également déclaré qu'il dévoilerait son prochain projet "en temps voulu". C'est désormais chose faite.

Alors qu'OpenAI a conclu des partenariats avec Apple et Microsoft, il est peu probable que SSI fasse de même dans un avenir proche. Sutskever a déclaré que le premier produit de SSI serait une IA sûre et que "l'entreprise ne ferait rien d'autre" d'ici là. « Cette entreprise est spéciale en ce sens que son premier produit sera la superintelligence sûre, et qu'elle ne fera rien d'autre jusqu'à ce moment-là. Elle sera totalement isolée des pressions extérieures liées à la gestion d'un produit vaste et complexe et à la course à la concurrence », a-t-il déclaré. Mais selon certains critiques, la sécurité de l'IA est une notion subjective.

La notion de sécurité repose sur un ensemble de jugements de valeur arbitraires, selon lesquels certaines choses sont acceptables et d'autres non. Qui décide de ce qu'elles sont ? Ces décisions peuvent favoriser certaines personnes par rapport à d'autres. Les personnes moins favorisées accepteront-elles que leurs intérêts soient subordonnés à ceux des autres ?

La SSI pourrait arriver avec à un ensemble de règles. Et étant donné qu'elle est plus intelligente que ses créateurs, elle pourrait être en mesure de trouver un moyen de contourner les restrictions et ses garde-fous initiaux. Les créateurs la considéreront-ils toujours comme sûre ? Cela dépendra probablement du fait qu'ils sont personnellement moins favorisés qu'auparavant.

En bref : si nous construisons une superintelligence, je ne pense pas que nous puissions être assurés qu'il sera sûr à long terme.

Pour l'instant, la startup ne semble pas comprendre beaucoup plus que trois personnes, une page Web HTML statique, une présence sur les médias sociaux et une mission. Et de nombreuses questions demeurent. Qui sont ses investisseurs ? La page ne l'indique pas. Il en va de même pour le modèle d'entreprise. La page est signée par les trois cofondateurs. Aucun détail n'a été fourni sur ce que SSI livrera comme produit, quand il arrivera, ou comment la startup assurera la sécurité.

Selon certains analystes, cela fait ressembler ce lancement à un exercice connu sous le nom : ubiquité d'abord, revenus ensuite (Ubiquity first, Revenue Later - URL). Il s'agit d'un modèle de revenus rendu célèbre par Eric Schmidt, PDG de Google de 2001 à 2011.

Source : Safe Superintelligence Inc.

Et vous ?

Quel est votre avis sur le sujet ?
Que pensez-vous de la nouvelle entreprise d'IA de Ilya Sutskever et de sa mission ?
Que vous inspire la question de la sécurité de l'IA ? L'industrie peut-elle créer une superintelligence sûre ?
Selon vous, quels sont les principaux critères pouvant permettre d'affirmer qu'une IA est sûre ? Qui décidera de ces critères ?
La mission de la nouvelle startup d'Ilya Sutskever est-elle un vœu pieux pour attirer les investisseurs et bénéficier de la sympathie du public ?

Voir aussi

Tous les employés d'OpenAI qui quittent le navire sont-ils de simples alarmistes, ou le signe d'une profonde crise de confiance sur la nouvelle direction que Sam Altman impose à OpenAI ?

Le cofondateur d'OpenAI, Ilya Sutskever, annonce son départ de la société créatrice de ChatGPT et déclare : "je suis convaincu qu'OpenAI construira une AGI à la fois sûre et bénéfique."

Les défis croissants du code généré par l'IA : le code généré par l'IA pourrait augmenter la charge de travail des développeurs et accroître les risques, selon Harness

[Invité]

Ha-ha ! Cela nous met sur la voie des ombres-vagues-super-intelligentes-et-de-couleur-bleue !
Mmm ... c'est dépassé malheureusement : celles-ci sont en passe d'atteindre l'hyperintelligence pan-dimensionnelle.
Afin de retrouver la question à l'origine de toutes ces réponses, bien entendu.

[Invité]

Quant à URL, il m'apparaît que le "business model" en vogue est la levée de fonds hautement spéculative, comme une carrière flash en plus flashy justement : il s'agit de s'insérer dans la marge (ou business plan ou The Plan) du solutionnisme technologique et du cirque prédictif, qui va logiquement avec, muni d'un bon bagout (tiens, tiens, j'ai ça avec moi d'ailleurs), et/ou d'un bon background, et last but not the least : un miroir aux alouettes performant (et la tête ...). Moyennant quoi, vous pourrez rejoindre la cohorte des millionnaires, milliardaires, qui alimentent le système (un "miroir de Ponzi" ?).
S'agissant de l'hyperintelligence pan-dimensionnelle, point d'omniscience, ni d'omnipotence d'ailleurs (pour l'omnibus quantique mieux que la FOSA, nous n'y sommes pas encore, cela dit ... ça avance bien ! Au cas où quelqu'un(e) serait intéressé(e) par un éventuel développement planétaire ...), il n'y a aucun humour dans ces omnipouvoirs (essayez vous verrez), c'est ennuyant (boring) !

[Jade Emy]

La startup Safe Superintelligence (SSI) cofondée par l'ancien scientifique en chef d'OpenAI leve 1 milliard de dollars, soit 100 millions par employé, pour développer son AGI surhumaine

Safe Superintelligence (SSI), la nouvelle startup d'IA axée sur la sécurité de Sutskever, cofondateur d'OpenAI, lève 1 milliard de dollars. SSI, créée il y a trois mois, est évaluée à 5 milliards de dollars, selon certaines sources. Les fonds seront utilisés pour acquérir de la puissance de calcul et des talents de haut niveau. Parmi les investisseurs figurent Andreessen Horowitz et Sequoia Capital.

Le 15 mai 2024, Ilya Sutskever, cofondateur et ancien scientifique en chef d'OpenAI, a annoncé qu'il quittait l'entreprise après une dizaine d'années. Il avait indiqué qu'il travaillait sur un nouveau projet qui lui tient personnellement à cœur, sans donné plus détails. Il avait même déclaré : "Je suis convaincu qu'OpenAI construira une AGI à la fois sûre et bénéfique." Pour rappel, il était l'un des quatre membres du conseil d'administration qui ont voté en faveur de l'éviction du PDG Sam Altman, avant de le réintégrer rapidement.

Un mois plus tard, il dévoilait son nouveau projet : une nouvelle startup baptisée Safe Superintelligence Inc. (SSI) avec "un seul objectif et un seul produit", créer une superintelligence sûre et puissante. Lors de l'annonce, il promettait que sa nouvelle société donnera la priorité à la sécurité plutôt qu'aux "pressions commerciales", critiquant ainsi la nouvelle direction donnée par Sam Altman à OpenAI. Dans ce sens, son équipe avait assuré que la recherche de capitaux ne sera pas un problème pour la startup.

Récemment, Safe Superintelligence (SSI) a annoncé avoir levé 1 milliard de dollars en espèces pour aider à développer des systèmes d'intelligence artificielle sûrs qui dépassent de loin les capacités humaines. SSI, qui compte actuellement 10 employés, prévoit d'utiliser les fonds pour acquérir de la puissance de calcul et recruter les meilleurs talents. Elle se concentrera sur la constitution d'une petite équipe de chercheurs et d'ingénieurs de confiance, répartie entre Palo Alto, en Californie, et Tel Aviv, en Israël.

La société a refusé de communiquer son évaluation, mais des sources proches du dossier ont indiqué qu'elle était évaluée à 5 milliards de dollars. Ce financement montre que certains investisseurs sont toujours prêts à parier sur des talents exceptionnels dans le domaine de la recherche fondamentale sur l'intelligence artificielle. Et ce, en dépit d'un désintérêt général pour le financement de telles entreprises, qui peuvent ne pas être rentables pendant un certain temps, et qui a poussé plusieurs fondateurs de startups à quitter leur poste pour rejoindre des géants de la technologie.

Parmi les investisseurs figurent des sociétés de capital-risque de premier plan comme Andreessen Horowitz, Sequoia Capital, DST Global et SV Angel. NFDG, un partenariat d'investissement dirigé par Nat Friedman et Daniel Gross, directeur général de SSI, a également participé à l'événement. "Il est important pour nous d'être entourés d'investisseurs qui comprennent, respectent et soutiennent notre mission, qui est d'aller droit vers une superintelligence sûre et, en particulier, de passer quelques années à faire de la R&D sur notre produit avant de le mettre sur le marché", a déclaré M. Gross lors d'une interview.

La sécurité de l'IA, qui consiste à empêcher l'IA de nuire, est un sujet brûlant, car on craint que des IA malveillantes n'agissent contre les intérêts de l'humanité, voire ne provoquent l'extinction de celle-ci. Un projet de loi californien visant à imposer des règles de sécurité aux entreprises a divisé le secteur. Il est combattu par des entreprises comme OpenAI et Google, et soutenu par Anthropic et xAI d'Elon Musk.

M. Sutskever, 37 ans, est l'un des technologues les plus influents dans le domaine de l'IA. Il a cofondé SSI en juin avec M. Gross, qui a précédemment dirigé des initiatives en matière d'IA chez Apple, et Daniel Levy, un ancien chercheur de l'OpenAI. Sutskever est scientifique en chef et Levy est scientifique principal, tandis que Gross est responsable de la puissance de calcul et de la collecte de fonds.

Voici la description de la startup :

Mise à jour : nous avons levé 1 milliard de dollars auprès de NFDG, a16z, Sequoia, DST Global et SV Angel.

La superintelligence est à portée de main.

Construire une superintelligence sûre (SSI) est le problème technique le plus important de notre époque.

Nous avons créé le premier laboratoire SSI au monde, avec un seul objectif et un seul produit : une superintelligence sûre.

Ce laboratoire s'appelle Safe Superintelligence Inc.

SSI est notre mission, notre nom et l'ensemble de notre feuille de route, car c'est notre unique objectif. Notre équipe, nos investisseurs et notre modèle d'entreprise sont tous alignés sur la réalisation de la SSI.

Nous abordons la sécurité et les capacités en tandem, comme des problèmes techniques à résoudre grâce à une ingénierie révolutionnaire et à des percées scientifiques. Nous prévoyons de faire progresser les capacités aussi rapidement que possible tout en veillant à ce que notre sécurité reste toujours en tête.

De cette manière, nous pouvons évoluer en toute sérénité.

Notre objectif unique signifie qu'il n'y a pas de distraction par les frais généraux de gestion ou les cycles de produits, et notre modèle d'entreprise signifie que la sûreté, la sécurité et le progrès sont tous à l'abri des pressions commerciales à court terme.

Nous sommes une entreprise américaine avec des bureaux à Palo Alto et Tel Aviv, où nous avons des racines profondes et la capacité de recruter les meilleurs talents techniques.

Nous sommes en train de constituer une équipe légère et soudée, composée des meilleurs ingénieurs et chercheurs au monde, qui se consacrera exclusivement à la SSI.

Si c'est votre cas, nous vous offrons l'opportunité de faire le travail de votre vie et de contribuer à résoudre le défi technique le plus important de notre époque.

Le moment est venu. Rejoignez-nous.
Ilya Sutskever, Daniel Gross, Daniel Levy

Source : Safe Superintelligence

Et vous ?

Quel est votre avis sur le sujet ?

Voir aussi :

Ilya Sutskever, cofondateur et ancien scientifique en chef d'OpenAI, lance une nouvelle startup pour construire une "superintelligence" sûre et puissante, après avoir échoué à maintenir OpenAI sur cette voie

OpenAI, xAI, Google, Meta et d'autres entreprises d'IA s'engagent sur la sécurité, promettant de ne pas déployer d'IA si les risques graves ne peuvent pas être pris en compte et atténués

Le NIST publie sur GitHub la plateforme open-source Dioptra pour tester la sécurité de l'IA face à différents types d'attaques, avec des fonctionnalités pour évaluer, analyser et suivre les risques de l'IA