OpenAI envisagerait de lancer dès cet automne une nouvelle IA appelée "Strawberry" avec des capacités de raisonnement avancées
mais l'amélioration des capacités de raisonnement des LLM suscite le scepticisme

OpenAI se préparerait à lancer une nouvelle IA avec des capacités avancées de raisonnement pour stimuler l'activité des chatbots et lever de nouveaux capitaux. Cette nouvelle IA, connue sous le nom de code Strawberry (précédemment appelée Q*, prononcez Q Star), serait capable de résoudre des problèmes mathématiques qu'elle n'a jamais vus auparavant - ce que les modèles d'IA ne peuvent pas faire de manière fiable. Elle aurait également été formée pour résoudre des problèmes de programmation et répondre aux questions non techniques. OpenAI, qui fait face à des problèmes internes et des dépenses colossales, envisagerait de lancer Strawberry dès cet automne.

OpenAI ferait pression sur ses équipes en vue de lancer une nouvelle IA très bientôt

Ce n'est pas la première fois que le projet Q* est évoqué dans la presse. Des rumeurs au sujet de ce mystérieux projet ont circulé pour la première fois après le licenciement inattendu de Sam Altman, PDG d'OpenAI, en novembre dernier. Les informations indiquaient alors que le licenciement brutal d'Altman faisait suite à des désaccords entre lui et l'équipe Superalignment chargée d'assurer l'alignement de l'IA d'OpenAI sur les valeurs humaines. Bien que ces informations n'aient pas été confirmées par l'entreprise elle-même, de nouveaux rapports apportent de nouvelles informations plus détaillées sur cette technologie.


Un nouveau rapport de The Information, qui cite deux personnes au fait du projet, indique qu'OpenAI pourrait sortir une version de ce projet, désormais connu sous le nom Strawberry, dès cet automne. Elle serait conçue pour résoudre des problèmes mathématiques inédits et optimiser les tâches de programmation. Sa logique améliorée devrait lui permettre de résoudre plus efficacement les problèmes liés au langage lorsqu'il dispose de suffisamment de temps pour « réfléchir ».

Lors de démonstrations internes, Strawberry serait parvenu à résoudre le casse-tête « Connections » du New York Times. Le modèle pourrait également servir de base à des systèmes d'IA plus avancés, capables non seulement de générer du contenu, mais aussi d'agir. Selon un rapport publié le mois dernier par Reuters, OpenAI a déjà testé en interne une IA qui a obtenu un score de plus de 90 % sur le benchmark MATH, un ensemble de tâches de maîtrise des mathématiques.

Il s'agirait probablement de Strawberry, qui, selon The Information, a également été présentée à des responsables de la sécurité nationale. Toutefois, Strawberry ne devrait pas se limiter à répondre à des questions techniques. Selon le rapport, des documents internes d'OpenAI décrivent des plans visant à utiliser les modèles de Strawberry pour des recherches autonomes sur internet, permettant à l'IA de planifier et de mener des recherches approfondies.

Le rapport souligne également qu'OpenAI travaille également sur un système d'IA appelé Orion qui vise à dépasser les capacités de GPT-4 avec l'aide de Strawberry. Malgré les pressions pour un lancement rapide, le rapport souligne qu'il n'est pas certain que Strawberry soit lancée cette année. Cependant, si elle est publiée, il s'agirait probablement d'une version distillée du modèle original, offrant des performances similaires avec moins de puissance de calcul.

OpenAI a déjà utilisé cette technique pour les variantes GPT-4 depuis la sortie du modèle original en mars 2023. OpenAI espère que cette innovation améliorera considérablement les capacités de raisonnement de ses modèles d'IA. Les chercheurs d'OpenAI affirment que le raisonnement est essentiel pour que l'IA parvienne à une intelligence de niveau humain ou surhumain. L'objectif principal de Strawberry serait de produire des données synthétiques pour le modèle Orion.

L'IA affiche actuellement des performances "médiocres" en matière de raisonnement

Si les grands modèles de langage (LLM) peuvent déjà résumer des textes denses et composer une prose élégante bien plus rapidement que n'importe quel humain, la technologie est souvent insuffisante pour résoudre des problèmes de bon sens dont les solutions semblent intuitives pour l'homme, comme reconnaître les sophismes logiques et jouer au morpion. Lorsque le modèle rencontre ce type de problèmes, il « hallucine » souvent des informations erronées. L'hallucination des chatbots est un défi majeur pour les entreprises et constitue désormais l'un des facteurs qui accélèrent la dégradation de l'état du Web.

De nombreux chercheurs en IA affirment que le raisonnement, dans le contexte de l'IA, implique la formation d'un modèle qui permet à l'IA de planifier, de refléter le fonctionnement du monde physique et de résoudre de manière fiable des problèmes difficiles comportant plusieurs étapes. Ainsi, l'amélioration du raisonnement de l'IA est considérée comme la clé permettant de débloquer la capacité des modèles à tout faire (découvertes scientifiques, planification, etc.).

Altman a déclaré plus tôt cette année qu'en matière d'IA, les domaines de progrès les plus importants se situeront autour de la capacité de raisonnement. D'autres entreprises comme Google, Meta et Microsoft expérimentent également différentes techniques pour améliorer le raisonnement dans les modèles d'IA, tout comme la plupart des laboratoires universitaires qui effectuent des recherches sur l'IA. Mais le défi est de taille et il n'y a pas encore d'amélioration notable.

Par ailleurs, les chercheurs divergent sur la question de savoir si les LLM seront capables d'intégrer des idées et une planification à long terme dans leur manière de faire de la prédiction. Par exemple, l'un des pionniers de l'IA moderne, Yann LeCun, responsable de l'IA chez Meta, a souvent déclaré que les LLM n'étaient pas capables d'un raisonnement semblable à celui des humains. Strawberry est un élément clé du plan d'OpenAI pour surmonter ces défis.

D'après des personnes impliquées dans le projet, Strawberry comprend une méthode spécialisée de ce que l'on appelle le "post-entraînement" ou l'adaptation des modèles de base pour affiner leurs performances de manière spécifique après qu'ils ont déjà été entraînés sur des données généralisées. La phase post-entraînement implique des méthodes telles que le « réglage fin », un processus largement utilisé dans l'industrie et qui se présente sous de nombreuses formes.

Strawberry présenterait des similitudes avec une méthode développée par les chercheurs de Stanford en 2022 appelée "Self-Taught Reasoner" (STaR). Elle vise à permettre aux modèles d'IA d'atteindre des niveaux d'intelligence plus élevés en créant itérativement leurs propres données d'entraînement. Selon l'un de ses créateurs, Noah Goodman, professeur à Stanford, en théorie, STaR pourrait amener les modèles de langage à transcender l'intelligence humaine.

« L'utilisation de Strawberry pour générer des données d'entraînement de meilleure qualité pourrait aider OpenAI à réduire le nombre d'erreurs que ses modèles génèrent, autrement appelées hallucinations », a déclaré Alex Graveley, PDG de la startup Minion AI et ancien architecte en chef de GitHub Copilot. Cependant, des études antérieures alertent sur un risque d'effondrement d'un modèle lorsque ce dernier est entraîné sur des données générées par l'IA.

OpenAI fait face à des dépenses colossales et à un nombre très important de démissions

L'effort de lancement de Strawberry fait partie de la bataille sans fin d'OpenAI pour rester devant d'autres rivaux bien financés qui se disputent la suprématie dans l'IA conversationnelle, ou les LLM. La technologie aurait également des implications pour les futurs produits appelés agents qui visent à résoudre des tâches à plusieurs étapes. OpenAI et ses rivaux espèrent que les agents pourront ouvrir davantage d'opportunités de revenus. En effet, pour ces entreprises, une IA dotée de capacités avancées de raisonnement et qui résout des problèmes mathématiques difficiles pourrait constituer une application très lucrative.

Mais alors qu'OpenAI est déjà confronté à des difficultés financières, les sources rapportent que Strawberry est plus coûteux et plus lent au niveau de l'inférence. Les activités d'OpenAI se développent à une vitesse incroyable : ses ventes de LLM aux entreprises et d'abonnements à ChatGPT ont à peu près triplé pour atteindre 283 millions de dollars de revenus mensuels par rapport à l'année dernière, bien que ses pertes mensuelles soient probablement plus élevées que cela.

L'entreprise est évaluée à 86 milliards de dollars. Toutefois, les sources indiquent que les perspectives d'OpenAI reposent en partie sur le lancement éventuel du nouveau LLM phare Orion qu'il est en train de développer. Ce modèle vise à améliorer le LLM phare existant, GPT-4, qu'OpenAI a lancé au début de l'année dernière. À l'heure actuelle, d'autres concurrents ont lancé des LLM dont les performances sont à peu près équivalentes à celles de GPT-4.

Selon les sources, Altman cherche à obtenir plus d'argent pour l'entreprise et à trouver des moyens de réduire ses pertes. OpenAI aurait levé environ 13 milliards de dollars auprès de Microsoft depuis 2019 dans le cadre d'un partenariat commercial avec le géant des logiciels contracté pour durer jusqu'en 2030. Les termes du partenariat pourraient changer, notamment la manière dont OpenAI paie Microsoft pour louer des serveurs cloud afin de développer son IA.

Les serveurs cloud représentent le coût le plus important pour OpenAI. Un rapport publié le mois dernier indique qu'OpenAI pourrait perdre 5 milliards de dollars cette année et se retrouver à court de liquidités dans 12 mois. Indépendamment du lancement de Strawberry en tant que produit, les attentes sont élevées pour Orion, car OpenAI cherche à garder une longueur d'avance sur ses rivaux et à poursuivre la croissance remarquable de son chiffre d'affaires.

L'ancien chercheur en chef d'OpenAI, Ilya Sutskever, aurait fourni l'idée et la base de Strawberry. Il a quitté OpenAI cette année pour créer une startup concurrente. La percée et les conflits liés à la sécurité au sein d'OpenAI sont survenus juste avant que le conseil d'administration de l'OpenAI, dirigé par Sutskever, ne licencie Altman au mois de novembre dernier avant de le réembaucher rapidement.

Mais depuis le retour d'Altman, un nombre important de chercheurs en IA ont quitté l'entreprise. Certains ont été licenciés et d'autres ont démissionné. Selon les analystes, il devient de plus en plus évident que cela a à voir avec la direction prise par Altman en matière de partenariats et de produits. Parmi les départs, on peut citer :

  • Ilya Sutskever : il était à la fois cofondateur et scientifique en chef d'OpenAI, ainsi que le chef de l'équipe Superalignment. Compte tenu de son rôle dans la tentative de coup d'État d'Altman, il est difficile de savoir s'il a été gentiment mis à la porte ou s'il est parti de son propre chef ;
  • Jan Leike : il était chargé (avec Sutskever) de veiller à ce que les systèmes d'IA d'OpenAI soient alignés sur les intérêts humains et avait été désigné l'année dernière par le magazine Time comme l'une des 100 personnes les plus influentes dans le domaine de l'IA ;
  • Evan Morikawa : il était ingénieur en chef chez OpenAI. Il a quitté l'entreprise la semaine dernière après trois ans et demi d'activité. Il prévoit de lancer une nouvelle initiative avec des vétérans de Boston Dynamics et DeepMind ;
  • Daniel Kokotajlo : ancien membre de l'équipe de sécurité d'OpenAI, il a quitté l'entreprise en février. Il a depuis critiqué publiquement OpenAI, déclarant qu'il avait quitté l'entreprise, car il ne croyait plus qu'elle se comporterait de manière responsable à l'ère de l'AGI ;
  • William Saunders : il a quitté OpenAI en février, abandonnant son poste de manager au sein de l'équipe Superalignment. Dans des messages sur le forum LessWrong, Saunders a refusé d'expliquer les raisons de son départ ;
  • Leopold Aschenbrenner : il était aussi membre de l'équipe Superalignment, travaillant avec Leike et Sutskever. Son départ n'était cependant pas une démission. Il a été licencié en avril pour avoir prétendument divulgué des informations à des journalistes ;
  • Andrey Karpathy : membre fondateur d'OpenAI, Karpathy avait déjà quitté l'organisation une fois, mais était revenu en février 2023. Cela n'a duré qu'un an, lorsqu'il est reparti, bien que dans un tweet il ait déclaré que ce n'était pas le résultat d'un événement, d'un problème ou d'un drame particulier ;
  • Logan Kilpatrick : il a quitté le navire il y a deux mois pour un poste chez Google. Il a confié que les changements intervenus au sein de l'entreprise étaient en partie à l'origine de son départ, soulignant que la croissance explosive avait modifié la façon de travailler d'OpenAI.
  • Pavel Izmailov : le poste d'Izmailov aurait été supprimé en même temps que celui d'Aschenbrenner. Tous deux étaient de solides alliés de Sutskever. Ni son nom ni celui d'Aschenbrenner ne figuraient sur la liste des employés qui ont manifesté leur soutien à Altman lors du chaos de novembre ;
  • Diane Yoon : elle a quitté OpenAI au début du mois de mai, démissionnant de son poste de vice-présidente du personnel. Aucune raison n'a été donnée pour ce départ, mais Yoon était l'un des cadres les plus anciens de l'entreprise ;
  • Chris Clark: il a aussi quitté OpenAI au début du mois. Il était responsable des initiatives stratégiques et à but non lucratif.


Après les départs de Sutskever et Leike, OpenAI a dissous l'équipe Superalignment. Avec leur départ, l'entreprise venait de perdre ses deux principaux chercheurs en matière de sécurité de l'IA et deux des cadres qui fait d'elle un leader incontesté du secteur de l'IA. Il n'y avait donc plus de raison de garder l'équipe et de toute façon, des rapports ont récemment signalé qu'OpenAI semblait de moins en moins se soucier de la sécurité des produits.

La rumeur indique qu'Altman donne désormais la priorité au lancement de nouveaux produits et la réalisation de profits. Une orientation qui pourrait expliquer ces nombreux départs. Altman chercherait également à lever plusieurs milliers de milliards de dollars pour créer ses propres d'IA afin de concurrencer Nvidia.

Et vous ?

Quel est votre avis sur le sujet ?
Que pensez-vous des caractéristiques potentielles de la nouvelle Strawberry d'OpenAI ?
Selon vous, les capacités de raisonnement des grands modèles de langage peuvent-elles être améliorées ?
Quels pourraient être les impacts d'une IA avec des capacités avancées en matière de raisonnement sur l'industrie ?
Selon vous, qu'est-ce qui pourrait expliquer le nombre important de départs auquel OpenAI est confronté ?

Voir aussi

OpenAI pourrait perdre 5 milliards de dollars cette année et se retrouver à court de liquidités dans 12 mois, selon un rapport qui évoque ses dépenses colossales en formation des modèles d'IA et en rémunération

Les actions de Microsoft chutent de plus de 6 % après la publication de résultats décevants en matière d'IA, la course à l'IA est excessivement coûteuse et les bénéfices ne sont pas à la hauteur des dépenses

Le projet de loi californien sur l'IA menace-t-il l'innovation ou protège-t-il la société ? Google, Meta et OpenAI s'y opposent, arguant qu'il pourrait freiner l'innovation, tandis qu'Elon Musk le soutient