MAI-1 : Microsoft prépare un nouveau modèle d'IA pour concurrencer Google et OpenAI
MAI-1 : Microsoft prépare un nouveau modèle d'IA pour concurrencer Google et OpenAI.
Supervisée par Mustafa Suleyman, co-fondateur de Google DeepMind, l'équipe décrit MAI-1 comme étant « bien plus grand » que les précédents modèles open source de Microsoft
Microsoft a annoncé le développement d’un nouveau modèle d’IA, nommé MAI-1, qui promet de rivaliser avec les géants du secteur tels que Google et OpenAI. Ce nouveau modèle, supervisé par Mustafa Suleyman, co-fondateur de Google DeepMind et ancien PDG de la startup Inflection, représente une avancée significative pour Microsoft dans la course à l’IA. MAI-1 est décrit comme étant « bien plus grand » que les précédents modèles open source développés par Microsoft, selon un rapport, ce qui implique une puissance de calcul et des coûts accrus.
Avec environ 500 milliards de paramètres, MAI-1 sera nettement plus grand que les modèles open source précédents de Microsoft (tels que Phi-3), ce qui nécessitera plus de puissance de calcul et de données d'entraînement. Cela place MAI-1 dans une ligue similaire à GPT-4 d'OpenAI, qui aurait plus de 1 000 milliards de paramètres (dans une configuration de mélange d'experts) et bien au-dessus de modèles plus petits comme Meta et les modèles de 70 milliards de paramètres de Mistral.
Pour mémoire, le mois dernier, Microsoft a présenté Phi-3-mini, un modèle de langage de 3,8 milliards de paramètres entraîné sur 3,3 trillions de tokens, dont les performances globales, mesurées à la fois par des benchmarks académiques et des tests internes, rivalisent avec celles de modèles tels que Mixtral 8x7B et GPT-3.5 (par exemple, Phi-3-mini atteint 69 % sur MMLU et 8,38 sur MT-bench), bien qu'il soit suffisamment petit pour être déployé sur un téléphone.
L'innovation réside entièrement dans l'ensemble de données pour l'entraînement de Microsoft, une version agrandie de celle utilisée pour Phi-2, composée de données web fortement filtrées et de données synthétiques. Le modèle est également aligné en termes de robustesse, de sécurité et de format de discussion. Microsoft fournit également quelques résultats initiaux de mise à l'échelle des paramètres avec des modèles 7B et 14B entraînés pour 4,8T tokens, appelés Phi-3-small et Phi-3-medium, tous deux significativement plus performants que Phi-3-mini (par exemple, respectivement 75 % et 78 % sur MMLU, et 8,7 et 8,9 sur MT-bench).
Le développement de MAI-1 suggère une double approche de l'IA au sein de Microsoft, qui se concentre à la fois sur de petits modèles de langage exécutés localement pour les appareils mobiles et sur de plus grands modèles de pointe alimentés par le cloud. Apple serait en train d'explorer une approche similaire. Il souligne également la volonté de l'entreprise d'explorer le développement de l'IA indépendamment d'OpenAI, dont la technologie alimente actuellement les fonctions d'IA générative les plus ambitieuses de Microsoft, y compris un chatbot intégré à Windows.
Le but exact de MAI-1 n’a pas encore été déterminé et dépendra de ses performances lors des tests. Microsoft pourrait présenter ce nouveau modèle lors de sa conférence pour développeurs Build, plus tard ce mois-ci.
Des courriels révèlent que l'investissement d'un milliard de dollars de Microsoft dans OpenAI a été déclenché par les craintes de Google
Microsoft a investi 1 milliard de dollars dans OpenAI en 2019 parce qu'elle était « très inquiète » que Google ait des années d'avance dans l'intensification de ses efforts en matière d'IA. Un courriel interne, intitulé « Thoughts on OpenAI », entre le directeur technique de Microsoft Kevin Scott, le PDG Satya Nadella et le cofondateur Bill Gates révèle certaines des discussions de haut niveau autour d'une opportunité d'investissement dans les mois qui ont précédé la révélation du partenariat par Microsoft.
L'email a été publié mardi dans le cadre de l'affaire antitrust en cours du ministère américain de la Justice contre Google.
« Nous avons plusieurs années de retard sur la concurrence en termes d'échelle d'apprentissage automatique », a écrit Scott dans son courriel du 12 juin 2019 à Nadella et Gates. Il détaille comment il a fallu six mois aux ingénieurs de Microsoft pour reproduire le modèle linguistique BERT de Google et l'entraîner « parce que notre infrastructure n'était pas à la hauteur de la tâche. »
Microsoft a été impressionné par l'utilisation précoce de l'IA par Google. Scott explique qu'il a d'abord été déçu par les efforts d'OpenAI et de Google DeepMind en matière d'IA, lorsque les entreprises étaient en concurrence pour savoir qui « pouvait réaliser le jeu le plus impressionnant » - une référence claire aux démonstrations d'AlphaGo Zero de Google DeepMind. Scott a rapidement été plus impressionné lorsque les choses ont évolué vers des modèles de traitement du langage naturel. « Alors que j'essayais de comprendre où se situaient les écarts de capacité entre Google et nous pour la formation des modèles, j'ai commencé à être très, très inquiet », a écrit Scott.
Certains des premiers modèles d'IA de Google l'ont aidé à avoir un avantage concurrentiel sur Bing, a déclaré Scott, et il a même fait l'éloge des fonctionnalités d'autocomplétion de Google dans Gmail qui « devenaient effrayantes » en 2019.
Nadella a répondu aux réflexions de Scott sur OpenAI en les transmettant à la directrice financière de Microsoft, Amy Hood, notant que c'est « la raison pour laquelle je veux faire cela ». Amy Hood est un membre clé de l'équipe dirigeante de Microsoft et a pour mission de superviser les objectifs financiers de l'entreprise et de contrôler régulièrement les dépenses de Microsoft.
Le message électronique, que vous pouvez lire ci-dessous, est fortement expurgé et semble être une réponse à Nadella ou à Gates. Bien que Gates ait quitté le conseil d'administration de Microsoft en 2020 à la suite d'une enquête sur une liaison avec une employée, il aurait toujours joué un rôle important dans la relation entre Microsoft et OpenAI. Ce courriel interne ne permet pas de savoir qui a initié la discussion sur OpenAI en 2019, mais Business Insider a rapporté la semaine dernière que Gates rencontrait régulièrement OpenAI depuis 2016 et qu'il avait aidé à négocier l'accord.
Microsoft AI, l'équipe dédiée à l'IA, est dirigée par le cofondateur de Deepmind de Google
Mustafa Suleyman, un entrepreneur britannique qui a cofondé DeepMind à Londres en 2010 et qui était directeur général de la start-up d'intelligence artificielle Inflection, a pris le rôle de vice-président exécutif et PDG de Microsoft AI, rejoignant l’équipe de direction senior et rapportant directement à Satya Nadella, PDG de Microsoft.
Cette initiative intervient après que Microsoft ait dirigé un tour de financement de 1,3 milliard de dollars dans Inflection AI l’année dernière, soulignant l’importance croissante de l’IA dans les produits grand public et la recherche. L’équipe d’Inflection AI, connue pour ses contributions significatives dans le domaine de l’IA, apportera son expertise et son talent à Microsoft.
Il s'agit de la dernière mesure prise par Microsoft pour tirer parti de l'essor de l'IA générative. La société a investi 13 milliards de dollars dans OpenAI, le fabricant de ChatGPT, et a rapidement intégré sa technologie dans les produits Microsoft.
Google a racheté DeepMind en 2014 pour plus de 628 millions de dollars. Il s'agissait de l'un des premiers grands paris d'une grande entreprise technologique sur un laboratoire d'IA en phase de démarrage. Quelques années plus tard, l'entreprise a été confrontée à une controverse sur certains de ses projets, notamment son travail pour le secteur de la santé au Royaume-Uni, qui a été jugé par un organisme de surveillance gouvernemental comme ayant bénéficié d'un accès inapproprié aux dossiers des patients.
Suleyman, qui était le principal visage public de l'entreprise, a été mis en congé en 2019. Les employés de DeepMind s'étaient plaints de son style de gestion trop agressif. Répondant aux plaintes du personnel à l'époque, Suleyman a déclaré : « J'ai vraiment merdé. J'étais très exigeant et plutôt implacable ».
Quelques mois plus tard, il est passé chez Google, où il a dirigé la gestion des produits d'intelligence artificielle. En 2022, il a rejoint Greylock, une société de capital-risque de la Silicon Valley, et a lancé Inflection plus tard dans l'année.
Microsoft a également embauché la plupart des employés d'Inflection, y compris Karén Simonyan, cofondatrice et scientifique en chef d'Inflection, qui est devenue scientifique en chef du groupe IA. Microsoft n'a pas précisé le nombre d'employés transférés, mais a indiqué qu'il s'agissait d'ingénieurs en IA, de chercheurs et de concepteurs de grands modèles de langage qui ont conçu et coécrit « un grand nombre des contributions les plus importantes à l'avancement de l'IA au cours des cinq dernières années ».
Conclusion
Cet investissement dans MAI-1 souligne l’engagement de Microsoft à développer ses propres solutions d’IA, indépendamment de sa collaboration avec OpenAI. Cela montre également la volonté de l’entreprise de rester à la pointe de l’innovation dans un domaine en constante évolution. Avec MAI-1, Microsoft ne se contente pas de suivre la tendance, mais cherche à définir les standards de demain dans le domaine de l’IA. Reste à voir comment ce nouveau modèle sera accueilli par le marché et quelle sera sa place dans l’écosystème technologique global.
Source : The Information
Quelles applications pratiques envisagez-vous pour le nouveau modèle d’IA MAI-1 de Microsoft dans votre secteur d’activité ?
Répondre avec citation
Partager