Discussion :

[Bill Fassinou]

Microsoft investit 1 Md$ dans OpenAI, la société fondée par Elon Musk, qui tente de développer une IA
semblable à l'intelligence humaine

Microsoft et OpenAI ont annoncé ce lundi un partenariat pluriannuel entre les deux entreprises visant à développer des technologies de calcul intensif destinées à l’intelligence artificielle sur le service de cloud computing Azure de Microsoft. Ce partenariat permet à OpenAI de bénéficier d’un investissement de 1 milliard de dollars de Microsoft et de la puissance de calcul de Microsoft Azure. Ensemble, les deux entreprises entendent poursuivre les objectifs d'OpenAI depuis sa création en 2015, en particulier celle de parvenir à mettre au point une intelligence artificielle semblable à celle de l’homme, encore appelée intelligence artificielle générale (IAG).

Elon Musk, le PDG de Tesla Motors et de SpaceX, a fondé OpenAI, une organisation à but non lucratif, en 2015 en partenariat avec Sam Altman, président de l’incubateur Y Combinator. Aujourd’hui, Elon Musk a quitté la direction d’OpenAI pour se concentrer sur sa propre vision de l’intelligence artificielle chez Tesla Motors, mais la vision d’OpenAI reste le même : développer une intelligence artificielle générale sûre qui pourra profiter à toute l’humanité. Au mois de mars de cette année, la société a annoncé la création d’une division, cette fois-ci à but lucratif, dénommé OpenAI LP pour générer des profits afin de pouvoir financer ses recherches.

Le mois suivant, la société a annoncé des progrès remarquables dans ses recherches sur l’intelligence et a présenté OpenAI Five, un agent d’IA conçu pour défier l’intellect humain dans le jeu vidéo Dota 2. OpenAI a confronté son agent d’IA dénommé OpenAI Five à la meilleure équipe de Dota 2 dans un match dont l’IA de la start-up est sortie vainqueur. Aujourd’hui, l’entreprise a annoncé qu’elle veut aller plus loin encore dans ses objectifs, d’où son partenariat avec Microsoft. Ce partenariat garantit à OpenAI un investissement d’un milliard de dollars de Microsoft et la puissance de calcul de Microsoft Azure Cloud.

Dans un billet de blog, Microsoft a annoncé qu’il s’agit d’un partenariat pluriannuel fondé sur des valeurs communes d'autonomisation et de fiabilité et sur un investissement de 1 milliard de dollars de Microsoft. Selon l’entreprise, ce partenariat vise à créer une plateforme qu'OpenAI utilisera pour créer de nouvelles technologies d'intelligence artificielle et tenir la promesse d'une intelligence artificielle générale. « Microsoft Corp. et OpenAI, deux sociétés qui réfléchissent profondément au rôle de l'intelligence artificielle dans le monde et à la manière de créer une intelligence artificielle sécurisée, fiable et éthique au service du public, se sont associées pour étendre les capacités de Microsoft Azure dans les systèmes d'IA à grande échelle », a annoncé Microsoft.

Grâce à ce partenariat, les deux sociétés vont accélérer les avancées en matière d'intelligence artificielle et alimenter les efforts d'OpenAI visant à créer une intelligence artificielle générale (IAG). Ainsi, précise Microsoft, les améliorations apportées à la plateforme Azure aideront également les développeurs à créer la prochaine génération d'applications d'intelligence artificielle. Le partenariat entre les deux entités va couvrir les domaines suivants :

• Microsoft et OpenAI construiront conjointement de nouvelles technologies de calculs intensifs Azure AI ;
• OpenAI portera ses services sur Microsoft Azure, qu’elle utilisera pour créer de nouvelles technologies d’intelligence artificielle et tenir la promesse d’une intelligence artificielle générale ;
• Microsoft deviendra le partenaire privilégié d'OpenAI dans le cadre de la commercialisation de nouvelles technologies d'intelligence artificielle.

En gros, les deux sociétés se concentreront sur la création d’une plateforme informatique sans précédent dans Azure destinée à former et à exploiter des modèles d’intelligence artificielle de plus en plus avancés. Ceci se fera en utilisant des technologies matérielles qui reposent sur la technologie de calcul intensif de Microsoft et qui respectent les principes communs des deux entreprises en matière d’éthique et de confiance. Cela créera une base pour que les avancées en matière d'intelligence artificielle puissent être mises en œuvre de manière sûre, sécurisée et digne de confiance. Selon Microsoft, c'est la raison fondamentale pour laquelle les deux entreprises ont choisi de s'associer.

Sam Altman, PDG d'OpenAI (à gauche), et Satya Nadella, PDG de Microsoft

« L'intelligence artificielle est l'une des technologies les plus transformatrices de notre époque et peut potentiellement contribuer à résoudre bon nombre de défis les plus pressants de notre monde. En associant la technologie de pointe d'OpenAI aux nouvelles technologies de calculs intensifs Azure AI, notre ambition est de démocratiser l'IA, tout en gardant toujours la sécurité de l'IA à l'avant-plan, afin que tout le monde puisse en bénéficier », a déclaré Satya Nadella, PDG de Microsoft. De son côté, OpenAI a également annoncé qu’il travaillera désormais en partenariat avec Microsoft pour développer une plateforme matérielle et logicielle au sein de Microsoft Azure qui sera adaptée à l’IAG.

« Nous développerons conjointement les nouvelles technologies de calcul intensif Azure AI et Microsoft deviendra notre fournisseur de cloud exclusif. Nous allons donc travailler sans relâche pour étendre davantage les capacités de Microsoft Azure dans les systèmes d'intelligence artificielle à grande échelle », a annoncé OpenAI dans la journée d’hier. Selon Sam Altman, PDG d'OpenAI, la création d'une intelligence artificielle générale constituera le développement technologique le plus important de l'histoire de l'humanité. Cela, précise-t-il, aura également le potentiel de modeler la trajectoire de l'humanité.

« Notre mission est de nous assurer que l’intelligence artificielle générale profite à toute l'humanité. Nous travaillerons avec Microsoft pour créer la base de superinformatique sur laquelle nous allons construire l’IAG. Nous pensons qu’il est essentiel que l’intelligence artificielle générale soit déployée en toute sécurité et que ses avantages économiques soient largement distribués. Nous sommes ravis de voir à quel point Microsoft partage cette vision », a déclaré Sam Altman, PDG d'OpenAI. Par la suite, annonce Reuters, Microsoft et OpenAI ont refusé de répondre à la question de savoir si et comment le retour de Microsoft sur son investissement d'un milliard de dollars serait plafonné.

Ces derniers ont également manqué de donner des explications sur la façon dont les revenus et les bénéfices issus des technologies développées conjointement seront partagés. Les deux entreprises ont également refusé d'indiquer si l'investissement de Microsoft serait réalisé en espèces ou s'il impliquerait des crédits pour le service de cloud computing Azure. D’après Reuters, en se basant sur les documents déposés par OpenAI auprès du US Internal Revenue Service, les services cloud computing représentent un coût important pour OpenAI.

OpenAI, précise Reuters, a dépensé environ 7,9 millions de dollars dans le cloud computing au cours de l'année d'imposition 2017, soit environ un quart de ses dépenses fonctionnelles totales pour cette année. Il serait donc logique de conclure que ce partenariat sera d’un grand avantage pour la jeune organisation de Sam Altman.

Sources : Microsoft, OpenAI

Et vous ?

Qu'en pensez-vous ?

Voir aussi

OpenAI crée OpenAI LP en tant qu'hybride d'une société à but lucratif et non lucratif pour générer de profits et se financer

OpenAI Five, l'équipe d'algorithmes d'IA d'OpenAI, écrase les champions du monde de Dota 2 et tout le monde peut jouer contre elle

L'IA de génération de texte d'Elon Musk trop dangereuse pour être rendue publique, selon ses créateurs

[Stan Adkens]

Microsoft vient de construire un supercalculateur de classe mondiale exclusivement pour OpenAI,
Afin de former de très grands modèles d'intelligence artificielle

Annoncé l’année dernière par Microsoft, l’investissement de 1 milliard de dollars de la société dans OpenAI, une organisation dont la mission est de créer une intelligence générale artificielle et de la rendre sûre pour l'humanité, a produit ses premiers résultats : l’achèvement de la construction d’un superordinateur exclusivement pour la recherche sur l'apprentissage machine destiné à OpenAI. Microsoft a fait l’annonce lors de la conférence des développeurs Microsoft Build 2020. Selon la société, la nouvelle machine dispose de 285 000 cœurs de CPU, 10 000 GPU et 400 gigabits par seconde de connectivité réseau pour chaque serveur GPU.

Dans un article de blog publié par Microsoft le 19 mai, premier jour de la conférence, la société n'a pas publié de données sur les performances, et l'ordinateur n'a pas fait l'objet d'une évaluation publique et n'a pas non plus été inclus dans la liste très suivie du Top500 des supercalculateurs. Mais face aux superordinateurs les plus rapides de classe mondiale, Microsoft affirme qu'il se classerait au cinquième rang.

Comme nous en avons appris de plus en plus sur nos besoins et sur les différentes limites de tous les composants qui composent un superordinateur, nous avons pu nous dire : « Si nous pouvions concevoir le système de nos rêves, à quoi ressemblerait-il ? », a déclaré Sam Altman, PDG d'OpenAI. « Et ensuite, Microsoft a pu le construire ».

OpenAI est une organisation à but non lucratif qui a été cofondée en 2015 par Elon Musk, le PDG de Tesla Motors et de SpaceX, et Sam Altman, président de l’incubateur Y Combinator. Elon Musk a ensuite quitté la direction de l’organisation dont la vision est de développer une intelligence artificielle générale sûre qui pourra profiter à toute l’humanité. Microsoft et OpenAI ont annoncé en juillet 2019 un partenariat pluriannuel visant à développer des technologies de calcul intensif destinées à l’intelligence artificielle sur le service de cloud computing Azure de Microsoft. Ce partenariat permet à OpenAI de bénéficier d’un investissement de 1 milliard de dollars de Microsoft et de la puissance de calcul de Microsoft Azure, et la construction de ce superordinateur représente une étape clé dans ce partenariat, d’après Microsoft.

En avril 2019, OpenAI a annoncé des progrès remarquables dans ses recherches sur l’intelligence artificielle et a présenté OpenAI Five, un agent d’IA conçu pour défier l’intellect humain dans le jeu vidéo Dota 2. OpenAI a confronté son agent d’IA dénommé OpenAI Five à la meilleure équipe de Dota 2 dans un match dont l’IA de la startup est sortie vainqueur. L’ intelligence artificielle générale n’est pas encore atteinte, mais la société travaille sur des algorithmes d'intelligence artificielle de plus en plus complexes et ce nouveau superordinateur lui apportera beaucoup de puissance de calcul pour continuer ses recherches.

Plus le modèle est grand, plus la puissance de calcul nécessaire à son apprentissage est importante

À quoi va servir cette nouvelle machine ? En fait, selon Microsoft, la taille des modèles d'IA les plus avancés – c'est-à-dire les réseaux de neurones dans les algorithmes d'apprentissage machine – a augmenté rapidement. Dans le même temps, OpenAI a publié une analyse en 2018 selon laquelle la puissance de calcul nécessaire à l'apprentissage de ces modèles a doublé tous les 3,4 mois. Or plus le modèle est grand, plus l'ordinateur nécessaire à son apprentissage est important.

Selon l’article de Microsoft, cette croissance de la taille des modèles d’IA est en partie due au nombre de paramètres utilisés dans chaque modèle. De manière simpliste, il s'agit des valeurs que les "neurones" opérant sur les données d'un réseau neuronal supposent par le biais de la formation. L'algorithme GPT-2 d'OpenAI, qui génère un texte convaincant à partir d'invites, comprend près de 1,5 milliard de paramètres. Le modèle de Turing NLG de Microsoft, qui génère le langage naturel de l'IA, était plus de 10 fois plus grand, avec 17 milliards de paramètres, selon un article blog publié en février par Microsoft.

Jeudi dernier, OpenAI a annoncé le GPT-3, qui serait composé de 175 milliards de paramètres, un chiffre stupéfiant. C’est un modèle linguistique capable d'obtenir des résultats de pointe sur un ensemble de tâches de traitement du langage naturel uniques et de référence qui va de la traduction des langues à la génération d'articles de presse en passant par la réponse aux questions du SAT, selon la société.

Une autre tendance rend nécessaires plus de capacités de calcul. En effet, alors que de nombreux algorithmes d'apprentissage machine sont formés sur des ensembles de données marqués par l'homme, Microsoft, OpenAI et d'autres poursuivent également un apprentissage machine "non supervisé". Cela signifie qu'avec suffisamment de données brutes non marquées, les algorithmes autoapprennent en identifiant des modèles dans ces données.

Aussi, certains des systèmes les plus récents peuvent également effectuer plus d'une tâche dans un domaine donné. Un algorithme formé sur le texte brut de milliards de pages Internet - des entrées Wikipédia aux livres autopubliés - peut déduire des relations entre les mots, les concepts et le contexte. Au lieu de ne pouvoir faire qu'une seule chose, comme générer du texte, il peut transférer son apprentissage à de multiples tâches connexes dans le même domaine, comme aussi lire des documents et répondre à des questions. Selon Microsoft, les algorithmes NLG de Turing et GPT-3 entrent dans cette catégorie.

« Ce qui est passionnant avec ces modèles, c'est l'étendue des possibilités qu'ils offrent », a déclaré Kevin Scott, directeur technique de Microsoft, qui a précisé que les avantages potentiels vont bien au-delà des avancées limitées d'un seul type de modèle d'IA. « Il s'agit de pouvoir faire cent choses passionnantes à la fois dans le traitement du langage naturel et cent choses passionnantes dans la vision par ordinateur, et lorsque vous commencerez à voir des combinaisons de ces domaines perceptifs, vous aurez de nouvelles applications qui sont difficiles à imaginer pour le moment », a-t-il ajouté.

La mise au point de cette nouvelle machine est donc une aubaine pour OpenAI. Mais la question qui se pose est de savoir si l'approche continuera à progresser vers l’intelligence artificielle générale tant que les chercheurs pourront y consacrer plus de puissance de calcul. En outre, si la recherche la plus avancée en matière d'IA requiert des ressources aussi prodigieuses, seules les organisations privées les plus performantes et les mieux connectées pourront y participer, au fur et mesure que les recherches avancent.

Toutefois, la bonne nouvelle selon Microsoft est que la prochaine génération de grands modèles d'IA n'a besoin d'être formée qu'une seule fois avec des quantités massives de données et des ressources de calcul avancé. Ensuite, une entreprise peut prendre un modèle "préformé" et simplement l'ajuster pour différentes tâches avec des ensembles de données et des ressources beaucoup plus petites.

La vision des futurs travaux sur l'IA de Microsoft

Microsoft a également annoncé une mise à jour de son ensemble d'outils d'apprentissage approfondi à code source ouvert, DeepSpeed, publié pour la première fois en février. La société affirme que DeepSpeed peut aider les développeurs à former des modèles 15 fois plus grands et 10 fois plus rapides en utilisant les mêmes ressources de calcul. Et ils prévoient également de rendre open source leurs modèles de Turing afin que la communauté élargie puisse s'en inspirer.

L'idée générale, selon Microsoft, est qu'une fois que l'un de ces très grands modèles d'IA a été formé, il peut en fait être personnalisé et employé par d'autres chercheurs ou entreprises avec beaucoup moins de ressources. Quoi qu'il en soit, Microsoft et OpenAI se sont engagés dans la voie de très grands modèles d’IA, et leur nouvelle machine pourrait être suivie par des systèmes encore plus importants dans les années à venir.

« Nous testons une hypothèse qui existe depuis le début du domaine : qu'un réseau neuronal proche de la taille du cerveau humain peut être formé pour devenir une IA », a déclaré Greg Brockman, cofondateur, président et directeur technique d'OpenAI, au Financial Times lorsque l'investissement de Microsoft a été rendu public. « Si l'hypothèse est vraie, le bénéfice pour l'humanité sera remarquable », a-t-il ajouté.

Sources : Microsoft, Arxiv

Et vous ?

Qu’en pensez-vous ?
Que pensez-vous du supercalculateur destiné à la formation de très grands modèles d'IA ?
Pensez-vous que plus de ressources de calcul contribueraient rapidement à atteindre l’IA générale ?

Lire aussi

Microsoft investit 1 Md$ dans OpenAI, la société fondée par Elon Musk, qui tente de développer une IA semblable à l'intelligence humaine
OpenAI crée OpenAI LP en tant qu'hybride d'une société à but lucratif et non lucratif*; pour générer de profits et se financer
OpenAI Five, l'équipe d'algorithmes d'IA d'OpenAI, écrase les champions du monde de Dota 2, et tout le monde peut jouer contre elle
AlphaStar, la nouvelle IA de DeepMind, a écrasé des joueurs pro de Starcraft II, un jeu vidéo conçu pour défier l'intellect humain

[ManPaq]

La prospection massive et anonyme ne remplace pas l'éducation et la charge émotionnelle liée à l'apprentissage. Une route ne vaut que par ses usagers et la circulation qu'ils engendrent: les protocoles de dimensionnement sont adaptés. Où l'on ne fait pas de l'éducation dans des usines elle commence à une échelle locale réduite pour aboutir à l'univer(sité)sel.
Afin d'illustrer ma réserve sur cette méthode top down/bottom up, un extrait (un éloge de la lenteur) de pour la science, D. Fields, 30/11/99

En outre, la myéline optimise l’intégration des signaux neuronaux. Imaginons que toute information dans le cerveau soit transmise aussi vite que possible. En conséquence, tous les neurones seraient myélinisés de la même façon. Mais pour les neurones, la vitesse n’est pas nécessairement un atout. En effet, l’information peut voyager sur de longues distances entre les centres cérébraux. Chaque centre exécute une fonction particulière et envoie le résultat à d’autres régions pour la prochaine étape du traitement de l’information. Pour des apprentissages complexes, tel jouer du piano, l’information fait des allers-retours entre de nombreuses régions ; les informations transmises sur des distances différentes doivent arriver, en même temps, à un endroit particulier et à un certain moment. Pour obtenir une telle précision, des délais sont nécessaires. Car si tous les neurones transmettaient l’information à une vitesse maximale, les signaux des neurones éloignés arriveraient toujours plus tard que les signaux des neurones voisins.