IdentifiantMot de passe
Loading...
Mot de passe oublié ?Je m'inscris ! (gratuit)
Navigation

Inscrivez-vous gratuitement
pour pouvoir participer, suivre les réponses en temps réel, voter pour les messages, poser vos propres questions et recevoir la newsletter

  1. #1
    Chroniqueur Actualités

    Homme Profil pro
    Administrateur de base de données
    Inscrit en
    Mars 2013
    Messages
    8 384
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : Canada

    Informations professionnelles :
    Activité : Administrateur de base de données

    Informations forums :
    Inscription : Mars 2013
    Messages : 8 384
    Points : 196 431
    Points
    196 431
    Par défaut Microsoft a dépensé des centaines de Ms $ pour construire le supercalculateur sur lequel s'appuie ChatGPT
    Microsoft a dépensé des centaines de millions de dollars pour construire le supercalculateur sur lequel s'appuie ChatGPT.
    Microsoft a combiné des milliers de GPU NVIDIA sur sa plateforme Azure

    Microsoft a dépensé des centaines de millions de dollars pour construire un superordinateur massif pour aider à alimenter le chatbot ChatGPT d'OpenAI, selon un rapport. Dans deux articles de blog publiés lundi, Microsoft explique comment il a créé la puissante infrastructure d'intelligence artificielle d'Azure utilisée par OpenAI et comment ses systèmes deviennent encore plus robustes.

    Pour construire le supercalculateur qui alimente les projets d'OpenAI, Microsoft affirme avoir relié des milliers d'unités de traitement graphique (GPU) NVIDIA sur sa plateforme de cloud computing Azure. À son tour, cela a permis à OpenAI de former des modèles de plus en plus puissants et de « déverrouiller les capacités d'IA » d'outils comme ChatGPT et Bing.

    Scott Guthrie, vice-président de Microsoft pour l'IA et le cloud, a déclaré que la société avait dépensé plusieurs centaines de millions de dollars pour le projet, selon une déclaration. Et même si cela peut sembler une goutte d'eau dans l'océan pour Microsoft, qui a récemment prolongé son investissement pluriannuel de plusieurs milliards de dollars dans OpenAI, cela démontre certainement qu'il est prêt à investir encore plus d'argent dans l'espace de l'IA.


    Lorsque Microsoft Corp. a investi 1 milliard de dollars dans OpenAI en 2019, il a accepté de construire un supercalculateur massif et de pointe pour la startup de recherche en intelligence artificielle. Le seul problème : Microsoft n'avait rien de ce dont OpenAI avait besoin et n'était pas totalement sûr de pouvoir créer quelque chose d'aussi gros dans son service cloud Azure sans qu'il ne se brise.

    D'ailleurs, John Roach de Microsoft pose bien le contexte.

    Citation Envoyé par John Roach
    Il y a environ cinq ans, l'organisation de recherche sur l'intelligence artificielle OpenAI a présenté à Microsoft une idée audacieuse selon laquelle elle pourrait créer des systèmes d'IA qui changeraient à jamais la façon dont les gens interagissent avec les ordinateurs.

    À l'époque, personne ne savait que cela signifierait des systèmes d'IA qui créent des images de tout ce que les gens décrivent en langage clair ou un chatbot pour écrire des paroles de rap, rédiger des e-mails et planifier des menus entiers basés sur une poignée de mots. Mais une telle technologie était possible. Pour le construire, OpenAI avait besoin de puissance de calcul - à une échelle vraiment massive. Microsoft pourrait-il la fournir?

    Microsoft a consacré des décennies à ses propres efforts pour développer des modèles d'IA qui aident les gens à travailler plus efficacement avec le langage, du correcteur orthographique automatique dans Word aux outils d'IA qui écrivent des légendes de photos dans PowerPoint et traduisent dans plus de 100 langues dans Microsoft Translator. Au fur et à mesure que ces capacités d'IA s'amélioraient, la société a appliqué son expertise en calcul haute performance pour faire évoluer l'infrastructure de son cloud Azure, ce qui a permis aux clients d'utiliser ses outils d'IA pour créer, former et servir des applications d'IA personnalisées.

    Lorsque les chercheurs en IA ont commencé à utiliser des unités de traitement graphique plus puissantes, appelées GPU, pour gérer des charges de travail d'IA plus complexes, ils ont commencé à entrevoir le potentiel de modèles d'IA beaucoup plus grands qui pourraient comprendre les nuances si bien qu'ils étaient capables de s'attaquer à de nombreuses tâches linguistiques différentes à la fois. Mais ces modèles plus grands se sont rapidement heurtés aux limites des ressources informatiques existantes. Microsoft a compris quel type d'infrastructure de supercalcul OpenAI demandait - et l'échelle qui serait nécessaire.


    OpenAI essayait de former un ensemble de plus en plus large de programmes d'intelligence artificielle appelés modèles, qui ingéraient de plus grands volumes de données et apprenaient de plus en plus de paramètres, les variables que le système d'IA a découvertes grâce à la formation et au recyclage. Cela signifiait qu'OpenAI avait besoin d'accéder à de puissants services de cloud computing pendant de longues périodes.

    Comment Microsoft s'y est-elle prise ?

    Pour relever ce défi, Microsoft a dû trouver des moyens de relier des dizaines de milliers de puces graphiques A100 de NVIDIA Corp. (le cheval de bataille pour la formation des modèles d'IA) et de changer la façon dont il positionne les serveurs sur les racks pour éviter les pannes de courant. Scott Guthrie, le vice-président exécutif de Microsoft qui supervise le cloud et l'IA, n'a pas donné de coût précis pour le projet, mais a déclaré qu'il « est probablement plus important » que plusieurs centaines de millions de dollars.

    « Nous avons construit une architecture système qui pouvait fonctionner et être fiable à très grande échelle. C'est ce qui a rendu ChatGPT possible », a déclaré Nidhi Chappell, directeur général de Microsoft pour l'infrastructure Azure AI. « C'est un modèle qui en est ressorti. Il va y en avoir beaucoup, beaucoup d'autres ».

    La technologie a permis à OpenAI de lancer ChatGPT, le chatbot viral qui a attiré plus d'un million d'utilisateurs quelques jours après son introduction en bourse en novembre et qui est maintenant entraîné dans les modèles commerciaux d'autres entreprises, de ceux gérés par le fondateur milliardaire du fonds spéculatif Ken Griffin au service de livraison Instacart Inc. Alors que les outils d'IA génératifs tels que ChatGPT suscitent l'intérêt des entreprises et des consommateurs, une pression accrue sera exercée sur les fournisseurs de services cloud tels que Microsoft, Amazon.com Inc. et Google d'Alphabet Inc. pour s'assurer que leurs centres de données peuvent fournir l'énorme puissance de calcul nécessaire.

    Désormais, Microsoft utilise le même ensemble de ressources qu'il a construit pour OpenAI pour former et exécuter ses propres grands modèles d'intelligence artificielle, y compris le nouveau bot de recherche Bing introduit le mois dernier. L'entreprise vend également le système à d'autres clients. La grande enseigne du logiciel travaille déjà sur la prochaine génération du superordinateur IA, dans le cadre d'un accord élargi avec OpenAI dans lequel Microsoft a ajouté 10 milliards de dollars à son investissement.

    « Nous ne leur avons pas construit une chose personnalisée - cela a commencé comme une chose personnalisée, mais nous l'avons toujours construit de manière à le généraliser afin que quiconque souhaite former un grand modèle de langage puisse tirer parti des mêmes améliorations », a déclaré Guthrie dans une interview. « Cela nous a vraiment aidés à devenir un meilleur cloud pour l'IA en général ».

    La formation d'un modèle d'IA massif nécessite un grand nombre d'unités de traitement graphique connectées en un seul endroit, comme le supercalculateur d'IA assemblé par Microsoft. Une fois qu'un modèle est utilisé, répondre à toutes les questions posées par les utilisateurs (ce qui est appelé inférence) nécessite une configuration légèrement différente. Microsoft déploie également des puces graphiques pour l'inférence, mais ces processeurs (des centaines de milliers d'entre eux) sont géographiquement dispersés dans les plus de 60 régions de centres de données de l'entreprise. Maintenant, la société ajoute la dernière puce graphique NVIDIA pour les charges de travail AI (la H100) et la dernière version de la technologie de réseau Infiniband de NVIDIA pour partager des données encore plus rapidement, a déclaré Microsoft lundi dans un billet de blog.

    Nom : microsoft.png
Affichages : 33857
Taille : 1,39 Mo

    « L'équipe de ravitaillement »

    Le nouveau Bing est toujours en Preview, Microsoft ajoutant progressivement plus d'utilisateurs à partir d'une liste d'attente. L'équipe de Guthrie tient une réunion quotidienne avec environ deux douzaines d'employés qu'ils ont surnommés « l'équipe de ravitaillement », faisant le parallèle avec le groupe de mécaniciens qui règlent les problèmes mécaniques des voitures de course durant une course automobile. Le travail du groupe consiste à déterminer comment mettre rapidement en ligne de plus grandes quantités de capacité informatique, ainsi que résoudre les problèmes qui surgissent.

    « C'est vraiment une sorte de caucus, où nous pouvons avoir quelque chose comme 'Hé, quelqu'un a une bonne idée, mettons-la sur la table aujourd'hui, et discutons-en' », a déclaré Guthrie.

    Un service cloud dépend de milliers de pièces et d'éléments différents (les pièces individuelles des serveurs, des tuyaux, du béton pour les bâtiments, différents métaux et minéraux) et un retard ou une pénurie d'un composant, aussi petit soit-il, peut tout gâcher. Récemment, l'équipe de ravitaillement a dû faire face à une pénurie de chemins de câbles (comme son nom l'indique, il s'agit d'un outil qui retient les câbles sortant des machines). Ils ont donc dû concevoir de nouveaux chemins de câbles. Ils ont également travaillé sur des moyens d'écraser autant de serveurs que possible dans les centres de données existants à travers le monde afin de ne pas avoir à attendre de nouveaux bâtiments, a déclaré Guthrie.

    Lorsque OpenAI ou Microsoft forme un grand modèle d'IA, le travail se produit en même temps. Il est divisé sur toutes les GPU et à certains moments, les unités doivent se parler pour partager le travail qu'elles ont effectué. Pour le supercalculateur IA, Microsoft devait s'assurer que l'équipement réseau qui gère la communication entre toutes les puces pouvait gérer cette charge, et il devait développer un logiciel qui tire le meilleur parti des GPU et de l'équipement réseau. La société a maintenant mis au point un logiciel qui lui permet de former des modèles avec des dizaines de billions (un billion étant 1 000 milliards, à ne pas confondre avec billion en anglais) de paramètres.

    Étant donné que toutes les machines s'allument en même temps, Microsoft a dû réfléchir à leur emplacement et à l'emplacement des alimentations. Sinon, vous vous retrouvez avec la version centre de données de ce qui se passe lorsque vous allumez un micro-ondes, un grille-pain et un aspirateur en même temps dans la cuisine, a déclaré Guthrie.

    La société devait également s'assurer qu'elle pouvait refroidir toutes ces machines et puces, et utiliser l'évaporation, l'air extérieur dans les climats plus frais et les refroidisseurs de marais de haute technologie dans les climats chauds, a déclaré Alistair Speirs, directeur de l'infrastructure mondiale d'Azure.

    Microsoft va continuer à travailler sur des conceptions de serveurs et de puces personnalisées et sur des moyens d'optimiser sa chaîne d'approvisionnement afin d'obtenir tous les gains de vitesse, d'efficacité et d'économies possibles, a déclaré Guthrie.

    « Le modèle qui impressionne le monde en ce moment est construit sur le supercalculateur que nous avons commencé à construire il y a quelques années. Les nouveaux modèles seront construits sur le nouveau supercalculateur que nous formons actuellement, qui est beaucoup plus grand et permettra encore plus de sophistication », a-t-il déclaré.

    En 2019, Microsoft et OpenAI ont conclu un partenariat, qui a été prolongé cette année, pour collaborer sur de nouvelles technologies de supercalcul Azure AI qui accélèrent les percées en matière d'IA, tiennent la promesse de grands modèles de langage et contribuent à garantir que les avantages de l'IA sont largement partagés.

    Les deux sociétés ont commencé à travailler en étroite collaboration pour créer des ressources de supercalcul dans Azure qui ont été conçues et dédiées pour permettre à OpenAI de former une suite croissante de modèles d'IA de plus en plus puissants. Cette infrastructure comprenait des milliers de GPU NVIDIA optimisés pour l'IA reliés entre eux dans un réseau à haut débit et à faible latence basé sur les communications NVIDIA Quantum InfiniBand pour un calcul haute performance.

    L'échelle de l'infrastructure de cloud computing dont OpenAI avait besoin pour former ses modèles était sans précédent - des grappes exponentiellement plus grandes de GPU en réseau que n'importe qui dans l'industrie avait essayé de construire, a noté Phil Waymouth, un directeur principal de Microsoft en charge des partenariats stratégiques qui a aidé à négocier le traiter avec OpenAI.

    La décision de Microsoft de s'associer à OpenAI était ancrée dans la conviction que cette échelle d'infrastructure sans précédent produirait des résultats - de nouvelles capacités d'IA, un nouveau type de plateforme de programmation - que Microsoft pourrait transformer en produits et services offrant de réels avantages aux clients, a déclaré Waymouth. Cette conviction a alimenté l'ambition des entreprises de surmonter tous les défis techniques pour le construire et de continuer à repousser les limites du supercalcul de l'IA.

    Cela inclut les résultats de recherche dans Bing qui reconstituent des vacances de rêve, le chatbot dans Viva Sales qui rédige des e-mails marketing, GitHub Copilot qui tire le contexte du code existant des développeurs de logiciels pour suggérer des lignes de code et des fonctions supplémentaires, supprimant la corvée de la programmation informatique, et Azure OpenAI Service, qui donne accès aux grands modèles de langage d'OpenAI avec les fonctionnalités d'entreprise d'Azure.
    Source : Microsoft (1, 2)

    Et vous ?

    Quelle lecture faites-vous de cette situation ?
    Êtes-vous surpris d'apprendre que Microsoft a investi autant dans sa collaboration avec OpenAI bien avant la sortie de ChatGPT ?
    D'ailleurs, que pensez-vous de cette idée d'unifier chatbot d'IA à outil de recherche ? Avez-vous déjà essayé le Bing nouvelle génération ? Qu'en pensez-vous ?
    Contribuez au club : Corrections, suggestions, critiques, ... : Contactez le service news et Rédigez des actualités

  2. #2
    Membre à l'essai Avatar de jibelito
    Homme Profil pro
    retraité
    Inscrit en
    Juillet 2016
    Messages
    23
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Âge : 78
    Localisation : Belgique

    Informations professionnelles :
    Activité : retraité
    Secteur : Transports

    Informations forums :
    Inscription : Juillet 2016
    Messages : 23
    Points : 23
    Points
    23
    Par défaut Chat GPT
    Bonjour a tous , rien que de lire et voir cet article de ce chat GPT , c'est a hurler de rire ! Non " j'ai pété " :lol: :lol: faudrait modifier cette app's ? non ! :calim2:

  3. #3
    Modérateur
    Avatar de escartefigue
    Homme Profil pro
    bourreau
    Inscrit en
    Mars 2010
    Messages
    10 088
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Loir et Cher (Centre)

    Informations professionnelles :
    Activité : bourreau
    Secteur : Finance

    Informations forums :
    Inscription : Mars 2010
    Messages : 10 088
    Points : 38 393
    Points
    38 393
    Billets dans le blog
    9
    Par défaut
    Bof

    Audi a nommé l'une de ses voitures "Etron"

    En voici la définition selon Le Robert

    Nom : Sans titre.png
Affichages : 2165
Taille : 20,4 Ko

    À partir de là, tout est permis

  4. #4
    Membre à l'essai Avatar de jibelito
    Homme Profil pro
    retraité
    Inscrit en
    Juillet 2016
    Messages
    23
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Âge : 78
    Localisation : Belgique

    Informations professionnelles :
    Activité : retraité
    Secteur : Transports

    Informations forums :
    Inscription : Juillet 2016
    Messages : 23
    Points : 23
    Points
    23
    Par défaut chat GPT
    @escartefigue,
    C'était juste pour rire...... ma question la plus stupide est celle ci : savez-vous le nombre de kilos de matière fécale évacuée jusqu'a la fin de chaque vie ?

Discussions similaires

  1. Réponses: 8
    Dernier message: 29/04/2021, 13h44
  2. Réponses: 1
    Dernier message: 25/01/2019, 11h34
  3. Réponses: 3
    Dernier message: 26/11/2018, 01h30
  4. Réponses: 85
    Dernier message: 24/04/2017, 21h21
  5. creation de script pour construire ma BDD sur un server
    Par Konrad Florczak dans le forum Outils
    Réponses: 2
    Dernier message: 04/08/2005, 11h04

Partager

Partager
  • Envoyer la discussion sur Viadeo
  • Envoyer la discussion sur Twitter
  • Envoyer la discussion sur Google
  • Envoyer la discussion sur Facebook
  • Envoyer la discussion sur Digg
  • Envoyer la discussion sur Delicious
  • Envoyer la discussion sur MySpace
  • Envoyer la discussion sur Yahoo