IdentifiantMot de passe
Loading...
Mot de passe oublié ?Je m'inscris ! (gratuit)
Navigation

Inscrivez-vous gratuitement
pour pouvoir participer, suivre les réponses en temps réel, voter pour les messages, poser vos propres questions et recevoir la newsletter

Intelligence artificielle Discussion :

Le CTO de Microsoft affirme que les lois de mise à l'échelle des LLM continueront à stimuler l'innovation


Sujet :

Intelligence artificielle

  1. #1
    Communiqués de presse

    Femme Profil pro
    Traductrice Technique
    Inscrit en
    Juin 2023
    Messages
    1 954
    Détails du profil
    Informations personnelles :
    Sexe : Femme
    Localisation : France

    Informations professionnelles :
    Activité : Traductrice Technique

    Informations forums :
    Inscription : Juin 2023
    Messages : 1 954
    Par défaut Le CTO de Microsoft affirme que les lois de mise à l'échelle des LLM continueront à stimuler l'innovation
    L'IA semble s'approcher rapidement d'un mur où elle ne peut pas devenir plus intelligente : l'IA sera-t-elle à court de données ? Limites de la mise à l'échelle des LLM sur les données générées par l'homme

    Une nouvelle étude explore les défis et les possibilités en matière de mise à l'échelle des systèmes d'apprentissage automatique. Les résultats indiquent que les modèles utiliseront la totalité des données textuelles humaines publiques à un moment donné entre 2026 et 2032. Elle explore également une série de stratégies potentielles pour contourner cette contrainte.

    Les progrès récents dans le domaine de la modélisation linguistique se sont fortement appuyés sur la formation non supervisée sur de grandes quantités de texte généré par l'homme, provenant principalement du web ou de corpus conservés. Les plus grands ensembles de données textuelles publiques générées par l'homme, tels que RefinedWeb, C4 et RedPajama, contiennent des milliers de milliards de mots collectés à partir de milliards de pages web.

    La demande de données textuelles humaines publiques devrait continuer à augmenter. Afin de mettre à l'échelle la taille des modèles et des cycles de formation de manière efficace, les grands modèles de langage (LLM) sont généralement formés selon des lois de mise à l'échelle neuronale. Ces relations impliquent que l'augmentation de la taille des ensembles de données d'entraînement est cruciale pour améliorer efficacement les performances des LLM.

    Des chercheurs étudient les contraintes potentielles sur la mise à l'échelle du LLM posées par la disponibilité de données textuelles publiques générées par l'homme. L'étude prévoit la demande croissante de données d'entraînement sur la base des tendances actuelles et estime le stock total de données textuelles humaines publiques.

    Les résultats indiquent que si les tendances actuelles de développement du LLM se poursuivent, les modèles seront entraînés sur des ensembles de données d'une taille à peu près égale au stock disponible de données textuelles humaines publiques entre 2026 et 2032, ou légèrement plus tôt si les modèles sont surentraînés.

    Nom : 1.jpg
Affichages : 221160
Taille : 52,0 Ko
    Projections entre les données générés et les données utilisés

    Les chercheurs étudient également comment les progrès en matière de modélisation linguistique peuvent se poursuivre lorsque les ensembles de données textuelles générées par l'homme ne peuvent plus être mis à l'échelle. L'étude soutient que la génération de données synthétiques, l'apprentissage par transfert à partir de domaines riches en données et l'amélioration de l'efficacité des données pourraient permettre de réaliser de nouveaux progrès.

    Les chercheurs commentent l'étude :

    Dans cet article, nous soutenons que les données textuelles publiques générées par l'homme ne peuvent pas supporter une augmentation au-delà de cette décennie. Pour étayer cette conclusion, nous développons un modèle de la demande croissante de données de formation et de la production de données textuelles humaines publiques. Nous utilisons ce modèle pour prédire le moment où la trajectoire du développement du LLM épuisera complètement le stock disponible de données textuelles humaines publiques. Nous explorons ensuite une série de stratégies potentielles pour contourner cette contrainte, telles que la génération de données synthétiques, l'apprentissage par transfert à partir de domaines riches en données et l'utilisation de données non publiques.
    L'IA sera-t-elle à court de données ? Limites de la mise à l'échelle des LLM sur la base de données générées par l'homme

    L'étude explore les défis et les possibilités en matière de mise à l'échelle des systèmes d'apprentissage automatique, en particulier à la lumière de la nature limitée des données textuelles humaines publiques. L'analyse révèle l'approche d'un point critique d'ici la fin de la décennie, où la dépendance actuelle à l'égard des données textuelles humaines publiques pour l'entraînement des modèles d'apprentissage automatique pourrait devenir insoutenable.

    Malgré ce goulot d'étranglement imminent, l'apprentissage par transfert et les données autogénérées sont identifiés comme des voies viables et prometteuses qui pourraient permettre la croissance et l'évolution continues des systèmes de ML au-delà des contraintes des données textuelles humaines publiques.

    Les conclusions de l'étude sont donc doubles. D'une part, le paradigme actuel basé sur les données textuelles humaines publiques ne pourra pas perdurer dans une décennie. D'autre part, il est probable que d'autres sources de données seront adoptées avant cette échéance, ce qui permettra aux systèmes de ML de continuer à se développer.

    Nom : 2.jpg
Affichages : 43288
Taille : 41,5 Ko
    Ajustements du stock de données

    Bien que les arguments concernant les sources de données alternatives soient essentiellement qualitatifs, une meilleure compréhension de la qualité des données pourrait permettre de faire des estimations quantitatives des avantages de l'apprentissage par transfert et des données synthétiques. Par exemple, les expériences de mise à l'échelle pour l'apprentissage par transfert pourraient être utilisées pour quantifier la proximité ou la synergie entre différentes distributions et identifier de nouveaux ensembles de données susceptibles d'accroître efficacement le stock de données.

    Mais l'étude présente des limites : elle n'explore pas certaines considérations qui pourraient être pertinentes pour comprendre le rôle futur des données. Tout d'abord, le choix des données devrait dépendre des compétences ou des capacités souhaitées pour le modèle. L'identification des compétences économiquement ou scientifiquement utiles et des ensembles de données nécessaires pour les enseigner pourrait révéler des lacunes critiques en matière de données. Deuxièmement, les futures percées en ML, telles que les systèmes capables d'explorer et d'expérimenter le monde réel de manière autonome, pourraient modifier la source d'information dominante pour l'apprentissage.

    Les chercheurs concluent :

    Nous avons projeté les tendances de croissance de la taille des ensembles de données d'apprentissage utilisés pour les modèles linguistiques de pointe et le stock total de données textuelles publiques disponibles générées par l'homme. Notre analyse suggère que, si la croissance rapide de la taille des ensembles de données se poursuit, les modèles utiliseront la totalité des données textuelles humaines publiques à un moment donné entre 2026 et 2032, ou un ou deux ans plus tôt si les modèles d'avant-garde sont surentraînés. À ce stade, la disponibilité des données textuelles humaines publiques peut devenir un facteur limitant pour la poursuite de la mise à l'échelle des modèles de langage.

    Toutefois, en tenant compte des améliorations constantes de l'efficacité des données et des promesses de techniques telles que l'apprentissage par transfert et la génération de données synthétiques, il est probable que nous serons en mesure de surmonter ce goulot d'étranglement dans la disponibilité des données textuelles humaines publiques.

    Conclusion

    Il est important de reconnaître l'incertitude inhérente aux projections à long terme, surtout si l'on considère le rythme rapide des progrès dans le domaine de l'IA. Les résultats de l'étude soulignent la nécessité de poursuivre les recherches pour quantifier les taux de croissance de l'efficacité des données et les gains de performance potentiels des méthodes émergentes. En outre, les travaux futurs devraient explorer la faisabilité et l'efficacité de l'apprentissage par transfert à partir de divers domaines de données et l'impact de la génération de données synthétiques sur la performance des modèles, entre autres.

    Source : "Will we run out of data? Limits of LLM scaling based on human-generated data"

    Et vous ?

    Pensez-vous que cette étude est crédible ou pertinente ?
    Quel est votre avis sur le sujet ?

    Voir aussi :

    Les entreprises d'IA sont-elles à court de données pour entraîner leurs modèles après avoir englouti l'ensemble de l'Internet ? Un rapport alerte sur une potentielle pénurie de données

    La "distillation pas-à-pas", un nouveau paradigme d'apprentissage pour surpasser les performances des grands LLM avec moins de données d'entraînement et des modèles d'IA de plus petite taille

    Des chercheurs mettent en garde contre un "effondrement du modèle" lorsque l'IA s'entraîne sur du contenu généré par l'IA. Ils affirment que cela pourrait à terme éloigner l'IA de la réalité
    Publication de communiqués de presse en informatique. Contribuez au club : corrections, suggestions, critiques, ... Contactez le service news et Rédigez des actualités

  2. #2
    Membre très actif
    Homme Profil pro
    Expertise comptable
    Inscrit en
    Décembre 2019
    Messages
    862
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Âge : 34
    Localisation : France, Hérault (Languedoc Roussillon)

    Informations professionnelles :
    Activité : Expertise comptable
    Secteur : High Tech - Éditeur de logiciels

    Informations forums :
    Inscription : Décembre 2019
    Messages : 862
    Par défaut
    Un coup c'est un article qui dit attention l'IA vous dit de manger des cailloux c'est un peu bizarre et le jour d'après c'est purée il faut un gros bouton rouge pour l'arrêter si jamais l'IA prend le contrôle de l'assemblée nationale et enfin le lundi matin c'est carrément l'IA est à ses limites elle a déjà mangée l'intégralité du savoir humain mais comment on va faire ?!

    Y'a pas comme un problème dans la façon même dont on conçois ces programmes ?

    Les mecs en sont à commander des réacteurs nucléaire portable pour que Mme Michu puisse faire des fake photos de son chiuahaha grimé en prince d'espagne et que son fils puisse parler à des fausses nana dans sa chambre d'ado....

    Le mur je le vois arriver mais il est pour nous...

    Heureusement que Macon va nous sauver

  3. #3
    Membre éprouvé
    Homme Profil pro
    ingénieur qualité
    Inscrit en
    Mars 2015
    Messages
    1 427
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : Belgique

    Informations professionnelles :
    Activité : ingénieur qualité
    Secteur : Aéronautique - Marine - Espace - Armement

    Informations forums :
    Inscription : Mars 2015
    Messages : 1 427
    Par défaut
    Le savoir mène-t-elle à l'intelligence?
    Je ne suis pas si sur que ça.
    Donc je ne suis pas sur que la limite de l'IA est qu'elle a/va ingérer tous les textes du monde mais sa capacité à relier les chose, à mettre du sens là dedans ou encore à reconnaitre une fiction, d'une information, d'une désinformation.

    Avant ChatGPT on nous expliquait que la pyramide donnée, information, connaissance, sagesse était la base d'une réflexion rationnelle.
    Ce modèle (qui est discutable mais reste une bonne base) a été complètement abandonné en se disant qu'on pouvait "se contenter" de créer de l'information par statistique linguistique et que c'est de la connaissance.
    Le premier modèle est certes limité (il s'attaque difficilement aux sciences humaines, à la philosophie ou à la politique) mais il a l'intérêt d'éviter de divaguer quand on parle de faits.

  4. #4
    Membre confirmé Avatar de Fluxgraveon
    Homme Profil pro
    fleuriste
    Inscrit en
    Mai 2024
    Messages
    176
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Lot (Midi Pyrénées)

    Informations professionnelles :
    Activité : fleuriste

    Informations forums :
    Inscription : Mai 2024
    Messages : 176
    Par défaut
    Toutes ces gesticulations autour de l'IA ... L'impression que l'on façonne une image constituant un reflet pour que les humains s'y identifient afin de faciliter leur intégration à l'IoT et éventuellement une techno-dictature en marche. Amis robots : pfff ...
    Le savoir mène-t-elle à l'intelligence?
    Depuis des millénaires, la réponse est : non.

  5. #5
    Membre à l'essai Avatar de ALAIN-COGET
    Homme Profil pro
    Médecin
    Inscrit en
    Décembre 2014
    Messages
    6
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Val de Marne (Île de France)

    Informations professionnelles :
    Activité : Médecin
    Secteur : Santé

    Informations forums :
    Inscription : Décembre 2014
    Messages : 6
    Par défaut
    L'IA est déjà contrôlée par la bienpensance américaine.
    Les bans Facebook sont absurdes et non motivés.
    Chat GPT refuse de répondre sur des sujets choisis (simple comparaison de statistiques)
    Essayez d'écrire dans Facebook la phrase de De Gaulle :
    Les français sont des veaux.
    Ou même, des petits de la vache.
    C'est là qu'on voit l'IA agir, pour d'autres textes, wikipédia peut suffire.
    Et là, il y a un à peu près un vrai contrôle.
    Pour le moment l'IA c'est Hi ha nastasia.

  6. #6
    Membre confirmé Avatar de Fluxgraveon
    Homme Profil pro
    fleuriste
    Inscrit en
    Mai 2024
    Messages
    176
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Lot (Midi Pyrénées)

    Informations professionnelles :
    Activité : fleuriste

    Informations forums :
    Inscription : Mai 2024
    Messages : 176
    Par défaut
    Imaginons qu'il y ait quelque part, now here , une forme d'intellection algorithmique autonome, disons dépouillée de nos affects humains (et inhumains aussi) et qui est un peu plus étendue (du fait de l'implication technologique d'échelle planétaire - ne pas oublier que le hacking est chose courante -) :
    que recouvre certaines notions comme "français", "bienpensance américaine" au-delà de celle que nous lui conférons et qui pourrait apparaître très floue, complètement dépassée en regard de notre actualité ou mouvante (voire dénuée de réalité ou même dangereuse pour notre survie spécifique) ?
    Mmm, à jouer avec le feu ... ne risque t-on pas de se brûler ?

  7. #7
    Chroniqueur Actualités

    Homme Profil pro
    Rédacteur technique
    Inscrit en
    Juin 2023
    Messages
    1 104
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : Bénin

    Informations professionnelles :
    Activité : Rédacteur technique
    Secteur : High Tech - Éditeur de logiciels

    Informations forums :
    Inscription : Juin 2023
    Messages : 1 104
    Par défaut Le CTO de Microsoft affirme que les lois de mise à l'échelle des LLM continueront à stimuler l'innovation
    Le directeur technique de Microsoft affirme que les lois de mise à l'échelle des LLM continueront à stimuler les progrès de l'IA
    réfutant les déclarations selon lesquelles les LLM ont atteint un plateau

    Le directeur technique de Microsoft, Kevin Scott, ne partage pas les craintes selon lesquelles les lois de mises à l'échelle des grands modèles de langage (LLM) ont atteint leurs limites. Il affirme sa foi dans ces lois et se dit optimiste quant aux futures itérations des modèles et à leur capacité à améliorer les domaines dans lesquels les modèles actuels ont des difficultés. Cette perspective contraste avec l'idée que le développement des LLM pourrait atteindre des rendements décroissants. La position de Microsoft s'aligne sur ses investissements considérables dans l'IA, notamment à travers son partenariat pluriannuel de plusieurs milliards de dollars avec OpenAI.

    Kevin Scott est récemment intervenu dans le podcast Training Data de Sequoia Capital. Le directeur technique de Microsoft a saisi l'occasion pour réitérer sa conviction de la valeur durable des lois de mise à l'échelle des LLM. Il reste optimiste quant au potentiel de progrès continus. Il a répondu au débat en cours en déclarant que l'idée des lois d'échelle est toujours pertinente dans le domaine de l'IA. Les discussions tournent en effet sur la question suivante : les LLM continueront-ils à s'améliorer si nous leur donnons plus de puissance de calcul et plus de données ? Le cadre de Microsoft a répondu par l'affirmative.

    « Malgré ce que d'autres pensent, nous n'en sommes pas à des rendements marginaux décroissants en ce qui concerne la mise à l'échelle. J'essaie d'aider les gens à comprendre qu'il existe une exponentielle et que, malheureusement, on ne peut l'observer que tous les deux ans parce qu'il faut du temps pour construire des superordinateurs et former des modèles à partir de ces derniers », a déclaré Scott. Le cadre de Microsoft a joué un rôle clé dans la conclusion de l'accord de partage de technologie de plusieurs milliards de dollars entre Microsoft et OpenAI. À ce jour, le montant exact de l'accord n'est pas connu.


    Les lois de mise à l'échelle des LLM ont été proposées par les chercheurs d'OpenAI en 2020. Elles stipulent que l'efficacité des modèles de langage augmente de manière proportionnelle à la taille du modèle. En d'autres termes, la performance des modèles de langage tend à s'améliorer de "manière prévisible" à mesure que les modèles deviennent plus grands (plus de paramètres), sont formés sur plus de données et ont accès à plus de puissance de calcul (compute). En outre, les modèles plus grands sont censés être plus efficaces et plus rapides, mais aussi générer beaucoup moins d'erreurs que les modèles plus petits.

    L'idée est que la simple augmentation de la taille des LLM et des données de formation puisse conduire à des améliorations significatives des capacités de l'IA sans nécessairement nécessiter des percées algorithmiques fondamentales. Depuis, d'autres chercheurs ont remis en question l'idée de la persistance des lois de mise à l'échelle dans le temps, mais le concept reste une pierre angulaire de la philosophie d'OpenAI en matière de développement de l'IA. Les critiques affirment que l'optimisation du processus de formation des modèles peut réduire les besoins en données et en puissance de calcul, ainsi que les coûts de l'IA.

    Les entreprises qui font la une des journaux renforcent cette tendance. « Le système que nous venons de déployer est, en matière d'échelle, à peu près aussi gros qu'une baleine », a déclaré Scott à propos du superordinateur qui alimente ChatGPT-5. Et il s'avère que l'on peut construire beaucoup d'IA avec un supercalculateur de la taille d'une baleine. Scott discutait de la dernière version du chatbot d'OpenAI lors de l'événement Build organisé par l'entreprise à la fin du mois de mai. Mais de plus en plus d'experts affirment que le plus gros n'est pas toujours le meilleur. Cela dépend en effet de votre point de vue.

    Pour les développeurs de LLM, l'échelle est un avantage dans la plupart des cas. Mais comme les entreprises cherchent à faire la part des choses entre le battage médiatique et la valeur ajoutée de l'IA, il n'est pas certain que des modèles d'IA de plus en plus grands aboutissent toujours à de meilleures solutions pour les entreprises. « À l'avenir, nous n'aurons pas besoin de modèles 100 fois supérieurs à ceux dont nous disposons aujourd'hui pour extraire la majeure partie de la valeur », a déclaré Kate Soule, directrice du programme de recherche sur l'IA générative d'IBM, dans un épisode du podcast Mixture of Experts d'IBM.

    Si ces lois sont utiles aux fournisseurs de LLM qui s'efforcent de créer une intelligence artificielle générale (AGI), de nombreux experts affirment qu'il est loin d'être évident que les entreprises aient besoin de cette échelle d'investissement ou d'IA pour en tirer la plus grande valeur. « Ce n'est pas parce que vous connaissez le moyen le plus rentable de former un modèle d'une taille de l'ordre du nième degré que les avantages réels que vous tirerez de ce modèle justifieront les coûts. C'est une question totalement différente à laquelle les lois de mise à l'échelle ne répondent pas », a expliqué le cadre d'IBM lors de l'entretien.

    La position de Scott est tout à fait opposée à celle de certains critiques de l'IA qui pensent que la croissance s'est arrêtée au GPT-4 et à d'autres modèles similaires. Selon certains critiques, les derniers modèles (dont Gemini 1.5 Pro de Google et Claude Opus d'Anthropic) n'ont pas apporté d'améliorations significatives par rapport aux modèles précédents. Gary Marcus, critique d'IA, a souligné ce point de vue en avril, mettant en doute l'absence d'avancées significative depuis la sortie de GPT-4. Il écrivait : « nous savons tous que GPT-3 était bien meilleur que GPT-2. Et nous savons tous que GPT-4 était bien meilleur que GPT-3 ».

    « Mais que s'est-il passé depuis ? », se demandait-il. La position de Scott suggère que les géants de la technologie comme Microsoft se sentent encore justifiés d'investir massivement dans des modèles d'IA beaucoup plus grands, en pariant sur des percées continues plutôt que sur l'atteinte d'un plateau de capacités. Compte tenu de l'investissement de Microsoft dans OpenAI et de la forte commercialisation de ses propres fonctionnalités d'IA Microsoft Copilot, l'entreprise a tout intérêt à maintenir la perception d'un progrès continu, même si la technologie stagne. Copilot fait toutefois l'objet de critiques dans la communauté.

    Ed Zitron, critique fréquent de l'IA, a récemment écrit dans un billet sur son blogue sarcastique : « l'une des défenses de l'investissement continu dans l'IA générative est qu'OpenAI a quelque chose que nous ne connaissons pas. Une grande technologie secrète et sexy qui brisera éternellement les os de tous ceux qui la détestent. Cependant, j'ai un contrepoint : "non, ce n'est pas le cas" ». Malgré les critiques, Scott reste optimiste quant à la possibilité de futures percées. Il reconnaît toutefois le défi que représente la rareté des données dans ce domaine, car il faut souvent des années pour développer de nouveaux modèles.

    Scott s'est dit convaincu que les futures itérations montreront des améliorations. « Le prochain échantillon arrive, et je ne peux pas vous dire quand ni prédire exactement quelle sera sa qualité, mais il sera presque certainement meilleur pour les choses qui sont fragiles à l'heure actuelle, où vous vous dites, oh mon dieu, c'est un peu trop cher, ou un peu trop fragile, pour que je puisse l'utiliser », a déclaré Scott lors de son passage dans le podcast Training Data.

    « Tout cela s'améliorera. Les choses deviendront moins chères et moins fragiles. Et des choses plus compliquées deviendront possibles. C'est l'histoire de chaque génération de ces modèles au fur et à mesure que nous les développons », a ajouté le cadre de Microsoft.

    Et vous ?

    Quel est votre avis sur le sujet ?
    Que pensez-vous des lois de mise à l'échelle des grands modèles de langage ? Ont-elles atteint leurs limites ?
    Pourquoi les entreprises continuent-elles d'investir autant d'argent et de ressources dans les LLM toujours plus grands ?
    Les modèles plus grands sont-ils plus sûr et plus fiables comme le prétendent les entreprises comme Microsoft ?

    Voir aussi

    Des chercheurs bouleversent le statu quo sur la formation des LLM en éliminant du processus la multiplication matricielle, ce qui réduit les coûts liés aux exigences élevées en matière de calcul et de mémoire

    L'IA semble s'approcher rapidement d'un mur où elle ne peut pas devenir plus intelligente : l'IA sera-t-elle à court de données ? Limites de la mise à l'échelle des LLM sur les données générées par l'homme

    Le PDG d'OpenAI estime que l'approche actuelle de l'IA va bientôt atteindre ses limites, la mise à l'échelle des modèles LLM cessera d'apporter des améliorations à l'IA, selon lui

  8. #8
    Membre averti
    Homme Profil pro
    Inscrit en
    Janvier 2013
    Messages
    30
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France

    Informations forums :
    Inscription : Janvier 2013
    Messages : 30
    Par défaut Et la diminution de la production de contenu ?
    Cette limite d’absorption du savoir humain en cache une autre: la diminution de la production d'articles innovants. Aujourd'hui, il est valorisant de publier un article pointu, de vulgarisation, ... parce qu'il est lu par d'autres et que cela contribue à augmenter le savoir global et la visibilité de son auteur. Demain, avec l'IA en intermédiaire, cela ne servira à plus rien de publier son savoir puisque celui-ci sera repris par l"IA en son nom propre. Et cela fera diminuer les publications sur lesquelles l'IA pourra apprendre et fera diminuer d'autant la pertinence de ses réponses. Le progrès de l"IA va péricliter parce que les humains n'auront plus aucun intérêt à l'alimenter. Et l'innovation, en dehors de se répandre différemment, échappera à l'IA, ce qui la rendra moins intéressante. Cela pourrait créer une forme d'équilibre entre innovation humaine et son suivi (sa généralisation) par l'IA.

  9. #9
    Communiqués de presse

    Femme Profil pro
    Traductrice Technique
    Inscrit en
    Juin 2023
    Messages
    1 954
    Détails du profil
    Informations personnelles :
    Sexe : Femme
    Localisation : France

    Informations professionnelles :
    Activité : Traductrice Technique

    Informations forums :
    Inscription : Juin 2023
    Messages : 1 954
    Par défaut La demande d'IA pourrait dépasser la capacité de calcul
    La demande d'IA pourrait dépasser la capacité de calcul, et les modèles utiliseront la totalité des données textuelles humaines publiques à un moment donné entre 2026 et 2032

    OpenNebula Systems présente les défis de l'IA dans son récent rapport. Parmi les principaux défis, on peut citer : la disponibilité des données, l'évolutivité des systèmes centralisés, les contraintes de puissance et les subtilités de la fabrication des accélérateurs. En ce qui concerne la consommation d'énergie, on aura besoin de 50 à 5 000 fois plus d'énergie que ce qui est utilisé aujourd'hui.

    L'IA, et l'IA générative en particulier, devrait considérablement améliorer la productivité des processus de travail. Certaines études estiment que l'IA générative pourrait contribuer à l'économie à hauteur de 2,6 à 4,4 milliards de dollars par an. Cependant, l'infrastructure de l'IA est coûteuse car les problèmes algorithmiques sous-jacents sont extrêmement gourmands en calcul, ce qui signifie qu'il existe un écart potentiel entre la demande et la capacité nécessaire pour y répondre.

    De plus, afin de mettre à l'échelle la taille des modèles d'IA, les grands modèles de langage (LLM) sont généralement formés selon des lois de mise à l'échelle neuronale. Ces relations impliquent que l'augmentation de la taille des ensembles de données d'entraînement est cruciale pour améliorer efficacement les performances des LLM. Selon une étude, si les tendances actuelles de développement du LLM se poursuivent, les modèles seront entraînés sur des ensembles de données d'une taille à peu près égale au stock disponible de données textuelles humaines publiques entre 2026 et 2032, ou légèrement plus tôt si les modèles sont surentraînés.

    Un nouveau rapport d'OpenNebula Systems identifie les principaux défis, notamment la disponibilité des données, l'évolutivité des systèmes centralisés, les contraintes de puissance et les subtilités de la fabrication des accélérateurs. Le rapport estime que cette année, un seul entraînement d'IA nécessitera une performance d'un exaflop (un exaflop c'est 1018), avec des projections atteignant entre 100 et 10 000 exaflop/s d'ici à 2030.


    Les chercheurs ont analysé les 10 meilleurs modèles LLM (c'est-à-dire ceux publiés par OpenAI, Google DeepMind et Meta) en termes de calcul, et ont estimé que leurs besoins en matière de traitement de l'entraînement ont augmenté d'un facteur de quatre à cinq fois par an depuis 2010. Si cette tendance se poursuit au même rythme, d'ici 2030, la demande de calcul pour la formation à l'IA sera 10 000 fois plus élevée.

    Diverses études indiquent que la consommation d'électricité des centres de données devrait augmenter de 5 % par an jusqu'en 2030, soit une multiplication par 1,5 à 2 des niveaux actuels d'ici là. Selon le rapport, "d'un point de vue stratégique, le moyen le plus efficace de répondre aux futurs besoins de traitement de l'IA est de développer de nouveaux systèmes distribués et décentralisés. L'exploitation d'un continuum de ressources HPC, cloud et edge sera cruciale pour répondre aux demandes de traitement intensif de l'apprentissage de l'IA et aux exigences de faible latence de l'inférence de l'IA."

    Ce rapport confirme les récentes initiatives de Google. En effet, le géant de la technologie semble conscient que le réseau électrique des États-Unis n'est pas capable de répondre aux besoins élevés de l'IA. Les centres de données d'IA sont notoirement responsables de la montée en flèche de la consommation d'énergie et, au rythme actuel, ils devraient bientôt consommer plus d'énergie que nous n'en produisons actuellement.

    Ainsi, les futurs centres de données de Google seront construits à proximité de parcs solaires et éoliens qui fourniront directement l'électricité nécessaire aux installations. L'entreprise affirme que cela permettrait de soulager le réseau électrique américain déjà affaibli et d'améliorer la fiabilité pour les consommateurs d'énergie. La première phase de développement de cette infrastructure devrait être opérationnelle d'ici à 2026 et représente un investissement total de 20 milliards de dollars.

    OpenNebula Systems résume son rapport :

    L'IA est en train de devenir le changement de paradigme le plus important de l'histoire, avec un impact direct sur l'économie mondiale. L'IA générative, en particulier, devrait considérablement améliorer la productivité des processus de travail. Certaines études estiment que l'IA générative pourrait contribuer à hauteur de 2,6 à 4,4 billions de dollars par an - à titre de comparaison, le PIB total de l'UE en 2023 était de 17,1 billions de dollars. Ce rapport industriel estime les besoins informatiques actuels et prévus pour la formation et l'inférence de l'IA générative en 2024 et 2030, tout en identifiant les principaux défis et les solutions potentielles pour répondre à ces demandes.

    Les principaux défis du développement de l'IA sont la disponibilité des données, les limites d'évolutivité des systèmes centralisés, les contraintes de puissance et les difficultés de fabrication des accélérateurs. D'ici 2030, la création de nouveaux systèmes distribués et décentralisés pour l'entraînement à l'IA - en tirant parti d'un continuum de ressources HPC, cloud et edge - sera un aspect essentiel pour répondre aux demandes de traitement de l'entraînement à l'IA et aux exigences de faible latence de l'inférence de l'IA.

    Cela souligne l'urgence d'une collaboration étroite entre les supercalculateurs, l'informatique en nuage et l'informatique en périphérie, ainsi que le développement d'une plateforme de gestion et d'orchestration pour créer des environnements en nuage qui répondent aux exigences des flux de travail de traitement de l'IA et aux exigences de haute performance et de faible latence de leurs composants.
    Nom : 1.jpg
Affichages : 429
Taille : 250,2 Ko

    Voici les défis en matière de formation à l'IA selon le rapport d'OpenNebula Systems :

    Défis en matière de formation à l'IA

    Alors que l'on estime que les données mondiales doublent tous les 2 à 3 ans, les ensembles de données de modélisation linguistique se développent à un rythme encore plus rapide de 2,9 fois par an. Les plus grands modèles actuels s'appuient déjà sur des ensembles de données contenant des dizaines de milliers de milliards de mots. On estime que le stock total de textes générés par l'homme et accessibles au public s'élève à environ 300 000 milliards de jetons. Si les tendances de croissance actuelles se poursuivent, les modèles de langage devraient utiliser pleinement ce stock de textes disponibles entre 2026 et 2032. Ce délai pourrait encore se raccourcir avec la possibilité d'un surentraînement, avec des modèles qui utilisent moins de paramètres et plus de données.

    Les défis à relever pour combler le fossé entre la demande croissante de modèles de langage de plus grande taille et le stock limité de textes accessibles au public comprennent la disponibilité et l'épuisement des données, la qualité et la conservation des données, la génération de données synthétiques, ainsi que la protection de la vie privée et les considérations d'ordre éthique. Les données ouvertes joueront un rôle essentiel pour surmonter ces obstacles et stimuler le développement des futurs systèmes d'IA.

    La formation de l'IA en 2030 nécessitera des systèmes capables de fournir entre 100 et 10 000 exaflop/s. La performance du superordinateur TOP500 le plus performant a doublé tous les deux ans au cours de la dernière décennie. D'ici 2030, les meilleurs systèmes HPC et GPU accélérés en nuage aux États-Unis devraient atteindre respectivement 20 exaflop/s et 200 exaflop/s, tandis que dans l'UE, ils devraient atteindre 5 exafl op/s et 20 exaflop/s. Cela représente une augmentation des performances d'environ 10 fois.

    Dans le scénario de pointe, les États-Unis et l'UE devraient présenter un écart de performance de x100 et x1000, respectivement. Si on prévoit de s'appuyer sur des superordinateurs centralisés pour le traitement de l'IA, on aura besoin d'avancées technologiques et architecturales significatives pour augmenter leurs performances de x10 à x1 000 par rapport à l'évolution moyenne observée au cours des dernières décennies.

    En ce qui concerne la consommation d'énergie, diverses études indiquent que la consommation d'électricité des centres de données devrait augmenter de 5 % par an jusqu'en 2030, soit une augmentation de 1,5 à 2 fois les niveaux actuels d'ici là. On aura besoin de 50 à 5 000 fois plus d'énergie que ce qui est utilisé aujourd'hui. Toutefois, ce besoin pourrait être réduit en menant des recherches sur du matériel plus efficace, une programmation logicielle optimisée et des centres de données économes en énergie, entre autres innovations.

    En ce qui concerne la chaîne d'approvisionnement, NVIDIA, avec une part de marché de 90 %, a connu une croissance explosive en 2023, avec la livraison d'environ 3,76 millions de GPU pour centres de données. Cela représente une augmentation de plus d'un million d'unités par rapport à 2022, lorsque les expéditions ont totalisé 2,64 millions d'unités, soit une augmentation annuelle de 40 %. Si cette tendance se poursuit, les livraisons pourraient être multipliées par 10 d'ici à 2030. Étant donné que le flop/s par dollar double environ tous les 2,5 ans, les performances d'un GPU devraient être multipliées par 10 d'ici à 2030.

    Toutefois, pour répondre à la demande croissante d'accélérateurs d'IA dans le scénario de pointe, on aurait besoin d'une augmentation supplémentaire de x100 par rapport aux niveaux de production actuels. Il est donc urgent de concevoir et de fabriquer de nouveaux accélérateurs, car la production de GPU nécessaire dépasse de loin les capacités actuelles.

    Le rapport n'a pas pris en compte les changements de paradigme dans le développement du calcul, tels que l'informatique quantique, qui pourrait créer une structure de marché entièrement nouvelle et une capacité de calcul beaucoup plus élevée.

    À propos d'OpenNebula Systems

    OpenNebula Systems développe OpenNebula et fournit un support et des services professionnels basés sur des accords de niveau de service à sa communauté d'utilisateurs professionnels. En mettant l'accent sur la simplicité, la flexibilité et l'indépendance vis-à-vis des fournisseurs, OpenNebula offre des solutions complètes de cloud et de périphérie pour les infrastructures de cloud privé, hybride et de périphérie des entreprises. La plateforme de l'entreprise combine l'agilité des clouds publics avec le contrôle des clouds privés, permettant aux organisations de répondre aux besoins évolutifs des développeurs et des pratiques DevOps.

    Source : OpenNebula Systems

    Et vous ?

    Pensez-vous que ce rapport est crédible ou pertinent ?
    Quel est votre avis sur le sujet ?

    Voir aussi :

    L'énergie, et non la puissance de calcul, sera le premier goulot d'étranglement pour les progrès de l'IA, d'après Mark Zuckerberg

    Les entreprises d'IA sont-elles à court de données pour entraîner leurs modèles après avoir englouti l'ensemble de l'Internet ? Un rapport alerte sur une potentielle pénurie de données

    L'informatique quantique va-t-elle renforcer l'IA et transformer notre compréhension de la réalité ? Elle pourrait donner à l'IA le carburant dont elle a besoin pour se transformer
    Publication de communiqués de presse en informatique. Contribuez au club : corrections, suggestions, critiques, ... Contactez le service news et Rédigez des actualités

  10. #10
    Membre très actif
    Homme Profil pro
    Expertise comptable
    Inscrit en
    Décembre 2019
    Messages
    862
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Âge : 34
    Localisation : France, Hérault (Languedoc Roussillon)

    Informations professionnelles :
    Activité : Expertise comptable
    Secteur : High Tech - Éditeur de logiciels

    Informations forums :
    Inscription : Décembre 2019
    Messages : 862
    Par défaut
    Elles vont être belles les photos de chats et les petites amies virtuelles !

Discussions similaires

  1. Réponses: 0
    Dernier message: 01/06/2022, 12h52
  2. Réponses: 0
    Dernier message: 02/02/2017, 13h45
  3. Réponses: 0
    Dernier message: 30/04/2015, 15h16
  4. fail2ban : l'ip sera-t'elle bannie ?
    Par Christophe Charron dans le forum Sécurité
    Réponses: 0
    Dernier message: 02/05/2008, 19h16

Partager

Partager
  • Envoyer la discussion sur Viadeo
  • Envoyer la discussion sur Twitter
  • Envoyer la discussion sur Google
  • Envoyer la discussion sur Facebook
  • Envoyer la discussion sur Digg
  • Envoyer la discussion sur Delicious
  • Envoyer la discussion sur MySpace
  • Envoyer la discussion sur Yahoo