Meta va décupler sa puissance de calcul dans le cadre de la formation de Llama 4
Meta va décupler sa puissance de calcul dans le cadre de la formation de Llama 4 et pourrait le lancer l'année prochaine
mais l'impact climatique de cette infrastructure potentiellement énergivore inquiète
Meta, qui développe Llama, l'un des plus grands modèles de langage (LLM) open source, affirme qu'il aura besoin de beaucoup plus de puissance de calcul pour former ses modèles à l'avenir. Le PDG Mark Zuckerberg a déclaré lors de la conférence téléphonique sur les résultats du deuxième trimestre de Meta que pour entraîner le Llama 4, l'entreprise aura besoin de 10 fois plus de puissance de calcul que pour l'entraînement du Llama 3. Meta veut faire de Llama 4 le modèle le plus avancé sur le marché l'année prochaine, mais cela risque d'avoir un coût colossal pour le climat. L'IA est devenue un gouffre financier avec un impact considérable sur le climat.
Llama 4 va nécessiter une infrastructure 10 fois plus puissante que celle de Llama 3
Zuckerberg a déclaré aux investisseurs : « la quantité de calcul nécessaire pour entraîner Llama 4 sera probablement près de 10 fois supérieures à celle que nous avons utilisée pour entraîner le Llama 3, et les futurs modèles continueront à se développer au-delà de cela. Il est difficile de prédire l'évolution des modèles sur plusieurs générations dans le futur. Mais à ce stade, je préfère prendre le risque de développer la capacité avant qu'elle ne soit nécessaire plutôt que trop tard, étant donné les longs délais de mise en place de nouveaux projets d'inférence ». L'augmentation de la puissance devrait coûter excessivement cher.
Meta a déclaré aux actionnaires que l'IA générative ne lui rapporterait pas d'argent cette année, mais que les investissements massifs qu'il prévoit seront rentabilisés au fil du temps, et seront configurés de manière à ne pas être limités aux charges de travail de formation. L'entreprise précise que ses dépenses d'investissement pour l'ensemble de l'année se situeraient entre 37 et 40 milliards de dollars, soit une augmentation de 2 milliards de dollars par rapport aux prévisions précédentes. Elle a aussi invité les investisseurs à s'attendre à des augmentations "significatives" des dépenses d'investissement l'année prochaine.
Les analystes financiers présents lors de la conférence de presse ont insisté pour savoir si toutes ces dépenses se transformeraient en liquidités. Mais la directrice financière Susan Li a déclaré que Meta ne tirera pas de revenus provenant de l'IA générative cette année. Elle a expliqué que le kit utilisé par Meta pour la formation de modèles peut également être utilisé pour l'inférence. La directrice financière de Meta a déclaré aux actionnaires : « nous pouvons également l'utiliser pour le classement et les recommandations en apportant certaines modifications, comme l'ajout d'une capacité de calcul et de stockage générale ».
Elle a ajouté : « nous employons une stratégie de mise en scène de nos sites de centres de données, à différentes phases de développement, ce qui nous permet de nous adapter pour répondre à une plus grande demande et à un délai plus court si nécessaire, tout en limitant les dépenses que nous nous engageons à faire dans les années à venir ». Les outils de recommandation de contenu de Meta utilisent déjà ce que Meta appelle "Core AI", dont Zuckerberg a dit aux investisseurs qu'il améliorait l'engagement des utilisateurs en poussant plus de choses qu'ils veulent dans leurs fils d'actualité Facebook et Instagram.
La course à l'IA est devenue trop coûteuse et les résultats ne sont pas à la hauteur
Susan Li a déclaré que l'entreprise réfléchissait à différents projets de centres de données et à la création de capacités pour former les futurs modèles d'IA. Elle a ajouté que Meta s'attend à ce que cet investissement augmente les dépenses en capital en 2025. La formation de modèles est devenue une activité coûteuse. Les données indiquent que les dépenses en capital de Meta ont augmenté de près de 33 % pour atteindre 8,5 milliards de dollars au deuxième trimestre 2024, contre 6,4 milliards de dollars un an plus tôt, en raison des investissements dans les serveurs, les centres de données et l'infrastructure de réseau.
Susan Li a déclaré lors de l'appel : « au fur et à mesure que nous augmentons la capacité de formation à l'IA pour faire progresser nos modèles de base, nous continuerons à construire notre infrastructure d'une manière qui nous donne de la flexibilité dans la façon dont nous l'utilisons au fil du temps. Cela nous permettra d'orienter la capacité de formation vers l'inférence de l'IA générative ou vers notre travail principal de classement et de recommandation, lorsque nous pensons que cela sera plus utile ». Au cours de l'appel, Meta a également parlé de l'utilisation de son chatbot Meta AI destiné aux consommateurs.
Meta a déclaré que l'Inde était le plus grand marché de son chatbot. Mais Susan Li a précisé que l'entreprise ne s'attendait pas à ce que les produits d'AI contribuent de manière significative à son chiffre d'affaires. Selon un rapport de The Information, OpenAI dépense 3 milliards de dollars pour former des modèles et 4 milliards de dollars supplémentaires pour louer des serveurs à un taux d'actualisation auprès de Microsoft. Selon le rapport, OpenAI gère une entreprise coûteuse qui pourrait perdre jusqu'à 5 milliards de dollars en 2024, ce qui mettrait le fabricant de ChatGPT à court de liquidités dans les 12 mois à venir.
Alors qu'OpenAI est considéré par beaucoup comme le leader en matière d'IA, l'écart avec la concurrence ne cesse de se réduire. Pourtant, ses besoins en matière de financement sont loin de diminuer, les entrées ne couvrant vraisemblablement pas tous ses besoins. De même, les actions de Microsoft ont chuté de plus de 6 % la semaine dernière après que l'entreprise a annoncé des résultats décevants en matière d'IA. En somme, dans l'ensemble du secteur, les dernières analyses ont révélé que la course à l'IA devient de plus en plus coûteuse, mais les bénéfices ne sont pas à la hauteur des investissements colossaux.
Certains analystes affirment que la baisse des actions de Microsoft représente une leçon pour les entreprises technologiques : « aujourd'hui, les bénéfices comptent moins pour les investisseurs que la croissance des divisions d'IA ». Les investisseurs s'impatientent et ne sont pas convaincus par les résultats mitigés. De plus, les entreprises semblent incapables de prédire le moment où l'IA pourrait commencer à être rentable.
Les réseaux électriques n'étaient pas préparés à la croissance subite de la demande
L'IA gagne en popularité dans presque tous les domaines d'activité de la vie et a poussé les actions des entreprises technologiques vers des sommets historiques. Mais une "vérité dérangeante" apparaît dans de plus en plus de conversations professionnelles : l'IA est un énorme gouffre à électricité. Elon Musk a déclaré récemment que la demande croissante de puces d'IA gourmandes en énergie pourrait bientôt entraîner une pénurie d'électricité. « L'année prochaine vous verrez qu'ils ne trouveront pas assez d'électricité pour faire fonctionner toutes les puces », a-t-il déclaré à la conférence Bosch ConnectedWorld fin avril.
La croissance rapide de l'IA a fait grimper la demande en énergie à un niveau plus élevé que ce qui était prévu. Aux États-Unis, elle mettrait déjà à rude épreuve les capacités de production du pays. Grid Strategies estime que les prévisions de croissance sur neuf ans pour l'Amérique du Nord ont pratiquement doublé par rapport à l'année dernière, car les entreprises construisent des centres de données pour l'IA qui font paraître minuscules les besoins des centres de données traditionnels. Où cela nous mène-t-il ? Comment pouvons-nous naviguer dans un avenir énergétique durable avec l'explosion de l'utilisation de l'IA ?
Aux États-Unis, les analystes rapportent que les réseaux électriques atteignent peu à peu leur limite. L'année dernière, les prévisions à cinq ans de Grid Strategies tablaient sur une croissance de 2,6 %. Depuis, ce chiffre a presque doublé pour atteindre 4,7 % et les planificateurs de Grid Strategies s'attendent à ce que la demande de pointe augmente de 38 gigawatts. Cela équivaut à la quantité nécessaire pour alimenter 12,7 millions de foyers, soit un peu plus que le nombre total d'unités d'habitation au Texas. Mais plus inquiétant encore, les analystes pensent que ce chiffre est probablement une sous-estimation des besoins réels.
L'IA est un élément majeur du problème en ce qui concerne l'augmentation de la demande. Les leaders du secteur, comme OpenAI, Amazon, Microsoft et Google, construisent ou recherchent des sites où construire d'énormes centres de données pour héberger l'infrastructure nécessaire au développement de grands modèles de langage, et les entreprises plus petites du secteur sont également très demandeuses d'énergie. Par exemple, selon l'Agence internationale de l'énergie, "une recherche pilotée par ChatGPT consomme environ 10 fois plus d'électricité qu'une recherche sur le moteur de recherche Google".
La consommation annuelle d'énergie d'un centre de données de Meta basé dans l'Iowa est équivalente à celle de 7 millions d'ordinateurs portables fonctionnant huit heures par jour. L'appétit énergétique de l'IA remet aussi en question les engagements en faveur du climat. La résurgence de l'énergie fossile dans les centres de données pour répondre aux besoins de l'IA contraste fortement avec les engagements de durabilité des entreprises comme Microsoft, Google et Meta.
Elles prévoient de supprimer entièrement leurs émissions d'ici à 2030. Cependant, l'IA remet en question ces initiatives. Ces entreprises sont les acteurs les plus importants d'une constellation de plus de 2 700 centres de données à travers les États-Unis. Et la construction de nouveaux centres de données est envisagée.
Source : Meta (PDF)
Et vous ?
Quel est votre avis sur le sujet ?
Voir aussi
Répondre avec citation
Partager