CodeCarbon, un outil open source pour suivre les émissions de CO2 générées par la recherche sur l’IA
CodeCarbon, un outil open source pour suivre les émissions de CO2 générées par la recherche sur l'apprentissage machine,
Afin d’aider les développeurs IA à réduire leur empreinte carbone
Les dommages causés au climat par les émissions de gaz à effet de serre sont évidents. Pour aider la communauté de chercheurs à comprendre la contribution de l'intelligence artificielle au changement climatique, et à adopter de nouveaux paradigmes de recherche dans lesquels la réduction des émissions est traitée comme une mesure de performance cruciale, un groupe de chercheurs internationaux en IA et de spécialistes des données ont collaboré à la conception d'un logiciel capable d'estimer l'empreinte carbone des opérations informatiques.
CodeCarbon est un logiciel open source destiné à aider les entreprises à surveiller leur empreinte carbone en matière d'IA. Comet, un fournisseur de solutions MLOps, s'est associé à un consortium de sociétés spécialisées dans l'IA et les sciences des données dans le monde - MILA, le laboratoire de recherche en IA dirigé par Yoshua Bengio à Montréal, BCG GAMMA, la division Analytique et Science des données du Boston Consulting Group, et le Haverford College en Pennsylvanie – pour créer le logiciel open source.
L'espoir avec CodeCarbon, basé sur Python, est que ce logiciel permettra aux programmeurs de rendre leur code plus efficace et de réduire la quantité de CO2 générée par l'utilisation des ressources informatiques, et les incitera à le faire. Non seulement le logiciel estime la quantité de CO2 produite par l'utilisation des ressources informatiques, mais il fournit également aux développeurs des conseils sur la manière de réduire les émissions en sélectionnant leur infrastructure Cloud dans des régions qui utilisent des sources d'énergie à faible teneur en carbone, d’après une annonce publiée par Comet.ml en décembre dernier.
Yoshua Bengio, fondateur de MILA et lauréat du prix Turing, a déclaré : « L'IA est une technologie puissante et une force pour le bien, mais il est important d'être conscient de son impact environnemental croissant. Le projet CodeCarbon vise précisément à atteindre cet objectif et j'espère qu'il incitera la communauté de l'IA à calculer, divulguer et réduire son empreinte carbone ».
Sylvain Duranton, directeur général et associé principal du Boston Consulting Group (BCG) et responsable mondial de BCG GAMMA, a déclaré : « Si l'on se fie à l'histoire récente, l'utilisation de l'informatique en général, et de l'IA en particulier, continuera à se développer de manière exponentielle dans le monde entier. Dans ce contexte, CodeCarbon peut aider les organisations à faire en sorte que leur empreinte carbone collective augmente le moins possible ».
Dans l’environnement de recherche centré sur l'apprentissage profond, les progrès de l'intelligence artificielle sont réalisés en grande partie par la construction de modèles plus grands, l'agrégation d'ensembles de données plus importants et l'exploitation d'une puissance de calcul plus importante. La formation d'un puissant algorithme d'apprentissage peut nécessiter l'utilisation de plusieurs machines de calcul pendant des jours ou des semaines. Pour des architectures comme VGG, BERT, GPT-2 et GPT-3, qui ont des millions de paramètres et sont formées sur plusieurs GPU (unités de traitement graphique) pendant plusieurs semaines, cela peut représenter une différence de plusieurs centaines de kilogrammes de CO₂-eq.
Le GPT-2 d’OpenAI sorti en 2019 est basé sur 1,5 milliard de paramètres tandis que son successeur GPT-3 sorti l’année dernière, dont les 175 milliards de paramètres font qu'il est plus de 100 fois plus grand que son prédécesseur. À mesure que les modèles de plus grande taille continueront à faire progresser le domaine, la quantité d'énergie consommée pour les former augmentera également.
Traquer la quantité d'énergie utilisée par les organisations et estimer la quantité d'émissions de CO2 produite
CodeCarbon dispose d'un module de mécanisme de suivi qui enregistre la quantité d'énergie utilisée par les principaux fournisseurs de Cloud Computing et les centres de données hébergés en privé sur site. Le système utilise ensuite des données tirées de sources publiques pour estimer le volume de CO2 généré, en vérifiant les statistiques du réseau électrique auquel le matériel est connecté. Le tracker estime le CO2 produit pour chaque expérience utilisant un module d'IA particulier, en stockant les données d'émissions pour les projets et pour l'organisation entière.
L'idée est que CodeCarbon aidera les entreprises d'informatique et d'IA à limiter leur empreinte carbone au fur et à mesure de leur croissance. CodeCarbon générera un tableau de bord qui permettra aux entreprises de voir facilement la quantité d'émissions générées par la formation de leurs modèles d'apprentissage machine. Il représentera également les émissions en mesures que les développeurs peuvent facilement comprendre, comme les kilomètres parcourus en voiture, les heures de télévision regardées et la consommation d'énergie typique d'un ménage aux États-Unis. CodeCarbon permet également aux chercheurs de télécharger automatiquement un extrait en LaTeX avec le détail de leurs émissions pour l'ajouter aux documents de recherche.
La possibilité de suivre les émissions de CO2 représente un progrès important dans la capacité des développeurs à utiliser les ressources énergétiques de manière judicieuse et, par conséquent, à réduire l'impact de leur travail sur un environnement de plus en plus fragile.
Jonathan Wilson, professeur associé d'études environnementales au Haverford College, a déclaré : « L'empreinte carbone de l'informatique dépend de l'endroit où les calculs sont effectués, de la quantité d'énergie consommée et du fait que les combustibles fossiles ou les sources à faible teneur en carbone produisent cette électricité. CodeCarbon vous montrera où exécuter votre code pour minimiser votre empreinte carbone ».
« Notre communauté doit innover de manière plus responsable, et cela commence par le suivi et l'optimisation de votre modèle. Avec CodeCarbon, les scientifiques et les équipes de données peuvent continuer à construire de grands modèles, mais avec un nouveau paramètre : l'empreinte carbone de leur travail », a déclaré Niko Laskaris, spécialiste des données chez Comet.ml.
Les développeurs de CodeCarbon espèrent que le logiciel encouragera non seulement les chercheurs en IA à essayer de réduire leur propre empreinte carbone, mais aussi qu'il favorisera une plus grande transparence concernant les émissions en général. Les développeurs seront en mesure de quantifier et de rendre compte des émissions générées par une série d'expériences d'intelligence artificielle et de calcul différentes.
L'équipe responsable de la création de CodeCarbon espère que d'autres développeurs prendront leur outil open source et l'amélioreront avec de nouvelles fonctionnalités qui aideront les ingénieurs et les chercheurs en IA à réduire encore plus leur impact sur l'environnement.
Source : Comet
Et vous ?
Que pensez-vous du nouveau logiciel CodeCarbon destiné à aider les entreprises à surveiller leur empreinte carbone en matière d'IA ?
Voir aussi :
Répondre avec citation
Partager