Le coût de la formation de l'IA s'améliore à une vitesse 50 fois supérieure à celle de la loi de Moore
Le coût de la formation de l'IA s'améliore à une vitesse 50 fois supérieure à celle de la loi de Moore,
Ce qui montre que l'IA n’en est qu’à ses débuts, d'après ARK Invest
Les systèmes d'intelligence artificielle (IA) sont aujourd'hui moins chers à former que jamais, c'est l'affirmation qu’a faite ARK Invest dans une analyse publiée en mai dernier. Alors que la loi de Moore fait référence à la tendance selon laquelle le nombre de transistors d'un circuit intégré double tous les 1,5 an, l’analyse soutient que le coût de la formation de l’IA s'améliore à un rythme 50 fois supérieur à celui de la loi de Moore, a expliqué James Wang de ARK Invest, un ancien ingénieur de NVIDIA. Selon Wang, après seulement cinq ans de développement, le deep learning semble avoir atteint un point de basculement à la fois en termes de coût et de performance, ouvrant la voie à une adoption généralisée au cours de la prochaine décennie.
Dans son rapport, ARK a constaté que si les ressources informatiques consacrées à la formation a doublé en conformité avec la loi de Moore de 1960 à 2010, la complexité du calcul de formation – la quantité de pétaflops par jour – a augmenté de 10 fois par an depuis 2010. Parallèlement, les coûts de formation ont diminué de dix fois par an au cours des trois dernières années. En 2017, le coût de la formation d'un classificateur d'images comme ResNet-50 sur un cloud public était d'environ 1000 dollars, alors qu'en 2019, il était d'environ 10 dollars.
« Nous pensons que les entreprises ont été largement incitées à augmenter les ressources informatiques à un rythme cinq fois supérieur à celui de la loi de Moore : les avantages concurrentiels significatifs en matière de génération de revenus et de coût du matériel diminuent assez rapidement pour continuer à alimenter la bête. Alors que les sociétés Internet dites "hyperscale" ont pris les rênes des universités et formé des réseaux d'apprentissage profond sur leurs données, elles ont budgétisé des centaines de millions de dollars pour le matériel d'IA, espérant des taux de retour sur investissement supérieurs au fil du temps », a écrit Wang.
Les conclusions de ARK Invest semblent correspondre à celles d'un récent rapport de l'OpenAI, qui suggère que depuis 2012, la quantité de calculs nécessaires pour former un modèle d'IA à la même performance de classification des images dans le benchmark d'ImageNet a diminué d'un facteur 2 tous les 16 mois. Selon OpenAI, Transformer, l'architecture de réseau neuronal pour la compréhension des langues de Google, a surpassé un modèle de pointe précédent – seq2seq, une famille d'approches d'apprentissage automatique utilisées pour le traitement du langage développée par Google – avec 61 fois moins de calculs trois ans après l'introduction de seq2seq. Et AlphaZero de DeepMind, un système qui a appris de lui-même à maîtriser les jeux d'échecs, de shogi et de go, a nécessité huit fois moins de calculs pour égaler une version améliorée du prédécesseur du système - AlphaGoZero - un an plus tard.
ARK a prédit qu'au rythme actuel d'amélioration, le coût de la formation ResNet-50 devrait tomber à 1 dollar. Et il prévoit que le prix de l'inférence – l'utilisation d'un modèle formé en production – baissera parallèlement, s'établissant cette année à environ 0,03 dollar pour utiliser un modèle capable de classer un milliard d'images. En 2017, cela aurait coûté 10 000 dollars.
Une baisse de coûts liée à des percées dans le domaine du matériel et des logiciels
Selon le rapport d’ARK Invest, cette baisse de coûts est due à des percées dans le domaine du matériel et des logiciels. « Au cours des trois dernières années, la conception des puces et des systèmes a évolué pour ajouter du matériel dédié à l'apprentissage approfondi, ce qui a permis d'améliorer les performances de 16 fois, comme le montre le graphique de gauche ci-dessous. En maintenant les améliorations matérielles constantes, les nouvelles versions des frameworks IA TensorFlow et PyTorch, associées à de nouvelles méthodes de formation, se combinent pour générer un gain de performance 8 fois supérieur, comme le montre le graphique de droite ci-dessous », d’après l’analyse d'ARK Invest.
Selon James Wang, analyste chez ARK, « au vu du rythme de la baisse de ses coûts, l'IA n'en est qu'à ses débuts ». « Pendant la première décennie de la loi de Moore, le nombre de transistors a doublé chaque année - ou à un rythme deux fois plus rapide que celui des décennies suivantes. Les baisses de coûts de 10 à 100 fois plus importantes que nous observons dans la formation et l’inférence de l'IA suggèrent que l'IA en est à ses débuts, avec peut-être des décennies de croissance plus lente, mais avec une croissance soutenue à venir ».
Cependant, alors que les coûts du matériel IA et de la formation des modèles sont en baisse, les coûts des puces d'entraînement de l'IA ne suivent pas. Selon le rapport, le prix du GPU du centre de données de Nvidia, par exemple, a triplé au cours des trois dernières générations. Depuis 2017, lors de leur introduction, Amazon Web Services n'a pas encore baissé le prix des instances GPU V100 de Nvidia, d’après le rapport. ARK suggère que la concurrence des puces d'intelligence artificielle indépendantes et à très grande échelle pourrait bien éroder le pouvoir de fixation des prix de Nvidia. Mais jusqu'à présent, aucune entreprise n'a été en mesure de proposer une puce comparable au GPU V100 de Nvidia avec la même gamme de logiciels et le même soutien des développeurs, lit-on dans le rapport.
Un récent rapport de Synced Review met également l’accent sur le coût prohibitif du développement de modèles d'apprentissage machine sophistiqués dans le cloud. Selon Synced, bien qu'il soit exaltant de voir des chercheurs en IA pousser les performances des modèles de pointe vers de nouveaux sommets, les coûts de ces processus augmentent également à un rythme vertigineux.
Selon le rapport de Synced publié sur Medium, le Grover de l'Université de Washington a coûté 25 000 dollars pour une formation de deux semaines. Grover est un réseau neuronal de 1,5 milliard de paramètres conçu pour la génération et la détection de fausses nouvelles. Grover peut générer le reste d'un article à partir de n'importe quel titre, et surpasse les autres détecteurs de fausses nouvelles, d’après le rapport. Il a été développé par l'Université de Washington et Allen Institute for Artificial Intelligence en mai 2019 et récemment rendu open source.
Synced a également fait un rapport sur XLNet, un nouveau modèle de langage développé par CMU et Google Research qui surpasse le précédent modèle SOTA BERT (Bidirectional Encoder Representations from Transformers) sur 20 tâches linguistiques. Ce qui peut en surprendre plus d'un, c'est le coût ahurissant de la formation du modèle XLNet. Un récent tweet d'Elliot Turner - entrepreneur et expert en IA qui est maintenant le PDG et cofondateur d'Hologram AI - a suscité une discussion animée sur les médias sociaux. Turner a écrit « il en coûte 245 000 dollars pour former le modèle XLNet (celui qui bat BERT sur les tâches de PNL)».
Source : ARK Invest
Et vous ?
Qu’en pensez-vous ?
Voir aussi :
Répondre avec citation
Partager