Une loi de Moore pour le progrès de l’intelligence artificielle ?

Une loi de Moore pour l’intelligence artificielle ? Selon OpenAI, les algorithmes d’IA suivent une courbe d’évolution
qui pourrait être décrite comme l’évolution prévue par la loi de Moore

L’intelligence artificielle (IA) a connu de grandes avancées au cours de ces dernières années, les algorithmes s’améliorant chaque année. Selon les travaux d’OpenAI, l’organisation sans but lucratif dédiée à l’intelligence artificielle (IA) fondée par Elon Musk et Sam Altman, les algorithmes de l’IA suivent une courbe d’évolution qui pourrait être décrite comme l’évolution prévue par la loi de Moore pour le nombre de transistors dans un circuit intégré. Alors, existe-t-il une loi de Moore équivalente pour les algorithmes permettant de suivre les progrès de l’IA ?

Gordon Moore est le cofondateur d'Intel. En 1965, il a affirmé dans son article fondateur que le nombre de transistors dans un circuit intégré doublerait chaque année, ce qui est connu sous le nom de loi de Moore. Aujourd'hui, 50 ans après cette déclaration, même si beaucoup de personnes pensent que la loi de Moore est mourante, les processeurs d'Intel sont en mesure de fournir 3500 fois plus de performances que ce qu'ils pouvaient fournir dans leur version de 1965. Jusque-là, aucune autre technologie ne s'est améliorée en suivant un tel rythme.

L’évolution très rapide des processeurs a donné naissance à un sous-produit, l’intelligence artificielle qui est devenue peu à peu un domaine à part entière. Les progrès de l'algorithmique ont également progressé à un rythme qui résonne avec le succès des circuits intégrés. Cependant, il n’y a pas une mesure globale pour mesurer l’innovation algorithmique. D’après les observations d’OpenAI, les paramètres sont généralement mesurés en fonction de la précision ou d'une note. Elle s’est alors intéressée à ce sujet, mais sous un aspect particulier : « l’efficacité algorithmique ».

Pièce jointe 564635

« L'amélioration de l'algorithme est un facteur clé de la progression de l'IA. Il est important de rechercher des mesures qui mettent en lumière les progrès algorithmiques globaux, même s'il est plus difficile de mesurer de telles tendances en informatique », a écrit OpenAI dans un rapport. Elle a étudié les récents succès de l’IA et a recommandé quelques mesures qui peuvent avoir un impact sur ses progrès. Mais avant, elle a d’abord identifié les facteurs qui rendent difficile la création d'une mesure pouvant permettre de suivre les progrès globaux de l’intelligence artificielle.

Voici les différents points qu’OpenAI a évoqués dans son rapport :

• il n'est pas pratique de faire une telle analyse pour un apprentissage profond, car l'on cherche des solutions approximatives ;
• les performances sont souvent mesurées dans différentes unités (précision, BLEU, perte d'entropie croisée, etc.) et les gains sur de nombreux paramètres sont difficiles à interpréter ;
• les problèmes sont uniques et leurs difficultés ne sont pas comparables sur le plan quantitatif, de sorte que l'évaluation nécessite de se faire une idée de chaque problème ;
• la plupart des recherches se concentrent sur la communication des améliorations globales des performances plutôt que sur les améliorations de l'efficacité, de sorte que des travaux supplémentaires sont nécessaires pour démêler les gains dus à l'efficacité algorithmique des gains dus aux calculs supplémentaires ;
• le rythme auquel les nouveaux critères de référence sont résolus aggrave le problème.

Pour réaliser leur étude, les auteurs du rapport, Danny Hernandez et Tom Brown d'OpenAI, se sont fondés sur la classification d’images à partir d’ImageNet, une base de données d’images à l’endroit de la recherche dans le domaine de la vision par ordinateur. Hernandez et Brown ont constaté qu’entre 2012 et 2020, la quantité de calculs nécessaires pour former un réseau neuronal à la même performance sur la classification ImageNet1 a diminué d'un facteur 2 tous les 16 mois. Ce résultat est dû au différentiel mesuré entre EfficientNet et AlexNet, deux réseaux de neurones convolutionnels.

En effet, comparativement à 2012, il faut désormais 44 fois moins de calculs pour former un réseau neuronal au niveau d'AlexNet, alors que la loi de Moore permettrait seulement une amélioration des coûts de 11 fois sur cette période. Selon les auteurs du rapport, les résultats suggèrent que pour les tâches de l’IA nécessitant des investissements récents importants, les progrès algorithmiques ont permis de réaliser des gains qui sont plus importants que l'efficacité du matériel classique. Cette recherche sonde la notion communément admise de progrès rapide dans l'IA.

Intel a fondé son succès sur les fondements de la loi de Moore. Cela a révolutionné la vie d’aujourd'hui. Selon les analystes, si les algorithmes sont présentés en termes d'efficacité, il serait alors facile pour toutes les personnes qui sont impliquées, des développeurs aux décideurs politiques, de prendre des décisions. Par exemple, une augmentation de l'efficacité algorithmique pourrait se traduire par davantage d'expériences. De même, les gouvernements seront encouragés à financer la recherche sur l’IA s'ils comprennent de quoi il s'agit.

Les chercheurs d’OpenAI estiment que la mesure des progrès globaux accélérera la recherche future en matière d'IA d'une manière qui s'apparente à une augmentation des calculs. Enfin, il ressort de cette étude que l'efficacité est une grandeur simple à mesurer parce qu’elle ne représente qu’une tranche significative des courbes d'apprentissage générées par le biais de toutes les expériences. En outre, elle montre aussi que les tâches d'IA avec des niveaux d'investissement élevés (temps et argent) peuvent conduire à une efficacité algorithmique dépassant les gains d'efficacité matérielle (loi de Moore).

Sources : OpenAI, Rapport de l’étude (pdf)

Et vous ?

:fleche: Que pensez-vous des résultats de l'étude ?
:fleche: Existerait-il une loi de Moore pour l'IA ? Comment l'expliquez-vous ?

Voir aussi

:fleche: Microsoft investit 1 Md$ dans OpenAI, la société fondée par Elon Musk, qui tente de développer une IA semblable à l'intelligence humaine

:fleche: OpenAI crée OpenAI LP en tant qu'hybride d'une société à but lucratif et non lucratif pour générer de profits et se financer

:fleche: OpenAI a publié l'IA de génération de texte qu'il disait trop dangereuse pour être divulguée, mais le modèle n'est pas encore parfait

:fleche: L'IA remplacera la plupart des emplois actuels, mais avec une forte augmentation de la richesse globale, selon Sam Altman, cofondateur d'OpenAI

:fleche: OpenAI Five, l'équipe d'algorithmes d'IA d'OpenAI, écrase les champions du monde de Dota 2 et tout le monde peut jouer contre elle

Gordon Moore a affirmé que le nombre de transistors dans un circuit intégré doublerait chaque année, ce qui est connu sous le nom de loi de Moore.
Soit. Mais la supercherie vient des années 2005 avec le dual-core. Le processeur monocoeur avait atteint sa limite en terme de température. Aujourd'hui le 8-coeurs est le milieu de gamme des PC. Mais combien de développeurs se soucient du multithread ? Dans deux ans, 16 coeurs, 4 ans, 32, et dans 6 ans 64 coeurs ??? La loi de Moore est morte en 2005.
Toutefois, on peut espérer encore accélérer la fréquence avec des transistors à photons beaucoup moins calorifiques plutôt que le quantique bien trop élitiste.

Alors pour ce qui est d'une loi de Moore de l'IA, il faut raison garder. L'IA des années 60 s'est développée grâce au big-data et non grâce à la loi de Moore des processeurs. Bien sûr des algos moins complexes (linéaires au lieu d'exponentiels) ont rendus faisable ce qui aurait pris des millions d'années auparavant. Mais l'IA ne fait que prendre son essor. Beaucoup de choses restent à inventer et découvrir, notamment un entrainement avec du small-data et réduire la marge d'erreur encore trop grande.
Pour moi, ce seront surtout les maths qui feront progresser l'IA car personne ne comprend pourquoi cela marche à l'inverse du comment. Dans ce cas, une révolution algorithmique explosera tout.
Mais on est bien loin d'une loi de Moore, qui en l’occurrence n'a aucun sens.