Des universitaires ont créé une alternative économique au GPU pour former des réseaux neuronaux profonds
Des universitaires ont créé une alternative économique au GPU pour former des réseaux neuronaux profonds plus rapidement
et à moindre coût grâce aux CPU
L’apprentissage profond a des capacités très prometteuses et est un outil important sur lequel s’appuie l’intelligence artificielle qu’utilisent les technologies comme les assistants vocaux, les logiciels de reconnaissance faciale, etc. Cela dit, sa mise en œuvre est un processus long et coûteux pour les entreprises qui en font usage. Mais les scientifiques de l'université de Rice à Houston viennent de démontrer qu'il est possible d'accélérer la technologie d'apprentissage profond sans forcément utiliser de matériels d'accélération spécialisés comme les GPU.
L’apprentissage profond (ou deep learning) constitue une puissante forme d’intelligence artificielle (IA) qui fonde généralement sa puissance de calcul sur des dispositifs comme les GPU et d’autres matériels, ce qui nécessite des investissements très importants de la part des entreprises. Mais les choses pourraient bientôt changer avec la dernière trouvaille des chercheurs de l’université de Rice. Ils ont trouvé un moyen de former des réseaux neuronaux profonds plus rapidement et à moindre coût grâce aux CPU.
En effet, les universitaires ont créé une alternative économique au GPU, un algorithme appelé “moteur d'apprentissage profond sublinéaire” (SLIDE) qui utilise simplement des unités centrales de traitement (CPU) à usage général sans matériel d'accélération spécialisé. SLIDE n'a pas besoin de GPU, car il se base sur une approche fondamentalement différente de celle de l'apprentissage profond. Ils ont expliqué que l’apprentissage profond utilise la technique d'apprentissage par “rétropropagation”, une approche qui nécessite une multiplication matricielle.
Cependant, dans le cas de SLIDE, les chercheurs ont transformé la formation aux réseaux de neurones en un problème de recherche qui pourrait plutôt être résolu avec des tables de hachage. C’est une approche qui réduit radicalement les frais de calcul pour SLIDE par rapport à la formation à la rétropropagation. Par exemple, une plateforme GPU haut de gamme comme celles qu'Amazon, Google et d'autres proposent pour les services d'apprentissage profond en nuage possède huit GPU Tesla V100 et coûte environ 100 000 dollars.
Le hachage (encore appelé fonction de hachage) est une méthode d'indexation des données inventée pour la recherche sur Internet dans les années 1990. Elle utilise des méthodes numériques pour coder de grandes quantités d'informations, comme des pages Web entières ou des chapitres de livre, sous la forme d'une chaîne de chiffres appelée hash. Les tables de hachage sont des listes de hashs qui peuvent être recherchées très rapidement. Selon les chercheurs, c'est pour cette raison qu’ils ont choisi d'utiliser un algorithme de hachage.
« Nos tests témoignent que SLIDE est la première implémentation algorithmique intelligente de l’apprentissage profond sur un CPU qui peut surpasser l'accélération matérielle GPU sur des ensembles de données de recommandation à l'échelle industrielle avec de grandes architectures entièrement connectées », a déclaré Anshumali Shrivastava, un professeur assistant à l'école d'ingénierie Brown de Rice qui a inventé SLIDE avec les étudiants diplômés Beidi Chen et Tharun Medini. Ils ont ensuite effectué des tests qui se sont montrés concluants.
Les universitaires ont pris une charge de travail complexe et l'ont transmise à la fois à un GPU v100 utilisant le logiciel TensorFlow de Google et à un “CPU de classe Xeon à 44 cœurs” utilisant SLIDE, et a constaté que le CPU pouvait terminer la formation en une heure seulement, contre trois heures et demie pour le GPU. Selon les critiques, il n'existe pas de CPU de classe Xeon à 44 cœurs. Il est donc probable que l'équipe fasse référence à un CPU à 22 cœurs et 44 fils. Selon eux, le plus grand avantage de SLIDE par rapport à la rétropropagation est qu'il s'agit de données parallèles.
« Par données parallèles, j'entends que si je veux m'entraîner avec deux données différentes, disons que l'une est l'image d'un chat et l'autre d'un bus, elles activeront probablement des neurones différents, et SLIDE peut mettre à jour ou s'entraîner sur ces deux données indépendamment », a expliqué Anshumali Shrivastava. « C'est une bien meilleure utilisation du parallélisme pour les processeurs ». Toutefois, SLIDE a aussi son lot de problèmes. Selon le professeur, le revers de la médaille, comparé au GPU, est que l’on a maintenant besoin d'une plus grande mémoire.
« Il y a une hiérarchie de cache dans la mémoire principale, et si vous n'y faites pas attention, vous pouvez rencontrer un problème appelé “cache thrashing”, où vous avez beaucoup de manques de cache », a-t-il expliqué. Il a déclaré que les premières expériences de son groupe avec le SLIDE avaient produit des battements de cache importants, mais que leur temps d'entraînement était toujours comparable ou plus rapide que le temps d'entraînement des GPU. Selon lui, leurs collaborateurs d'Intel ont reconnu le problème de mise en cache et ont aidé à résoudre cela.
Le dispositif des universitaires est important, car il démontre qu’il existe d’autres moyens de mettre en oeuvre l’apprentissage profond. « Ne nous laissons pas engorger par la matrice de multiplication et la mémoire des GPU », a déclaré Chen. « Notre approche algorithmique est peut-être la première à battre le GPU, mais j'espère que ce n'est pas la dernière. Le domaine a besoin de nouvelles idées, et c'est une grande partie de ce que MLSys (Conference of Machine Learning System) représente ».
Source : Université de Rice
Et vous ?
Qu'en pensez-vous ?
Voir aussi
Répondre avec citation
Envoyé par arond
Partager