Un coprocesseur orienté optimisation

Bon nombre de sociétés développent des coprocesseurs spécifiquement prévus pour les tâches d'apprentissage dans des réseaux neuronaux profonds. En réalité, il s'agit d'accélérer des opérations du calcul matriciel et des convolutions, qui représentent une part non négligeable du travail à effectuer pour entraîner un réseau neuronal.

Une équipe de chercheurs de Georgia Tech s'est lancée dans une autre direction : accélérer matériellement un algorithme d'optimisation, ADMM (alternating direction method of multipliers). Un problème d'optimisation consiste à trouver le minimum d'une fonction, en respectant certaines contraintes : par exemple, produire une quantité d'énergie donnée en minimisant le coût global. Cette puce serait de plus grande utilité qu'une accélération purement orientée réseaux neuronaux : ADMM est utilisé aussi bien pour l'entraînement de réseaux neuronaux que le routage dans les réseaux ou la reconstruction d'images IRM.

Cet algorithme a une particularité : il cherche à diviser un gros problème d'optimisation en une multitude de problèmes bien plus petits. Pour ce faire, il considère les variables les unes après les autres, pas toutes ensemble, pour construire une direction d'amélioration. Ces sous-problèmes, bien plus petits, peuvent être résolus en parallèle pour gagner en temps de calcul, en exploitant par exemple plusieurs machines. L'algorithme est bien connu depuis les années 1980 et n'a cessé d'être utilisé et amélioré.

OPTIMA, la puce développée à Georgia Tech, exploite ces propriétés pour une implémentation très efficace d'ADMM. Par rapport à une implémentation sur GPU, les chercheurs annoncent avoir pu gagner un facteur 4,77 en consommation d'énergie et 4,18 en temps de calcul. La puce est constituée d'un total de quarante-neuf cœurs de calcul, des OPU (optimisation processing unit). Chacun dispose de sa propre mémoire HBM et résout un ou plusieurs sous-problèmes générés par ADMM. La disposition de ces cœurs de calcul est prévue pour faciliter les opérations de communication entre les sous-problèmes.

Source : New Optimization Chip Tackles Machine Learning, 5G Routing.