2 pièce(s) jointe(s)
Le supercalculateur Jean Zay de la France est maintenant le premier HPC qui peut fonctionner à la lumière
Le supercalculateur Jean Zay de la France est maintenant le premier HPC qui peut fonctionner à la lumière,
plutôt qu'au courant électrique
Dans un communiqué de presse publié le 21 décembre, LightOn a annoncé l'intégration d'un de ses coprocesseurs photoniques dans le supercalculateur Jean Zay. En plus d'être l'un des ordinateurs les plus puissants au monde, actuellement classé 105ème au Top500, le supercalculateur français Jean Zay est désormais le premier calculateur haute performance (HPC) à disposer d'un coprocesseur photonique (qui peut fonctionner à la lumière plutôt qu'au courant électrique).
Contrairement aux processeurs traditionnels qui utilisent le courant électrique, le coprocesseur photonique de LightOn transmet et traite l'information par la lumière. Dans le cadre d'un programme pilote avec le GENCI et l'IDRIS, l'insertion d'un accélérateur photonique analogique de pointe dans un calculateur haute performance constitue une rupture technologique et une première mondiale.
Fondée en 2016 et financée par Otium Capital, Anorak Ventures et Quantonation, LightOn est une startup française qui développe des ordinateurs photoniques pour l’Intelligence Artificielle. Elle fournit les outils d'intelligence artificielle les plus puissants, utilisables par toutes les entreprises, où qu'elles soient. Selon LightOn l’avenir de l’intelligence artificielle passera par la lumière. En effet, dans le cadre d’un projet de Machine Learning, il est reconnu qu’une projection de matrice aléatoire permet notamment de réduire le nombre de composants et ainsi optimiser les performances du modèle. Ce que Lighton vient révolutionner, c’est la façon dont sont générées ces projections de matrices aléatoires.
Concrètement, le processus peut sembler simple : un faisceau laser est projeté avant d’être dispersé et altéré à travers différents composants optiques formant ainsi une matrice de grande dimension de points lumineux. Le résultat est ensuite capté par une caméra et reconverti sous forme de signal numérique. Dans les faits, la mise au point d’une telle technologie est extrêmement complexe et ne pourrait se faire sans l’expertise pluridisciplinaire de l’équipe : la startup réunit des experts en physique, mathématiques et informatique. L’opération permet d’effectuer à la vitesse de la lumière cette tâche qui s’avérerait extrêmement coûteuse en puissance de calcul tout comme en mémoire si elle était effectuée par des composants électroniques.
Les opérations prises en charge par la technologie LightOn sont beaucoup plus rapides. L’équipe a mesuré une vitesse de calcul sur des tâches de type Transfer Learning 5 fois supérieure aux GPU du marché et 200 fois supérieure à un CPU sur une analyse de série temporelle par un réseau de neurones récurrents. Ces opérations sont aussi beaucoup moins gourmandes en énergie : avec une consommation d’une trentaine de watts, le système consomme jusqu’à 30 fois moins d’électricité que les GPU. Critère d’autant plus crucial que la consommation électrique des datacenters représente aujourd’hui une part non négligeable et grandissante de la consommation électrique mondiale.
Le coprocesseur photonique LightOn sera disponible pour des utilisateurs sélectionnés de la communauté de recherche Jean Zay au cours des prochains mois. L'OPU (Optical Processing Unit) de LightOn utilise la photonique pour accélérer les algorithmes aléatoires à très grande échelle, tout en permettant aux chercheurs d'accéder à des données de qualité.
Selon un rapport du département américain de l'énergie de 2021 sur Randomized Algorithms for Scientific Computing. Un chercheur de l'INRIA (Institut de recherche en informatique et en automatique), le Dr Antoine Liutkus a fourni un contexte supplémentaire à l'intégration du coprocesseur de LightOn. « Nos recherches se concentrent aujourd'hui sur la question de l'apprentissage à grande échelle. L'intégration d'un OPU dans l'un des nœuds les plus puissants de Jean Zay va nous donner les clés pour mener à bien cette recherche et nous permettra d'aller au-delà d'une simple "preuve de concept" »
Igor Carron, PDG et cofondateur de LightOn, a également déclaré à propos de cette première mondiale : « Ce programme pilote intégrant une nouvelle technologie de calcul au sein de l'un des superordinateurs les plus puissants du monde n'aurait pas été possible sans l'engagement particulier d'agences visionnaires comme GENCI et l'IDRIS/CNRS. Cette première mondiale nous conforte dans l'idée que la prochaine étape, après l'exascale sera celle du calcul hybride ».
Christelle Piechurski, Chief HPC & Quantum Officer de GENCI, ajoute : « Ce programme est une occasion passionnante pour la communauté française de recherche sur l'IA d'accéder à une technologie innovante et de comprendre comment elle pourrait accélérer certains de leurs calculs d'IA sur des algorithmes à grande échelle comme le NLP qui atteignent maintenant la taille GPT-3 sur Jean Zay. Pour nous, c'est aussi un moyen d’ouvrir la voie à d'autres architectures frugales dans le futur. GENCI et IDRIS sont également très fiers de soutenir une startup française dans son apprentissage du monde du HPC ».
Cependant, certains analystes restent tout de même assez sceptique quant à la précision et à la plage de valeurs des calculs. « Même les minuscules opérations en virgule flottante à simple précision sont précises à quelque chose comme 7 chiffres décimaux et ont une gamme dynamique de centaines de dB. Selon la fiche technique, l'appareil n'utilise que des entrées de 6 bits et des sorties de 8 bits, de sorte que les erreurs relatives sont probablement de l'ordre du pourcentage. Il est donc difficile de croire qu'un signal puisse se propager à travers un appareil comme un DNN sans être complètement noyé dans le bruit. », déclare l’un d'entre eux.
La technologie de LightOn est déjà utilisée avec succès par une communauté de chercheurs depuis 2018. Les premiers utilisateurs du programme pilote Jean Zay mèneront des recherches sur l'apprentissage automatique, l'analyse d'imagerie satellitaire et le traitement du langage naturel, pour ne citer que ceux-là. « Je trouve la technologie Optical Processing Unit développée à LightOn purement fascinante. Elle va permettre d’effectuer une série de calculs stochastiques plus rapidement qu’avec les GPU, sur des données de plus grande taille, et avec une consommation électrique moindre. Cela pourrait annoncer une révolution dans notre domaine », déclare le Dr Maurizio Filippone, expert en apprentissage statistique à Eurecom.
Présentation de l'unité de traitement optique (OPU) de LightOn
L'unité de traitement optique (OPU) de LightOn est la première puce photonique accélératrice d'IA disponible sur le marché pour les calculs non von Neumann à l'échelle, atteignant 1500 téraOPS. Elle s'appuie sur une combinaison d'optiques en espace libre avec des composants disponibles sur le marché, ainsi qu'une API logicielle permettant une intégration transparente dans des pipelines de traitement basés sur Python. LightOn travail sur une variété de cas d'utilisation et d'architectures de réseaux hybrides, l'OPU étant utilisé en combinaison avec le CPU/GPU.
- CPU : pour Central processing unit ou unité centrale de traitement, elle est considérée comme le cerveau d'un ordinateur, car elle contrôle et exécute toutes les opérations. Les unités centrales effectuent tous types d'opérations de traitement des données ; sans elles, un ordinateur ne peut fonctionner correctement. Au début du Bitcoin, les CPU étaient très utilisées. Au fur et à mesure que l'exploitation minière devenait plus compétitive, cela n'était plus possible. Cependant, il existe encore aujourd'hui d'autres crytomonnaies qui peuvent être exploitées à l'aide d'une unité centrale, comme Loki et Nimiq ;
- GPU : pour Graphics processing unit ou unité de traitement graphique, elles sont plus puissantes que les CPU lors de l'exécution de certaines fonctions. Les GPU sont censées être efficaces pour effectuer des grandes quantités de calculs. Cette caractéristique les rend bien adaptés à l'extraction de certaines cryptomonnaies, comme Ethereum. Bien qu'il soit techniquement possible d'extraire Ethereum à l'aide d'un CPU, cette habitude serait fortement déconseillée. Les GPU sont bien plus efficaces pour l'extraction d'Ethereum et d'autres cryptomonnaies telles que Ravencoin et Beam ;
- les OPU : sont des types de processeurs reposant non pas sur l’électronique mais sur l’optique. Ils sont très prometteurs en termes de performances puisque l’information est véhiculée par la lumière. Nous pourrions dire, de façon réductrice, que l’OPU est aux processeurs traditionnels ce que la fibre optique est au câble électrique.
Les OPU (Optical Processing Unit)
L'OPU tire parti de la diffusion de la lumière pour effectuer, dans le domaine analogique, des projections aléatoires, c'est-à-dire la multiplication de vecteurs d'entrée x par une matrice aléatoire fixe M, dont les entrées suivent une distribution gaussienne complexe indépendante et identiquement distribuée.
La sortie est y = |Mx|2
avec une non-linéarité par éléments |.| |2. La non-linéarité intégrée peut également être supprimée par des mesures interférométriques, ce qui conduit à y = Mx.
Les avantages de l'OPU proviennent de la dimensionnalité des données, de la vitesse à laquelle ces calculs sont effectués, et de la faible consommation d'énergie. Dans le matériel LightOn OPU, x (binaire) et y (8 bits) s'étendent jusqu'à la dimension 1 million et 2 millions, respectivement, et les calculs indépendants à 1,9 kHz, pour une consommation d'énergie de 30 W. Il atteint 1500 TeraOPS, soit 50 TeraOPS/W.
L'OPU fonctionne dans un régime "non von Neumann" : bien que les 2.1012 poids de la matrice M soient fixes par conception, ils sont accessibles instantanément, sans coût énergétique : M joue le rôle d'une grande mémoire morte (équivalent à des téraoctets), qui peut être utilisée dans les multiplications matricielles, littéralement à la vitesse de la lumière et de manière passive. Les limitations de vitesse et la consommation d'énergie résultent de la communication et du formatage, de la conversion N/A et A/N, et de la puissance du laser.
Contrairement aux architectures de von Neumann, où le temps de calcul et les besoins en mémoire sont proportionnels à la taille n des données, c'est-à-dire O(n2) pour une multiplication matrice-vecteur, le temps de calcul est ici O(1) indépendant de la taille des données.
- Matériel : l'OPU de LightOn se présente sous forme d’un dispositif rackable 2U, relié à son serveur hôte par le biais d'une connexion PCIe externe Gen2 x4. Il contient un seul cœur photonique compact, des cartes FPGA personnalisées pour l'entrée et la sortie des données, un laser et une alimentation électrique ;
Architecture hybride de traitement des données, avec l'OPU de LightOn comme coprocesseur externe
- Logiciel : la couche logicielle a été conçue pour offrir une expérience fluide aux experts en apprentissage automatique, sans aucune connaissance en photonique. La bibliothèque API personnalisée LightOnML, intégrée à Python, fournit des fonctions de prétraitement pour différents types de données d'entrée.
Dans de nombreuses tâches de calcul ML / HPC, il n'est pas nécessaire de mettre à jour tous les coefficients. La photonique en espace libre est actuellement la manière la plus prometteuse d'exploiter le principe de Non von Neumann à l'échelle, avec un accès instantané et passif en énergie à des matrices de coefficients de l'ordre du milliard. Avec l'OPU de LightOn, cette technologie est désormais mature et s'intègre de manière transparente dans des pipelines de calcul standard en complément des puces CPU/GPU programmables.
Source : Lighton
Et vous ?
:fleche: Quel est votre avis sur le sujet ?
:fleche: Croyez-vous en la précision et la plage des valeurs de l'OPU ?
Voir aussi :
:fleche: L'Amérique va se doter de Perlmutter, le superordinateur d'IA « le plus puissant » du monde, pour créer la carte 3D la plus détaillée de l'univers
:fleche: L'UE adopte l'architecture RISC-V sur supercalculateurs, les puces de 22 nm ont passé les premiers tests, en exécutant un programme « hello world »
:fleche: NVIDIA prévoit de construire un jumeau numérique de la Terre, afin de lutter contre le changement climatique, en prédisant l'avenir et en tirant parti de vitesses de calcul alimentées par l'IA
:fleche: Dell promet le support de Windows 11, un soutient de plus pour Microsoft, alors que Linux peine à s'imposer dans la filière des ordinateurs de bureau
La loi de Moore ne peut pas tout
L'article concerne Jean Zay et accessoirement l'OPU de LightOn.
L'idée, pleine de bon sens, est d'exploiter les traitements analogiques et notamment optroniques pour effectuer des opérations fixes pour lesquelles le digital pur nécessite plusieurs pas de calculs, pour des opérations sur de très grandes quantités de données. Sommairement ce qui est ou ramène à du calcul vectoriel. La solution digitale revient à multiplier les processeurs, voire d'optimiser leur architecture pour effectuer certains traitements.
Les performances obtenues par la lumière ne tiennent pas fondamentalement à la célérité de propagation.
Elles tiennent en premier lieu au fait que les images planes constituent des espèces de matrices 2D de taille N*N, donc permettent de faire quelque chose comme N^2 traitements en même temps dès lors que l'on sait faire des traitements 2D de la lumière. Accessoirement, on peut aussi compter sur la dimension couleur (fréquence).
Pour se faire une idée schématique, l'empilage d'un afficheur matriciel (OLED par exemple), d'une matrice LCD modulant le taux de transmission de chaque pixel, et d'un capteur CMOS ferait grosso-modo un filtre 2D sur l'image. Tel quel, il n'a pas d'intérêt, et de plus serait partiellement séquentiel (balayage de l'image), mais cet exemple fictif donne l'idée du parallelisme.
Un traitement 3D serait encore plus efficace, encore faudrait-il disposer des dispositifs idoines (ce qui n'est pas exclu).
Le second lieu, la mise en œuvre de lumière cohérente (très monochromatique) générée par des lasers permettent d'assurer des traitements complexes. Les hologrammes par exemple s'appuient sur des transformées de Fourier bidimensionnelles nullement effectuées par des calculs en séquence. Il est possible d'effectuer des filtrages spatiaux, des modulations d'intensité, etc.
Les processeurs quantiques sont une autre filière de calculs analogiques effectués en parallèle (le parallélisme étant cette fois obtenu par intrication).
LightOn est malheureusement chiche en détails sur le fonctionnement interne de l'OPU. Je comprends de l'article que ce coprocesseur optique a pour fonction dédiée d'assurer des calculs de pondération de données par une matrice (pseudo-) aléatoire, soit selon "les 2.1012 poids [fixes] de la matrice".
Peu importe: l'approche consistant à ne pas snober des technologies disparates pour obtenir des opérateurs de traitement efficaces et dédiés est une bonne pratique. La loi de Moore ne peut pas tout, l'imagination et le système D peuvent être à l'honneur.
Combien de temps encore la start-up restera française ?
Pour prendre un exemple qui nous concerne tous actuellement l'ARN messager.
C'est à François Gros et François Jacob, deux français, que nous devons les auteurs des premiers travaux sur l'ARN messager.
Le problème en France est que nous ne sommes pas structurellement organisés pour financer et entreprendre des recherches pendant des années qui plus est quand elles comportent un risque non négligeable d'échec.
Autre exemple, deux chercheurs français Mathias Fink et Mickael Tanter ont mis au point une machine d’imagerie médicale reposant sur l’IA. Après avoir produit 3 000 de leur machines leur société Supersonic Imagine a été rachetée par une entreprise américaine.
Leur commentaire : Pour grandir, il faut lever des fonds et en France, banques et investisseurs sont frileux. Les brevets ont été revendus à Philipps et General Electric.
Nous avons des idées, nous n'en faisons pas assez la publicité.
Nous sommes aussi souvent démunis pour industrialiser les découvertes que nous faisons. Le président français voulait changer l’ENA, mais malheureusement c’est aussi la mentalité toute pantouflarde de nos élites et institutions qui détestent et sont effrayés par les nouveautés, qui dépassent souvent leur entendement.
Lorsqu’un jour aux infos radio du matin, j’entendais un français récemment nobélisé dire « il n’y a que la recherche fondamentale qui compte », je me suis dit ce n’est pas demain la veille que nous pourrons rivaliser avec n’importe quel pays même européens.
La question pour cette strat-up française est, combien de temps va-t-elle rester française ?
