Intel dévoile les détails de sa nouvelle puce d'IA Intel Gaudi 3
Intel dévoile les détails de sa nouvelle puce d'IA : l'accélérateur d'IA Intel Gaudi 3 pour lutter contre la domination de Nvidia
Intel a détaillé une nouvelle version de sa puce d'intelligence artificielle lors de son événement Vision, qui vise la domination de Nvidia dans les semi-conducteurs qui alimentent l'IA.
Intel et Advanced Micro Devices (AMD) ont lutté pour produire un ensemble convaincant de puces et les logiciels nécessaires pour créer des applications d'IA qui peuvent devenir une alternative viable à Nvidia. Nvidia contrôlait environ 83 % du marché des puces pour centres de données en 2023, la majorité des 17 % restants étant détenue par les unités de traitement tensoriel (TPU) personnalisées de Google qu'il ne vend pas directement.
Les entreprises technologiques sont à la recherche d'une source alternative de puces rares nécessaires à l'intelligence artificielle. Intel a déclaré que sa nouvelle puce Gaudi 3 était capable d'entraîner un grand modèle de langage spécifique 50 % plus rapidement que le processeur H100 de génération précédente de Nvidia. Elle est également capable de calculer les réponses génératives de l'IA, un processus appelé inférence, plus rapidement que les puces H100 pour certains des modèles testés par Intel.
Intel a utilisé le processus 5nm de Taiwan Semiconductor Manufacturing Co pour construire les puces. Gaudi 3 comprend deux processeurs principaux fusionnés, et est plus de deux fois plus rapide que son prédécesseur. La puce est conçue pour être reliée à des milliers d'autres et peut ainsi générer une énorme puissance de calcul. La puce Gaudi 3 sera disponible pour les constructeurs de serveurs tels que Supermicro et Hewlett Packard Enterprise au cours du deuxième trimestre de cette année.
Intel dévoile les détails de la puce Intel Gaudi 3
À Intel Vision, Intel présente l'accélérateur d'IA Intel Gaudi 3 qui offre 4x le calcul d'IA pour BF16, 1,5x l'augmentation de la bande passante mémoire et 2x la bande passante réseau pour une mise à l'échelle massive du système par rapport à son prédécesseur. C'est un saut significatif en termes de performance et de productivité pour la formation et l'inférence IA sur les grands modèles de langage (LLM) et les modèles multimodaux les plus populaires. S'appuyant sur les performances et l'efficacité éprouvées de l'accélérateur d'IA Intel Gaudi 2, une alternative MLPerf-benchmarkée pour les LLM sur le marché, Intel donne aux clients le choix avec un logiciel ouvert basé sur la communauté et un réseau Ethernet standard de l'industrie pour faire évoluer leurs systèmes de manière plus flexible.
Pourquoi c'est important ?"Dans le paysage en constante évolution du marché de l'IA, un écart significatif persiste dans les offres actuelles. Les commentaires de nos clients et du marché en général soulignent le désir d'un plus grand choix. Les entreprises prennent en compte des considérations telles que la disponibilité, l'évolutivité, la performance, le coût et l'efficacité énergétique. Intel Gaudi 3 s'impose comme l'alternative GenAI présentant une combinaison convaincante de prix, de performance, d'évolutivité du système et d'avantage en termes de temps de retour sur investissement". - Justin Hotard, vice-président exécutif d'Intel et directeur général du groupe Data Center and AI.
Aujourd'hui, les entreprises de secteurs critiques tels que la finance, la fabrication et la santé cherchent rapidement à élargir l'accès à l'IA et à faire passer les projets d'IA générative (GenAI) des phases expérimentales à une mise en œuvre à grande échelle. Pour gérer cette transition, alimenter l'innovation et atteindre les objectifs de croissance du chiffre d'affaires, les entreprises ont besoin de solutions et de produits ouverts, rentables et plus économes en énergie qui répondent aux besoins de retour sur investissement (ROI) et d'efficacité opérationnelle.
L'accélérateur Intel Gaudi 3 répondra à ces exigences et offrira une polyvalence grâce à un logiciel communautaire ouvert et à une norme industrielle Ethernet ouverte, aidant les entreprises à faire évoluer leurs systèmes et applications d'IA de manière flexible.
Comment l'architecture personnalisée offre la performance et l'efficacité de la GenAI ?
L'accélérateur Intel Gaudi 3, conçu pour le calcul efficace de l'IA à grande échelle, est fabriqué sur un processus de 5 nanomètres (nm) et offre des avancées significatives par rapport à son prédécesseur. Il est conçu pour permettre l'activation de tous les moteurs en parallèle - avec le moteur de multiplication matricielle (MME), les cœurs de processeur tensoriel (TPC) et les cartes d'interface réseau (NIC) - permettant l'accélération nécessaire pour un calcul d'apprentissage profond rapide et efficace et une mise à l'échelle. Les principales caractéristiques sont les suivantes :
- Moteur de calcul dédié à l'IA : l'accélérateur Intel Gaudi 3 a été spécialement conçu pour le calcul GenAI haute performance et haute efficacité. Chaque accélérateur dispose d'un moteur de calcul hétérogène composé de 64 TPC personnalisés et programmables pour l'IA et de huit MME. Chaque MME Intel Gaudi 3 est capable d'effectuer un nombre impressionnant de 64 000 opérations parallèles, ce qui permet un haut degré d'efficacité de calcul, les rendant aptes à traiter des opérations matricielles complexes, un type de calcul qui est fondamental pour les algorithmes d'apprentissage profond. Cette conception unique accélère la vitesse et l'efficacité des opérations parallèles d'IA et prend en charge plusieurs types de données, y compris FP8 et BF16.
- Boost de mémoire pour l'exigence de capacité des LLM : 128 gigaoctets (Go) de capacité de mémoire HBMe2, 3,7 téraoctets (To) de bande passante mémoire et 96 mégaoctets (Mo) de mémoire vive statique (SRAM) embarquée fournissent suffisamment de mémoire pour traiter de grands ensembles de données GenAI sur moins d'Intel Gaudi 3, particulièrement utiles pour servir de grands modèles de langage et multimodaux, ce qui se traduit par une augmentation de la performance de la charge de travail et de la rentabilité du centre de données.
- Mise à l'échelle efficace du système pour la GenAI d'entreprise : 24 ports Ethernet de 200 gigabits (Gb) sont intégrés dans chaque accélérateur Intel Gaudi 3, fournissant un réseau flexible et ouvert. Ils permettent une mise à l'échelle efficace pour prendre en charge les grands clusters de calcul et éliminent le verrouillage des fournisseurs par des réseaux propriétaires. L'accélérateur Intel Gaudi 3 est conçu pour passer efficacement d'un seul nœud à des milliers de nœuds afin de répondre aux exigences étendues des modèles GenAI.
- Logiciel industriel ouvert pour la productivité des développeurs : Le logiciel Intel Gaudi intègre le cadre PyTorch et fournit des modèles optimisés basés sur la communauté Hugging Face - le cadre d'IA le plus courant pour les développeurs GenAI aujourd'hui. Cela permet aux développeurs GenAI d'opérer à un niveau d'abstraction élevé pour faciliter l'utilisation et la productivité, ainsi que le portage des modèles à travers les types de matériel.
- Gaudi 3 PCIe : La carte d'extension Gaudi 3 PCIe (peripheral component interconnect express) est une nouveauté dans la gamme de produits. Conçue pour apporter une grande efficacité tout en consommant moins d'énergie, ce nouveau facteur de forme est idéal pour les charges de travail telles que le réglage fin, l'inférence et la génération augmentée par récupération (RAG). Il est équipé d'un facteur de forme pleine hauteur à 600 watts, avec une capacité de mémoire de 128 Go et une bande passante de 3,7 To par seconde.
L'accélérateur Intel Gaudi 3 offrira des améliorations significatives de performance pour les tâches de formation et d'inférence sur les principaux modèles GenAI. Plus précisément, l'accélérateur Intel Gaudi 3 devrait offrir en moyenne par rapport au Nvidia H100 :
- Un temps d'entraînement 50 % plus rapide pour les modèles Llama2 7B et 13B et GPT-3 175B.
- Un débit d'inférence 50 % plus rapide et une efficacité énergétique de l'inférence 40 % plus élevée pour les paramètres Llama 7B et 70B, et les modèles de paramètres Falcon 180B. Un avantage encore plus important en termes de performances d'inférence sur les séquences d'entrée et de sortie plus longues.
- Inférence 30 % plus rapide sur les paramètres Llama 7B et 70B, et les modèles de paramètres Falcon 180B par rapport à Nvidia H200.
À propos de l'adoption et de la disponibilité sur le marché
L'accélérateur Intel Gaudi 3 sera disponible pour les fabricants d'équipements d'origine (OEM) au deuxième trimestre 2024 dans les configurations standard de l'industrie de la carte de base universelle et du module d'accélérateur ouvert (OAM). Dell Technologies, Hewlett Packard Enterprise, Lenovo et Supermicro figurent parmi les principaux fabricants d'équipements d'origine qui commercialiseront Gaudi 3. La disponibilité générale des accélérateurs Intel Gaudi 3 est prévue pour le troisième trimestre 2024, et la carte d'extension PCIe Intel Gaudi 3 devrait être disponible au dernier trimestre 2024.
L'accélérateur Intel Gaudi 3 alimentera également plusieurs infrastructures LLM en nuage rentables pour la formation et l'inférence, offrant des avantages en termes de prix et de performances et des choix aux organisations qui incluent désormais NAVER.
Les développeurs peuvent commencer dès aujourd'hui en accédant à des instances basées sur Intel Gaudi 2 sur le nuage de développement pour apprendre, prototyper, tester et exécuter des applications et des charges de travail.
Prochaines étapes
L'élan des accélérateurs Intel Gaudi 3 sera fondamental pour Falcon Shores, le processeur graphique (GPU) de nouvelle génération d'Intel pour l'IA et le calcul de haute performance (HPC). Falcon Shores intégrera la propriété intellectuelle (IP) Intel Gaudi et Intel Xe avec une interface de programmation GPU unique basée sur la spécification Intel oneAPI.
Source : Annonce d'Intel
Et vous ?
Quel est votre avis sur le sujet ?
Voir aussi :
Répondre avec citation
Partager