La Chine a entraîné un LLM de 1 000 milliards de paramètres en utilisant uniquement des puces locales
La Chine a entraîné un LLM de 1 000 milliards de paramètres en utilisant uniquement des puces locales, une étape clé dans les efforts de la Chine pour s'affranchir des autres pays en matière de semi-conducteurs
Un opérateur public chinois a déclaré avoir développé deux grands modèles de langage (LLM) entièrement formés sur des puces produites dans le pays, ce qui illustre les progrès réalisés par la Chine dans ses efforts pour parvenir à l'autonomie des puces dans le domaine de l'intelligence artificielle (IA).
Pour rappel, dans un contexte de tensions croissantes avec les États-Unis, la Chine a annoncé en mars dernier la création d'un fonds colossal de 27 milliards de dollars pour soutenir son industrie des semi-conducteurs, en réponse aux restrictions américaines visant à freiner son ascension. Ce fonds, géré par le National Integrated Circuit Industry Investment Fund, vise à accélérer le développement technologique et renforcer l'autosuffisance de la Chine dans ce domaine stratégique. Cette initiative ambitieuse affiche la volonté du géant asiatique de réduire sa dépendances aux technologies étrangères tout en renforçant ses capacités locales.
Dans cette même perspective, l'Institut d'IA de China Telecom, l'un des principaux opérateurs de télécommunications du pays soutenus par l'État, a déclaré dans un communiqué publié le samedi 5 octobre 2024 que son TeleChat2-115B à code source ouvert et un second modèle non nommé ont été entraînés sur des dizaines de milliers de puces produites dans le pays, marquant ainsi une étape importante dans le contexte du renforcement des restrictions américaines sur l'accès de la Chine aux semi-conducteurs avancés, y compris les dernières puces d'IA de Nvidia.
Cette réalisation « indique que la Chine a vraiment atteint une autosuffisance totale en matière d'apprentissage des LLM » et marque le début d'une nouvelle phase pour l'innovation et l'autosuffisance de la Chine en matière de LLM, la technologie qui sous-tend le ChatGPT d'OpenAI, a déclaré l'institut d'IA dans un communiqué publié sur WeChat.
China Telecom a déclaré que le modèle sans nom possède mille milliards de paramètres - un terme d'apprentissage automatique pour les variables présentes dans un système d'IA pendant la formation. La sophistication et l'efficacité d'un modèle d'IA dépendent largement de l'ampleur des paramètres impliqués dans le processus de formation. TeleChat2t-115B a plus de 100 milliards de paramètres, a déclaré l'entreprise.
Les entreprises chinoises s'empressent de rattraper leur retard en matière d'IA et de rester compétitives au niveau mondial en contournant les restrictions à l'exportation imposées par Washington. China Telecom n'a pas précisé qui lui avait fourni ses puces nationales, mais l'entreprise a déjà révélé qu'elle développait la technologie LLM à l'aide de puces Ascend mises au point par Huawei Technologies, le géant de l'équipement télécom basé à Shenzhen.
Huawei, qui est sanctionné par les États-Unis, a récemment commencé à tester une nouvelle puce d'intelligence artificielle avec des clients potentiels en Chine, alors que les entreprises cherchent des alternatives au matériel haut de gamme de Nvidia.
En effet, Huawei a intensifié ses efforts visant à réduire sa dépendance technologique envers les États-Unis avec le lancement en 2019 du processeur Ascend 910 et du framework MindSpore pour le développement des applications d'IA. Le pays envisage également la possibilité d'adopter l'architecture ouverte RISC-V est également envisagée si les restrictions américaines sur ARM venaient à persister. Ren Zhengfei, fondateur de Huawei, voit cette période comme cruciale pour l'avenir de l'entreprise, projetant même de « dominer le monde » après avoir surmonté ces défis.
Huawei a offert des échantillons de son processeur Ascend 910C à de grandes sociétés de serveurs chinoises pour tester et configurer le matériel, selon deux sources informées. La puce est également proposée aux géants chinois de l'internet qui sont d'importants clients de Nvidia, selon l'une des sources, un distributeur de puces d'IA de Huawei.
Les puces Ascend et les solutions de formation à l'IA de Huawei figurent parmi les principales alternatives à Nvidia pour les entreprises d'IA locales. Outre les puces Huawei, China Telecom propose également des puces développées par la start-up chinoise Cambricon, selon le plan de tarification des serveurs proposés par son service State Cloud.
Cette collaboration devrait réduire la dépendance de la Chine à l'égard des puces étrangères telles que les unités de traitement graphique (GPU) de Nvidia, qui sont considérées comme l'option de choix pour l'entraînement des modèles d'IA.
Les restrictions à l'exportation imposées par les États-Unis ont mis certains GPU Nvidia avancés, tels que les A100 et H100, hors de portée des entreprises chinoises spécialisées dans l'IA. Un marché noir est apparu pour ces puces, mais certaines entreprises ont préféré acheter des solutions de remplacement moins puissantes afin de conserver l'accès aux services d'assistance et de maintenance de Nvidia.
Source : TeleChat2
Et vous ?
Quel est votre avis sur le sujet ?
Voir aussi :
Répondre avec citation
Envoyé par vahanar
!!!
Partager