Des chercheurs chinois auraient construit un modèle d'IA de 100 000 milliards de paramètres
Des chercheurs chinois auraient construit un modèle d'IA de 100 000 milliards de paramètres, soit autant de paramètres que le cerveau humain
il serait 571 fois plus puissant que GPT-3
Les modèles de traitement du langage naturel (natural language processing - NLP) ont considérablement évolué au cours des dernières années, principalement en raison de la forte rivalité entre les États-Unis et la Chine. Alors que GPT-3 d'OpenAI était largement considéré comme le meilleur modèle en matière de génération du langage naturel, les chercheurs chinois ont déclaré en juin dernier avoir construit un modèle d'IA avec 100 000 milliards de paramètres, ce qui le rend 571 fois plus puissant que GPT-3. Il s'agit d'un modèle multimodal formé pour traiter à la fois le texte et l'image. Il pourrait traiter l'audio et la vidéo à l'avenir.
Les chercheurs chinois disent avoir construit le plus grand modèle NLP
Jusqu'en mai 2021, GPT-3 d'OpenAI, un laboratoire indépendant américain de recherche sur l'IA cofondé par Elon Musk, était le modèle NLP le plus puissant au monde. GPT-3 est la troisième génération du gigantesque modèle de langage "Generative Pre-trained Transformer" d'OpenAI, qui peut tout écrire, du code informatique à la poésie. Mais, en juin, l'Académie d'intelligence artificielle de l'université Tsinghua de Pékin a publié un modèle encore plus grand, Wu Dao 2.0, avec dix fois plus de paramètres - les valeurs du réseau neuronal qui codent l'information - que GPT-3.
Alors que GPT-3 compte 175 milliards de paramètres, les créateurs du modèle Wu Dao 2.0 affirment qu'il en compte 1,75 mille milliards. Les chiffres ne racontent pas une histoire complète, mais juste pour le plaisir : Wu Dao 2.0 est 10 fois plus puissant que GPT-3. Contrairement aux modèles d'apprentissage profond conventionnels qui sont généralement spécifiques à une tâche, Wu Dao 2.0 est un modèle multimodal formé pour traiter à la fois le texte et l'image, deux ensembles de problèmes radicalement différents. Comme GPT-3, Wu Dao 2.0 serait capable d'écrire des poèmes et des couplets dans le style traditionnel chinois, de répondre à des questions, de rédiger des essais, etc.
En outre, le modèle serait également capable de générer du texte alternatif pour des images et de générer des images à partir de descriptions textuelles, comme le modèle DALL-E d'OpenAI, qui compte environ 12 milliards de paramètres. Selon les créateurs de Wu Dao 2.0, le modèle a une stratégie de mise à l'échelle similaire à celle du modèle Switch Transformer de Google. Il serait même capable d'alimenter des "idoles virtuelles", avec l'aide de XiaoIce, un système d'IA développé par Microsoft Asia, de sorte qu'il peut également y avoir un support vocal, en plus du texte et de l'image.
Par ailleurs, Tang Jie, professeur à l'université Tsinghua et chef du projet Wu Dao, a déclaré lors d'une interview en juin dernier, que le groupe a construit un modèle encore plus grand, de 100 000 milliards de paramètres, bien qu'il ne l'ait pas entraîné jusqu'à la "convergence", le point auquel le modèle cesse de s'améliorer. « Nous voulions simplement prouver que nous étions capables de le faire », a déclaré Tang. Notons que GPT-3 et Wu Dao 2.0 sont des modèles d'IA multimodaux.
En effet, l'IA multimodale est un nouveau paradigme de l'IA, dans lequel différents types de données (texte, image, parole, etc.) sont combinés à de multiples algorithmes de traitement pour obtenir de meilleures performances. Selon les chercheurs, l'IA multimodale surpasse souvent l'IA monomodale dans de nombreux problèmes du monde réel. Le modèle multimodal est actuellement un mot à la mode au sein de la communauté de l'apprentissage profond.
Le MUM (Multi-task Unified Model) de Google, dévoilé en mai 2021 lors de la conférence annuelle des développeurs du géant de Mountain View, capable de répondre à des questions complexes et de distiller des informations à partir de textes et d'images, est un exemple récent de modèles multimodaux. Selon la plupart des mesures, Wu Dao 2.0 a surpassé GPT-3. Tang indique qu'il a été entraîné sur 4,9 téraoctets de données propres, y compris du texte en chinois, du texte en anglais et des images. OpenAI a déclaré que GPT-3 avait été entraîné sur seulement 570 gigaoctets de texte propre, principalement en anglais.
Tang indique que son groupe travaille maintenant sur la vidéo dans le but de générer des vidéos réalistes à partir de descriptions textuelles. « Avec un peu de chance, nous pourrons faire en sorte que ce modèle aille au-delà du test de Turing », dit-il, en faisant référence à l'évaluation de la capacité d'un ordinateur à générer un texte indiscernable de celui créé par un humain. « C'est notre objectif final », a-t-il ajouté.
La Chine est-elle devenue incontournable dans la recherche sur l'IA ?
Selon des experts, les États-Unis dominaient le secteur de la recherche sur l'IA, mais se sont progressivement fait rattraper par la Chine. « La Chine est un concurrent que les États-Unis ont encouragé. Une poignée d'entreprises technologiques américaines ont transféré leur savoir-faire et formé certains des meilleurs experts en IA de Chine », a déclaré Craig Smith, un ancien correspondant du New York Times et l'hôte du podcast "Eye on AI", dans un éditorial fin décembre 2021. Smith a commencé par rejeter la faute sur Bill Gates, fondateur de Microsoft. En 1992, Gates a conduit Microsoft sur le marché naissant des logiciels en Chine.
Six ans plus tard, il a créé Microsoft Research Asia, le plus grand institut de recherche informatique fondamentale et appliquée de la société en dehors des États-Unis. Des membres de cette organisation ont ensuite fondé ou dirigé de nombreuses institutions technologiques de premier plan en Chine. Toujours selon Smith, en 2021, un ancien de Microsoft Research Asia a fondé ByteDance, qui est aujourd'hui l'une des entreprises d'IA les plus prospères au monde. ByteDance a publié en 2016 TikTok, une plateforme mobile de partage de vidéo et de réseautage social qui est devenue l'application la plus téléchargée au monde.
Ensuite, Smith a ajouté que ByteDance a engagé Zhang Hongjiang, un ancien responsable de Microsoft Research Asia, pour diriger le centre de recherche en stratégie technique de ByteDance. Ce Zhang est maintenant à la tête de l'Académie de Pékin, l'organisation à l'origine de Wu Dao 2.0, actuellement le plus grand système d'IA de la planète. Ce va-et-vient inquiète les stratèges américains en matière de sécurité nationale, qui prévoient qu'un jour les chercheurs et les sociétés multinationales seront obligés de prendre parti. Le bras de fer entre Huawei et le gouvernement américain depuis 2019 témoigne de cette inquiétude.
Huawei, le plus grand fabricant d'équipements de télécommunications au monde, a été gêné par les restrictions commerciales imposées par l'administration Trump sur la vente de puces et d'autres composants utilisés dans ses activités liées aux équipements de réseau et aux smartphones. L'entreprise est inscrite sur une longue liste d'entreprises chinoises considérées comme une menace pour la sécurité nationale des États-Unis. À travers un décret en mai 2019, l'ex-président Donald Trump, a gelé les relations commerciales entre Huawei et les entreprises américaines. Cela a eu un impact considérable sur la production de smartphones de Huawei.
Le décret a interdit aux entreprises américaines de vendre Huawei des biens et des technologies sans une licence spéciale du gouvernement. Et dès son installation, la nouvelle administration Biden a renforcé la ligne dure sur les exportations vers Huawei, refusant les licences de vente de puces à Huawei pour une utilisation dans ou avec des appareils 5G. Selon les rapports financiers, Huawei a enregistré la plus forte baisse de revenus de son histoire au premier semestre 2021. La société a fait état d'une baisse de 16,5 % de son chiffre d'affaires trimestriel, par rapport à l'année précédente, en raison de la chute des revenus tirés des smartphones.
La rivalité entre les États-Unis et la Chine stimule-t-elle l'IA militarisée ?
Selon Smith, que les chercheurs chinois et américains le veuillent ou non, leurs gouvernements respectifs sont impatients d'intégrer chaque avancée de l'IA dans leur infrastructure de sécurité nationale et leurs capacités militaires. « C'est important, car la domination de la technologie signifie une victoire probable dans toute guerre future. Plus important encore, un tel avantage garantit probablement la longévité et l'influence mondiale du gouvernement qui le détient. La Chine exporte déjà sa technologie de surveillance basée sur l'IA - qui peut être utilisée pour réprimer la dissidence - vers ses États clients », a-t-il déclaré.
Ainsi, il estime que le premier effort majeur des États-Unis en matière d'IA pour une guerre intelligente a consisté à utiliser la vision par ordinateur pour analyser des milliers d'heures de vidéos téléchargées à partir de dizaines de drones en mouvement. Aujourd'hui, cet effort, baptisé Projet Maven, permettrait de détecter, de classer et de suivre des objets dans des images vidéo. La Chine aurait suivi le rythme. Selon le Center for Security and Emerging Technology (CSET) de l'université de Georgetown, la Chine poursuit activement des recherches sur la reconnaissance des cibles et le tir automatique basés sur l'IA.
Ces innovations pourraient être utilisées dans des armes autonomes mortelles. Parallèlement, elle pourrait devancer les États-Unis dans le domaine de la technologie des essaims de drones. Le CSET de Georgetown rapporte que la Chine développe des charges utiles d'armes électromagnétiques qui peuvent être attachées à des essaims de petits véhicules aériens sans pilote et volées dans l'espace aérien ennemi pour "perturber ou bloquer le commandement et la prise de décision de l'ennemi". Ce type de recherche et de test a suscité des appels à l'interdiction préventive des armes autonomes létales.
« Je m'inquiète de l'importance qu'ils accordent aux essaims de systèmes sans pilote », déclare Robert O. Work, ancien secrétaire adjoint à la Défense des États-Unis, ajoutant que les Chinois veulent former des essaims d'une centaine de véhicules ou plus, y compris des systèmes sous-marins, pour coordonner la navigation dans des environnements complexes. « Si nous testons également des essaims, nous n'avons pas encore démontré notre capacité à employer ce type d'essaims dans un scénario de combat », a-t-il ajouté. Smith pense qu'en l'absence d'une interdiction, les pays devraient commencer à négocier un accord de contrôle des armements.
Cet accord interdirait le développement de systèmes qui pourraient ordonner de manière autonome une attaque préventive ou de représailles. En effet, de tels systèmes pourraient conduire par inadvertance à des "guerres éclair", tout comme les opérations financières autonomes pilotées par l'IA ont conduit à des crashs éclair sur les marchés financiers. « Aucun d'entre nous ne veut entrer en guerre parce qu'un système de contrôle autonome a fait une erreur et a ordonné une attaque préventive », a déclaré Work, en faisant référence aux États-Unis et à la Chine.
Sources : Présentation de Wu Dao 2.0, Craig Smith
Et vous ?
Quel est votre avis sur le sujet ?
Voir aussi
Répondre avec citation
Envoyé par Aiekick
Votre Dieu, c'est le vide. Relisez-vous.
Partager