xAI d'Elon Musk publie l'architecture de son LLM de base Grok-1
xAI d'Elon Musk publie l'architecture de son LLM de base Grok-1, sous forme de code open source, avec un modèle "Mixture-of-Experts" de 314 milliards de paramètres
xAI, la startup d'intelligence artificielle d'Elon Musk, publie les poids et l'architecture de Grok-1, son grand modèle de langage. Selon xAI, Grok-1 est un modèle de "mélange d'experts" (Mixture-of-Experts) de 314 milliards de paramètres, formé à partir de zéro.
La startup d'intelligence artificielle xAI Corp. dirigée par Elon Musk a publié les poids et l'architecture de son grand modèle de langage Grok-1 sous forme de code open source, peu après qu'Apple Inc. a publié un article décrivant ses propres travaux sur les LLM multimodaux. M. Musk a d'abord annoncé que xAI publierait Grok en open source le 11 mars, mais la publication du modèle de base et des poids, éléments fondamentaux du fonctionnement du modèle, en fait la première publication open source de l'entreprise.
Ce qui a été publié fait partie de l'architecture de réseau de la conception structurelle de Grok, y compris la façon dont les couches et les nœuds sont disposés et interconnectés pour traiter les données. Les poids du modèle de base sont les paramètres de l'architecture d'un modèle donné qui ont été ajustés au cours de la formation, codant les informations apprises et déterminant la manière dont les données d'entrée sont transformées en sortie.
Grok-1 est un modèle de "mélange d'experts" (Mixture-of-Experts) de 314 milliards de paramètres, formé à partir de zéro par xAI. Un modèle de mélange d'experts est une approche d'apprentissage automatique qui combine les résultats de plusieurs sous-modèles spécialisés, également connus sous le nom d'experts, pour établir une prédiction finale, en optimisant pour diverses tâches ou sous-ensembles de données en tirant parti de l'expertise de chaque modèle individuel.
Cette version est le point de contrôle du modèle de base brut issu de la phase de pré-entraînement de Grok-1, qui s'est achevée en octobre 2023. Selon l'entreprise, "cela signifie que le modèle n'a pas été affiné pour une application spécifique, telle que le dialogue".
Musk a révélé en juillet qu'il avait fondé xAI et que l'entreprise serait en concurrence avec les services d'IA d'entreprises telles que Google LLC et OpenAI. Le premier modèle de la société, Grok, a été présenté par xAI comme ayant été modelé sur le livre classique de Douglas Adams "The Hitchhiker's Guide to the Galaxy" et est "destiné à répondre à presque tout et, bien plus difficile, à suggérer les questions à poser !"
Voici l'annonce de xAI :
Pour commencer à utiliser le modèle, suivez les instructions ici.Publication ouverte de Grok-1
Nous publions les poids du modèle de base et l'architecture du réseau de Grok-1, notre grand modèle de langage. Grok-1 est un modèle de mélange d'experts de 314 milliards de paramètres, entraîné à partir de zéro par xAI.
Il s'agit du point de contrôle du modèle de base brut de la phase de pré-entraînement de Grok-1, qui s'est achevée en octobre 2023. Cela signifie que le modèle n'a pas été affiné pour une application spécifique, telle que le dialogue.
Nous publions les poids et l'architecture sous la licence Apache 2.0.
Détails du modèle
- Modèle de base entraîné sur une grande quantité de données textuelles, non affiné pour une tâche particulière.
- Modèle de mélange d'experts de 314B paramètres avec 25% des poids actifs sur un token donné.
- Entraîné à partir de zéro par xAI en utilisant une pile d'entraînement personnalisée au-dessus de JAX et Rust en octobre 2023.
Source : xAI
Et vous ?
Quel est votre avis sur le sujet ?
Voir aussi :
Répondre avec citation
Envoyé par xAI
Partager