Le Guide du hacker sur les modèles de langage, une vidéo de Jeremy Howard
Le Guide du hacker sur les modèles de langage : dans cette vidéo très instructive, Jeremy Howard vous emmène dans un voyage complet à travers le paysage fascinant des modèles de langage
Dans cette vidéo très instructive, Jeremy Howard, cofondateur de fast.ai et créateur de l'approche ULMFiT sur laquelle sont basés tous les modèles de langage modernes (LM), vous emmène dans un voyage complet à travers le paysage fascinant des LM. En commençant par les concepts fondamentaux, Jeremy présente l'architecture et les mécanismes qui font fonctionner ces systèmes d'IA.
Il se penche ensuite sur les évaluations critiques de GPT-4, éclaire les utilisations pratiques des modèles de langage dans l'écriture de code et l'analyse de données, et offre des conseils pratiques pour travailler avec l'API OpenAI. La vidéo fournit également des conseils d'experts sur des sujets techniques tels que le réglage fin, le décodage des jetons et l'exécution d'instances privées de modèles GPT.
Au fur et à mesure que l'on avance dans les subtilités, Jeremy dévoile des stratégies avancées pour le test et l'optimisation des modèles, en utilisant des outils tels que le GPTQ et les Hugging Face Transformers (transformateurs de visage). Il explore également le potentiel d'ensembles de données spécialisés comme Orca et Platypus pour le réglage fin et discute des tendances de pointe en matière de génération augmentée de recherche et de recherche d'informations. Que vous soyez un nouveau venu dans le domaine ou un professionnel confirmé, cette présentation offre une multitude d'informations qui vous aideront à naviguer dans le monde en constante évolution des modèles de langage.
- 00:00:00 Introduction et notions de base des modèles de langage
- 00:18:05 Limites et capacités du GPT-4
- 00:31:28 Applications de l'IA dans l'écriture de code, l'analyse de données et l'OCR
- 00:38:50 Conseils pratiques sur l'utilisation de l'API OpenAI
- 00:46:36 Création d'un interprète de code avec appel de fonction
- 00:51:57 Utilisation des modèles de langage locaux et des options du GPU
- 00:59:33 Affiner les modèles et décoder les tokens
- 01:05:37 Test et optimisation des modèles
- 01:10:32 Génération augmentée de récupération
- 01:20:08 Mise au point des modèles
- 01:26:00 Exécution des modèles sur Macs
- 01:27:42 Llama.cpp et ses capacités multiplateformes
Et vous ?
:fleche: Que pensez-vous de cette vidéo ?
Voir aussi :
:fleche: La startup Cerebras publie Cerebras-GPT, une famille de modèles linguistiques de type ChatGPT en open-source, les sept modèles GPT-3 établissent des records de précision et d'efficacité de calcul
:fleche: Les capacités émergentes dans les grands modèles linguistiques ne sont-elles qu'un apprentissage en contexte ? aucune preuve de capacités émergentes de raisonnement dans les LLM, selon une étude
:fleche: Les modèles linguistiques d'IA peuvent surpasser PNG et FLAC en matière de compression sans perte, selon une étude de Google DeepMind
