Discussion :

[Sandra Coret]

Le Guide du hacker sur les modèles de langage : dans cette vidéo très instructive, Jeremy Howard vous emmène dans un voyage complet à travers le paysage fascinant des modèles de langage

Dans cette vidéo très instructive, Jeremy Howard, cofondateur de fast.ai et créateur de l'approche ULMFiT sur laquelle sont basés tous les modèles de langage modernes (LM), vous emmène dans un voyage complet à travers le paysage fascinant des LM. En commençant par les concepts fondamentaux, Jeremy présente l'architecture et les mécanismes qui font fonctionner ces systèmes d'IA.

Il se penche ensuite sur les évaluations critiques de GPT-4, éclaire les utilisations pratiques des modèles de langage dans l'écriture de code et l'analyse de données, et offre des conseils pratiques pour travailler avec l'API OpenAI. La vidéo fournit également des conseils d'experts sur des sujets techniques tels que le réglage fin, le décodage des jetons et l'exécution d'instances privées de modèles GPT.

Au fur et à mesure que l'on avance dans les subtilités, Jeremy dévoile des stratégies avancées pour le test et l'optimisation des modèles, en utilisant des outils tels que le GPTQ et les Hugging Face Transformers (transformateurs de visage). Il explore également le potentiel d'ensembles de données spécialisés comme Orca et Platypus pour le réglage fin et discute des tendances de pointe en matière de génération augmentée de recherche et de recherche d'informations. Que vous soyez un nouveau venu dans le domaine ou un professionnel confirmé, cette présentation offre une multitude d'informations qui vous aideront à naviguer dans le monde en constante évolution des modèles de langage.

• 00:00:00 Introduction et notions de base des modèles de langage
• 00:18:05 Limites et capacités du GPT-4
• 00:31:28 Applications de l'IA dans l'écriture de code, l'analyse de données et l'OCR
• 00:38:50 Conseils pratiques sur l'utilisation de l'API OpenAI
• 00:46:36 Création d'un interprète de code avec appel de fonction
• 00:51:57 Utilisation des modèles de langage locaux et des options du GPU
• 00:59:33 Affiner les modèles et décoder les tokens
• 01:05:37 Test et optimisation des modèles
• 01:10:32 Génération augmentée de récupération
• 01:20:08 Mise au point des modèles
• 01:26:00 Exécution des modèles sur Macs
• 01:27:42 Llama.cpp et ses capacités multiplateformes

Et vous ?

Que pensez-vous de cette vidéo ?

Voir aussi :

La startup Cerebras publie Cerebras-GPT, une famille de modèles linguistiques de type ChatGPT en open-source, les sept modèles GPT-3 établissent des records de précision et d'efficacité de calcul

Les capacités émergentes dans les grands modèles linguistiques ne sont-elles qu'un apprentissage en contexte ? aucune preuve de capacités émergentes de raisonnement dans les LLM, selon une étude

Les modèles linguistiques d'IA peuvent surpasser PNG et FLAC en matière de compression sans perte, selon une étude de Google DeepMind

[rached2005]

J’ai regardé cette vidéo de Jeremy Howard récemment, et franchement, c’est hyper bien expliqué même pour ceux qui ne sont pas des pros de l’IA. J’ai surtout aimé la façon dont il détaille les usages concrets des modèles de langage, genre l’écriture de code ou l’analyse de données. Les conseils sur l’API OpenAI étaient clairs, ça m’a aidé à mieux comprendre comment tester rapidement mes idées sans me prendre la tête avec la doc officielle.

[rached2005]

En général, j’aime bien trouver des outils ou ressources qui rendent la tech plus accessible, un peu comme ce que je retrouve sur movavi.com. Les tutos et explications y sont aussi simples à suivre quand t’es pas expert de base.