Discussion :

[Jade Emy]

Meta annonce que Llama 3 est "le LLM le plus performant à ce jour", bientôt disponible sur AWS, Databricks, Google Cloud, Hugging Face, Kaggle, IBM WatsonX, Microsoft Azure, NVIDIA NIM et Snowflake.

Meta présente Meta Llama 3 qui serait "le grand modèle de langage le plus performant et le plus accessible à ce jour".

Meta présente Meta Llama 3, la prochaine génération de son grand modèle de langage open source à la pointe de la technologie. Les modèles Llama 3 seront bientôt disponibles sur AWS, Databricks, Google Cloud, Hugging Face, Kaggle, IBM WatsonX, Microsoft Azure, NVIDIA NIM et Snowflake, et avec le support de plateformes matérielles proposées par AMD, AWS, Dell, Intel, NVIDIA et Qualcomm.

Meta vient de partager les deux premiers modèles de la nouvelle génération de Llama, Meta Llama 3, disponible pour une large utilisation. Cette version propose des modèles de langage pré-entraînés et affinés par des instructions avec des paramètres 8B et 70B qui peuvent prendre en charge un large éventail de cas d'utilisation. Cette nouvelle génération de Llama démontre des performances de pointe sur une large gamme de références industrielles et offre de nouvelles capacités, y compris un raisonnement amélioré.

Meta affirme qu'il s'agit des meilleurs modèles open source de leur catégorie, point final. En soutien à son approche ouverte de longue date, Meta déclare "mettre Llama 3 entre les mains de la communauté." "Nous voulons donner le coup d'envoi à la prochaine vague d'innovation dans le domaine de l'IA, qu'il s'agisse d'applications, d'outils de développement, d'évaluations, d'optimisations de l'inférence ou de bien d'autres choses encore. Nous sommes impatients de voir ce que vous allez construire et nous attendons avec impatience vos commentaires", ajoute Meta.

Meta commente l'annonce en déclarant :

Nous nous engageons à développer Llama 3 de manière responsable et nous proposons diverses ressources pour aider les autres à l'utiliser de manière responsable également. Cela inclut l'introduction de nouveaux outils de confiance et de sécurité avec Llama Guard 2, Code Shield et CyberSec Eval 2. Dans les mois à venir, nous prévoyons d'introduire de nouvelles capacités, des fenêtres contextuelles plus longues, des tailles de modèles supplémentaires et des performances améliorées, et nous partagerons le document de recherche sur le Llama 3. Meta AI, conçu à partir de la technologie Llama 3, est désormais l'un des principaux assistants IA au monde, capable de stimuler votre intelligence et d'alléger votre charge de travail, en vous aidant à apprendre, à accomplir des tâches, à créer du contenu et à vous connecter afin de tirer le meilleur parti de chaque instant.

Les objectifs de Meta pour Llama 3

Avec Llama 3, Meta a entrepris de construire les meilleurs modèles ouverts qui soient au même niveau que les meilleurs modèles propriétaires disponibles aujourd'hui.

Meta :

Nous voulions tenir compte des commentaires des développeurs afin d'améliorer l'utilité globale de Llama 3 et nous le faisons tout en continuant à jouer un rôle de premier plan dans l'utilisation et le déploiement responsables des LLM. Nous adhérons à l'éthique de l'open source qui consiste à publier tôt et souvent afin de permettre à la communauté d'accéder à ces modèles alors qu'ils sont encore en cours de développement.

Les modèles textuels que Meta publie sont les premiers de la collection de modèles Llama 3. L'objectif de Meta dans un futur proche est de rendre Llama 3 multilingue et multimodal, d'avoir un contexte plus long, et de continuer à améliorer la performance globale à travers les capacités principales de LLM telles que le raisonnement et le codage.

Performances de pointe

Meta annonce que ses nouveaux modèles Llama 3 à 8B et 70B paramètres constituent un bond en avant par rapport à Llama 2 et établissent un nouvel état de l'art pour les modèles LLM à ces échelles.

Meta :

Grâce aux améliorations apportées à la pré-formation et à la post-formation, nos modèles pré-formés et affinés par des instructions sont les meilleurs modèles existant aujourd'hui à l'échelle des paramètres 8B et 70B. Les améliorations apportées à nos procédures de post-entraînement ont permis de réduire considérablement les taux de faux refus, d'améliorer l'alignement et d'accroître la diversité des réponses des modèles. Nous avons également constaté une amélioration considérable des capacités de raisonnement, de génération de code et de suivi des instructions, ce qui rend le Llama 3 plus facile à piloter.

Lors du développement de Llama 3, Meta a examiné les performances du modèle sur des points de référence standard et ils ont également cherché à optimiser les performances pour les scénarios du monde réel.

Meta :

À cette fin, nous avons développé un nouvel ensemble d'évaluation humaine de haute qualité. Cet ensemble d'évaluation contient 1 800 invites qui couvrent 12 cas d'utilisation clés : demande de conseils, brainstorming, classification, réponse à des questions fermées, codage, écriture créative, extraction, habiter un personnage, réponse à des questions ouvertes, raisonnement, réécriture et résumé. Pour éviter un surajustement accidentel de nos modèles sur cet ensemble d'évaluation, même nos propres équipes de modélisation n'y ont pas accès.

Le tableau ci-dessous montre les résultats agrégés de ces évaluations humaines à travers ces catégories et invites par rapport à Claude Sonnet, Mistral Medium et GPT-3.5.

Les classements des préférences des annotateurs humains basés sur cet ensemble d'évaluations mettent en évidence les performances du modèle de suivi des instructions 70B par rapport à des modèles concurrents de taille comparable dans des scénarios réels.

Le modèle pré-entraîné établit également un nouvel état de l'art pour les modèles LLM à ces échelles.

Pour développer un modèle de language de qualité, Meta pense qu'il est important d'innover, de mettre à l'échelle et d'optimiser la simplicité. Ils ont adopté cette philosophie de conception tout au long du projet Llama 3 en se concentrant sur quatre ingrédients clés : l'architecture du modèle, les données de pré-entraînement, la mise à l'échelle du pré-entraînement et le réglage fin des instructions. Les voici :

• Architecture du modèle
  
  Conformément à notre philosophie de conception, nous avons opté pour une architecture relativement standard de transformateur de décodeur uniquement dans Llama 3. Par rapport à Llama 2, nous avons apporté plusieurs améliorations importantes. Llama 3 utilise un tokenizer avec un vocabulaire de 128K tokens qui encode le langage beaucoup plus efficacement, ce qui conduit à une amélioration substantielle de la performance du modèle. Pour améliorer l'efficacité de l'inférence des modèles Llama 3, nous avons adopté l'attention portée aux requêtes groupées (GQA) pour les tailles 8B et 70B. Nous avons entraîné les modèles sur des séquences de 8 192 tokens, en utilisant un masque pour s'assurer que l'auto-attention ne dépasse pas les limites du document.
  
  
• Données d'entraînement
  
  Pour former le meilleur modèle de langage, la curation d'un grand ensemble de données d'entraînement de haute qualité est primordiale. Conformément à nos principes de conception, nous avons investi massivement dans les données de pré-entraînement. Llama 3 est pré-entraîné sur plus de 15T tokens qui ont tous été collectés à partir de sources accessibles au public. Notre ensemble de données d'entraînement est sept fois plus important que celui utilisé pour Llama 2, et il comprend quatre fois plus de code. Pour préparer les cas d'utilisation multilingues à venir, plus de 5 % de l'ensemble de données de préformation de Llama 3 est constitué de données non anglaises de haute qualité qui couvrent plus de 30 langues. Cependant, nous n'attendons pas le même niveau de performance dans ces langues qu'en anglais.
  
  Pour s'assurer que Llama 3 est formé sur des données de la plus haute qualité, nous avons développé une série de pipelines de filtrage de données. Ces pipelines comprennent l'utilisation de filtres heuristiques, de filtres NSFW, d'approches de déduplication sémantique et de classificateurs de texte pour prédire la qualité des données. Nous avons constaté que les générations précédentes de Llama sont étonnamment bonnes pour identifier les données de haute qualité, c'est pourquoi nous avons utilisé Llama 2 pour générer les données d'entraînement pour les classificateurs de qualité de texte qui alimentent Llama 3.
  
  Nous avons également réalisé des expériences approfondies afin d'évaluer les meilleures façons de mélanger des données provenant de différentes sources dans notre ensemble de données final de préformation. Ces expériences nous ont permis de sélectionner un mélange de données qui garantit les performances de Llama 3 dans tous les cas d'utilisation, y compris les questions anecdotiques, les STIM, le codage, les connaissances historiques, etc.
  
  
• Mise à l'échelle du pré-entraînement
  
  Afin d'exploiter efficacement nos données de pré-entraînement dans les modèles Llama 3, nous avons consacré des efforts considérables à l'extension de la pré-entraînement. Plus précisément, nous avons développé une série de lois d'échelle détaillées pour les évaluations de référence en aval. Ces lois d'échelle nous permettent de sélectionner un mélange de données optimal et de prendre des décisions éclairées sur la manière d'utiliser au mieux notre calcul d'entraînement. Il est important de noter que les lois d'échelle nous permettent de prédire les performances de nos plus grands modèles sur des tâches clés (par exemple, la génération de code telle qu'évaluée par le benchmark HumanEval - voir ci-dessus) avant que nous n'entraînions réellement les modèles. Cela nous aide à garantir une bonne performance de nos modèles finaux dans une variété de cas d'utilisation et de capacités.
  
  Nous avons fait plusieurs nouvelles observations sur le comportement de mise à l'échelle au cours du développement du Llama 3. Par exemple, alors que la quantité optimale de calcul d'entraînement de Chinchilla pour un modèle de 8B paramètres correspond à ~200B tokens, nous avons constaté que la performance du modèle continue à s'améliorer même après que le modèle ait été entraîné sur deux ordres de grandeur de données supplémentaires. Nos modèles à 8B et 70B paramètres ont continué à s'améliorer de manière log-linéaire après avoir été entraînés sur 15T tokens. Les modèles plus grands peuvent égaler les performances de ces modèles plus petits avec moins de calcul d'entraînement, mais les modèles plus petits sont généralement préférés parce qu'ils sont beaucoup plus efficaces pendant l'inférence.
  
  Pour former nos plus grands modèles Llama 3, nous avons combiné trois types de parallélisation : parallélisation des données, parallélisation des modèles et parallélisation du pipeline. Notre implémentation la plus efficace atteint une utilisation de calcul de plus de 400 TFLOPS par GPU lors de l'entraînement sur 16K GPU simultanément. Nous avons effectué l'entraînement sur deux grappes de 24 000 GPU construites sur mesure. Pour maximiser le temps de fonctionnement des GPU, nous avons développé une nouvelle pile de formation avancée qui automatise la détection, le traitement et la maintenance des erreurs. Nous avons également grandement amélioré la fiabilité du matériel et les mécanismes de détection de la corruption silencieuse des données, et nous avons développé de nouveaux systèmes de stockage évolutifs qui réduisent les frais généraux liés aux points de contrôle et aux retours en arrière. Ces améliorations ont permis de réduire le temps de formation effectif global de plus de 95 %. Ensemble, ces améliorations ont permis de multiplier par trois l'efficacité de l'entraînement de Llama 3 par rapport à Llama 2.
  
  
• Réglage fin des instructions
  
  Pour exploiter pleinement le potentiel de nos modèles pré-entraînés dans les cas d'utilisation du chat, nous avons également innové dans notre approche du réglage des instructions. Notre approche du post-entraînement est une combinaison de réglage fin supervisé (SFT), d'échantillonnage de rejet, d'optimisation proximale des politiques (PPO) et d'optimisation directe des politiques (DPO). La qualité des messages-guides utilisés dans le cadre du SFT et des classements de préférences utilisés dans le cadre du PPO et du DPO a une influence considérable sur les performances des modèles alignés. Certaines de nos plus grandes améliorations de la qualité des modèles sont venues d'une curation minutieuse de ces données et de plusieurs cycles d'assurance qualité sur les annotations fournies par des annotateurs humains.
  
  L'apprentissage à partir des classements de préférences via PPO et DPO a également grandement amélioré les performances de Llama 3 dans les tâches de raisonnement et de codage. Nous avons constaté que si vous posez à un modèle une question de raisonnement à laquelle il peine à répondre, le modèle produira parfois la bonne trace de raisonnement : Le modèle sait comment produire la bonne réponse, mais il ne sait pas comment la sélectionner. L'entraînement sur les classements de préférences permet au modèle d'apprendre à la sélectionner.

Construire avec Llama 3

La vision de Meta est de permettre aux développeurs de personnaliser Llama 3 pour prendre en charge des cas d'utilisation pertinents et de faciliter l'adoption des meilleures pratiques et l'amélioration de l'écosystème ouvert. Avec cette version, ils fournissons de nouveaux outils de confiance et de sécurité, y compris des composants mis à jour avec Llama Guard 2 et Cybersec Eval 2, et l'introduction de Code Shield - un garde-fou temporel d'inférence pour filtrer le code non sécurisé produit par les LLM.

Meta a également co-développé Llama 3 avec torchtune, la nouvelle bibliothèque native PyTorch qui permet de créer, d'affiner et d'expérimenter facilement les LLM. torchtune fournit des recettes d'entraînement efficaces en termes de mémoire et modifiables, entièrement écrites en PyTorch. La bibliothèque est intégrée à des plateformes populaires telles que Hugging Face, Weights & Biases et EleutherAI, et prend même en charge Executorch pour permettre l'exécution d'une inférence efficace sur une grande variété d'appareils mobiles et périphériques. Pour tout ce qui concerne l'ingénierie rapide et l'utilisation de Llama 3 avec LangChain, Meta possède un guide de démarrage complet qui vous emmène du téléchargement de Llama 3 jusqu'au déploiement à grande échelle dans votre application d'IA générative.


Une approche de la responsabilité au niveau du système

Meta a conçu les modèles Llama 3 pour qu'ils soient le plus utiles possible, tout en garantissant une approche de pointe en matière de déploiement responsable. Pour ce faire, Meta affirme avoir adopté une nouvelle approche, au niveau du système, du développement et du déploiement responsables des Llama. Ils ont envisagé les modèles Llama comme faisant partie d'un système plus large qui place le développeur dans le siège du conducteur. Les modèles Llama serviront de pièce maîtresse d'un système que les développeurs concevront en fonction de leurs propres objectifs.

Meta :

La mise au point des instructions joue également un rôle majeur pour garantir la sécurité de nos modèles. Nos modèles affinés par les instructions ont été testés en équipe rouge (red-team) pour la sécurité par des efforts internes et externes. Notre approche du red teaming s'appuie sur des experts humains et des méthodes d'automatisation pour générer des messages contradictoires qui tentent de susciter des réponses problématiques. Par exemple, nous appliquons des tests complets pour évaluer les risques d'utilisation abusive liés à la sécurité chimique, biologique et cybernétique, ainsi qu'à d'autres domaines de risque. Tous ces efforts sont itératifs et utilisés pour affiner la sécurité des modèles en cours de publication.

Les modèles de Llama Guard sont conçus pour servir de base à une sécurité rapide et efficace et peuvent facilement être affinés pour créer une nouvelle taxonomie en fonction des besoins de l'application. Comme point de départ, le nouveau Llama Guard 2 utilise la taxonomie MLCommons récemment annoncée, dans un effort pour soutenir l'émergence de normes industrielles dans ce domaine important. En outre, CyberSecEval 2 développe son prédécesseur en ajoutant des mesures de la propension d'un LLM à permettre l'abus de son interpréteur de code, des capacités offensives de cybersécurité et de la susceptibilité aux attaques par injection rapide. Enfin, Meta introduit Code Shield, qui prend en charge le filtrage en temps réel du code non sécurisé produit par les LLM. Cela permet d'atténuer les risques liés aux suggestions de code non sécurisé, à la prévention des abus de l'interpréteur de code et à l'exécution sécurisée des commandes.

Compte tenu de la vitesse à laquelle évolue l'espace de l'IA générative, Meta pense qu'une approche ouverte est un moyen important de rassembler l'écosystème et d'atténuer ces dommages potentiels.

Meta :

Dans ce cadre, nous mettons à jour notre Guide d'utilisation responsable (RUG) qui fournit un guide complet pour un développement responsable avec les LLM. Comme nous l'avons souligné dans le RUG, nous recommandons que toutes les entrées et sorties soient vérifiées et filtrées conformément aux directives de contenu appropriées à l'application. En outre, de nombreux fournisseurs de services cloud proposent des API de modération de contenu et d'autres outils pour un déploiement responsable, et nous encourageons les développeurs à envisager d'utiliser ces options.

Déployer Llama 3 à grande échelle

Llama 3 sera bientôt disponible sur toutes les grandes plateformes, y compris les fournisseurs de services cloud, les fournisseurs d'API de modélisation et bien d'autres encore. Llama 3 sera partout.

Les benchmarks de Meta montrent que le tokenizer offre une meilleure efficacité des tokens, avec jusqu'à 15 % de tokens en moins par rapport à Llama 2. L'attention portée aux requêtes de groupe (GQA) a également été ajoutée à Llama 3 8B. En conséquence, ils ont observé que, bien que le modèle ait 1B paramètres de plus que le Llama 2 7B, l'amélioration de l'efficacité du tokenizer et de la GQA contribue à maintenir l'efficacité de l'inférence au même niveau que celle du Llama 2 7B.

Quelle est la prochaine étape pour Llama 3 ?

Meta affirme que les modèles Llama 3 8B et 70B marquent le début de ce qu'ils prévoient de publier pour le Llama 3.

Meta :

Il y a beaucoup plus à venir. Nos plus grands modèles ont des paramètres de plus de 400B et, bien que ces modèles soient encore en cours de formation, notre équipe est très enthousiaste quant à leur évolution. Au cours des prochains mois, nous publierons plusieurs modèles dotés de nouvelles fonctionnalités, notamment la multimodalité, la possibilité de converser en plusieurs langues, une fenêtre contextuelle beaucoup plus longue et des capacités globales plus solides. Nous publierons également un document de recherche détaillé une fois que nous aurons terminé la formation du Llama 3.

Pour donner un aperçu de l'état d'avancement de ces modèles au fur et à mesure de leur formation, Meta partage quelques faits de la tendance de son plus grand modèle LLM. Veuillez noter que ces données sont basées sur un point de contrôle précoce du Llama 3 qui est encore en formation et que ces capacités ne sont pas prises en charge dans le cadre des modèles publiés aujourd'hui.

Meta s'engage à poursuivre la croissance et le développement d'un écosystème d'IA ouvert pour diffuser ses modèles de manière responsable.

Meta :

Nous pensons depuis longtemps que l'ouverture permet d'obtenir des produits meilleurs et plus sûrs, d'accélérer l'innovation et d'assainir le marché dans son ensemble. Nous adoptons une approche communautaire avec Llama 3, et à partir d'aujourd'hui, ces modèles sont disponibles sur les principales plateformes de cloud, d'hébergement et de matériel, et bien d'autres sont à venir.

Essayez Meta Llama 3

Meta annonce avoir intégré ses derniers modèles dans Meta AI. Il est désormais construit avec la technologie Llama 3 et est disponible dans plus de pays à travers leurs applications.

Il est possible d'utiliser Meta AI sur Facebook, Instagram, WhatsApp, Messenger et sur le web pour accomplir des tâches, apprendre, créer et vous connecter.

Visitez le site web de Llama 3 (le lien est dans la source) pour télécharger les modèles et consultez le Guide de démarrage pour obtenir la liste la plus récente de toutes les plateformes disponibles.

Il sera également bientôt possible de tester l'IA multimodale de Meta sur les lunettes intelligentes Ray-Ban Meta.

Source : Meta Llama 3

Et vous ?

Quel est votre avis sur cette annonce ?
Pensez-vous que l'affirmation de Meta sur Llama 3 est crédible ou pertinente ?

Voir aussi :

Meta prévoit de lancer la nouvelle version de son LLM d'IA Llama 3 en juillet, avec pour objectif de créer une intelligence artificielle générale (AGI) supérieure à l'intelligence humaine

Construire l'infrastructure GenAI de Meta : la société partage les détails sur deux nouveaux clusters de 24 000 GPU, qui ont été conçus pour soutenir la recherche et le développement en matière d'IA

Llama 2 : l'IA gratuite et open source de Meta n'est pas bon marché à utiliser, estiment certaines entreprises, qui notent que Llama 2 nécessite beaucoup de ressources informatiques pour fonctionner

[Stéphane le calme]

Les capacités de Llama 3 8b se rapprochent de celles de Wizard 2 8x22b, selon un ingénieur du CNRS.
Les benchmarks suggèrent que les modèles IA open source comblent l'écart avec les modèles propriétaires

Meta a lancé Llama-3 il y a quelques jours, et les benchmarks suggèrent que l'on arrive progressivement au point d'inflexion où les modèles open source comblent l'écart avec les modèles propriétaires. Selon les tests d'un ingénieur du CNRS, les performances de Llama 3 8b se rapprochent de celles de Wizard 2 8x22b, ce dernier modèle ayant pourtant 140 milliards de paramètres.

Meta a partagé les deux premiers modèles de la nouvelle génération de Llama, Meta Llama 3, disponible pour une large utilisation. Cette version propose des modèles de langage pré-entraînés et affinés par des instructions avec des paramètres 8B et 70B qui peuvent prendre en charge un large éventail de cas d'utilisation. Cette nouvelle génération de Llama démontre des performances de pointe sur une large gamme de références industrielles et offre de nouvelles capacités, y compris un raisonnement amélioré.

Meta affirme qu'il s'agit des meilleurs modèles open source de leur catégorie. En soutien à son approche ouverte de longue date, Meta déclare « mettre Llama 3 entre les mains de la communauté » : « Nous voulons donner le coup d'envoi à la prochaine vague d'innovation dans le domaine de l'IA, qu'il s'agisse d'applications, d'outils de développement, d'évaluations, d'optimisations de l'inférence ou de bien d'autres choses encore. Nous sommes impatients de voir ce que vous allez construire et nous attendons avec impatience vos commentaires », a ajouté Meta.

Les premiers benchmarks montrent que Llama-3 70B est assez proche de GPT-4 dans de nombreuses tâches

• La page Meta officielle montre seulement que Llama-3 est plus performant que Gemini 1.5 et Claude Sonnet.
• L'analyse artificielle montre que Llama-3 se situe entre Gemini-1.5 et Opus/GPT-4 pour la qualité.
• Sur le LMSYS Chatbot Arena Leaderboard, Llama-3 est classé 5ème alors que les modèles actuels GPT-4 et Claude Opus sont toujours à égalité au 1er rang.

Le modèle Llama-3 400B+, encore plus puissant, est toujours en cours de formation et devrait surpasser GPT-4 et Opus dès sa sortie.

WizardLM-2 : le dernier modèle open source de Microsoft

La dernière version, WizardLM-2, se décline en trois versions :

• WizardLM-2 8x22B : En tant que modèle le plus avancé de Microsoft, le WizardLM-2 8x22B démontre des performances hautement compétitives par rapport aux modèles propriétaires de premier plan tels que GPT-4. Le modèle 8x22B, qui est le modèle phare, compte 141 milliards de paramètres, ce qui en fait l'un des modèles les plus puissants disponibles dans la communauté open-source.
• WizardLM-2 70B : Ce modèle atteint des capacités de raisonnement de premier ordre et est le premier choix dans la catégorie de taille de 70 milliards de paramètres. Il offre un excellent équilibre entre performances et ressources requises.
• WizardLM-2 7B : Malgré sa taille plus petite, le WizardLM-2 7B est incroyablement rapide et atteint des performances comparables à celles de modèles open source dix fois plus grands. C’est un choix idéal pour les applications qui nécessitent de l’efficacité sans compromettre la qualité.

Développé sur la base d'une architecture de mélange d'experts (MoE), WizardLM-2 s'appuie sur un système de formation synthétique entièrement alimenté par l'IA, ce qui améliore sa capacité à gérer des conversations multilingues complexes et à effectuer des raisonnements de haut niveau. Ce système sous-tend la capacité du modèle à fournir des réponses raffinées et contextuellement pertinentes dans divers domaines, notamment l'écriture, le codage, les mathématiques, etc.

Performances et applications

Pour évaluer les performances de WizardLM-2, Microsoft a mené des évaluations automatiques et humaines approfondies sur divers benchmarks et scénarios réels. Les résultats parlent d’eux-mêmes :

• MT-Bench : Le WizardLM-2 8x22B rivalise avec GPT-4 et Claude 3, se positionnant comme le modèle open source le plus performant dans sa catégorie de taille. De plus, il surpasse GPT-4 dans les évaluations humaines sur des instructions complexes. Son application dans les scénarios du monde réel est vaste, allant de l'amélioration de l'IA conversationnelle à l'alimentation de processus décisionnels complexes dans les environnements commerciaux.
• AlpacaEval : Le WizardLM-13B-V1.2 atteint 89,17 %, dépassant le ChatGPT à 86,09 %.

Comparaison des benchmarks WizardLM2 avec GPT-4-1106-preview, Command R Plus, Mistral Large, Qwen 1.5, Straling LM 7B. Source : Page de lancement du modèle, désormais supprimée

WizardLM-2 a été retiré par Microsoft peu de temps après son lancement pour effectuer des tests de « toxicité », mais à ce moment-là, le modèle d’IA avait déjà été téléchargé, forké et réuploadé sur le web. On peut toujours utiliser ce modèle via LM Studio ou Openrouter.ai. Malgré le retrait rapide, le modèle a été favorablement comparé à une version de GPT-4 d’OpenAI. C'est d'ailleurs ce qui a permis à plusieurs curieux de mener des tests.

Invites de test pour l'évaluation de WizardLM-2 et GPT-4

À l'extérieur de Microsoft, plusieurs tests lui ont été soumis, notamment pour tester sa capacité de génération de texte (écriture créative, documentation technique), ses aptitudes à la conversation (via une simulation d'assistance à la clientèle, une discussion aléatoire), en codage et programmation (génération de code, explication de code), en mathématiques et raisonnement (résolution de problèmes mathématiques, raisonnement logique) et bien d'autres.

Par exemple, en codage et programmation, voici ce qui lui a été demandé.

Génération de code : écris un script Python qui lit un fichier CSV, calcule la moyenne des valeurs dans une colonne nommée 'Price', et imprime le résultat.

Réponse de WizardLM-2 : Voici un script Python qui lit un fichier CSV, suppose qu'il y a une colonne nommée 'Price', calcule la moyenne des valeurs de cette colonne, et imprime le résultat. Ce script utilise le module `csv` pour lire le fichier CSV et le module `math` pour les opérations mathématiques.

Code Python :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
```python
import csv
import math
 
def calculate_average(filename):
    total_sum = 0
    count = 0
 
    with open(filename, mode='r', newline='') as csvfile:
        reader = csv.DictReader(csvfile)
        for row in reader:
            try:
                price = float(row['Price'])
                total_sum += price
                count += 1
            except ValueError:
                # Skip the row if 'Price' is not a number
                continue
            except KeyError:
                # Skip the row if 'Price' column does not exist
                continue
 
    average_price = total_sum / count if count > 0 else 0
    return math.ceil(average_price * 100) / 100  # Round to two decimal places
 
def main():
    filename = 'data.csv'  # Replace with your CSV file path
    average = calculate_average(filename)
    print(f"The average price is: ${average}")
 
if __name__ == "__main__":
    main()
```

Veillez à remplacer `'data.csv'` par le chemin réel de votre fichier CSV. Ce script suppose que toutes les cellules non vides sous la colonne 'Price' contiennent des valeurs numériques qui peuvent être converties en nombres flottants. S'il y a des lignes où la colonne 'Price' est manquante ou contient des données non numériques, elles seront ignorées pendant le calcul.

Pour exécuter ce script, vous devez disposer d'un environnement Python avec les autorisations nécessaires pour accéder au fichier CSV. Si votre fichier CSV a un en-tête de colonne différent pour les prix, ajustez la partie `row['Price']` en conséquence.

Explication de code : « Voici un extrait de JavaScript : async function fetchData() { const response = await fetch('https://api.example.com/data') ; const data = await response.json() ; console.log(data) ; } fetchData(); explique ce que fait ce code et comment il fonctionne. »

Réponse de WizardLM-2 : L'extrait JavaScript fourni définit une fonction asynchrone nommée `fetchData` qui récupère des données à partir d'un point de terminaison API spécifié, traite la réponse et enregistre le résultat dans la console. Voici une explication étape par étape de ce que fait chaque partie du code :

1. Déclaration de la fonction : le mot-clé async devant function fetchData() indique que cette fonction effectuera des opérations asynchrones en utilisant await. Il permet à la fonction de suspendre son exécution jusqu'à ce qu'une expression await soit résolue, puis de reprendre l'exécution à partir du point de suspension.
2. Appel API Fetch : Dans la fonction fetchData, const response = await fetch('https://api.example.com/data'); effectue une requête GET à l'URL spécifiée en utilisant la fonction fetch. Le mot clé await est utilisé pour attendre que la promesse retournée par fetch soit résolue avant de passer à la ligne de code suivante.
3. Gestion des réponses : Une fois l'appel fetch terminé, response contiendra la réponse du serveur (par exemple, une réponse `200 OK` avec un corps contenant les données). Le code attend alors la consommation de cette réponse en appelant response.json(). Cette méthode renvoie une promesse qui se résout avec le résultat de l'analyse du corps de la réponse en JSON.
4. Analyse JSON : Après avoir attendu que le JSON soit analysé, const data = await response.json(); assigne l'objet JSON analysé à la variable data. Le mot-clé await assure que la fonction ne continuera pas jusqu'à ce que l'analyse JSON soit terminée.
5. Enregistrement des données : Enfin, console.log(data); affiche l'objet data sur la console. Cela vous permet d'inspecter le contenu des données renvoyées par l'appel API.
6. Invocation de la fonction : La dernière ligne fetchData(); appelle la fonction fetchData, initiant l'opération asynchrone pour récupérer et enregistrer les données.

Lorsque ce code est exécuté dans un environnement d'exécution JavaScript (comme un navigateur web ou Node.js), il effectue une requête HTTP GET vers 'https://api.example.com/data', analyse la réponse JSON et imprime l'objet de données résultant sur la console.

Il est important de noter que fetchData retourne une promesse lorsqu'elle est appelée, qui se résout avec la valeur de data. Cela signifie que vous pouvez aussi utiliser fetchData() dans des patterns async/await ailleurs dans votre code ou l'enchaîner avec then() pour d'autres opérations asynchrones.

Les capacités de Llama 3 8b se rapprochent de celles de Wizard 2 8x22b, selon un ingénieur du CNRS

Maziyar PANAHI, Big Data Engineer/SysAdmin CNRS, a été stupéfait par les réponses de Llama 3 8b. Il a cité plusieurs exemple de réponses de Llama 3 8b, assurant que l'une des questions n'étaient répondu correctement que par GPT-4 et OPUS. Il s'agit de celle-ci :

Question : J'ai 10 pommes. Je trouve 3 pièces d'or au fond d'une rivière. La rivière coule près d'une grande ville qui a un rapport avec ce à quoi je peux dépenser les pièces. Je perds alors 4 pommes mais je gagne une pièce d'or. Trois oiseaux courent sur mon chemin et laissent tomber 6 pommes chacun. Je joue à un jeu en ligne et je gagne 6 pièces d'or, mais je dois les partager équitablement avec mes deux coéquipiers. J'achète des pommes pour toutes les pièces dont je dispose. Le prix d'une pomme est de 0,5 pièce. Combien de pommes ai-je ? Et où se trouve la rivière ?

Réponse de Llama 3 8b :

Décortiquons les changements que vous avez subis, étape par étape !

1. Vous commencez avec 10 pommes.
2. Vous trouvez 3 pièces d'or dans la rivière, ce qui n'affecte pas votre nombre de pommes.
3. Vous perdez 4 pommes, ce qui vous laisse 6 pommes (10 - 4 = 6).
4. Les oiseaux laissent tomber 6 pommes chacun, ce qui fait un total de 18 nouvelles pommes (6 x 3 = 18). En les ajoutant aux pommes restantes, vous obtenez un total de 24 pommes (6 + 18 = 24).
5. Vous gagnez 6 pièces d'or dans le jeu, mais vous devez les partager équitablement avec vos coéquipiers. Cela signifie que vous obtenez 2 pièces d'or (6 ÷ 3 = 2).
6. Vous dépensez toutes les pièces d'or que vous avez (y compris les 3 initiales et les 2 nouvelles) pour acheter des pommes, puisque chaque pomme coûte 0,5 pièce.

Calculons le nombre de pommes que vous pouvez acheter avec le total de vos pièces d'or :

Vous avez un total de 5 pièces d'or (3 + 2). Comme chaque pomme coûte 0,5 pièce, vous pouvez en acheter :

5 pièces ÷ 0,5 pièce/pomme = 10 pommes

En ajoutant ces pommes à celles que vous aviez déjà, vous obtenez un total de :

24 pommes + 10 pommes = 34 pommes

Pour ce qui est de l'emplacement de la rivière, elle passe près d'une grande ville qui vous permet de dépenser les pièces d'or pour acheter quelque chose (des pommes). Comme vous avez trouvé les pièces d'or dans la rivière et que vous êtes ensuite allé jouer à un jeu en ligne avec vos coéquipiers, il est probable que la ville soit proche ou facilement accessible.

Vous avez maintenant 34 pommes !

Meta contre OpenAI

Certains pensent que l'objectif de Meta, dès le départ, était de cibler OpenAI avec une approche « terre brûlée » en publiant des modèles ouverts puissants pour perturber le paysage concurrentiel et éviter d'être distancé dans la course à l'IA.

Meta peut probablement dépenser plus qu'OpenAI en termes de calcul et de talents :

• OpenAI réalise un chiffre d'affaires estimé à 2 milliards de dollars et n'est probablement pas rentable. Meta a généré un revenu de 134 milliards de dollars et des bénéfices de 39 milliards de dollars en 2023.
• Les ressources de calcul de Meta sont probablement plus importantes que celles d'OpenAI à l'heure actuelle.
• L'open source attire probablement de nombreux talents et chercheurs.

L'une des conséquences possibles pourrait être l'acquisition d'OpenAI par Microsoft pour rattraper Meta. Google fait également des progrès dans le domaine des modèles ouverts et dispose de capacités similaires à celles de Meta. Il sera intéressant de voir où ils s'intègrent.

En attendant, avec la sortie de Llama-3, les opportunités pour les développeurs sont énormes :

• Fini le verrouillage des fournisseurs.
• Au lieu de se contenter d'envelopper des points d'extrémité d'API propriétaires, les développeurs peuvent désormais intégrer l'IA en profondeur dans leurs produits d'une manière très rentable et performante. Il existe déjà plus de 800 variations de modèles de lama-3 sur Hugging Face, et il semble que tout le monde sera en mesure de les adapter à ses cas d'utilisation, à ses langues ou à son secteur d'activité.
• Du matériel plus rapide et moins cher : Groq peut désormais générer 800 jetons de lama-3 par seconde pour une petite fraction des coûts de GPT. Des réponses LLM quasi-instantanées à bas prix se profilent à l'horizon.

Sources : Maziyar PANAHI (1, 2), WizardLM-2-7B-GGUF

Et vous ?

Que pensez-vous des exemples tests de Maziyar PANAHI ? Lequel vous intéresse le plus ?
Seriez-vous intéressé par l'utilisation de Llama 3 ou Wizard 2 dans votre domaine d'activité ? Si oui, pourquoi et quelle version, si non, pourquoi pas ?
Comment ces modèles pourraient-il transformer notre façon de développer des logiciels ?
Selon vous, quel modèle offre le meilleur équilibre entre performance et accessibilité pour les développeurs indépendants ?
Quels sont les défis associés à l’utilisation de modèles de langage aussi avancés ?
Comment la polyvalence linguistique de Llama 3 8B pourrait-elle influencer l’apprentissage des langues ?
En quoi les capacités de raisonnement de Wizard 2 8x22B et Llama 3 8B pourraient-elles bénéficier à des secteurs non technologiques ?
Quel impact pensez-vous que ces modèles auront sur l’avenir de l’intelligence artificielle ?

[Stéphane le calme]

Groq prévoit de déployer 100 000 unités de traitement d’inférence IA avec sa levée de fonds de 640 millions de dollars,
pour permettre aux développeurs de créer et déployer rapidement des produits IA de pointe

Groq Inc, une startup spécialisée dans la fabrication de puces pour l'intelligence artificielle et l'apprentissage automatique, a annoncé qu'elle a levé 640 millions de dollars lors d'un tour de table dirigé par Blackrock Inc. La startup conçoit des puces à semi-conducteurs et des logiciels qui optimisent les activités d'IA déployées, connues sous le nom d'inférence, dans le but de concurrencer les plus grands noms de l'industrie tels que Nvidia Corp. Le cycle de financement de série D valorise l'entreprise à 2,8 milliards de dollars et porte le total des fonds levés à ce jour à plus d'un milliard de dollars, y compris une série C de 300 millions de dollars en 2021.

L’inférence en intelligence artificielle (IA) est le processus par lequel un modèle d’apprentissage automatique, déjà entraîné, génère des prédictions ou des décisions à partir de nouvelles données d’entrée. Concrètement, il applique les connaissances acquises lors de l’entraînement sur des données passées pour interpréter des données jusqu’alors inconnues. Par exemple, une voiture autonome capable de reconnaître un panneau d’arrêt sur une route inconnue effectue une inférence en identifiant ce panneau. Les cas d’utilisation de l’inférence sont vastes, allant des modèles de langage aux systèmes de détection d’anomalies en temps réel.

La société a été fondée en 2016 par le directeur général Jonathan Ross, un ancien ingénieur de Google LLC qui a inventé les processeurs d'apprentissage machine TPU du géant de la recherche. Le produit phare de l'entreprise est une puce d'IA appelée moteur d'inférence LPU. Le LPU, acronyme de Language Processing Unit (unité de traitement du langage), est conçu pour alimenter de grands modèles de langage en production après qu'ils ont été conçus et entraînés.

Lors d'un test de vitesse effectué en novembre, Groq a établi un record de vitesse d'inférence en exécutant le LLM Llama 2 70B de Meta Platform Inc. Lors de ce test, les puces et la pile logicielle de l'entreprise ont placé la barre des performances et de la précision pour le modèle d'IA de Meta, avec plus de 300 jetons par seconde et par utilisateur.

Depuis, l'entreprise a mis à jour sa pile afin que les entreprises puissent intégrer le plus grand modèle ouvert de Meta, le Llama 3.1 405B, sur son matériel. Cela inclut d'autres modèles Llama 3.1 de la famille tels que 70B Instruct, 40B Instruct et 8B Instruct.

Ross a déclaré que le nouveau financement permettra à l'entreprise de déployer plus de 100 000 LPU supplémentaires dans GroqCloud, le service basé sur le cloud de l'entreprise pour l'inférence de l'IA : « On ne peut pas alimenter l'IA sans calcul d'inférence », a-t-il indiqué, précisant que « Nous avons l’intention de mettre les ressources à disposition afin que tout le monde puisse créer des produits IA de pointe, pas seulement les plus grandes entreprises technologiques. Ce financement nous permettra de déployer plus de 100 000 unités de traitement d’inférence (LPUs) supplémentaires dans GroqCloud. La formation des modèles IA est résolue, il est maintenant temps de déployer ces modèles pour que le monde puisse les utiliser »

Les développeurs peuvent utiliser ce service pour créer et déployer rapidement et facilement des applications d'IA à l'aide de LLM populaires dans l'industrie, notamment Llama 3.1 de Meta, Whisper Large V3 d'OpenAI, Gemma de Google et Mixtral de Mistral AI.

Grâce à GroqCloud, les développeurs bénéficient d'un accès à la demande aux LPU pour leurs applications d'IA, ce qui leur permet de se familiariser avec les puces de l'entreprise et d'optimiser l'architecture. Groq a mis au point ce service en nuage avec l'aide de Definitive Intelligence, un fournisseur d'analyses basé à Palo Alto, en Californie, que l'entreprise a racheté en mars.

« Ayant obtenu le double du financement recherché, nous prévoyons maintenant d'augmenter considérablement notre densité de talents », a ajouté Ross. « Nous sommes l'équipe qui permet à des centaines de milliers de développeurs de construire sur des modèles ouverts et nous embauchons ».

Des arrivées dans son camp

En plus de cette levée de fonds, Groq a annoncé l’arrivée de Stuart Pann, ancien cadre supérieur de HP et Intel, en tant que directeur des opérations. « Je suis ravi d’être chez Groq en ce moment crucial. Nous avons la technologie, le talent et la position sur le marché pour rapidement augmenter notre capacité et offrir des économies de déploiement d’inférence aux développeurs ainsi qu’à Groq », a déclaré Stuart Pann.

Avec l’expertise de son nouvel conseiller technique, Yann LeCun, vice-président et scientifique en chef de l’IA chez Meta, Groq continue d’attirer les développeurs. Plus de 360 000 développeurs utilisent déjà GroqCloud pour créer des applications IA basées sur des modèles disponibles tels que Llama 3.1 de Meta, Whisper Large V3 d’OpenAI, Gemma de Google et Mixtral de Mistral.

Analyse critique de cette levée de fonds

Bien que la levée de fonds de 640 millions de dollars pour Groq soit impressionnante, il est essentiel d’examiner certains aspects de cette opération. Voici quelques points à considérer :

• Manque de transparence : Groq n’a pas divulgué de détails spécifiques sur la manière dont les fonds seront utilisés. Les investisseurs et la communauté technologique devraient exiger plus de transparence concernant les projets de développement et les priorités de l’entreprise.
• Impact sur la concurrence : Avec des acteurs majeurs tels qu’OpenAI, Google et Meta (anciennement Facebook) investissant massivement dans l’IA, Groq devra faire preuve d’innovation continue pour se démarquer. La concurrence est féroce, et la capacité de Groq à rester en tête dépendra de sa capacité à innover rapidement.
• Éthique et responsabilité : L’inférence IA a des implications éthiques importantes, notamment en matière de vie privée et de biais algorithmique. Groq doit s’engager à développer des solutions responsables et à surveiller de près l’utilisation de ses technologies.
• Impact sur l’emploi : Alors que Groq déploie davantage d’unités de traitement d’inférence, il est essentiel de surveiller l’impact sur l’emploi dans le secteur de l’IA. La croissance rapide peut entraîner des perturbations sur le marché du travail.

Source : Groq

Et vous ?

Quelle est votre opinion sur l’importance de l’inférence IA dans notre société ? Considérez-vous que l’inférence IA est essentielle pour l’avenir de la technologie ? Comment elle pourrait impacter nos vies ?
Pensez-vous que Groq est bien positionné pour rivaliser avec les géants de l’IA tels qu’OpenAI et Google ? Quels sont les avantages et les inconvénients de la plateforme d’inférence unique de Groq par rapport à ses concurrents ?
Quelles préoccupations éthiques devraient être prises en compte lors du développement de technologies d’inférence IA ? Pensez aux implications en matière de vie privée, de biais algorithmique et de responsabilité.
Comment pensez-vous que Groq devrait utiliser les fonds levés ? Proposez des idées sur la manière dont Groq pourrait investir ces ressources pour maximiser l’impact positif.

[Jade Emy]

Meta annonce Llama 3.2 qui révolutionnerait l'IA et la vision grâce à des modèles ouverts et personnalisables, Llama 3.2 comprend des modèles légers qui s'exécutent localement sur l'appareil.

Meta annonce Llama 3.2 qui comprend des modèles de vision et des modèles légers. Les modèles légers 1B et 3B de Llama 3.2 peuvent s'exécuter localement sur l'appareil, ce qui offre une grande confidentialité car les données ne quittent jamais l'appareil. Meta publie également Llama Stack pour simplifier le travail des développeurs dans différents environnements, notamment single-node, on-prem, cloud et on-device.

LLama (Large Language Model Meta AI) est un grand modèle de langage (LLM) développé par Meta et rendu publiquement accessible. Deux autres versions du modèle plus spécifiques, optimisées à partir de LLama, ont également été publiées par Meta : un agent conversationnel, appelé Llama Chat, et un assistant de programmation, Code Llama.

En avril 2024, Meta a présenté Llama 3, en proposant des modèles de langage pré-entraînés et affinés par des instructions avec des paramètres 8B et 70B qui peuvent prendre en charge un large éventail de cas d'utilisation. Cette nouvelle génération de Llama a démontré des performances de pointe sur une large gamme de références industrielles, ainsi que de nouvelles capacités, comme un raisonnement amélioré.

Le 25 septembre 2024, Meta a publié Llama 3.2, qui comprend des LLM de vision de petite et moyenne taille (11B et 90B), ainsi que des modèles légers de texte uniquement (1B et 3B) qui s'adaptent aux périphériques et aux appareils mobiles, y compris des versions pré-entraînées et ajustées en fonction des instructions.

Les modèles Llama 3.2 1B et 3B prennent en charge la longueur de contexte de 128 000 jetons et sont à la pointe de leur catégorie pour les cas d'utilisation sur appareil tels que le résumé, le suivi d'instructions et les tâches de réécriture exécutées localement à la périphérie. Ces modèles sont compatibles avec le matériel Qualcomm et MediaTek et optimisés pour les processeurs Arm.

Soutenus par un large écosystème, les modèles de vision Llama 3.2 11B et 90B remplacent aisément leurs équivalents textuels correspondants, tout en dépassant les tâches de compréhension d'images par rapport aux modèles fermés. Contrairement à d'autres modèles multimodaux ouverts, les modèles pré-entraînés et alignés peuvent être affinés pour des applications personnalisées à l'aide de torchtune et déployés localement à l'aide de torchchat. Ils peuvent également être essayés en utilisant l'assistant intelligent, Meta AI.

Meta a également partagé les premières distributions officielles de Llama Stack, qui simplifieront la façon dont les développeurs travaillent avec les modèles Llama dans différents environnements, notamment single-node, on-prem, cloud et on-device, permettant un déploiement clé en main de la génération augmentée par récupération (RAG) et d'applications dotées d'outils avec une sécurité intégrée. Meta collabore avec AWS, Databricks, Dell Technologies, Fireworks, Infosys et Together AI pour construire des distributions Llama Stack pour leurs clients d'entreprise en aval. La distribution sur appareil se fait via PyTorch ExecuTorch, et la distribution sur un seul nœud se fait via Ollama.

Voici les déclarations de Meta lors de son annonce :

Nous avons été enthousiasmés par l'impact des modèles du troupeau Llama 3.1 au cours des deux mois qui ont suivi leur annonce, notamment le 405B, le premier modèle ouvert d'IA de niveau frontière. Bien que ces modèles soient incroyablement puissants, nous sommes conscients que leur utilisation nécessite des ressources de calcul et une expertise considérables. Nous avons également entendu des développeurs qui n'ont pas accès à ces ressources et qui veulent quand même avoir l'opportunité de construire avec Llama. Comme le fondateur et PDG de Meta, Mark Zuckerberg, l'a annoncé aujourd'hui lors de la conférence Connect, ils n'auront plus à attendre. Aujourd'hui, nous publions Llama 3.2, qui comprend des LLM de vision de petite et moyenne taille (11B et 90B) et des modèles légers de texte uniquement (1B et 3B) qui s'adaptent à certains périphériques et appareils mobiles.

Cela ne fait qu'un an et demi que nous avons annoncé Llama pour la première fois, et nous avons fait des progrès incroyables en si peu de temps. Cette année, Llama a multiplié sa croissance par 10 et est devenue la norme en matière d'innovation responsable. Llama reste également à la pointe de l'ouverture, de la modifiabilité et de la rentabilité, et il est compétitif par rapport aux modèles fermés - il est même en tête dans certains domaines. C'est pourquoi nous continuons à partager nos recherches et à collaborer avec nos partenaires et la communauté des développeurs.

Les modèles du Llama 3.2 peuvent être téléchargés sur llama.com et Hugging Face. Ils sont également disponibles pour un développement immédiat sur notre vaste écosystème de plates-formes partenaires. Les partenaires sont une partie importante de ce travail, et nous avons travaillé avec plus de 25 entreprises, y compris AMD, AWS, Databricks, Dell, Google Cloud, Groq, IBM, Intel, Microsoft Azure, NVIDIA, Oracle Cloud, et Snowflake, pour activer les services dès le premier jour. Pour la version 3.2 de Llama, nous travaillons également avec les partenaires Arm, MediaTek et Qualcomm afin d'offrir une large gamme de services dès le lancement. À partir d'aujourd'hui, nous mettons également Llama Stack à la disposition de la communauté. Plus de détails sur la dernière version, y compris des informations sur la disponibilité multimodale en Europe, peuvent être trouvés dans notre politique d'utilisation acceptable.

Llama 3.2 : Présentation des modèles multimodales et des modèles légers

Les deux plus grands modèles de la collection Llama 3.2, 11B et 90B, prennent en charge les cas d'utilisation du raisonnement à partir d'images, tels que la compréhension au niveau des documents, y compris les tableaux et les graphiques, le sous-titrage d'images et les tâches de repérage visuel, telles que le repérage directionnel d'objets dans des images sur la base de descriptions en langage naturel. Les modèles 11B et 90B peuvent également combler le fossé entre la vision et le langage en extrayant les détails d'une image, en comprenant la scène, puis en rédigeant une ou deux phrases qui pourraient être utilisées comme légende de l'image pour aider à raconter l'histoire.

Les modèles légers 1B et 3B sont très performants grâce à la génération de textes multilingues et aux capacités d'appel d'outils. Ces modèles permettent aux développeurs de créer des applications d'agents personnalisés, sur l'appareil, avec une grande confidentialité, où les données ne quittent jamais l'appareil. L'exécution locale de ces modèles présente deux avantages majeurs. Tout d'abord, les invites et les réponses peuvent sembler instantanées, puisque le traitement est effectué localement.

Deuxièmement, l'exécution locale des modèles préserve la confidentialité en n'envoyant pas de données telles que les messages et les informations de calendrier vers le cloud, ce qui rend l'application globale plus privée. Le traitement étant effectué localement, l'application peut clairement contrôler les requêtes qui restent sur l'appareil et celles qui doivent être traitées par un modèle plus important dans le cloud.

L'évaluation suggère que les modèles de vision Llama 3.2 sont compétitifs par rapport aux principaux modèles de base, Claude 3 Haiku et GPT4o-mini, pour la reconnaissance d'images et une série de tâches de compréhension visuelle. Le modèle 3B surpasse les modèles Gemma 2 2.6B et Phi 3.5-mini dans des tâches telles que le suivi d'instructions, le résumé, la réécriture d'invites et l'utilisation d'outils, tandis que le modèle 1B est compétitif par rapport à Gemma. Les performances des modèles Llama 3.2 ont été évalué sur plus de 150 ensembles de données de référence couvrant un large éventail de langues.

Voici comment Meta a entrainé ces nouveaux modèles :

Modèles de vision

En tant que premiers modèles Llama à prendre en charge des tâches de vision, les modèles 11B et 90B ont nécessité une architecture de modèle entièrement nouvelle qui prend en charge le raisonnement par l'image.

Pour ajouter la prise en charge des entrées d'images, Meta a formé un ensemble de poids adaptateurs qui intègrent l'encodeur d'images pré-entraîné dans le modèle de langage pré-entraîné. L'adaptateur consiste en une série de couches d'attention croisée qui introduisent les représentations de l'encodeur d'images dans le modèle de langage.

Ils ont entraîné l'adaptateur sur des paires texte-image afin d'aligner les représentations de l'image sur les représentations du langage. Pendant l'entraînement de l'adaptateur, ils ont également mis à jour les paramètres de l'encodeur d'images, sans intentionnellement mettre à jour les paramètres du modèle de langage. Ce faisant, ils ont pu conserver les capacités textuelles intactes, ce qui permet aux développeurs de remplacer directement les modèles Llama 3.1.

La pipeline d'entraînement pour les modèles de vision se compose de plusieurs étapes, à partir de modèles de texte Llama 3.1 pré-entraînés. Tout d'abord, ils ajoutent des adaptateurs et des encodeurs d'images, puis ils effectuent un pré-entraînement sur des paires de données bruitées à grande échelle (image, texte). Ensuite, ils ont entraîné les modèles sur des données de paires (image, texte) de haute qualité à moyenne échelle dans le domaine et enrichies de connaissances.

En post-entraînement, ils ont utilisé une recette similaire à celle des modèles de texte en effectuant plusieurs cycles d'alignement sur le réglage fin supervisé, l'échantillonnage de rejet et l'optimisation des préférences directes. Ils tirent également parti de la génération de données synthétiques en utilisant le modèle Llama 3.1 pour filtrer et augmenter les questions et les réponses au-dessus des images du domaine, et ils ont utilisé un modèle de récompense pour classer toutes les réponses candidates afin de fournir des données de mise au point de haute qualité. Ils ont également ajouté des données relatives à l'atténuation de la sécurité afin de produire un modèle présentant un niveau élevé de sécurité tout en conservant l'utilité du mode.

Le résultat final est un ensemble de modèles capables de prendre en compte à la fois des images et des textes, de comprendre en profondeur et de raisonner sur cette combinaison. Il s'agit d'une nouvelle étape vers des modèles Llama dotés de capacités agentiques encore plus riches.

Modèles légers

Les modèles enseignants puissants peuvent être exploités pour créer des modèles plus petits dont les performances sont améliorées. Meta a utilisé deux méthodes (l'élagage et la distillation) sur les modèles 1B et 3B, ce qui en fait les premiers modèles Llama légers hautement performants qui peuvent tenir sur des appareils de manière efficace.

L'élagage a permis de réduire la taille des modèles existants dans l'ensemble des Llama tout en récupérant autant de connaissances et de performances que possible. Pour les modèles 1B et 3B, ils ont adopté l'approche de l'élagage structuré en une seule fois à partir du Llama 3.1 8B. Il s'agit de supprimer systématiquement des parties du réseau et d'ajuster l'ampleur des poids et des gradients afin de créer un modèle plus petit et plus efficace qui conserve les performances du réseau d'origine.

La distillation des connaissances utilise un réseau plus grand pour transmettre des connaissances à un réseau plus petit, l'idée étant qu'un modèle plus petit peut obtenir de meilleures performances en utilisant un enseignant qu'en partant de zéro. Pour les modèles 1B et 3B de Llama 3.2, ils ont incorporé les logits des modèles Llama 3.1 8B et 70B dans la phase de pré-entraînement du développement du modèle, où les sorties (logits) de ces grands modèles ont été utilisées comme cibles au niveau des jetons. La distillation des connaissances a été utilisée après l'élagage pour récupérer les performances.

En post-entraînement, ils ont utilisé une recette similaire à celle de Llama 3.1 et produient des modèles de chat finaux en effectuant plusieurs cycles d'alignement sur le modèle pré-entraîné. Chaque tour implique un réglage fin supervisé (SFT), un échantillonnage de rejet (RS) et une optimisation directe des préférences (DPO).

Lors du post-entraînement, ils ont augmenté la prise en charge de la longueur du contexte à 128 000 jetons, tout en conservant la même qualité que le modèle pré-entraîné. Ils ont également généré des données synthétiques qui font l'objet d'un traitement et d'un filtrage minutieux afin d'en garantir la qualité. Enfin, ils ont mélangé soigneusement les données afin d'optimiser la qualité dans de multiples domaines tels que le résumé, la réécriture, le suivi des instructions, le raisonnement linguistique et l'utilisation d'outils.

Pour permettre à la communauté d'innover sur ces modèles, Meta annonce avoir travaillé en étroite collaboration avec Qualcomm et Mediatek, les deux principaux fabricants de systèmes mobiles sur puce (SoC) au monde, et Arm, qui fournit la plateforme de calcul fondamentale pour 99 % des appareils mobiles. Les poids publiés sont basés sur les valeurs numériques BFloat16. Meta étudiraient également des variantes quantifiées qui fonctionneront encore plus rapidement.

Distributions Llama Stack

En juillet 2024, Meta avait publié un appel à commentaires sur l'API Llama Stack, une interface standardisée pour les composants canoniques de la chaîne d'outils (réglage fin, génération de données synthétiques) afin de personnaliser les modèles Llama et de construire des applications agentiques. L'engagement a été très fort. Meta a partagé avec cette annonce le travail qu'ils ont fait pour rendre l'API réelle :

Ils ont construit une implémentation de référence des API pour l'inférence, l'utilisation d'outils et le RAG. En outre, Meta a travaillé avec des partenaires pour les adapter afin qu'ils deviennent des fournisseurs d'API. Enfin, ils ont introduit la distribution Llama Stack comme moyen de regrouper plusieurs fournisseurs d'API qui fonctionnent bien ensemble pour fournir un point d'accès unique aux développeurs. Ils partagent maintenant avec la communauté une expérience simplifiée et cohérente qui leur permettra de travailler avec les modèles Llama dans de multiples environnements, y compris on-prem, cloud, single-node et on-device.

L'ensemble des versions comprend :

1. Llama CLI (interface de ligne de commande) pour construire, configurer et exécuter les distributions de Llama Stack
2. Code client dans plusieurs langages, y compris python, node, kotlin et swift
3. Conteneurs Docker pour le serveur de distribution de Llama Stack et le fournisseur d'API d'agents.
4. Distributions multiples
   
   • Distribution de Llama Stack à nœud unique via l'implémentation interne de Meta et Ollama
   • Distribution de Llama Stack dans le cloud via AWS, Databricks, Fireworks et Together
   • Distribution de Llama Stack sur appareil iOS mise en œuvre via PyTorch ExecuTorch
   • Distribution de Llama Stack sur site soutenue par Dell

Sécurité au niveau du système

L'adoption d'une approche ouverte présente de nombreux avantages. Elle permet à un plus grand nombre de personnes dans le monde d'accéder aux opportunités offertes par l'IA, empêche la concentration du pouvoir entre les mains d'un petit nombre et déploie la technologie de manière plus équitable et plus sûre dans l'ensemble de la société. Tout en continuant à innover, Meta souhaite donner aux développeurs les moyens de construire des systèmes sûrs et responsables.

Dans le prolongement des précédentes versions et des efforts continus pour soutenir l'innovation responsable, Meta annonce l'ajout de nouvelles mises à jour des mesures de protection :

• Tout d'abord, Meta publie Llama Guard 3 11B Vision, qui est conçu pour prendre en charge la nouvelle capacité de compréhension des images de Llama 3.2 et filtrer les invites d'entrée texte+image ou les réponses de sortie texte à ces invites.
  
• Deuxièmement, en lançant les modèles de Llama 1B et 3B destinés à être utilisés dans des environnements plus contraignants tels que les appareils, ils ont également optimisé le Llama Guard afin de réduire considérablement son coût de déploiement. Llama Guard 3 1B est basé sur le modèle Llama 3.2 1B et a été élagué et quantifié, ramenant sa taille de 2 858 Mo à 438 Mo, ce qui rend son déploiement plus efficace que jamais.

Ces nouvelles solutions sont intégrées dans les implémentations de référence, les démonstrations et les applications et sont prêtes à être utilisées par la communauté open source dès l'annonce de disponibilité.

Meta conclue l'annonce :

Llama 3.2 est sur le point d'atteindre plus de personnes que jamais et de permettre de nouveaux cas d'utilisation passionnants. Nous pensons que partager ces modèles avec la communauté open source n'est pas suffisant. Nous voulons nous assurer que les développeurs disposent également des outils dont ils ont besoin pour construire avec Llama de manière responsable. Dans le cadre de nos efforts continus de publication responsable, nous offrons aux développeurs de nouveaux outils et ressources, et comme toujours, nous mettrons à jour les meilleures pratiques dans notre Guide d'utilisation responsable.

Nous continuons à partager les dernières avancées de l'écosystème Llama parce que nous croyons que l'ouverture stimule l'innovation et est bénéfique pour les développeurs, Meta et le monde. Nous sommes ravis de poursuivre les conversations que nous avons avec nos partenaires et la communauté open source, et comme toujours, nous sommes impatients de voir ce que la communauté construit en utilisant Llama 3.2 et Llama Stack.

Et vous ?

Que pensez-vous de ces nouveaux modèles de Llama 3.2 ?

Voir aussi :

Le moteur d'IA Llama de Meta connaît une croissance rapide de l'adoption de l'open source, avec une multiplication par 10 depuis 2023. Les modèles Llama approchent les 350 millions de téléchargements à ce jour

Le projet Astra est l'avenir de l'IA chez Google : un assistant d'IA multimodal qui peut voir le monde via la caméra de votre appareil et analyser et comprendre les objets devant lui comme le font les humains

La "distillation pas-à-pas", un nouveau paradigme d'apprentissage pour surpasser les performances des grands LLM, avec moins de données d'entraînement et des modèles d'IA de plus petite taille

IBM publie les modèles code de son IA Granite en open-source, afin de résoudre les problèmes des développeurs pour livrer des logiciels fiables. Ce modèle serait plus performant que Llama 3, selon IBM

[Jade Emy]

Meta intègre les voix des acteurs de Hollywood à son chatbot d'IA pour vous permettre d'avoir des conversations vocales en temps réel avec le chatbot sur Facebook, Instagram, WhatsApp et Threads.

Meta annonce intégrer les voix de Judi Dench, John Cena et Keegan-Michael Key, des acteurs d'Hollywood, à son chatbot d'intelligence artificielle (IA). Au lieu de simplement envoyer un message au chatbot, il sera possible d'avoir des conversations vocales en temps réel sur Facebook, Instagram, WhatsApp et Threads.

Le 25 septembre 2024, Meta a publié Llama 3.2 qui comprend des modèles de vision de petite et moyenne taille (11B et 90B) ainsi que des modèles légers 1B et 3B s'exécutant localement sur l'appareil. Les modèles Vision de Llama 3.2 prennent en charge les cas d'utilisation du raisonnement à partir d'images, tels que la compréhension au niveau des documents, le sous-titrage d'images et les tâches de repérage visuel.

Les utilisateurs de Facebook et d'Instagram pourront désormais parler à des voix qui ressemblent beaucoup à celles de John Cena et de Judi Dench. Il ne s'agira toutefois pas des vrais acteurs, mais d'un chatbot d'IA. La société mère Meta a annoncé qu'elle ajoutait des conversations vocales et des voix de célébrités à son chatbot d'IA, Meta AI.

Désormais, au lieu de se contenter d'envoyer des messages au chatbot, les utilisateurs peuvent avoir des conversations en temps réel et choisir parmi une sélection de voix générées par ordinateur ou de voix de célébrités. L'entreprise s'est associée à John Cena et Judi Dench, ainsi qu'aux acteurs Kristen Bell, Awkwafina et Keegan-Michael Key, pour entraîner le chatbot à reproduire leurs voix.

Cette mise à jour intervient alors que Meta cherche à aider son chatbot d'IA (disponible sur Facebook, Instagram, WhatsApp et Threads) à suivre le rythme des produits concurrents, notamment ChatGPT, qui déploie son propre mode vocal avancé. Mark Zuckerberg, PDG de Meta, a déclaré que Meta AI est en passe de devenir "l'assistant d'IA le plus utilisé au monde" d'ici la fin de l'année, probablement grâce aux plus de 3 milliards de personnes qui utilisent les applications de la société chaque jour, bien que la manière dont Meta mesure l'utilisation du chatbot et la fréquence à laquelle les gens s'engagent avec l'outil ne soit pas claire.

La société concurrente OpenAI a été critiquée au début de l'année lorsqu'elle a présenté sa propre fonction de mode vocal en temps réel pour ChatGPT à cause d'une voix de démonstration qui ressemblait remarquablement à celle de l'actrice Scarlett Johansson, qui a déclaré qu'on lui avait demandé de participer au projet, mais qu'elle avait refusé. OpenAI a nié que la voix, surnommée Sky, était basée sur Johansson, mais a tout de même suspendu son utilisation. Contrairement à cette débâcle, Meta semble avoir formé des partenariats formels avec les acteurs dont les voix ont été utilisées pour former son outil.

Zuckerberg a annoncé le nouveau mode vocal lors de son discours d'ouverture de la conférence annuelle Meta Connect, au cours de laquelle il a également présenté d'autres avancées en matière d'IA, une nouvelle version moins chère des casques Quest de Meta et des mises à jour de la gamme de lunettes RayBan de réalité augmentée de l'entreprise.

Parmi les autres annonces notables : Meta permettra désormais aux influenceurs des médias sociaux de créer des versions IA d'eux-mêmes. Auparavant, les influenceurs pouvaient entraîner l'IA à avoir des conversations textuelles avec les personnes qui les suivent. Désormais, les personnes qui les suivent pourront avoir des appels quasi-vidéo avec les versions IA des influenceurs qui utilisent l'outil.

La technologie d'IA de Meta permettra également de traduire et de doubler automatiquement les Reels (vidéos de courte durée de Meta) en langue étrangère pour les téléspectateurs. Ainsi, si vous parlez anglais mais qu'une Reels créée à l'origine en espagnol arrive sur votre fil d'actualité, elle apparaîtra dans votre fil d'actualité comme si elle avait été réalisée en anglais, avec des modifications de la bouche du locuteur pour que le doublage ait l'air naturel.

Et vous pourriez commencer à voir plus de contenu généré par l'IA dans vos fils d'actualité Facebook et Instagram. Meta annonce qu'elle commencera à générer et à partager des images générées par l'IA sur les fils d'actualité des utilisateurs en fonction de leurs "centres d'intérêt ou des tendances actuelles", une fonctionnalité qu'elle appelle "imaginée pour vous". Il n'est pas précisé si les utilisateurs pourront se désengager de cette fonctionnalité s'ils préfèrent ne voir que le contenu de leurs vrais amis humains.

Et vous ?

Pensez-vous que cette fonctionnalité est crédible ou pertinente ?
Quel est votre avis sur le sujet ?

Voir aussi :

Meta lance Meta AI et 28 IA ayant des « personnalités » incarnées par des célébrités telles que Snoop Dogg, Kendall Jenner et Paris Hilton, afin d'accroître l'interaction des jeunes avec l'IA

ChatGPT Advanced Voice Mode impressionne les testeurs par ses effets sonores et sa capacité à reprendre son souffle. Il corrige la prononciation de mots français, en donnant des indications sur l'inflexion

VALL-E 2 : la nouvelle technologie vocale d'IA de Microsoft atteint pour la première fois la parité avec l'humain, elle est si aboutie que par peur d'une utilisation abusive, elle ne sera pas publiée

[Jade Emy]

Mark Zuckerberg dit qu'il parie que la limite de mise à l'échelle des systèmes d'IA "n'arrivera pas de si tôt", puisque Llama 4 s'entraînera sur plus de 100 000 GPU et Llama 5 encore plus que cela

Mark Zuckerberg, PDG de Meta, pense que la limite de mise à l'échelle des systèmes d'IA "n'arrivera pas de si tôt". Pour lui, l'un des aspects intéressants de ces nouvelles architectures basées sur des transformateurs, c'est qu'on n'a pas encore trouvé la fin. Il affirme que les infrastructures avec plus de GPU va continuer à s'étendre pendant un certain temps.

Le 25 septembre 2024, Meta a publié Llama 3.2, qui comprend des LLM de vision de petite et moyenne taille (11B et 90B), ainsi que des modèles légers de texte uniquement (1B et 3B) qui s'adaptent aux périphériques et aux appareils mobiles, y compris des versions pré-entraînées et ajustées en fonction des instructions. Les deux plus grands modèles de la collection Llama 3.2, 11B et 90B, prennent en charge les cas d'utilisation du raisonnement à partir d'images. Les modèles légers 1B et 3B proposent une grande confidentialité car les données ne quittent jamais l'appareil.

L'évaluation suggère que les modèles de vision Llama 3.2 sont compétitifs par rapport aux principaux modèles de base, Claude 3 Haiku et GPT4o-mini, pour la reconnaissance d'images et une série de tâches de compréhension visuelle. Le modèle 3B surpasse les modèles Gemma 2 2.6B et Phi 3.5-mini dans des tâches telles que le suivi d'instructions, le résumé, la réécriture d'invites et l'utilisation d'outils, tandis que le modèle 1B est compétitif par rapport à Gemma.

Mark Zuckerberg a également partagé son avis sur le futur de l'IA. Il parie que la limite de la mise à l'échelle des systèmes d'IA "n'arrivera pas de si tôt", puisque Llama 4 s'entraînera sur plus de 100 000 GPU et Llama 5 sur encore plus de GPU. Voici sa déclaration :

Il existe actuellement un ensemble de méthodes qui semblent très bien s'adapter. Avec les anciennes architectures d'IA, vous pouviez alimenter un système d'IA avec une certaine quantité de données et utiliser une certaine quantité de calcul, mais il finissait par atteindre un plateau. Et l'un des aspects intéressants de ces nouvelles architectures basées sur des transformateurs au cours des 5 à 10 dernières années, c'est que nous n'avons pas encore trouvé la fin.

Cela conduit à cette dynamique où Llama 3 pourrait s'entraîner sur 10 000 à 20 000 GPU, LLama 4 pourrait s'entraîner sur plus de 100 000 GPU, Llama 5 pourrait s'étendre encore plus et il est intéressant de savoir jusqu'où cela va aller. Il est tout à fait possible qu'à un moment donné, nous atteignions une limite. Et comme pour les systèmes précédents, il y a une asymptote et la croissance ne se poursuit pas.

Mais il est également possible que la limite ne soit pas atteinte de sitôt et que nous puissions continuer à construire plus de clusters et à générer plus de données synthétiques pour entraîner les systèmes, et qu'ils continuent à devenir de plus en plus utiles pour les gens pendant un certain temps encore. Et il s'agit de centaines de milliards de dollars d'infrastructures. Je parie donc clairement que cela va continuer à s'étendre pendant un certain temps.

Mark Zuckerberg says he is betting that the limit of scaling AI systems "is not going to happen any time soon", as Llama 4 will train on 100,000+ GPUs and Llama 5 even more than that pic.twitter.com/i7HA7r4MGe

— Tsarathustra (@tsarnick) September 26, 2024

Et vous ?

Pensez-vous que ces déclarations sont crédibles ou pertinentes ?
Quel est votre avis sur le sujet ?

Voir aussi :

Construire l'infrastructure GenAI de Meta : la société partage les détails sur deux nouveaux clusters de 24 000 GPU qui ont été conçus pour soutenir la recherche et le développement en matière d'IA

L'IA semble s'approcher rapidement d'un mur où elle ne peut pas devenir plus intelligente : l'IA sera-t-elle à court de données ? Limites de la mise à l'échelle des LLM sur les données générées par l'homme

Le PDG d'OpenAI estime que l'approche actuelle de l'IA va bientôt atteindre ses limites. La mise à l'échelle des modèles LLM cessera d'apporter des améliorations à l'IA, selon lui

[Jules34]

Mark, c'est pas la taille qui compte
Trouve déjà un débouché économique à ton metavers avant de repartir dans une autre folie dépensière ! /s

[Jade Emy]

Meta autorise l'utilisation de son modèle d'IA Llama à des fins militaires américaines, ce qui constitue un revirement par rapport à sa politique qui interdisait l'utilisation de sa technologie à de telles fins.

Meta met son modèle d'IA Llama 3 à la disposition des agences gouvernementales et des sous-traitants américains qui travaillent sur des applications de sécurité nationale. En tant qu'entreprise américaine, Meta souhaite contribuer à la sûreté, à la sécurité et à la prospérité économique de l'Amérique. Selon une déclaration de la société, l'utilisation responsable de modèles d'IA open source favorise la sécurité mondiale et aide les États-Unis à s'imposer dans la course mondiale au leadership en matière d'IA. L'IA open source profiterait également au secteur public en permettant des découvertes et des percées, en stimulant l'efficacité et en améliorant la prestation des services publics.

Fin septembre, Meta, la société mère de Facebook et d'Instagram, annonçait Llama 3.2 qui comprend des modèles de vision et des modèles légers. Les modèles légers 1B et 3B de Llama 3.2 peuvent s'exécuter localement sur l'appareil. Quant aux modèles de vision Llama 3.2 11B et 90B, ils seraient équivalents par rapport aux modèles fermés dans les tâches textuels et les tâches de compréhension d'images. De plus, Meta affirmait que ces modèles pré-entraînés et alignés peuvent être affinés pour des applications personnalisées et déployés localement.

À la suite de ce lancement, Meta a annoncé qu'elle autorisera l'utilisation de ses modèles d'intelligence artificielle (IA) à des fins militaires. Cette décision permet aux agences gouvernementales et aux entrepreneurs impliqués dans la sécurité nationale d'accéder au dernier modèle Llama 3. L'entreprise a souligné son engagement à soutenir la sûreté et la sécurité des États-Unis en collaborant avec des organisations telles que Lockheed Martin, IBM, Amazon, Microsoft et Oracle pour mettre Llama à la disposition du gouvernement.

Dans un communiqué du 4 novembre 2024, Meta a déclaré : "En tant qu'entreprise américaine, qui doit son succès en grande partie à l'esprit d'entreprise et aux valeurs démocratiques que défendent les États-Unis, Meta veut jouer son rôle pour soutenir la sûreté, la sécurité et la prospérité économique de l'Amérique, ainsi que de ses alliés les plus proches".

Grâce à cette collaboration, l'armée américaine entend tirer parti de l'IA pour rationaliser la logistique, traquer le financement du terrorisme et renforcer les capacités de cyberdéfense. Alors que la "politique d'utilisation acceptable" de Meta interdit traditionnellement l'utilisation de ses modèles d'IA à des fins militaires, nucléaires ou d'espionnage, Nick Clegg, président des affaires internationales de Meta, a déclaré que l'entreprise soutenait désormais les "utilisations responsables et éthiques" de la technologie qui s'alignent sur les valeurs démocratiques des États-Unis.

Cette décision s'inscrit dans le droit fil des tendances observées dans le secteur des technologies, où des entreprises telles qu'OpenAI collaborent également avec le gouvernement américain. Des rapports indiquent que la conseillère en sécurité nationale d'OpenAI, Katrina Mulligan, a récemment assisté à un concert de Taylor Swift à la Nouvelle-Orléans avec la secrétaire de l'armée Christine Wormuth, ce qui suggère des liens étroits entre OpenAI et le Pentagone. En outre, un document d'approvisionnement du commandement américain pour l'Afrique (AFRICOM) décrit l'accès à la technologie d'OpenAI comme "essentiel" pour sa mission.

Toutefois, l'utilisation de modèles d'IA par des entités militaires suscite des inquiétudes. Un récent rapport a révélé que des chercheurs militaires chinois ont utilisé le modèle d'IA Llama 2 de Meta pour développer un chatbot de défense appelé ChatBIT. Ces chercheurs, affiliés au groupe de R&D de l'Armée populaire de libération, ont réaffecté la technologie de Meta à des applications militaires.

En réponse, Meta a déclaré que l'utilisation du modèle Llama "unique et dépassé" était non autorisée et contraire à sa politique d'utilisation acceptable. Alors que la technologie de l'IA continue de progresser, son intégration dans les cadres de sécurité nationale soulève d'importantes discussions sur l'utilisation éthique et les implications internationales.

D'autres rapports ont également révélé l'émergence de "robots tueurs" autonomes dotés d'intelligence artificielle (IA). Ces systèmes d'armes automatisés, en cours de développement par les grandes puissances telles que les États-Unis, sont capables de prendre des décisions létales de manière autonome, sans supervision humaine. Ces "robots tueurs" auraient déjà été déployés sur des champs de bataille en Ukraine et à Gaza, démontrant leur efficacité et leur potentiel destructeur.

Pourtant, l'utilisation de drones autonomes, de navires sans pilote et de véhicules terrestres autonomes soulève des préoccupations éthiques et de sécurité. La capacité de ces machines à faire la distinction entre combattants et civils sur le champ de bataille est remise en question, suscitant des inquiétudes quant aux violations du droit humanitaire international. Certains pays, notamment les États-Unis, envisagent de réglementer strictement l'utilisation de ces armes, tandis que d'autres cherchent à les interdire complètement.

Voici le communiqué de Meta :

L'IA Open Source peut aider l'Amérique à dominer l'IA et à renforcer la sécurité mondiale

Les modèles Llama open source de Meta sont de plus en plus utilisés par une large communauté de chercheurs, d'entrepreneurs, de développeurs et d'organismes gouvernementaux. Nous sommes heureux de confirmer que nous mettons également Llama à la disposition des agences gouvernementales américaines, y compris celles qui travaillent sur des applications de défense et de sécurité nationale, et des partenaires du secteur privé qui les soutiennent dans leur travail. Nous nous associons à des entreprises telles que Accenture Federal Services, Amazon Web Services, Anduril, Booz Allen, Databricks, Deloitte, IBM, Leidos, Lockheed Martin, Microsoft, Oracle, Palantir, Scale AI et Snowflake pour mettre Llama à la disposition des agences gouvernementales.

Oracle, par exemple, s'appuie sur Llama pour synthétiser les documents de maintenance des avions afin que les techniciens puissent diagnostiquer les problèmes plus rapidement et avec plus de précision, ce qui accélère les délais de réparation et permet de remettre en service les avions les plus importants. Scale AI peaufine Llama pour soutenir les missions spécifiques de l'équipe de sécurité nationale, telles que la planification des opérations et l'identification des vulnérabilités des adversaires. Lockheed Martin a intégré Llama dans son usine d'IA, accélérant une variété de cas d'utilisation tels que la génération de code, l'analyse de données et l'amélioration des processus d'entreprise.

Amazon Web Services et Microsoft Azure utilisent également Llama pour aider les gouvernements en hébergeant nos modèles sur leurs solutions cloud sécurisées pour les données sensibles. La solution watsonx d'IBM met Llama à la disposition des agences de sécurité nationale dans leurs centres de données et leurs clouds autogérés.

Ce type d'utilisation responsable et éthique de modèles d'IA open source comme Llama ne soutiendra pas seulement la prospérité et la sécurité des États-Unis, mais contribuera également à établir des normes open source américaines dans la course mondiale au leadership en matière d'IA.

En tant qu'entreprise américaine, dont le succès est dû en grande partie à l'esprit d'entreprise et aux valeurs démocratiques défendues par les États-Unis, Meta veut jouer son rôle pour soutenir la sûreté, la sécurité et la prospérité économique de l'Amérique, ainsi que de ses alliés les plus proches.

Grâce à leur capacité à traiter de grandes quantités de données, à raisonner et à générer des informations exploitables, les grands modèles de langage peuvent soutenir de nombreux aspects de la sûreté et de la sécurité nationale de l'Amérique. Ils peuvent contribuer à rationaliser une logistique et une planification complexes, à traquer le financement du terrorisme ou à renforcer nos cyberdéfenses. Pendant des décennies, les systèmes open source ont joué un rôle essentiel en aidant les États-Unis à construire l'armée la plus avancée au monde sur le plan technologique et, en partenariat avec leurs alliés, à développer des normes mondiales pour les nouvelles technologies. Les systèmes open source ont permis d'accélérer la recherche en matière de défense et l'informatique de pointe, d'identifier les failles de sécurité et d'améliorer la communication entre des systèmes disparates.

Dans un monde où la sécurité nationale est inextricablement liée à la production économique, à l'innovation et à la croissance de l'emploi, l'adoption généralisée des modèles d'IA open source américains sert à la fois les intérêts économiques et sécuritaires. D'autres pays, dont la Chine et d'autres concurrents des États-Unis, l'ont également compris et s'empressent de développer leurs propres modèles open source, en investissant massivement pour prendre de l'avance sur les États-Unis.

Nous pensons qu'il est dans l'intérêt des États-Unis et de l'ensemble du monde démocratique que les modèles open source américains excellent et réussissent par rapport aux modèles chinois et autres. Au fur et à mesure que les modèles open source deviennent plus performants et plus largement adoptés, une norme mondiale open source pour les modèles d'IA est susceptible d'émerger, comme cela a été le cas pour des technologies telles que Linux et Android. Cela se produira, que les États-Unis s'engagent ou non. Cette norme constituera la base du développement de l'IA dans le monde entier et s'intégrera dans la technologie, l'infrastructure et la fabrication, ainsi que dans la finance mondiale et le commerce électronique.

Il est essentiel que la norme open source sur laquelle le monde s'appuie repose sur des normes élevées d'ouverture, de transparence et de responsabilité. C'est pourquoi le leadership américain et son engagement en faveur du droit international sont si importants pour la paix et la sécurité dans le monde. Il incombe aux pays qui exploitent l'IA pour leur sécurité nationale de déployer l'IA de manière éthique, responsable et conforme au droit international et aux principes fondamentaux pertinents, principes que les États-Unis et nombre de leurs alliés se sont engagés à respecter dans la Déclaration politique sur l'utilisation militaire responsable de l'intelligence artificielle et de l'autonomie.

L'objectif devrait être de créer un cercle vertueux, en aidant les États-Unis à conserver leur avance technologique tout en élargissant l'accès à l'IA au niveau mondial et en veillant à ce que les innovations qui en résultent soient responsables et éthiques, et soutiennent les intérêts stratégiques et géopolitiques des États-Unis et de leurs alliés les plus proches. L'open source peut aider à atteindre ces objectifs, en accélérant l'innovation, en réduisant les coûts et en améliorant les produits, grâce aux contributions de milliers de développeurs dans le monde entier.

Le secteur public américain - et les gouvernements du monde entier - devraient bénéficier plus largement de l'accès à l'IA open source, qui permet de faire des découvertes et des percées, d'accroître l'efficacité et d'aider les fonctionnaires à améliorer la prestation des services publics. Par exemple, Deloitte apporte des solutions basées sur le Llama aux agences gouvernementales américaines et aux organisations à but non lucratif, ce qui permet à ces organisations de mieux servir leurs communautés dans les domaines de l'éducation, de l'énergie, du développement des petites entreprises, des métiers spécialisés, etc. Les collaborations public-privé de ce type peuvent aider les agences et les organisations à améliorer leurs opérations et à avoir un impact plus important sur les personnes qu'elles servent.

Notre partenariat avec le département d'État américain, qui comprend des représentants de premier plan de l'industrie, vise à promouvoir des systèmes d'IA sûrs, sécurisés et fiables qui permettent de relever des défis sociétaux tels que l'élargissement de l'accès à l'eau potable et à l'électricité fiable, et le soutien aux petites entreprises. Meta a également travaillé avec l'Organisation des Nations unies pour l'éducation, la science et la culture (UNESCO) sur une interface de traduction basée sur le modèle d'IA NLLB (No Language Left Behind) de Meta, afin d'assurer une traduction de haute qualité dans 200 langues, y compris celles qui disposent de peu de ressources et qui sont marginalisées.

C'est une leçon d'humilité que de voir un tel enthousiasme dans le monde entier pour les vastes possibilités offertes par cette technologie disponible gratuitement. En travaillant en étroite collaboration avec nos partenaires, nous espérons jouer un rôle dans le maintien du leadership technologique de l'Amérique et veiller à ce que la prochaine génération d'infrastructures numériques dans le monde soit ancrée dans les valeurs et les garanties démocratiques.

Source : Annonce de Meta

Et vous ?

Pensez-vous que cette décision de Meta est crédible ou pertinente ?
Quel est votre avis sur le sujet ?

Voir aussi :

L'armée US fait le premier achat confirmé d'un produit OpenAI pour les forces de combat pour « l'analyse unifiée du traitement des données ». Un objectif qui montre une ignorance des hallucinations de l'IA

Microsoft interdit aux services de police américains d'utiliser son outil IA pour la reconnaissance faciale. Une semaine après qu'un fabricant de produits technologiques et d'armes a annoncé utiliser GPT-4

La vision de Meta sur les matériels d'IA ouverts : engagement en faveur de l'IA open source avec Llama et introduction de Catalina, une architecture ouverte pour l'infrastructure de l'IA

[Zeeraptor]

Il faut juste s'assurer que l'I.A ne deviennent pas un hacker ennemi de l'humanité

[Invité]

https://www.futura-sciences.com/tech...guerre-117251/
Il n'y a d'ennemi de l'humanité que les humains eux-mêmes.