IdentifiantMot de passe
Loading...
Mot de passe oublié ?Je m'inscris ! (gratuit)
Navigation

Inscrivez-vous gratuitement
pour pouvoir participer, suivre les réponses en temps réel, voter pour les messages, poser vos propres questions et recevoir la newsletter

Intelligence artificielle Discussion :

Le modèle d'IA Smaug-72B se hisse à la tête des modèles open source les plus performants sur Hugging Face


Sujet :

Intelligence artificielle

  1. #1
    Chroniqueur Actualités

    Homme Profil pro
    Rédacteur technique
    Inscrit en
    June 2023
    Messages
    429
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : Bénin

    Informations professionnelles :
    Activité : Rédacteur technique
    Secteur : High Tech - Éditeur de logiciels

    Informations forums :
    Inscription : June 2023
    Messages : 429
    Points : 7 977
    Points
    7 977
    Par défaut Le modèle d'IA Smaug-72B se hisse à la tête des modèles open source les plus performants sur Hugging Face
    Smaug-72B : un nouveau modèle d'IA qui se hisse à la tête des modèles open source les plus performants sur Hugging Face
    il surpasserait les performances des modèles établis comme GPT-3.5

    La startup d'IA Abacus a publié un nouveau modèle de langage open source appelé "Smaug-72B" qui afficherait des performances remarquables. Il surpasserait les performances des modèles GPT-3.5 d'OpenAI et Mistral-Medium dans plusieurs des points de référence les plus populaires. Smaug-72B surpasserait aussi Qwen-72B, le modèle dont il est dérivé, par une marge significative dans beaucoup de ces évaluations. Ce qui permet à Smaug-72B de se hisser à la tête du classement des modèles d'IA open source les plus performants de Hugging Face. Le classement est toutefois controversé et le statut open source de Smaug-72B est remis en cause.

    Smaug-72B est techniquement une version affinée de "Qwen-72B", un autre modèle linguistique puissant publié il y a quelques mois par "Qwen, une équipe de scientifiques du géant chinois du commerce électronique Alibaba. Il a été développé par la startup d'IA Abacus, basée à San Francisco, en Californie, qui aide les entreprises à résoudre des problèmes dans le domaine de l'IA et de l'apprentissage automatique. Smaug-72B se distingue par sa maîtrise du raisonnement et des tâches mathématiques, résultat de techniques de réglage spécifiques que la startup prévoit de détailler dans un prochain article de recherche.

    « Notre prochain objectif sera de publier ces techniques dans un article de recherche et de les appliquer à certains des meilleurs modèles Mistral, y compris "miqu" (une fine dent 70B de LLama-2). Les techniques que nous avons utilisées ciblent spécifiquement les compétences en raisonnement et en mathématiques, ce qui explique les scores élevés du GSM8K ! Notre prochain article en dira plus », a déclaré Bindu Reddy, PDG d'Abacus, dans un article publié sur X. Selon la startup d'IA américaine, ces techniques ciblent en effet les faiblesses des grands modèles de langage et améliorent leurs capacités.

    Nom : Capture d'écran 2024-02-08 102915.png
Affichages : 7078
Taille : 133,2 Ko

    Les données d'évaluation indiquent que Smaug-72B est le tout premier modèle open source à atteindre un score moyen de 80 sur le classement Hugging Face Open LLM. Cet accomplissement marque une étape cruciale dans le domaine du traitement du langage naturel (natural language processing - NLP) et de l'IA open source, démontrant le potentiel des modèles open source dans la compétition avec les technologies propriétaires. (L'index Hugging Face Open LLM mesure les performances des modèles de langage open source sur une variété de tâches de compréhension et de génération de langage naturel.)

    Selon les analystes, même si Smaug-72B n'atteint pas encore la moyenne de 90 à 100 points correspondant à des performances humaines, cette prouesse indique que l'IA open source pourrait bientôt rivaliser avec les capacités des grandes entreprises technologiques, qui ont longtemps été entourées de secret. En bref, la publication de Smaug-72B pourrait modifier fondamentalement la façon dont les progrès de l'IA se déroulent, en exploitant l'ingéniosité de ceux qui ne se limitent pas à une poignée d'entreprises riches. Smaug-72B a suscité beaucoup d'enthousiasmes et de débats dans la communauté de l'IA.

    Toutefois, le classement Hugging Face Open LLM fait l'objet de controverses, les critiques affirmant qu'il est biaisé et ne permet pas de connaître les performances réelles des modèles d'IA. « Un mot d'avertissement à propos de ces classements. Ils sont biaisés. Vous pouvez vous entraîner au test. En fait, vous pouvez littéralement télécharger les ensembles de données, les reformater et les utiliser comme jeux de données lors la formation de votre modèle. Je ne fais pas du tout confiance à ces classements », peut-on lire dans les commentaires. D'autres remettent en cause le statut open source de Smaug-72B.

    « Le terme open source est un peu exagéré dans ce cas. Smaug-72B est basé sur Qwen, dont la licence est similaire à la licence du modèle de langage LLama 2 de Meta. La licence indique que les générations ne peuvent être utilisées que pour former des dérivés d'elles-mêmes. Et si un projet devient suffisamment important, vous devez négocier l'avenir de votre modèle dérivé avec le propriétaire du modèle d'origine (dans ce cas, Alibaba) qui a toutes les cartes en main sur les conditions de licence », affirme un critique. La licence de LLama 2 avait fait l'objet d'un grand débat lorsque le modèle a été publié.

    Dans un billet de blogue publié en juillet dernier, Alessio Fanelli, associé chez Decibel, un fonds d’investissement de la Silicon Valley a exprimé son désaccord avec la qualification de LLaMA2 comme "open Source". Fanelli a déclaré que le modèle comporte des limitations qui empêchent de le considérer comme tel. Par exemple, il interdit l’utilisation commerciale du modèle aux entités ayant plus de 700 millions d’utilisateurs actifs par mois à la date de sortie, et il interdit d’utiliser les sorties du modèle pour entraîner un autre grand modèle de langage. Selon lui, un tel modèle d'IA n'est pas totalement open source.

    « Beaucoup de gens dans la communauté ont été déçus par l’emploi abusif du terme "open source" pour désigner le modèle. Il est certes en grande partie ouvert, mais il n’est pas totalement libre », dit-il. Fanelli considère que ces restrictions sont contraires à la philosophie de l’open source. « Je sais que LLaMA2 ne correspond pas à la notion traditionnelle de l’open source, mais je pense aussi que cela n’a pas d’importance. Le sens de l’open source doit s’adapter (une fois de plus) au contexte des modèles d’IA », note-t-il. Les modèles d'IA bouleversent beaucoup de choses, y compris le monde open source.

    Smaug-72B n'est pas le seul modèle de langage libre à avoir fait parler de lui récemment. Qwen, le groupe d'Alibaba à l'origine de Qwen-72B, a également publié Qwen 1.5, une suite de petits modèles de langage puissants allant de 500 millions à 72 milliards de paramètres. Qwen 1.5 surpasse les modèles populaires tels que Mistral-Medium et GPT-3.5 et fonctionne avec divers outils et plateformes pour une inférence rapide et locale. Qwen a également ouvert Qwen-VL-Max, un nouveau modèle de langage de vision de grande taille qui, selon l'équipe, rivalise avec Gemini Ultra de Google et GPT-4V d'OpenAI.

    Par ailleurs, un récent modèle open source de Mistral, baptisé "miqu-1-70b", qui a récemment fait l'objet de fuite a affiché des performances proches de celles de GPT-4 sur le benchmark EQ-Bench. En outre, des chercheurs en apprentissage automatique ont suggéré que le terme "miqu" pourrait être une abréviation de "Mistral Quantized" (version quantifiée de Mistral). Arthur Mensch, PDG de Mistral, a confirmé la fuite. Les fichiers sources du nouveau modèle de Mistral ont été divulgués le 28 janvier sur la plateforme d'IA open source Hugging Face par un utilisateur portant le pseudonyme "Miqu Dev".

    « Un employé trop enthousiaste de l'un de nos clients en accès anticipé a divulgué une version quantifiée (et en filigrane) d'un ancien modèle que nous avons formé et distribué très ouvertement. Pour commencer à travailler rapidement avec quelques clients sélectionnés, nous avons réentraîné ce modèle à partir de Llama 2 dès que nous avons eu accès à l'ensemble de notre cluster ; le préentraînement s'est terminé le jour de la sortie de Mistral 7B », a déclaré Mensch. Les résultats du modèle miqu-1-70b accentuent la pression sur OpenAI, qui se prépare à lancer son prochain puissant modèle d'IA GPT-5.

    Les performances du prochain modèle de Mistral pourraient surpasser celles de GPT-4, ce qui représenterait un moment décisif non seulement pour l'IA générative open source, mais également pour l'ensemble du domaine de l'IA et de l'informatique : depuis sa sortie en mars 2023, GPT-4 est resté le modèle le plus puissant et le plus performant au monde d'après la plupart des critères d'évaluation sur les différents benchmarks. La sortie d'un modèle open source surpassant les performances de GPT-4 exercerait une pression considérable sur OpenAI et ses rivaux qui développent des modèles à source fermée.

    Sources : le classement Hugging Face Open LLM, Smaug-72B

    Et vous ?

    Quel est votre avis sur le sujet ?
    Que pensez-vous du modèle Smaug-72B et de ses performances ?
    Peut-on faire confiance aux classements comme Hugging Face Open LLM ?
    Que pensez-vous de la polémique autour de son statut open source ?

    Voir aussi

    Le PDG de Mistral confirme qu'un modèle d'IA open source de l'entreprise avec des performances proches de celles de GPT-4 a fait l'objet de fuite, ces résultats accentuent la pression sur OpenAI

    Le modèle LLamA-2 de Meta, qui vient d'être publié, ne serait pas open source, de l'avis de Alessio Fanelli, Ingénieur logiciel associé chez Decibel

    Le modèle de langage open source Mixtral 8x7B de la startup française Mistral AI écrase la concurrence, d'après un sujet de recherche

  2. #2
    Membre régulier
    Profil pro
    Inscrit en
    August 2010
    Messages
    27
    Détails du profil
    Informations personnelles :
    Localisation : France

    Informations forums :
    Inscription : August 2010
    Messages : 27
    Points : 77
    Points
    77
    Par défaut
    Les performances du prochain modèle de Mistral pourraient surpasser celles de GPT-4, ce qui représenterait un moment décisif non seulement pour l'IA générative open source, mais également pour l'ensemble du domaine de l'IA et de l'informatique : depuis sa sortie en mars 2023, GPT-4 est resté le modèle le plus puissant et le plus performant au monde d'après la plupart des critères d'évaluation sur les différents benchmarks. La sortie d'un modèle open source surpassant les performances de GPT-4 exercerait une pression considérable sur OpenAI et ses rivaux qui développent des modèles à source fermée.

    Il n'est clairement pas garanti que les prochains modèles de MistralAI restent libres (en particulier sous licence Apache-2).
    Et l'ouverture de "La plateforme" par MistralAI avec un premier modèle non libre et plus performant donne une idée de l'orientation à venir.

    Et c'est normal, à un moment donné il faut bien avoir un retour sur investissement.

    Il s'est passé la même chose avec les premières versions de GPT qui étaient libres (en tout cas le code des modèles, même si on avait pas les poids).

Discussions similaires

  1. Réponses: 32
    Dernier message: 13/09/2023, 04h28
  2. Réponses: 0
    Dernier message: 24/10/2016, 14h18
  3. Obligatoire : lisez les règles du forum : MAJ 06/08/2010
    Par Anomaly dans le forum Mode d'emploi & aide aux nouveaux
    Réponses: 0
    Dernier message: 03/07/2008, 14h46
  4. [Kylix] Kylix embarqué sur PDA ?
    Par Anonymous dans le forum NoSQL
    Réponses: 10
    Dernier message: 29/11/2002, 14h59
  5. F.A.Q, Doc, cours, tutoriels sur JBuilder
    Par Ricky81 dans le forum JBuilder
    Réponses: 0
    Dernier message: 14/03/2002, 16h28

Partager

Partager
  • Envoyer la discussion sur Viadeo
  • Envoyer la discussion sur Twitter
  • Envoyer la discussion sur Google
  • Envoyer la discussion sur Facebook
  • Envoyer la discussion sur Digg
  • Envoyer la discussion sur Delicious
  • Envoyer la discussion sur MySpace
  • Envoyer la discussion sur Yahoo