IdentifiantMot de passe
Loading...
Mot de passe oublié ?Je m'inscris ! (gratuit)
Navigation

Inscrivez-vous gratuitement
pour pouvoir participer, suivre les réponses en temps réel, voter pour les messages, poser vos propres questions et recevoir la newsletter

Intelligence artificielle Discussion :

Stability AI lance StableLM, une alternative open source à ChatGPT qui utilise beaucoup de paramètres


Sujet :

Intelligence artificielle

  1. #1
    Chroniqueur Actualités

    Homme Profil pro
    Dirigeant
    Inscrit en
    Juin 2016
    Messages
    3 160
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : Bénin

    Informations professionnelles :
    Activité : Dirigeant
    Secteur : Aéronautique - Marine - Espace - Armement

    Informations forums :
    Inscription : Juin 2016
    Messages : 3 160
    Points : 66 267
    Points
    66 267
    Par défaut Stability AI lance StableLM, une alternative open source à ChatGPT qui utilise beaucoup de paramètres
    Stability AI, le créateur du modèle d'IA de génération d'images Stable Diffusion, publie en open source un nouveau modèle d'IA appelé StableLM
    il serait aussi performant que ChatGPT

    Stability AI, la société derrière le modèle d'IA de génération d'images Stable Diffusion, a publié mercredi une suite de grands modèles de langage collectivement appelés StableLM. StableLM est conçu pour générer efficacement du texte et du code. Il est entraîné sur une version plus large de l'ensemble de données open source connu sous le nom de The Pile, qui comprend des informations provenant d'un éventail de sources, notamment Wikipédia, Stack Exchange et PubMed. Disponible en open source sur GitHub, StableLM comprend entre 3 et 7 milliards de paramètres. Une version comprenant 15 à 65 milliards de paramètres sera disponible ultérieurement.

    Stability AI est une entreprise britannique qui développe des modèles d'IA appliqués à l'imagerie, au langage, au code, à l'audio, à la vidéo, au contenu 3D, au design, à la biotechnologie et à d'autres recherches scientifiques. Elle publie ses modèles de langage en open source et est notamment à l'origine de Stable Diffusion, un grand modèle de langage permettant de générer des images numériques photoréalistes à partir de descriptions en langage naturel. Stable Diffusion est libre et gratuit et un rival des modèles d'IA de génération d'image Midjourney (développé par la société du même nom) et DALL-E d'OpenAI, le propriétaire d'u chatbot d'IA ChatGPT.

    Mercredi, Stability AI a publié une suite de grands modèles de langage open source. Collectivement appelés "StableLM", ses LLM sont désormais disponibles sur GitHub pour les développeurs, qui peuvent les utiliser et les adapter à des fins commerciales ou de recherche, sous réserve des conditions de la licence CC BY-SA-4.0. StableLM est entraîné sur un nouveau jeu de données expérimental construit sur The Pile, mais trois fois plus grand avec 1 500 milliards de jetons de contenu. La richesse de ce jeu de données confère à StableLM des performances élevées dans les tâches de conversation et de codage, malgré sa petite taille de 3 à 7 milliards de paramètres.

    Nom : example+2.png
Affichages : 2399
Taille : 248,3 Ko
    Un exemple de texte généré par le modèle StableLM de 7 milliards de paramètres

    À titre de comparaison, le modèle de langage GPT-3 d'OpenAI compte 175 milliards de paramètres. La société britannique a annoncé mercredi dans un billet de blogue qu'il publiera plus de détails sur ce jeu de données en temps voulu. Si StableLM s'appuie sur les modèles linguistiques libres sur lesquels Stability AI a déjà travaillé en collaboration avec l'organisation à but non lucratif EleutherAI, il s'inscrit également dans sa mission de rendre les outils d'IA plus accessibles, comme elle l'a fait avec Stable Diffusion. L'entreprise a mis à disposition Stable Diffusion de plusieurs manières, notamment sous la forme d'une démo publique à la fin de l'été dernier.

    Stability AI a également publié une version bêta de Stable Diffusion et permet un téléchargement complet du modèle, ce qui a permis aux développeurs de jouer avec l'outil et de proposer diverses intégrations. « La publication de StableLM s'appuie sur notre expérience en matière d'ouverture de modèles de langage antérieurs avec EleutherAI. Ces modèles de langage incluent GPT-J, GPT-NeoX et la suite Pythia, qui ont été entraînés sur l'ensemble de données open source The Pile. De nombreux modèles de langage open source récents continuent de s'appuyer sur ces efforts, notamment Cerebras-GPT et Dolly-2 », a écrit l'entreprise dans son article.

    Stability AI prévient que si les ensembles de données qu'elle utilise devraient aider à orienter les modèles de langage de base vers des distributions de texte plus sûres, tous les biais et toutes les toxicités ne peuvent pas être atténués par un réglage fin. En outre, l'entreprise a également publié un ensemble de modèles de recherche dont l'instruction a été affinée. Dans un premier temps, ces modèles affinés utiliseront une combinaison de cinq ensembles de données open source récents pour les agents conversationnels : Alpaca, GPT4All, Dolly, ShareGPT et HH. Selon Stability AI, ces modèles affinés sont destinés à un usage de recherche uniquement.

    Ils sont publiés sous une licence non commerciale CC BY-NC-SA 4.0, conformément à la licence Alpaca de Stanford. Avant cela, la société avait annoncé il y a quelques jours la sortie de la version bêta de Stable Diffusion XL (SDXL), son dernier modèle de génération d'images qui, selon un communiqué de presse, a été conçu pour les entreprises et "excelle dans le photoréalisme". « SDXL apporte une richesse à la génération d'images qui transforme plusieurs secteurs, notamment la conception graphique et l'architecture », a déclaré Tom Mason, directeur technique de Stability AI, dans le communiqué de presse la semaine dernière.

    La version bêta de SDXL est disponible dans l'API de Stability AI et dans la suite de programmation DreamStudio, qui s'adressent aux développeurs d'entreprise. Selon la société, SDXL produit une imagerie et une composition plus détaillées que son prédécesseur Stable Diffusion 2.1, y compris un photoréalisme de niveau supérieur, une composition d'image et une génération de visage améliorées, l'utilisation d'invites plus courtes pour créer une imagerie descriptive, et une plus grande capacité à produire un texte lisible. Selon Stability AI, SDXL va également au-delà de la conversion de texte en image pour inclure la création d'images à partir d'une image.

    Nom : example+3.png
Affichages : 1816
Taille : 117,6 Ko

    Cela signifie que l'utilisateur peut fournir une image à SDXL pour obtenir des variations de cette image. En outre, la société a annoncé que SDXL prend également en charge aussi les techniques d'inpainting (reconstruction d'images détériorées ou de remplissage des parties manquantes d'une image) et d'outpainting (construction d'une extension transparente d'une image existante). Stability AI a déclaré que si le modèle SDXL constitue une amélioration par rapport à l'architecture du modèle 2.0, les modèles 3.0 sont encore en cours de développement. Il a ajouté qu'elle apportera des améliorations plus fondamentales lorsqu'elles seront prêtes.

    L'entreprise fondée en 2019 et basée à Londres est en plein essor depuis qu'elle a explosé dans l'air du temps culturel l'été dernier. Stable Diffusion 2.0 a été publié en novembre 2022, trois mois seulement après le modèle initial. Mais l'entreprise a également été occupée à relever divers défis, notamment la concurrence féroce d'autres modèles d'IA de génération d'image comme Midjourney. Des artistes se sont également opposés à l'utilisation de leurs œuvres comme données d'entraînement pour les modèles de Stable Diffusion. De nombreuses plaintes ont été déposées contre l'entreprise dans plusieurs juridictions à travers le monde.

    En décembre dernier, Spawning, une organisation lancée en septembre pour créer des outils permettant aux artistes de s'approprier leurs données d'entraînement, a annoncé que Stability AI honorerait les demandes des artistes de ne pas participer à l'entraînement des modèles de Stable Diffusion 3. Cela n'a pas empêché les procès de commencer : en janvier, trois artistes ont intenté le premier procès collectif pour violation des droits d'auteur concernant l'art de l'IA contre Stability AI et Midjourney, tandis qu'en février, Getty Images a intenté un procès au motif que ses images avaient été utilisées à mauvais escient par Stability AI.

    Et même si, le mois dernier, le PDG de Stability AI, Emad Mostaque, a laissé entendre que l'entreprise envisageait de s'introduire en bourse, Semafor a rapporté que Stability AI "brûlait des liquidités et tardait à générer des revenus, ce qui a conduit à une chasse aux cadres pour aider à accélérer les ventes".

    Source : Stability AI

    Et vous ?

    Quel est votre avis sur le sujet ?
    Que pensez-vous du modèle de langage StableLM de Stability AI ?
    Pensez-vous qu'il est en mesure de faire de l'ombre à ChatGPT ?

    Voir aussi

    Stable Diffusion de Stability AI serait le modèle d'IA le plus important de tous les temps, contrairement à GPT-3 et DALL-E 2, il apporte des applications du monde réel ouvertes pour les utilisateur

    Stability AI annonce la version 2.0 de Stable Diffusion, le modèle d'IA de diffusion d'image, il améliore le modèle texte-image OpenCLIP et apporte le modèle profondeur-image

    Getty Images poursuit le générateur d'art IA Stable Diffusion pour violation du droit d'auteur, l'accusant d'avoir utilisé 12 millions d'images pour former son IA « sans autorisation ni compensation »

    Une plainte en recours collectif est déposée contre Stability AI, Midjourney et DeviantArt pour violations du droit d'auteur, sous le couvert d'une prétendue « intelligence artificielle »
    Contribuez au club : corrections, suggestions, critiques, ... Contactez le service news et Rédigez des actualités

  2. #2
    Chroniqueur Actualités

    Homme Profil pro
    Administrateur de base de données
    Inscrit en
    Mars 2013
    Messages
    8 625
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : Canada

    Informations professionnelles :
    Activité : Administrateur de base de données

    Informations forums :
    Inscription : Mars 2013
    Messages : 8 625
    Points : 201 107
    Points
    201 107
    Par défaut Stability AI lance StableLM, une alternative open source à ChatGPT qui utilise beaucoup de paramètres
    Stability AI lance StableLM, une alternative open source à ChatGPT qui utilise beaucoup de paramètres,
    pour atteindre des performances similaires à celles de GPT-3

    Stability AI, la société derrière le modèle d'IA de génération d'images Stable Diffusion, a annoncé la première de sa suite de modèles de langage StableLM. Stability espère répéter les effets catalyseurs de son modèle de synthèse d'images open source Stable Diffusion, lancé en 2022. Avec raffinement, StableLM pourrait être utilisé pour construire une alternative open source à ChatGPT.

    Comme d'autres « petits » LLM récents à l'instar de LLaMA de Meta, Stanford Alpaca, Cerebras-GPT et Dolly 2.0, StableLM prétend atteindre des performances similaires au modèle de référence GPT-3 d'OpenAI tout en utilisant beaucoup moins de paramètres (7 milliards pour StableLM contre 175 milliards pour GPT-3).


    Stability AI est une entreprise basée à Londres qui se positionne comme un rival open source d’OpenAI, une entreprise qui développe des modèles de langage artificiel puissants mais propriétaires, comme ChatGPT.

    StableLM est le nom de la famille de modèles de langage artificiel créés par Stability AI, qui sont disponibles en open source sur GitHub sous la licence Creative Commons BY-SA-4.012. Cette licence signifie que toute adaptation doit créditer le créateur original et partager la même licence.

    StableLM est un modèle de génération de texte qui peut composer du texte humain et écrire des programmes en prédisant le prochain mot d’une séquence. Il utilise une technique appelée « prédiction par jetons » qui consiste à deviner le prochain fragment de mot à partir du contexte fourni par un humain sous la forme d’un "prompt".

    StableLM prétend avoir des performances similaires à celles de GPT-3, le modèle de langage qui alimente ChatGPT, tout en utilisant beaucoup moins de paramètres (7 milliards contre 175 milliards). Les paramètres sont des variables que le modèle utilise pour apprendre à partir des données d’entraînement. Avoir moins de paramètres rend le modèle plus petit et plus efficace, ce qui peut le rendre plus facile à exécuter sur des appareils locaux comme les smartphones et les ordinateurs portables.

    StableLM a été entraîné sur un nouveau jeu de données basé sur The Pile, qui contient 1 500 milliards de jetons, soit environ 3 fois la taille de The Pile. The Pile est un ensemble de données diversifié et de haute qualité pour l’entraînement des modèles de langage.

    Stability AI a également affiné le modèle avec la procédure d’Alpaca de Stanford en utilisant une combinaison de cinq jeux de données récents pour les agents conversationnels : Alpaca de Stanford, gpt4all de Nomic-AI, ShareGPT52K de RyokoAI, Dolly de Databricks labs et HH d’Anthropic. Ces modèles affinés sont appelés StableLM-Tuned-Alpha et peuvent être utilisés pour créer des chatbots intelligents et cohérents.

    Nom : mail.png
Affichages : 2123
Taille : 128,2 Ko
    Un exemple de texte généré par le modèle StableLM de 7 milliards de paramètres

    Annonce de Stability AI

    Les modèles linguistiques constitueront l'épine dorsale de notre économie numérique, et nous voulons que chacun ait son mot à dire dans leur conception. Des modèles comme StableLM démontrent notre engagement envers une technologie d'IA transparente, accessible et solidaire*:
    • Transparent : nous rendons open-source nos modèles pour promouvoir la transparence et favoriser la confiance. Les chercheurs peuvent «*regarder sous le capot*» pour vérifier les performances, travailler sur les techniques d'interprétabilité, identifier les risques potentiels et aider à développer des protections. Les organisations des secteurs public et privé peuvent adapter (« affiner ») ces modèles open source pour leurs propres applications sans partager leurs données sensibles ni abandonner le contrôle de leurs capacités d'IA.
    • Accessible : nous concevons pour la périphérie afin que les utilisateurs quotidiens puissent exécuter nos modèles sur des appareils locaux. À l'aide de ces modèles, les développeurs peuvent créer des applications indépendantes compatibles avec du matériel largement disponible au lieu de s'appuyer sur les services propriétaires d'une ou deux sociétés. De cette façon, les avantages économiques de l'IA sont partagés par une large communauté d'utilisateurs et de développeurs. Un accès ouvert et précis à nos modèles permet à l'ensemble de la recherche et de la communauté universitaire de développer des techniques d'interprétabilité et de sécurité au-delà de ce qui est possible avec des modèles fermés.
    • Soutien : nous construisons des modèles pour soutenir nos utilisateurs, pas pour les remplacer. Nous nous concentrons sur des performances d'IA efficaces, spécialisées et pratiques, et non sur une quête d'une intelligence divine. Nous développons des outils qui aident les gens ordinaires et les entreprises ordinaires à utiliser l'IA pour libérer leur créativité, augmenter leur productivité et ouvrir de nouvelles opportunités économiques.

    Les modèles sont maintenant disponibles dans notre référentiel GitHub. Nous publierons un rapport technique complet dans un avenir proche et nous attendons avec impatience une collaboration continue avec les développeurs et les chercheurs lors du déploiement de la suite StableLM. De plus, nous lancerons notre programme RLHF participatif et travaillerons avec des efforts communautaires tels que Open Assistant pour créer un ensemble de données open source pour les assistants IA.

    SDXL, le dernier modèle de la suite Stable Diffusion

    Stability AI a également annoncé la sortie en version bêta de SDXL (qui est l’acronyme de Stable Diffusion Extra Large), un nouveau modèle d’intelligence artificielle capable de générer des images à partir de descriptions textuelles. SDXL est le dernier né de la suite Stable Diffusion, qui comprend également les modèles SD, SDT et SDC.

    SDXL se distingue des autres modèles par sa taille et ses capacités. Avec 2,3 milliards de paramètres, SDXL est plus de 2,5 fois plus grand que le modèle SD original, qui n’en comptait que 890 millions. Ces paramètres supplémentaires permettent à SDXL de générer des images qui respectent davantage les consignes complexes. Par exemple, SDXL peut produire du texte lisible dans les images, ou créer des portraits de personnages fictifs avec un réalisme saisissant.

    Nom : diffusion.png
Affichages : 1508
Taille : 479,2 Ko

    SDXL est actuellement en version bêta sur DreamStudio et d’autres applications d’imagerie populaires, comme NightCafe Creator. Comme tous les modèles de Stability AI, SDXL sera bientôt publié en open source pour une accessibilité optimale. Stability AI annonce que SDXL offre une licence permissive pour un usage commercial et non commercial, à condition de respecter les règles éthiques et légales.

    SDXL est un modèle prometteur pour les créateurs d’images, qu’ils soient artistes, designers, éducateurs ou simples amateurs. Il suffit de quelques secondes pour obtenir des résultats impressionnants et originaux. SDXL offre également plusieurs façons de modifier les images générées, comme l’inpainting (éditer à l’intérieur de l’image), l’outpainting (étendre l’image à l’extérieur du cadre original) ou l’image-to-image (créer une nouvelle image à partir d’une image source)

    Nom : texte.png
Affichages : 1480
Taille : 208,2 Ko

    Pour essayer SDXL en ligne gratuitement, vous pouvez vous rendre sur le site de NightCafe Creator ou de DreamStudio, qui proposent des crédits quotidiens pour utiliser les paramètres les plus puissants du générateur. Vous pouvez également partager vos créations avec la communauté et découvrir celles des autres utilisateurs.

    SDXL est le modèle le plus avancé de la suite Stable Diffusion, qui vise à démocratiser la génération d’images par intelligence artificielle.

    Conclusion

    L'entreprise fondée en 2019 et basée à Londres est en plein essor depuis qu'elle a explosé dans l'air du temps culturel l'été dernier. Stable Diffusion 2.0 a été publié en novembre 2022, trois mois seulement après le modèle initial. Mais l'entreprise a également été occupée à relever divers défis, notamment la concurrence féroce d'autres modèles d'IA de génération d'image comme Midjourney. Des artistes se sont également opposés à l'utilisation de leurs œuvres comme données d'entraînement pour les modèles de Stable Diffusion. De nombreuses plaintes ont été déposées contre l'entreprise dans plusieurs juridictions à travers le monde.

    En décembre dernier, Spawning, une organisation lancée en septembre pour créer des outils permettant aux artistes de s'approprier leurs données d'entraînement, a annoncé que Stability AI honorerait les demandes des artistes de ne pas participer à l'entraînement des modèles de Stable Diffusion 3. Cela n'a pas empêché les procès de commencer : en janvier, trois artistes ont intenté le premier procès collectif pour violation des droits d'auteur concernant l'art de l'IA contre Stability AI et Midjourney, tandis qu'en février, Getty Images a intenté un procès au motif que ses images avaient été utilisées à mauvais escient par Stability AI.

    Et même si, le mois dernier, le PDG de Stability AI, Emad Mostaque, a laissé entendre que l'entreprise envisageait de s'introduire en bourse, Semafor a rapporté que Stability AI « brûlait des liquidités et tardait à générer des revenus, ce qui a conduit à une chasse aux cadres pour aider à accélérer les ventes ».

    Source: annonce Stability AI

    Et vous ?

    Quelle lecture en faites-vous ?

    Voir aussi

    Stable Diffusion de Stability AI serait le modèle d'IA le plus important de tous les temps, contrairement à GPT-3 et DALL-E 2, il apporte des applications du monde réel ouvertes pour les utilisateur

    Stability AI annonce la version 2.0 de Stable Diffusion, le modèle d'IA de diffusion d'image, il améliore le modèle texte-image OpenCLIP et apporte le modèle profondeur-image

    Getty Images poursuit le générateur d'art IA Stable Diffusion pour violation du droit d'auteur, l'accusant d'avoir utilisé 12 millions d'images pour former son IA « sans autorisation ni compensation »

    Une plainte en recours collectif est déposée contre Stability AI, Midjourney et DeviantArt pour violations du droit d'auteur, sous le couvert d'une prétendue « intelligence artificielle »
    Contribuez au club : Corrections, suggestions, critiques, ... : Contactez le service news et Rédigez des actualités

Discussions similaires

  1. Oodrive dévoile Eguan, un nouveau système open source de stockage dédié au Cloud
    Par Malick dans le forum Logiciels Libres & Open Source
    Réponses: 0
    Dernier message: 27/09/2015, 23h32
  2. Bit Blueprint publie une vidéo « L'Open Source expliqué pour tous »
    Par Malick dans le forum Logiciels Libres & Open Source
    Réponses: 0
    Dernier message: 03/04/2014, 00h29
  3. M# : Microsoft dévoile son nouveau langage open source dérivé de C#
    Par Hinault Romaric dans le forum Actualités
    Réponses: 35
    Dernier message: 17/01/2014, 23h25
  4. Nouveau compilateur open source PHP -> .NET
    Par Yogui dans le forum EDI, CMS, Outils, Scripts et API
    Réponses: 5
    Dernier message: 23/12/2008, 15h21
  5. Sites de modèles open source
    Par julian_ross dans le forum DirectX
    Réponses: 1
    Dernier message: 28/02/2006, 23h24

Partager

Partager
  • Envoyer la discussion sur Viadeo
  • Envoyer la discussion sur Twitter
  • Envoyer la discussion sur Google
  • Envoyer la discussion sur Facebook
  • Envoyer la discussion sur Digg
  • Envoyer la discussion sur Delicious
  • Envoyer la discussion sur MySpace
  • Envoyer la discussion sur Yahoo