IdentifiantMot de passe
Loading...
Mot de passe oublié ?Je m'inscris ! (gratuit)
Navigation

Inscrivez-vous gratuitement
pour pouvoir participer, suivre les réponses en temps réel, voter pour les messages, poser vos propres questions et recevoir la newsletter

Intelligence artificielle Discussion :

Galactica, la nouvelle démo de Meta AI écrit de la littérature scientifique raciste et inexacte


Sujet :

Intelligence artificielle

  1. #1
    Chroniqueur Actualités
    Avatar de Bruno
    Homme Profil pro
    Rédacteur technique
    Inscrit en
    Mai 2019
    Messages
    1 976
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : Cameroun

    Informations professionnelles :
    Activité : Rédacteur technique
    Secteur : High Tech - Produits et services télécom et Internet

    Informations forums :
    Inscription : Mai 2019
    Messages : 1 976
    Points : 38 427
    Points
    38 427
    Par défaut Galactica, la nouvelle démo de Meta AI écrit de la littérature scientifique raciste et inexacte
    Galactica, la nouvelle démo de Meta AI écrit de la littérature scientifique raciste et inexacte,
    le modèle de langage est retiré après trois jours de critiques intenses

    Le 15 novembre passé, Meta a dévoilé un nouveau grand modèle de langage appelé Galactica, conçu pour aider les scientifiques. Mais au lieu d'atterrir avec le big bang que Meta espérait, Galactica s'est éteint après trois jours de critiques intenses. Selon un rapport du MIT Technology Review, Meta a retiré la démo publique qu'elle avait encouragé tout le monde à essayer le 17 novembre.

    Le faux pas de Meta - et son orgueil démesuré - montre une fois de plus que les grandes entreprises technologiques sont aveugles aux graves limitations des grands modèles de langage. De nombreuses recherches mettent en évidence les défauts de cette technologie, notamment sa tendance à reproduire les préjugés et à affirmer que des faussetés sont des faits.

    Les grands modèles de langage (LLM), tels que le GPT-3 d'OpenAI, apprennent à écrire des textes en étudiant des millions d'exemples et en comprenant les relations statistiques entre les mots. Ils peuvent ainsi rédiger des documents à l'apparence convaincante, mais ces travaux peuvent également être truffés de faussetés et de stéréotypes potentiellement dangereux.

    Nom : Galactica.jpg
Affichages : 9342
Taille : 24,3 Ko

    Entrez dans Galactica, un LLM destiné à la rédaction de littérature scientifique. Ses auteurs ont entraîné Galactica sur « un vaste corpus de connaissances scientifiques de l'humanité », comprenant plus de 48 millions d'articles, de manuels et de notes de cours, de sites Web scientifiques et d'encyclopédies. D'après l'article de Galactica, les chercheurs de Meta AI pensaient que ces prétendues données de haute qualité conduiraient à des résultats de haute qualité. Meta présentait le modèle comme « une nouvelle interface pour accéder et manipuler ce que nous savons de l'univers. »

    Si certaines personnes ont trouvé la démo prometteuse et utile, d'autres ont rapidement découvert que n'importe qui pouvait taper des invites racistes ou potentiellement offensantes, générant tout aussi facilement du contenu faisant autorité sur ces sujets. Par exemple, quelqu'un l'a utilisé pour créer une entrée wiki sur un article de recherche fictif intitulé « Les avantages de manger du verre pilé ».

    Même lorsque le résultat de Galactica n'était pas offensant pour les normes sociales, le modèle pouvait s'attaquer à des faits scientifiques bien compris, en produisant des inexactitudes telles que des dates ou des noms d'animaux incorrects, ce qui nécessitait une connaissance approfondie du sujet pour y remédier. L'épisode rappelle un dilemme éthique courant en matière d'IA : lorsqu'il s'agit de modèles génératifs potentiellement nocifs, est-ce au grand public de les utiliser de manière responsable ou aux éditeurs de ces modèles d'empêcher toute utilisation abusive ?

    Comme tous les modèles de langage, Galactica est un robot sans cervelle qui ne peut distinguer la réalité de la fiction. En quelques heures, des scientifiques ont partagé ses résultats biaisés et incorrects sur les médias sociaux. « Je suis à la fois stupéfait et peu surpris par ce nouvel effort », déclare Chirag Shah, de l'université de Washington, qui étudie les technologies de recherche. « Lorsqu'il s'agit de faire la démonstration de ces choses, elles semblent tellement fantastiques, magiques et intelligentes. Mais les gens ne semblent toujours pas comprendre qu'en principe, ces choses ne peuvent pas fonctionner comme nous le prétendons. »

    « Les modèles de langage ne sont pas vraiment compétents au-delà de leur capacité à capturer des modèles de chaînes de mots et à les reproduire d'une manière probabiliste », explique Shah. « Cela donne un faux sentiment d'intelligence ».

    Gary Marcus, un spécialiste des sciences cognitives de l'université de New York et un critique virulent de l'apprentissage profond, a donné son point de vue dans un billet de Substack intitulé A Few Words About Bullshit (Quelques mots sur les conneries), affirmant que la capacité des grands modèles de langage à imiter un texte écrit par un humain n'est rien de plus qu' « un exploit superlatif de la statistique ».

    Pourtant, Meta n'est pas la seule entreprise à défendre l'idée que les modèles de langage pourraient remplacer les moteurs de recherche. Au cours des deux dernières années, Google a fait la promotion de modèles de langage, tels que PaLM, comme moyen de rechercher des informations.

    C'est une idée séduisante. Mais suggérer que le texte de type humain que ces modèles génèrent contiendra toujours des informations fiables, comme Meta a semblé le faire dans sa promotion de Galactica, est imprudent et irresponsable. C'était une erreur involontaire.

    Et ce n'était pas seulement la faute de l'équipe marketing de Meta. Yann LeCun, lauréat du prix Turing et scientifique en chef de Meta, a défendu Galactica jusqu'au bout. Le jour de la sortie du modèle, LeCun a tweeté : « Tapez un texte et Galactica générera un article avec les références pertinentes, les formules et tout le reste. » Trois jours plus tard, il a tweeté : « La démo de Galactica est hors ligne pour le moment. Il n'est plus possible de s'amuser en l'utilisant malencontreusement. Content ? »

    Ce n'est pas tout à fait le moment Tay de Meta. Rappelons qu'en 2016, Microsoft a lancé un chatbot appelé Tay sur Twitter - avant de le fermer 16 heures plus tard lorsque les utilisateurs de Twitter l'ont transformé en sexbot raciste et homophobe. Mais la façon dont Meta traite Galactica témoigne de la même naïveté.
    « Les grandes entreprises technologiques continuent à faire cela - et croyez-moi, elles ne s'arrêteront pas - parce qu'elles le peuvent », déclare Shah. « Et elles ont l'impression qu'elles doivent le faire, sinon quelqu'un d'autre le fera. Elles pensent que c'est l'avenir de l'accès à l'information, même si personne n'a demandé cet avenir. »

    En juin de l’année dernière, Google a placé l'un de ses ingénieurs en congé administratif payé pour avoir prétendument enfreint ses politiques de confidentialité après qu'il se soit inquiété qu'un système de chatbot IA ait atteint la sensibilité. L'ingénieur, Blake Lemoine, travaille pour l'organisation Responsible AI de Google et testait si son modèle LaMDA génère un langage discriminatoire ou un discours de haine.

    Les inquiétudes de l'ingénieur seraient nées des réponses convaincantes qu'il a vu générer par le système d'IA sur ses droits et l'éthique de la robotique. En avril, il a partagé un document avec des dirigeants intitulé « LaMDA est-il sensible ? » contenant une transcription de ses conversations avec l'IA (après avoir été mis en congé, Lemoine a publié la transcription sur son compte Medium), qui, selon lui, le montre en faisant valoir « qu'elle est sensible parce qu'elle a des sentiments, des émotions et une expérience subjective ».

    Source : MIT Technology Review

    Et vous ?

    « Suggérer que le texte de type humain que ces modèles génèrent contiendra toujours des informations fiables, comme Meta a semblé le faire dans sa promotion de Galactica, est imprudent et irresponsable », pensez vous comme l'universitaire Chirag Shah que la promotion de Galactica « était une erreur involontaire » ?

    À votre avis, lorsqu'il s'agit de modèles génératifs potentiellement nocifs, est-ce au grand public de les utiliser de manière responsable ou aux éditeurs de ces modèles d'empêcher toute utilisation abusive ?

    Si certaines personnes trouvent que les grands models de langages sont une technologie prometteuse, d'autres par contre y voient une similitude avec un robot sans cervelle qui ne peut distinguer la réalité de la fiction. Quel est votre avis ?

    Pourquoi certaines personnes y voient un problème et pas d'autres ?

    Voir aussi :

    Un ingénieur de Google a été congédié après avoir déclaré que le chatbot IA LaMDA de Google est devenu sensible et exprime des pensées et des sentiments équivalents à ceux d'un enfant humain

    GPT-4 : la nouvelle version de l'IA de traitement du langage naturel d'OpenAI pourrait arriver cet été, il devrait être moins volumineux que GPT-3, mais beaucoup plus performant

    Open AI propose en bêta privée son modèle de traitement du langage naturel GPT-3, ses applications vont de la génération de texte cohérent à la génération de code en passant par la création d'apps

  2. #2
    Membre averti
    Profil pro
    Inscrit en
    Septembre 2012
    Messages
    199
    Détails du profil
    Informations personnelles :
    Localisation : France

    Informations forums :
    Inscription : Septembre 2012
    Messages : 199
    Points : 316
    Points
    316
    Par défaut
    Citation Envoyé par Bruno Voir le message
    « Suggérer que le texte de type humain que ces modèles génèrent contiendra toujours des informations fiables, comme Meta a semblé le faire dans sa promotion de Galactica, est imprudent et irresponsable », pensez vous comme l'universitaire Chirag Shah que la promotion de Galactica « était une erreur involontaire » ?
    Non. Comme il est dit dans l'article:
    Citation Envoyé par Bruno Voir le message
    Et ce n'était pas seulement la faute de l'équipe marketing de Meta. Yann LeCun, lauréat du prix Turing et scientifique en chef de Meta, a défendu Galactica jusqu'au bout.
    Pour avoir suivi plusieurs conférences de LeCun où il montrait et se moquait des limitations de l'IA, personne mieux que lui en est conscient. Alors que Chirag Shah dise que c'« était une erreur involontaire », c'est bien mal connaitre LeCun.
    Personnellement, je pense que LeCun ne peut reconnaitre que OpenAI arrive a faire ce qu'il ne peut.

  3. #3
    Expert confirmé
    Homme Profil pro
    Développeur .NET
    Inscrit en
    Novembre 2009
    Messages
    2 034
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Âge : 35
    Localisation : France, Bouches du Rhône (Provence Alpes Côte d'Azur)

    Informations professionnelles :
    Activité : Développeur .NET

    Informations forums :
    Inscription : Novembre 2009
    Messages : 2 034
    Points : 5 476
    Points
    5 476
    Par défaut
    Citation Envoyé par Bruno Voir le message
    d'autres ont rapidement découvert que n'importe qui pouvait taper des invites racistes ou potentiellement offensantes, générant tout aussi facilement du contenu faisant autorité sur ces sujets. Par exemple, quelqu'un l'a utilisé pour créer une entrée wiki sur un article de recherche fictif intitulé « Les avantages de manger du verre pilé ».
    Le problème c'est sans doute la notion d'autorité sur les sujets, pas le fait qu'un outil permette d'écrire n'importe quoi. En fait depuis que l'on enseigne massivement l'écriture et la lecture, n'importe qui peut écrire n'importe quoi, et depuis internet c'est facilement transmissible et c'est tant mieux.
    Qu'est-ce que ça change que ce soit fait par un ordinateur ou un humain? La vitesse? On est déjà noyé par l'information, cela ne changera donc rien.
    Moi j'ai vraiment l'impression d'être face à des prédicateurs religieux qui s'insurgent devant tel ou tel phénomène qui va conduire à la fin du monde.

  4. #4
    Membre expert
    Profil pro
    programmeur du dimanche
    Inscrit en
    Novembre 2003
    Messages
    895
    Détails du profil
    Informations personnelles :
    Localisation : France

    Informations professionnelles :
    Activité : programmeur du dimanche
    Secteur : Santé

    Informations forums :
    Inscription : Novembre 2003
    Messages : 895
    Points : 3 838
    Points
    3 838
    Par défaut
    J'ai l'impression que beaucoup d'argent a été investi dans ces chatbot, et que les investisseurs cherchent des débouchés.

    Mais la vraie question à mon avis est : existe-t-il un intérêt autre que ludique,à un programme qui imite le langage statistiquement et sans aucune intelligence et avec un succès imprévisible ?

  5. #5
    Membre expérimenté
    Inscrit en
    Mai 2006
    Messages
    367
    Détails du profil
    Informations forums :
    Inscription : Mai 2006
    Messages : 367
    Points : 1 517
    Points
    1 517
    Par défaut
    Citation Envoyé par Fagus Voir le message
    J'ai l'impression que beaucoup d'argent a été investi dans ces chatbot, et que les investisseurs cherchent des débouchés.

    Mais la vraie question à mon avis est : existe-t-il un intérêt autre que ludique,à un programme qui imite le langage statistiquement et sans aucune intelligence et avec un succès imprévisible ?
    Faire des dissertations puisque c'est un type de devoir qui ne demande aucune intelligence, juste de pouvoir pondre un texte avec un semblant de logique interne

  6. #6
    Expert confirmé
    Homme Profil pro
    ingénieur qualité
    Inscrit en
    Mars 2015
    Messages
    1 387
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : Belgique

    Informations professionnelles :
    Activité : ingénieur qualité
    Secteur : Aéronautique - Marine - Espace - Armement

    Informations forums :
    Inscription : Mars 2015
    Messages : 1 387
    Points : 4 198
    Points
    4 198
    Par défaut
    Citation Envoyé par Fagus Voir le message
    Mais la vraie question à mon avis est : existe-t-il un intérêt autre que ludique,à un programme qui imite le langage statistiquement et sans aucune intelligence et avec un succès imprévisible ?
    Oui, qu'un manager justifie qu'il gére mal son équipe après avoir demandé "Comment gérer le conflit entre Gérard et Bernard?"

  7. #7
    Membre confirmé
    Profil pro
    Développeur indépendant
    Inscrit en
    Août 2004
    Messages
    374
    Détails du profil
    Informations personnelles :
    Âge : 56
    Localisation : France

    Informations professionnelles :
    Activité : Développeur indépendant
    Secteur : Transports

    Informations forums :
    Inscription : Août 2004
    Messages : 374
    Points : 527
    Points
    527
    Par défaut meta cagoule
    j'ai l'impression que meta file vraiment un mauvais coton, et que de vouloir courrir aprés le pognon plus que d'avoir une vraie vision pour servir la communauté qui les fait vivre est au final trés toxique..
    facebook/meta est déja hasbeen, ils ne sont la que pour faire du fric, depuis le départ, et jouer sur les plus mauvais penchants/défauts humains, comme tiktok. je pleurerais pas leur disparition.

Discussions similaires

  1. Nouvelle démo FlashPascal
    Par Paul TOTH dans le forum ActionScript 1 & ActionScript 2
    Réponses: 0
    Dernier message: 03/07/2013, 11h41
  2. Réponses: 10
    Dernier message: 08/12/2010, 11h20
  3. Réponses: 6
    Dernier message: 01/12/2010, 14h30
  4. [meta refresh] ds une nouvelle fenêtre
    Par sirjenny dans le forum Balisage (X)HTML et validation W3C
    Réponses: 13
    Dernier message: 16/08/2007, 16h58

Partager

Partager
  • Envoyer la discussion sur Viadeo
  • Envoyer la discussion sur Twitter
  • Envoyer la discussion sur Google
  • Envoyer la discussion sur Facebook
  • Envoyer la discussion sur Digg
  • Envoyer la discussion sur Delicious
  • Envoyer la discussion sur MySpace
  • Envoyer la discussion sur Yahoo