Les experts techniques commencent à douter que les « hallucinations » de ChatGPT disparaîtront un jour
Les experts techniques commencent à douter que les « hallucinations » de ChatGPT disparaîtront un jour : « Ce n'est pas réparable ».
Pour eux, les LLM vont continuer d'inventer des faits
ChatGPT est un modèle de langage artificiel qui peut générer des réponses fluides et pertinentes à partir de n’importe quelle entrée textuelle. Il a impressionné le monde par la profondeur de ses connaissances et la qualité de ses dialogues, mais un problème a entravé son utilité: il a tendance à inventer des choses qui ne sont pas vraies. On appelle cela des «hallucinations». Selon certains chercheurs, cette situation n'est pas près d'être corrigée.
Anthropic, OpenAI, fabricant de ChatGPT, et d'autres développeurs majeurs de systèmes d'IA connus sous le nom de grands modèles de langage disent qu'ils travaillent pour les rendre plus véridiques. Combien de temps cela prendra - et s'ils seront jamais assez bons pour, par exemple, donner des conseils médicaux en toute sécurité - reste à voir.
Passez suffisamment de temps avec ChatGPT et d'autres chatbots d'intelligence artificielle et il ne leur faudra pas longtemps pour débiter des mensonges.
Décrit comme une hallucination, une confabulation ou simplement une invention, c'est maintenant un problème pour chaque entreprise, organisation et lycéen essayant d'obtenir d'un système d'IA générative de la documentation pour un travail donné. Certains l'utilisent pour des tâches pouvant avoir des conséquences importantes, de la psychothérapie à la recherche et à la rédaction de mémoires juridiques.
Les hallucinations sont le résultat du fonctionnement de ChatGPT, qui consiste à prédire des chaînes de mots qui correspondent le mieux à la requête de l’utilisateur, sans tenir compte de la logique ou des incohérences factuelles. En d’autres termes, l’IA peut parfois dérailler en essayant de satisfaire l’utilisateur. Par exemple, ChatGPT peut affirmer que la capitale de la France est Berlin, ou que le président des États-Unis est Donald Trump, sans vérifier la véracité de ces informations.
Ce problème n’est pas propre à ChatGPT, mais affecte tous les modèles de langage de grande taille (LLM), qui sont entraînés sur d’énormes quantités de données textuelles provenant du web. Ces données peuvent être incomplètes, biaisées, obsolètes ou erronées, ce qui limite la fiabilité des LLM. De plus, les LLM ne comprennent pas vraiment le sens des mots qu’ils produisent, mais se basent sur des statistiques et des probabilités pour générer du texte.
« Je ne pense pas qu'il existe aujourd'hui un modèle qui ne souffre pas d'hallucinations », a déclaré Daniela Amodei, co-fondatrice et présidente d'Anthropic, fabricant du chatbot Claude 2. « Ils sont vraiment conçus en quelque sorte pour prédire le mot suivant », a continué Amodei. « Et donc il y aura un certain rythme auquel le modèle le fera de manière inexacte ».
Les entreprises tentent d'endiguer le problème
Les développeurs de ChatGPT et d’autres LLM affirment qu’ils travaillent à rendre leurs systèmes plus véridiques. Ils utilisent différentes techniques pour détecter et corriger les hallucinations, comme l’introduction de sources externes de connaissances, la vérification croisée des faits ou l’utilisation de signaux de rétroaction des utilisateurs. Cependant, ces solutions ne sont pas parfaites et peuvent introduire d’autres problèmes, comme la complexité, le coût ou la manipulation.
Certains experts en technologie sont sceptiques quant à la possibilité d’éliminer complètement les hallucinations des LLM. Ils soutiennent que c’est une conséquence inévitable du décalage entre la technologie et les cas d’utilisation proposés. « Ce n'est pas réparable », a déclaré Emily Bender, professeur de linguistique et directrice du laboratoire de linguistique informatique de l'Université de Washington. « C'est inhérent à l'inadéquation entre la technologie et les cas d'utilisation proposés ».
Ces experts mettent en garde contre les risques potentiels des hallucinations pour la sécurité, l’éthique ou la crédibilité des applications basées sur les LLM, comme les chatbots, la rédaction d’articles, la génération de code ou le conseil médical.
D’autres experts sont plus optimistes et considèrent les hallucinations comme une opportunité d’innovation et de créativité. Ils affirment que les LLM peuvent produire des idées nouvelles et originales qui peuvent inspirer ou divertir les utilisateurs.
Cependant, beaucoup dépend de la fiabilité de la technologie d'IA générative. Le McKinsey Global Institute prévoit qu'il ajoutera l'équivalent de 2,6 billions (1 billion étant 1 000 milliards) de dollars à 4,4 billions de dollars à l'économie mondiale. Les chatbots ne sont qu'une partie de cette frénésie, qui comprend également une technologie capable de générer de nouvelles images, vidéos, musiques et codes informatiques. Presque tous les outils incluent une composante linguistique.
Google propose déjà un produit d'IA pour la rédaction d'actualités aux agences de presse, pour lesquelles la précision est primordiale. L'Associated Press explore également l'utilisation de la technologie dans le cadre d'un partenariat avec OpenAI, qui paie pour utiliser une partie des archives de texte d'AP pour améliorer ses systèmes d'IA.
Le PDG d'OpenAI fait partie des optimistes
En partenariat avec les instituts de gestion hôtelière indiens, l'informaticien Ganesh Bagler travaille depuis des années pour obtenir des systèmes d'IA, y compris un précurseur ChatGPT, pour inventer des recettes pour les cuisines sud-asiatiques, telles que de nouvelles versions de biryani à base de riz. Un seul ingrédient « halluciné » pourrait faire la différence entre un repas savoureux et immangeable.
Lorsque Sam Altman, PDG d'OpenAI, s'est rendu en Inde en juin, le professeur de l'Indraprastha Institute of Information Technology Delhi avait des questions pointues. « Je suppose que les hallucinations dans ChatGPT sont toujours acceptables, mais lorsque pour une recette il y a des hallucinations, cela devient un problème sérieux », a déclaré Bagler, se levant dans un auditorium bondé du campus pour s'adresser à Altman lors de l'étape de New Delhi de la tournée mondiale de l'exécutif technologique américain.
« Quel est votre point de vue ? » a finalement demandé Bagler.
Altman a exprimé son optimisme, sinon un engagement pur et simple : « Je pense que nous allons amener le problème des hallucinations à un bien meilleur endroit », a déclaré Altman. « Je pense que cela va nous prendre un an et demi, deux ans. Quelque chose comme ça. Mais à ce stade, nous n'en parlerons plus. Il y a un équilibre entre créativité et précision parfaite, et le modèle devra apprendre quand vous voulez l'un ou l'autre ».
Mais pour certains experts qui ont étudié la technologie, comme le linguiste Bender de l'Université de Washington, ces améliorations ne suffiront pas. Bender décrit un modèle de langage comme un système permettant de « modéliser la probabilité de différentes chaînes de formes de mots », compte tenu de certaines données écrites sur lesquelles il a été entraîné. C'est ainsi que les correcteurs orthographiques sont capables de détecter quand vous avez tapé le mauvais mot. Cela aide également à alimenter les services de traduction et de transcription automatiques, « en lissant la sortie pour qu'elle ressemble davantage à du texte typique dans la langue cible », a déclaré Bender. De nombreuses personnes s'appuient sur une version de cette technologie chaque fois qu'elles utilisent la fonction « autocomplétion » lors de la rédaction de messages texte ou d'e-mails.
La dernière génération de chatbots tels que ChatGPT, Claude 2 ou Bard de Google essaie de faire passer cela au niveau supérieur, en générant de nouveaux passages de texte entiers, mais Bender a déclaré qu'ils sélectionnaient toujours à plusieurs reprises le mot suivant le plus plausible dans une chaîne. Lorsqu'ils sont utilisés pour générer du texte, les modèles de langage « sont conçus pour inventer des choses. C'est tout ce qu'ils font », a déclaré Bender. Ils sont bons pour imiter les formes d'écriture, telles que les contrats légaux, les scripts télévisés ou les sonnets. Mais comme ils ne font qu'inventer des choses, lorsque le texte qu'ils ont extrudé se trouve être interprétable comme quelque chose que nous jugeons correct, c'est par hasard », a déclaré Bender. « Même s'ils peuvent être réglés pour avoir raison la plupart du temps, ils auront toujours des modes d'échec - et les échecs se produiront probablement dans les cas où il est plus difficile pour une personne lisant le texte de s'en apercevoir, car ils sont plus obscurs ».
Ces erreurs ne sont pas un énorme problème pour les sociétés de marketing qui se sont tournées vers Jasper AI pour obtenir de l'aide pour rédiger des argumentaires, a déclaré le président de la société, Shane Orlick.
« Les hallucinations sont en fait un bonus supplémentaire », a déclaré Orlick. « Nous avons tout le temps des clients qui nous disent comment il [Jasper] a trouvé des idées - comment Jasper a créé des histoires ou des angles auxquels ils n'auraient jamais pensé eux-mêmes ».
Orlick a déclaré qu'il savait que les hallucinations ne seraient pas faciles à réparer. Il compte sur des entreprises comme Google, qui, selon lui, doivent avoir un « très haut niveau de contenu factuel » pour son moteur de recherche, pour mettre beaucoup d'énergie et de ressources dans les solutions. « Je pense qu'ils doivent résoudre ce problème », a déclaré Orlick. « Ils doivent résoudre ce problème. Donc je ne sais pas si ça va être parfait, mais ça va probablement continuer à s'améliorer avec le temps ».
Source : McKinsey Global Institute
Et vous ?
Quelle est votre opinion sur les hallucinations des LLM? Les trouvez-vous utiles ou nuisibles?
Répondre avec citation
Partager