Discussion :

[Anthony]

Détecter les hallucinations dans les grands modèles de langage à l'aide de l'entropie sémantique, car les LLM tels que ChatGPT sont capables de raisonner et de répondre aux questions, mais "hallucinent" souvent

Des chercheurs de l'Université d'Oxford ont mis au point une nouvelle méthode pour détecter les hallucinations dans les grands modèles de langage (LLM) tels que ChatGPT et Gemini. En utilisant des estimateurs d'incertitude basés sur l'entropie, leur approche identifie les résultats arbitraires et incorrects, ou "confabulations", sans nécessiter de données préalables spécifiques à la tâche. Cette méthode améliore la fiabilité des LLM dans diverses applications, garantissant ainsi des interactions plus sûres et plus précises basées sur l'IA.

Les grands systèmes de modèles de langage (LLM), tels que ChatGPT ou Gemini, peuvent présenter des capacités impressionnantes de raisonnement et de réponse aux questions, mais ils "hallucinent" souvent des résultats erronés et des réponses non fondées. Le fait de répondre de manière non fiable ou sans les informations nécessaires empêche l'adoption dans divers domaines, avec des problèmes tels que la fabrication de précédents juridiques ou de faits erronés dans des articles de presse, voire un risque pour la vie humaine dans des domaines médicaux tels que la radiologie.

L'encouragement à la véracité par la supervision ou le renforcement n'a connu qu'un succès partiel. Les chercheurs ont besoin d'une méthode générale pour détecter les hallucinations dans les LLM qui fonctionne même avec des questions nouvelles et inédites auxquelles les humains peuvent ne pas connaître la réponse.

Dans leur étude, les chercheurs du département d'Informatique de l'Université d'Oxford ont développé de nouvelles méthodes fondées sur les statistiques, proposant des estimateurs d'incertitude basés sur l'entropie pour les LLM afin de détecter un sous-ensemble d'hallucinations - les confabulations - qui sont des générations arbitraires et incorrectes. Leur méthode tient compte du fait qu'une idée peut être exprimée de plusieurs façons en calculant l'incertitude au niveau du sens plutôt qu'au niveau de séquences spécifiques de mots. Selon les auteurs, cette méthode fonctionne pour tous les ensembles de données et toutes les tâches sans connaissance a priori de la tâche, ne nécessite pas de données spécifiques à la tâche et se généralise de manière robuste à de nouvelles tâches qui n'ont pas été vues auparavant. En détectant quand une invite est susceptible de produire une confabulation, cette méthode aiderait les utilisateurs à comprendre quand ils doivent être plus prudents avec les LLM et ouvre de nouvelles possibilités d'utilisation des LLM qui sont autrement empêchées par leur manque de fiabilité.

Les auteurs expliquent :

Notre approche probabiliste, qui tient compte de l'équivalence sémantique, détecte une catégorie importante d'hallucinations : celles qui sont causées par un manque de connaissance du LLM. Ces hallucinations représentent une part importante des échecs actuels et continueront à se produire même si les capacités des modèles augmentent, car les situations et les cas que les humains ne peuvent pas superviser de manière fiable persisteront. Les confabulations sont un mode d'échec particulièrement remarquable pour la réponse aux questions, mais elles apparaissent également dans d'autres domaines. L'entropie sémantique ne nécessite aucune connaissance préalable du domaine et nous nous attendons à ce que les adaptations algorithmiques à d'autres problèmes permettent des avancées similaires, par exemple dans le domaine du résumé abstractif. En outre, des extensions à d'autres variantes d'entrée telles que la reformulation ou les scénarios contrefactuels permettraient à une méthode similaire d'agir comme une forme de contre-interrogatoire pour un contrôle évolutif par le biais d'un débat.

D'après les scientifiques de l'Université d'Oxford, le succès de l'entropie sémantique dans la détection des erreurs suggère que les LLM sont encore meilleurs pour "savoir ce qu'ils ne savent pas" - ils ne savent tout simplement pas qu'ils savent ce qu'ils ne savent pas. Leur méthode n'aborde pas directement les situations dans lesquelles les LLM se trompent en toute confiance parce qu'ils ont été formés avec des objectifs qui produisent systématiquement un comportement dangereux, provoquent des erreurs de raisonnement systématiques ou induisent systématiquement l'utilisateur en erreur. « Ces situations représentent des mécanismes sous-jacents différents - malgré des "symptômes" similaires - et elles doivent être traitées séparément », précisent les chercheurs.

Un aspect passionnant de leur approche est la façon dont elle utilise les méthodes classiques d'apprentissage automatique probabiliste et les adapte aux propriétés uniques des LLM modernes et de la génération de langage de forme libre. « Nous espérons inspirer un échange fructueux de méthodes bien étudiées et de nouveaux problèmes émergents en soulignant l'importance de la signification lors de l'examen des problèmes d'apprentissage automatique basés sur le langage. », soulignent les auteurs.

Source : "Detecting hallucinations in large language models using semantic entropy" (étude de l'Université d'Oxford)

Et vous ?

Quel est votre avis sur le sujet ?
Trouvez-vous les résultats de cette étude menée par l'université d'Oxford crédibles ou pertinents ?

Voir aussi :

Les experts techniques commencent à douter que les « hallucinations » de ChatGPT disparaîtront un jour : « Ce n'est pas réparable ». Pour eux, les LLM vont continuer d'inventer des faits

LLM par taux d'hallucinations : GPT-4 est le modèle de langage IA qui hallucine le moins, d'après une évaluation de Vectara qui suggère que les LLM de Google sont les moins fiables

L'hallucination est inévitable et serait une limitation innée des grands modèles de langage en intelligence artificielle, selon une étude sur la possibilité d'éliminer les hallucinations des LLM

[Invité]

Hmm, aujourd'hui j'ai rencontré des manques de fiabilité chez des techniciens humains : électriciens (lecture de plan), gendarmes (lacunes de connaissance du code de la route, défaut de mise à jour) parce que nous ne pouvons pas tout connaître (mémoire) et ils ne disposent pas d’IA ! Peut-être commencer par là serait bien ?

"Confabulation" est un mot intéressant : cela est décrit ici comme "un mode d'échec particulièrement remarquable".
Et s'il s'agissait plutôt d'un mode sans échec hérité d'une tendance humaine à défendre prioritairement un sentiment d'infaillibilité ?
Sans se regarder soi-même, à quoi sert un miroir conçu uniquement pour pérenniser la croyance en notre "supériorité" ? Quel est le sens d'une recherche conçue pour aboutir à un résultat connu d'avance ?

Au fait : « Miroir, gentil miroir, dis-moi, dans le royaume quelle est de toutes la plus belle ? »

[Jade Emy]

Les LLM de l'IA auront toujours des hallucinations, et nous devons nous en accommoder, car les hallucinations découlent de la structure mathématique et logique fondamentale des LLM, selon une étude.

Une nouvelle étude révèle que les hallucinations de grands modèles de langage (LLM) découlent de leurs structures mathématiques et logiques fondamentales. En augmentant la complexité et la capacité des modèles, il est possible de réduire la fréquence de ces hallucinations, mais il serait impossible de les éliminer complètement.

Alors que les grands modèles de langage (LLM) deviennent de plus en plus omniprésents dans plusieurs domaines, il devient important d'examiner leurs limites inhérentes de manière critique. Des LLM, tels que ChatGPT ou Gemini, peuvent présenter des capacités impressionnantes de raisonnement et de réponse aux questions, mais ils "hallucinent" souvent des résultats erronés et des réponses non fondées.

Pour détecter les hallucinations dans les LLM, des chercheurs de l'Université d'Oxford avaient mis au point une nouvelle méthode. En utilisant des estimateurs d'incertitude basés sur l'entropie, leur approche identifie les résultats arbitraires et incorrects, ou "confabulations", sans nécessiter de données préalables spécifiques à la tâche. Cette méthode améliorerait la fiabilité des LLM dans diverses applications, garantissant ainsi des interactions plus sûres et plus précises basées sur l'IA.

Mais une nouvelle étude soutient que les hallucinations dans les modèles de langage ne sont pas seulement des erreurs occasionnelles mais une caractéristique inévitable de ces systèmes. Les chercheurs démontrent dans l'étude que les hallucinations découlent de la structure mathématique et logique fondamentale des LLM. Il est donc impossible de les éliminer par des améliorations architecturales, des améliorations des ensembles de données ou des mécanismes de vérification des faits.

Étapes de la génération de LLM et stratégies pour atténuer l'hallucination dans chacune d'entre elles

Leurs analyses s'appuient sur la théorie informatique et le premier théorème d'incomplétude de Gödel, qui fait référence à l'indécidabilité de problèmes tels que les problèmes de halte, de vide et d'acceptation. Les chercheurs affirment que chaque étape du processus LLM (de la compilation des données d'entraînement à la récupération des faits, à la classification des intentions et à la génération de textes) aura une probabilité non nulle de produire des hallucinations.

Dans l'étude, ils introduisent le concept d'"hallucinations structurelles" en tant que nature intrinsèque de ces systèmes. En d'autre terme, elles font partie intégrante de la structure mathématique et logique de tout modèle de langage à long terme. Toutes les hallucinations sont des hallucinations structurelles et ne peuvent jamais être éliminées des grands modèles de langage (LLM).

En examinant le processus de génération de sortie des LLM, quelle que soit la sophistication des modèles ou l'étendue des données d'apprentissage, chaque étape comporte une probabilité non nulle d'hallucination structurelle. Voici les causes de l'hallucination à chaque étape critique :

• Les données d'entraînement ne peuvent jamais être complètes. Il est impossible de fournir une connaissance a priori à 100 %. L'immensité et la nature changeante des connaissances humaines font que les données d'entraînement seront toujours, dans une certaine mesure, incomplètes ou dépassées.
  
  
• Même si les données étaient complètes, les LLM sont incapables de retrouver de manière déterministe les informations correctes avec une précision de 100 %. La nature même de ces modèles garantit qu'il y aura toujours une certaine chance, aussi faible soit-elle, de retrouver des informations incorrectes ou non pertinentes.
  
  
• Un LLM sera incapable de classifier avec précision avec une probabilité de 1. Il y aura toujours une certaine ambiguïté, un certain potentiel d'interprétation erronée.
  
  
• Aucune formation a priori ne peut empêcher de manière déterministe et décisive un modèle de langage de produire des déclarations hallucinantes qui sont factuellement incorrectes.
  
  
• On pourrait essayer de vérifier les faits, étant donné une base de données complète. Cependant, même si on essaye de le faire, aucune vérification des faits ne peut supprimer l'hallucination avec une précision de 100 %.

Pourquoi la formation ne peut-elle pas effacer les hallucinations des LLM ? Selon les chercheurs, la raison est que les LLM ne peuvent pas savoir exactement où ils arrêteront de générer, c'est-à-dire que le LLM ne connaît pas la durée de sa génération. Par conséquent, ils ont la possibilité de générer n'importe quelle séquence de jetons. Cette imprévisibilité signifie qu'ils ne peuvent pas savoir a priori ce qu'ils vont générer. En conséquence, les LLM peuvent produire des énoncés incohérents ou contradictoires, ainsi que des énoncés autoréférentiels.

Chaque étape du processus de génération de LLM comporte des limites

Les modèles de langage ont le potentiel de générer non seulement des informations incorrectes, mais aussi des déclarations auto-contradictoires ou paradoxales. Ils peuvent, en effet, halluciner des structures logiques qui n'ont aucun fondement dans la réalité ou même dans leurs propres données d'entraînement. En augmentant la complexité et la capacité des modèles, il est possible de réduire la fréquence de ces hallucinations, mais les chercheurs sont convaincus qu'on ne pourra jamais les éliminer complètement.

En établissant la certitude mathématique des hallucinations, cette étude remet en question l'idée dominante selon laquelle elles peuvent être totalement atténuées. Toutefois, si les utilisateurs restent conscients des risques et font appel à leur bon sens et à leur connaissance du domaine pour éviter de croire à des contenus hallucinants, les LLM peuvent apporter d'excellentes applications dans différents domaines.

Les chercheurs concluent l'étude en déclarant :

Comme les technologies révolutionnaires avant elles, et inévitablement après elles, les modèles d'IA ont le potentiel de contribuer grandement au progrès et au développement de l'humanité, à condition qu'ils soient utilisés de manière responsable. Tout ce que nous avons à faire, c'est de les reconnaître comme des extensions, et non des remplacements, de la pensée et de la cognition humaines.

Source : "LLMs Will Always Hallucinate, and We Need to Live With This"

Et vous ?

Pensez-vous que cette étude est crédible ou pertinente ?
Quel est votre avis sur le sujet ?

Voir aussi :

L'hallucination est inévitable et serait une limitation innée des grands modèles de langage en intelligence artificielle, selon une étude sur la possibilité d'éliminer les hallucinations des LLM

Les grands modèles de langage confabulent, ils n'hallucinent pas, d'après Beren Millidge, responsable de la recherche IA chez Conjecture

Comment la créativité a quitté les chats IA : le prix de la réduction des biais dans les LLM. Si la censure est efficace pour réduire les biais et la toxicité, elle conduit à une réduction du potentiel créatif

[Eye_Py_Ros]

Comment dit-on déjà ?

Après tout, l'erreur est humaine...






Intrinsèquement les humains sont sujets à la même chose.
Prenons le sujet du "témoin visuel" ou tout autre biais physiologique.

les llm sont une imitation à pas chère de la structure biologique neuronale, On pourrait plus avancer dans la psychologie humaine que dans la quête de l'iag avec ce genre de sujet.

[OuftiBoy]

Les LLM de l'IA auront toujours des hallucinations, et nous devons nous en accommoder, car les hallucinations découlent de la structure mathématique et logique fondamentale des LLM, selon une étude.

Une nouvelle étude révèle que les hallucinations de grands modèles de langage (LLM) découlent de leurs structures mathématiques et logiques fondamentales. En augmentant la complexité et la capacité des modèles, il est possible de réduire la fréquence de ces hallucinations, mais il serait impossible de les éliminer complètement.

Mais une nouvelle étude soutient que les hallucinations dans les modèles de langage ne sont pas seulement des erreurs occasionnelles mais une caractéristique inévitable de ces systèmes. Les chercheurs démontrent dans l'étude que les hallucinations découlent de la structure mathématique et logique fondamentale des LLM. Il est donc impossible de les éliminer par des améliorations architecturales, des améliorations des ensembles de données ou des mécanismes de vérification des faits.

Leurs analyses s'appuient sur la théorie informatique et le premier théorème d'incomplétude de Gödel, qui fait référence à l'indécidabilité de problèmes tels que les problèmes de halte, de vide et d'acceptation. Les chercheurs affirment que chaque étape du processus LLM (de la compilation des données d'entraînement à la récupération des faits, à la classification des intentions et à la génération de textes) aura une probabilité non nulle de produire des hallucinations.

Dans l'étude, ils introduisent le concept d'"hallucinations structurelles" en tant que nature intrinsèque de ces systèmes. En d'autre terme, elles font partie intégrante de la structure mathématique et logique de tout modèle de langage à long terme. Toutes les hallucinations sont des hallucinations structurelles et ne peuvent jamais être éliminées des grands modèles de langage (LLM).

C'est quand même incroyable. On nous présente un outils, tout en nous disant qu'il "Hallucine" (un mot doux pour ne pas dire qu'il se plante. On appel cela un Bug quand c'est un humain qui fait une erreur de ce type), mais qu'il faut faire avec ?

Remplaçons "IA" par voiture, "Hallucination" par ne freine pas bien assez souvent, "mais qu'il faut continuer à utiliser cette voiture". On aurait quelque chose comme ceci:

Notre nouvelle voiture, nettement meilleur que la précédente, mais présentant le même défaut de ne pas bien freiner à certains moment sans savoir pourquoi, reste la meilleur voiture jamais mise sur le marché, et vous pouvez l'utiliser en toute confiance.


Je pense que les réactions seraient très différentes, et qu'on ne certifierait pas cette voiture, et serait interdite d'être mise sur le marché.

L'IA a sa place dans certains secteurs, mais n'est certainement pas prête a être utulisée dans tous les secteurs. Il faut donc bien identifier ces secteurs, et éviter de jouer à l'apprenti sorcier dans d'autres secteurs.

[PomFritz]

Bref, les mecs ont juste démontré la loi du "Shit in, shit out", pas sûr qu'on ait eu besoin d'attendre les LLM pour ça

[TotoParis]

Comment dit-on déjà ?
Après tout, l'erreur est humaine...
Intrinsèquement les humains sont sujets à la même chose.
Prenons le sujet du "témoin visuel" ou tout autre biais physiologique.
les llm sont une imitation à pas chère de la structure biologique neuronale, On pourrait plus avancer dans la psychologie humaine que dans la quête de l'iag avec ce genre de sujet.

Non, là on parle de logiciels, ils ne sont pas censés se tromper. Sinon le logiciel de calcul de ta paie ne doit pas être corrigé quand il commet une erreur VOUS concernant. Logique ?

Quant à Dreamforce : la nouvelle stratégie de Salesforce en matière d'IA reconnaît que l'IA va supprimer des emplois, l'entreprise propose des « agents » IA capables de gérer des tâches sans supervision humaine
Là franchement, on va aboutir à quel chaos avec ces conneries d'IA ?

[Mathis Lucas]

L'industrie de l'IA a un énorme problème : plus l'IA devient « intelligente », plus elle hallucine
ce phénomène réduit considérablement la valeur de la technologie de l'IA générative

Les modèles d'IA hallucinent de plus en plus malgré l'amélioration de la technologie sous-jacente. Il s'agit là d'une vérité gênante, alors que les utilisateurs continuent d'affluer vers les chatbots d'IA comme ChatGPT, qu'ils utilisent pour un éventail croissant de tâches. En laissant les chatbots débiter des affirmations erronées, toutes ces personnes risquent d'être induites en erreur, ce qui les expose à des dangers. De plus, les fabricants de modèles d'IA ne comprennent pas pleinement les raisons pour lesquelles le taux d'hallucination augmente. Selon une étude publiée l'année dernière, les modèles d'IA vont toujours halluciner et il va falloir s'en accommoder.

L'hallucination est un terme élégant et pratique que l'industrie utilise pour désigner les « informations » que les grands modèles de langage (LLM) inventent de toute pièce et présentent souvent comme des faits. À en juger par la trajectoire des tout derniers modèles axés sur le raisonnement, conçus pour « réfléchir » à un problème avant d'y répondre, le problème s'aggrave, au lieu de s'améliorer. Les modèles de dernière génération hallucinent beaucoup plus.

Cette tendance inquiétante remet en cause l'hypothèse générale du secteur selon laquelle « les modèles d'IA deviendront plus puissants et plus fiables au fur et à mesure de leur puissance augmente ». Ce phénomène pourrait avoir des conséquences dangereuses pour les utilisateurs individuels et les entreprises.

Le mois dernier, un robot d'IA qui assure l'assistance technique pour Cursor, un outil en plein essor destiné aux programmeurs informatiques, a alerté plusieurs clients d'un changement dans la politique de l'entreprise. Il leur a indiqué qu'ils n'étaient plus autorisés à utiliser Cursor sur plus d'un ordinateur. Les clients se sont plaints en envoyant des messages de colère sur des forums de discussion sur Internet. Certains ont annulé leur abonnement à Cursor.

Ils sont devenus encore plus furieux lorsqu'ils ont compris ce qui s'était passé : le robot d'IA avait annoncé un changement de politique qui n'existait pas. « Nous n'avons pas de politique en la matière. Vous êtes bien sûr libre d'utiliser Cursor sur plusieurs machines. Malheureusement, il s'agit d'une réponse erronée de la part d'un bot d'assistance en IA de première ligne », a expliqué Michael Truell, PDG et cofondateur de l'entreprise, dans un billet sur Reddit.

Le taux d'hallucination des nouveaux systèmes en forte augmentation

Les modèles d'IA récents sont basés sur des systèmes mathématiques complexes qui acquièrent leurs compétences en analysant d'énormes quantités de données numériques. Ils ne décident pas (et ne peuvent pas décider) de ce qui est vrai et de ce qui est faux. Parfois, les modèles inventent tout simplement des choses. Lors d'un test, le taux d'hallucination des nouveaux systèmes d'IA a atteint 79 %. OpenAI est notamment profondément perplexe à ce sujet.

Un document technique publié par OpenAI révèle que ses modèles o3 et o4-mini hallucinent plus souvent que les précédents modèles axés sur le raisonnement (o1, o1-mini et o3-mini) et plus que ses modèles traditionnels qui ne sont pas dotés de la capacité de raisonnement, tels que GPT-4 et GPT-4o.

Plus inquiétant encore, OpenAI ne sait pas pourquoi cela se produit. Ce phénomène est inhabituel, car, jusqu'à présent, les nouveaux modèles ont tendance à moins halluciner à mesure que la technologie d'IA sous-jacente s'améliore. OpenAI indique que « des recherches supplémentaires sont nécessaires » pour comprendre pourquoi les hallucinations s'aggravent au fur et à mesure que les modèles de raisonnement évoluent. Voici les résultats des tests :

• o3 hallucine dans 33 % des cas sur le benchmark interne d'OpenAI appelé PersonQA ;
• o4-mini atteint un taux de 48 %, soit près d'une réponse sur deux incorrecte ;
• en comparaison, les modèles précédents comme o1 et o3-mini affichaient des taux respectifs de 16 % et 14,8 %.

L'enjeu est d'autant plus important que les entreprises continuent de consacrer des dizaines de milliards de dollars à la mise en place d'infrastructures sophistiquées pour des modèles d'IA axés sur le raisonnement de plus en plus puissants. Le problème est si répandu qu'il existe des entreprises qui se consacrent à aider les entreprises à surmonter les hallucinations. Les hallucinations réduisent considérablement la valeur de la technologie de l'IA générative.

« Ne pas traiter ces erreurs correctement élimine fondamentalement la valeur des systèmes d'IA », a déclaré Pratik Verma, cofondateur d'Okahu, une société de conseil qui aide les entreprises à mieux utiliser l'IA. Il est également important de souligner que les derniers modèles d'IA de Google et ceux de la startup chinois DeepSeek subissent le même sort que les derniers systèmes d'OpenAI, ce qui indique qu'il s'agit d'un problème à l'échelle de l'industrie.

Impacts potentiels de ce problème sur les utilisateurs et les entreprises

Depuis l'avènement de l'IA générative, avec la publication du chatbot d'IA ChatGPT d'OpenAI en novembre 2022, le problème de l'hallucination suscite des inquiétudes quant à la fiabilité de ces systèmes. Bien qu'ils soient utiles dans certaines situations (comme la rédaction de travaux de fin d'études, la synthèse de documents bureautiques et la génération de code informatique), leurs erreurs peuvent causer des problèmes graves aux différents utilisateurs.

Les robots d'IA liés à des moteurs de recherche tels que Google et Bing génèrent parfois des résultats de recherche qui sont risiblement erronés. Si vous leur demandez un bon marathon sur la côte ouest, ils vous suggéreront peut-être une course à Philadelphie. S'ils vous indiquent le nombre de ménages dans l'Illinois, ils peuvent citer une source qui ne contient pas cette information. Bing a déjà réussi à estimer le nombre d'habitants sur la planète Mars.

Ces hallucinations ne sont peut-être pas un gros problème pour beaucoup de gens, mais c'est un problème sérieux pour tous ceux qui utilisent la technologie avec des documents judiciaires, des informations médicales ou des données commerciales sensibles. Des avocats ont déjà été induits en erreur par ChatGPT.

Par ailleurs, les développeurs qui s'appuient sur l'IA générer du code s'exposent à un nouveau type d'attaque de la chaîne d'approvisionnement. Un acteur de la menace demande à une IA de générer du code, le code généré par le modèle peut contenir des logiciels open source qui n'existent pas. Puis, l'acteur de la menace crée et publie des paquets malveillants sur des index tels que PyPI et npm en les nommant d'après les noms inventés par l'IA.

Il espère ensuite que quelqu'un, guidé par un modèle d'IA de codage, va copier-coller ce nom de paquet et tentera de l'installer sans se rendre compte qu'il s'agit d'un faux paquet. Seth Larson, développeur en résidence à la Python Software Foundation, a baptisé cette attaque « slopsquatting ».

Il s'agit d'une variante du typosquatting (typosquattage). La différence est que le typosquattage s'appuie sur les fautes d'orthographe des utilisateurs, tandis que le slopsquatting s'appuie sur les erreurs de l'IA. « Slop » est un terme péjoratif courant utilisé pour désigner les résultats d'un modèle d'IA. Les chercheurs alertent sur ce phénomène et affirment qu'il s'agit d'une nouvelle menace sérieuse pour les chaînes d'approvisionnement en logiciels.

Les grands modèles de langage seront toujours sujets à l'hallucination

Depuis fin 2023, Vectara suit la fréquence à laquelle les chatbots s'écartent de la vérité. L'entreprise demande à ces systèmes d'effectuer une tâche simple et facilement vérifiable : résumer des articles de presse spécifiques. Même dans ce cas, les chatbots inventent constamment des informations. En se basant sur ses observations, Vectara a estimé que dans cette situation, les chatbots inventent des informations au moins 3 % du temps et parfois jusqu'à 27 %.

Vectara est une startup qui crée des outils d'IA pour les entreprises. La startup a été fondée par Amr Awadallah, ancien cadre de Google. Au cours de l'année et demie qui s'est écoulée depuis, des entreprises telles qu'OpenAI et Google ont ramené ces chiffres à 1 ou 2 %. D'autres, comme la startup Anthropic de San Francisco, tournent autour de 4 %. Mais les taux d'hallucination sur ce test ont augmenté avec les systèmes axés sur le raisonnement.

Le modèle axé sur le raisonnement de DeepSeek, R1, a halluciné 14,3 % du temps. Le modèle o3 d'OpenAI a grimpé à 6,8 %. Un autre problème réside dans le fait que les modèles d'IA axés sur le raisonnement sont conçus pour passer du temps à « réfléchir » à des problèmes complexes avant de trouver une réponse. Selon les chercheurs, en essayant d'aborder un problème étape par étape, ces modèles courent le risque d'halluciner à chaque étape.

Par conséquent, les erreurs peuvent s'accumuler au fur et à mesure que les modèles d'IA axés sur le raisonnement passent plus de temps à réfléchir. Les robots les plus récents révèlent chaque étape aux utilisateurs, ce qui signifie que ces derniers peuvent également voir chaque erreur. Les chercheurs ont également constaté que, dans de nombreux cas, les étapes affichées par un modèle d'IA n'ont aucun rapport avec la réponse qu'il finit par donner.

« Ce que le système dit penser n'est pas nécessairement ce qu'il pense », a déclaré Aryo Pradipta Gema, d'Anthropic. Une étude (intitulée "LLMs Will Always Hallucinate, and We Need to Live With This") publiée l'année dernière affirme que les modèles vont toujours halluciner et qu'il faudra s'en accommoder.

Conclusion

Les observations d'OpenAI avec ses modèles o3 et o4-mini mettent une fois de plus en lumière un problème technique persistant qui affecte la fiabilité des programmes et outils d'IA générative. « La prise en compte des hallucinations dans tous nos modèles est un domaine de recherche en cours, et nous travaillons continuellement à l'amélioration de leur précision et de leur fiabilité », a déclaré Niko Felix, porte-parole d'OpenAI, dans un courriel à Techcrunch.

Toutefois, bien que des efforts soient en cours pour atténuer ce phénomène, certains chercheurs pensent que les hallucinations demeurent une limitation inhérente aux modèles de langage. En d'autres termes, le problème de l'hallucination des grands modèles de langage pourrait se révéler insoluble.

Selon ces chercheurs, « les hallucinations sont inévitables en raison de la structure mathématique fondamentale de ces systèmes, rendant leur élimination complète impossible, même avec des améliorations architecturales ou des mécanismes de vérification des faits ». À ce jour, aucune solution n'a encore été trouvée pour éliminer entièrement les hallucinations et le problème semble s'aggraver avec l'essor des modèles d'IA axés sur le raisonnement.

Et vous ?

Quel est votre avis sur le sujet ?
Que pensez-vous du problème de l'hallucination des modèles ?
Que pensez-vous de l'augmentation du taux d'hallucination des modèles o3 et o4-mini d'OpenAI ?
Le taux d'hallucination grimpe à mesure que les modèles axés sur le raisonnement évoluent. Qu'en pensez-vous ?
Certains chercheurs en IA affirment que les hallucinations ne pourront pas être éliminées entièrement. Qu'en pensez-vous ?
Les hallucinations remettent en cause la précision et la fiabilité des outils d'IA générative. Que pensez-vous de l'utilité de ces outils d'IA ?

Voir aussi

OpenAI est perplexe parce que ses nouveaux modèles o3 et o4-mini affichent des taux d'hallucination nettement plus élevés que les modèles précédents, ce qui réduit la précision et la fiabilité de ces modèles

Les outils d'IA de codage inventent des noms de paquets inexistants qui menacent la chaîne d'approvisionnement en logiciels : les attaquants publient des paquets malveillants avec ces noms sur npm ou PyPI

Les LLM IA auront toujours des hallucinations, et nous devons nous en accommoder, car les hallucinations découlent de la structure mathématique et logique fondamentale des LLM, selon une étude

[RenarddeFeu]

L'IA, c'est le cancre qui copie sur ses petits camarades. On aura beau l'améliorer autant qu'on voudra, il ne faut pas espérer plus qu'un cancre qui copie sur ses petits camarades.

[JackIsJack]

Je serais curieux de connaitre le taux d'hallucination moyen d'un humain sur des sujets publics, sur un sujet où il possède une expertise ou un sujet qu'il vient d'apprendre...

[d_d_v]

Le problème à la base, c'est d'avoir appelé cette technologie "intelligence", alors que c'est du traitement de l'information.
Mais, ce qui est réellement hallucinant, c'est qu'il y a des personnes qui utilisent les réponses de l'"IA" sans les vérifier

[RenarddeFeu]

Je serais curieux de connaitre le taux d'hallucination moyen d'un humain sur des sujets publics, sur un sujet où il possède une expertise ou un sujet qu'il vient d'apprendre...

Le truc, c'est qu'en plus d'haluciner, l'IA fait des affirmations péremptoires. Alors que l'humain a contrario est enclin au doute.

Ajouté à cela, beaucoup de monde a tendance à penser que l'ordinateur ne se trompe jamais.

[lecorr]

Je serais curieux de connaitre le taux d'hallucination moyen d'un humain sur des sujets publics, sur un sujet où il possède une expertise ou un sujet qu'il vient d'apprendre...

Moi aussi, et comme l'Idiot Artificiel est entraîné sur des données créées par des idiots naturels, je ne vois pas comment il pourrait ne pas donner des réponses idiotes. En plus je note l'émergence de nombreux sites (sur google news) dont les articles sont écrits par l'IA, et c'est catastrophique... car les IA sont entraînés aussi sur ces données, vu que rien ne dit que c'est du texte généré.
Enfin, un consensus d'être humains ne fait pas une vérité... Et les humains n'aiment pas qu'une IA leur dise le contraire de ce qu'ils croient, ce qui ajoute des hallucinations, qui n'en sont peut-être pas. Il n'y a qu'à voir comment il est interdit de questionner certaines théories...