Discussion :

[Alex]

Un homme de 60 ans se retrouve à l'hôpital après avoir demandé conseil à ChatGPT, les systèmes d'IA tels que ChatGPT peuvent générer des inexactitudes et diffuser des informations erronées

Un homme de 60 ans a été hospitalisé pour bromisme après avoir remplacé le sel de table par du bromure de sodium pendant trois mois. Il a modifié son alimentation après avoir consulté ChatGPT pour obtenir des conseils sur la manière d'éliminer le chlorure de sodium de son régime alimentaire. L'homme a développé des symptômes neuropsychiatriques graves, notamment de la paranoïa et des hallucinations, ainsi que des problèmes dermatologiques. Il a passé trois semaines à l'hôpital pour se remettre, soulignant les dangers d'une mauvaise utilisation de l'IA pour obtenir des conseils de santé. Le rapport de cas met en garde contre le fait que les systèmes d'IA tels que ChatGPT peuvent générer des inexactitudes et diffuser des informations erronées, un point repris dans les conditions d'utilisation d'OpenAI.

ChatGPT est un chatbot génératif basé sur l'intelligence artificielle (IA) développé par OpenAI et lancé le 30 novembre 2022. Il utilise GPT-5, un transformateur génératif pré-entraîné (GPT), pour générer du texte, de la parole et des images en réponse aux requêtes des utilisateurs. On lui attribue le mérite d'avoir accéléré le boom de l'IA, une période d'investissements rapides et d'intérêt public pour le domaine de l'intelligence artificielle (IA). OpenAI exploite ce service selon un modèle freemium.

Malgré son succès, le chatbot a été critiqué pour ses limites et son potentiel d'utilisation contraire à l'éthique. Il peut générer des réponses plausibles mais incorrectes ou absurdes, appelées « hallucinations ». Les biais dans ses données d'entraînement peuvent se refléter dans ses réponses. Le chatbot peut faciliter la malhonnêteté académique, générer des informations erronées et créer des codes malveillants.

Récemment, un homme de 60 ans s'est retrouvé à l'hôpital après avoir demandé à ChatGPT comment éliminer le chlorure de sodium de son alimentation. À mesure que les humains interagissent davantage avec l'intelligence artificielle, on continue d'entendre des histoires sur les dangers, parfois même mortels, que peuvent présenter les conversations avec les chatbots. Si l'attention s'est en partie portée sur la santé mentale et les inquiétudes quant à l'incapacité des chatbots à gérer ce type de difficultés, il existe également des implications pour la santé physique des personnes.

On entend souvent dire qu'il ne faut pas rechercher ses symptômes sur Google, car les conseils médicaux doivent être donnés par un professionnel de santé qui connaît vos antécédents médicaux et peut vous examiner. Selon un nouveau rapport de cas publié dans l'American College of Physicians Journals, il faut également être prudent lorsqu'on envisage de poser des questions de santé à un chatbot. Le rapport s'intéresse à un homme qui a développé un bromisme après avoir demandé conseil à ChatGPT sur son alimentation.

Le bromisme, ou intoxication au bromure, était bien connu au début des années 1990, mais il est moins fréquent aujourd'hui. À l'époque, les sels de bromure étaient présents dans de nombreux médicaments en vente libre destinés à traiter l'insomnie, l'hystérie et l'anxiété. Une ingestion excessive de bromure peut provoquer des symptômes neuropsychiatriques et dermatologiques.

L'homme concerné par ce rapport n'avait aucun antécédent psychiatrique ou médical, mais au cours des premières 24 heures de son hospitalisation, il a manifesté une paranoïa accrue et des hallucinations auditives et visuelles. « Il était très assoiffé, mais paranoïaque à propos de l'eau qu'on lui proposait », indique le rapport. L'homme a été traité avec des liquides et des électrolytes et son état s'est stabilisé, ce qui lui a permis d'être admis dans l'unité psychiatrique de l'hôpital.

À mesure que son état s'améliorait, il a pu faire part de certains symptômes qu'il avait remarqués, notamment l'apparition récente d'acné faciale et d'angiomes rubis, ce qui confirmait davantage qu'il souffrait de bromisme. Il a également déclaré avoir remplacé le chlorure de sodium, ou sel de table, par du bromure de sodium pendant trois mois après avoir lu des articles sur les effets néfastes du sel de table sur la santé.

« Inspiré par ses études en nutrition à l'université, il a décidé de mener une expérience personnelle visant à éliminer le chlorure de son alimentation », indique le rapport de cas. Il avait remplacé le sel de table par du « bromure de sodium obtenu sur Internet après avoir consulté ChatGPT, où il avait lu que le chlorure pouvait être remplacé par du bromure, bien que probablement à d'autres fins, telles que le nettoyage ».

L'homme a passé trois semaines à l'hôpital avant d'être suffisamment rétabli pour sortir. « Il est important de tenir compte du fait que ChatGPT et d'autres systèmes d'IA peuvent générer des inexactitudes scientifiques, ne sont pas capables de discuter de manière critique des résultats et, en fin de compte, favorisent la propagation de fausses informations », ont averti les auteurs du rapport.

Open AI, le développeur de ChatGPT, admet dans ses conditions d'utilisation que les résultats du chatbot « ne sont pas toujours exacts ». « Vous ne devez pas vous fier aux résultats de nos services comme seule source de vérité ou d'informations factuelles, ni comme substitut à un avis professionnel », précisent les conditions d'utilisation. Les conditions d'utilisation de la société stipulent également explicitement : « Nos services ne sont pas destinés à être utilisés pour le diagnostic ou le traitement d'un quelconque problème de santé. »

Ce rapport souligne le fait que l'IA peut se tromper. En 2023, une étude menée par des chercheurs du Brigham and Women’s Hospital, un hôpital affilié à la Harvard Medical School, avait déjà révélé que ChatGPT n’était pas fiable pour fournir des plans de traitement du cancer. En analysant les réponses du chatbot à des cas de cancer hypothétiques, les chercheurs ont constaté que 33 % d’entre elles contenaient des informations incorrectes, telles que des doses de médicaments erronées, des recommandations de radiothérapie inappropriées ou des affirmations non fondées sur l’efficacité des traitements. Les auteurs ont été surpris par la difficulté à identifier les erreurs, car les réponses du chatbot étaient souvent cohérentes et plausibles.

Un autre exemple, en 2024, les réponses étranges et erronées, voire dangereuses, générées par la fonctionnalité "AI Overviews" de Google Search ont pris de l'ampleur. Après avoir conseillé aux internautes de mettre de la colle non toxique sur leurs pizzas et de manger trois cailloux par jour, l'IA de Google recommandait des champions vénéneux. Selon un rapport, l'IA de Google semble confondre le champignon toxique "Ange destructeur" avec le "champignon de Paris" qui est comestible. Ces gaffes répétées avaient suscité des préoccupations majeures quant à la sécurité de cette fonctionnalité.

Source : Rapport d'étude

Et vous ?

Pensez-vous que ce rapport est crédible ou pertinente ?
Quel est votre avis sur le sujet ?

Voir aussi :

Les modèles d'IA hallucinent, et les médecins seraient d'accord avec cela : un défi pour la sécurité des patients, selon une étude d'un collectif de chercheurs

Il est facile d'injecter de nouvelles informations médicales erronées dans les LLM. Il suffit de modifier 0,001 % des données d'entrée pour rendre l'IA moins précise

L'IA Gemini suggère à un utilisateur de mourir tandis qu'il lui demande de l'aider à faire ses devoirs. L'IA a déjà incité plusieurs fois des humains au suicide, certains sont passés à l'acte

[doriphore4545]

il n'y a pas eu encore de Darwin Awards basé sur les conseils foireux d'une IA, mais on a un bon candidat

[totozor]

Il a également déclaré avoir remplacé le chlorure de sodium, ou sel de table, par du bromure de sodium pendant trois mois après avoir lu des articles sur les effets néfastes du sel de table sur la santé.

Mais il ne s'est pas renseigné sur le remplaçant?
La fiche wikipedia dit qu'il est utilisé comme "sédatif ou comme somnifère" ce qui devrait amener à se méfier, les deux panneaux entourés de rouges semblent confirmer ça.

« [...] où il avait lu que le chlorure pouvait être remplacé par du bromure, bien que probablement à d'autres fins, telles que le nettoyage ».

Il ne s'est pas demandé quel type de nettoyage?
Personnellement je toucherais pas à ce genre de produit pour me nourrir.

[Fagus]

Mais il ne s'est pas renseigné sur le remplaçant?
La fiche wikipedia dit qu'il est utilisé comme "sédatif ou comme somnifère" ce qui devrait amener à se méfier, les deux panneaux entourés de rouges semblent confirmer ça.
Il ne s'est pas demandé quel type de nettoyage?
Personnellement je toucherais pas à ce genre de produit pour me nourrir.

Manifestement non. Tout ce qui lui est arrivé est même décrit avec des photos sur la page wikipedia anglaise de l'intoxication au brome. Il aurait peut être pu la lire avant de tenter l'expérience sur lui... C'est aussi idiot que de manger des plantes au hasard pour savoir si c'est toxique au lieu de lire un livre sur le sujet.

L'éducation d'une partie de la population est assez faible pour se faire abuser par n'importe quoi. Les influenceurs, les rebouteux, les gourous... et maintenant il faut même rajouter les LLM.

Un mec psychiatrique qui délire sur un réseau social peut être suivi et peut arriver à persuader au bas mot des dizaines de milliers de personnes de nos jours, alors que pourtant eux ne sont pas fous...

Même des gens avec un bon niveau intellectuel se font piéger par les sectes, ce qui est a priori étonnant, mais l'intelligence ne suffit pas à protéger. Il faut aussi une formation théorique en esprit critique, histoire des sciences, et en techniques de manipulation. Malheureusement ces disciplines ne sont presque pas enseignées. (Vous imaginez si on apprenait aux gens à réfléchir, on risquerait des choses terribles, comme la démocratie directe).