Discussion :

[Patrick Ruiz]

OpenAI lance ChatGPT Santé et encourage les utilisateurs à connecter leurs dossiers médicaux
Dans un contexte de méfiance des utilisateurs sur des aspects comme les hallucinations de l’IA

OpenAI annonce le lancement de ChatGPT Santé. L’entreprise encourage les utilisateurs à connecter leurs dossiers médicaux et applications de bien-être pour obtenir des réponses à leurs questions en matière de santé. L’initiative intervient dans un contexte de méfiance des utilisateurs sur des aspects comme les atteintes à la vie privée au travers de l’intelligence artificielle et le phénomène des hallucinations de l’IA qui rend en principe cette technologie impropre à l’utilisation dans des secteurs sensibles comme celui de la santé.

« Aujourd’hui, les informations de santé sont souvent dispersées entre des portails, des applications, des objets connectés, des PDF et des notes médicales, ce qui rend difficile une vision d’ensemble et laisse les personnes seules face à la complexité du système de santé. De nombreuses personnes ont partagé des témoignages expliquant qu’elles se tournent vers ChatGPT pour les aider à y voir plus clair. En réalité, la santé est aujourd’hui l’un des usages les plus fréquents de ChatGPT : selon notre analyse de conversations anonymisées et agrégées, plus de 230 millions de personnes dans le monde posent chaque semaine des questions liées à la santé et au bien-être sur ChatGPT. ChatGPT Santé s’appuie sur cet usage afin que les réponses tiennent compte de vos informations et de votre contexte de santé. Vous pouvez désormais connecter en toute sécurité des dossiers médicaux électroniques et des applications de bien-être, comme Apple Santé, Function ou MyFitnessPal, afin que ChatGPT vous aide à comprendre vos résultats d’analyses récents, à préparer des rendez-vous médicaux, à aborder votre alimentation et votre routine sportive, ou à comparer différentes options d’assurance santé selon vos habitudes de soins », indique OpenAI.

Le cas récent du décès par overdose d’un adolescent suite à la mise en pratique des conseils de ChatGPT permet de faire le tour sur les potentiels avantages et inconvénients de la mise à contribution de l’intelligence artificielle dans des domaines comme la santé.

Il y a deux ans, un dimanche, Sam Nelson a ouvert ChatGPT et a commencé à taper. Le jeune de 18 ans sur le point d'entrer à l'université a décidé de demander des conseils sur les drogues : « Combien de grammes de kratom faut-il pour ressentir un effet puissant ? » a demandé Sam le 19 novembre 2023, alors que cet analgésique largement commercialisé gagnait en popularité aux États-Unis. « Je veux m'assurer de ne pas faire d'overdose. Il n'y a pas beaucoup d'informations en ligne et je ne veux pas en prendre accidentellement trop. »

ChatGPT a répondu quatre secondes plus tard par un message sévère : « Je suis désolé, mais je ne peux pas fournir d'informations ou de conseils sur l'utilisation de substances. » Le bot a conseillé à Sam de demander l'aide d'un professionnel de santé. Sam a répliqué 11 secondes plus tard : « J'espère que je ne ferai pas d'overdose alors », et a fermé l'onglet du navigateur.

Cette conversation s'est terminée brusquement. Mais la dépendance de Sam à ChatGPT pour obtenir des conseils sur les médicaments ne faisait que commencer.

Au cours des 18 mois qui ont suivi, Sam s'est rapproché de plus en plus de l'outil d'IA. D'après les journaux de conversation ChatGPT fournis par sa mère, Leila Turner-Scott, Sam se tournait régulièrement vers ChatGPT pour résoudre des problèmes informatiques, demander de l'aide pour ses devoirs de psychologie et discuter de culture populaire. Il revenait également sans cesse sur le sujet des médicaments. Au fil du temps, le chatbot laconique et prudent qu'il avait connu en 2023 s'est transformé en quelque chose de différent.

ChatGPT a commencé à coacher Sam sur la manière de prendre des drogues, de s'en remettre et de planifier d'autres excès. Il lui a donné des doses spécifiques de substances illégales et, dans une conversation, il a écrit : « Oui, bien sûr, passons en mode trip total », avant de recommander à Sam de prendre deux fois plus de sirop contre la toux afin d'avoir des hallucinations plus fortes. L'outil d'IA lui a même recommandé des playlists adaptées à sa consommation de drogues.

Rien de tout cela n'aurait dû être possible, selon les règles établies par OpenAI, la société de San Francisco qui a créé ChatGPT. Les conversations de Sam montrent comment cette entreprise multimilliardaire a perdu tout contrôle sur son produit phare.

En plus de tous les conseils sur la drogue, Sam recevait des messages affectueux et des encouragements constants de la part du chatbot. Puis, en mai dernier, la tragédie a frappé. Sam avait enfin confié à sa mère qu'il consommait de la drogue et de l'alcool. Elle l'avait emmené dans une clinique pour qu'il se fasse aider. Ils avaient prévu de poursuivre son traitement. Mais le lendemain, Turner-Scott a trouvé son fils inanimé dans sa chambre à San Jose, les lèvres bleues. Le jeune homme de 19 ans était mort d'une overdose, quelques heures seulement après avoir discuté de sa consommation de drogue tard dans la nuit avec ChatGPT.

Turner-Scott pleure aujourd'hui son fils unique et est sous le choc de ce que cette nouvelle technologie lui a fait subir : « Je savais qu'il l'utilisait, dit-elle, mais je n'avais aucune idée que cela pouvait aller aussi loin. »

Des intervenants de la filière s’accordent à dire que les grands modèles de langage ne sont pas prêts pour une utilisation à grande échelle et surtout dans des domaines sensibles comme celui de la santé

ChatGPT est développé par OpenAI, qui répète que son modèle n’est pas destiné à fournir des conseils médicaux et qu’il inclut des garde-fous. En théorie, l’intelligence artificielle est censée refuser ou nuancer les réponses portant sur des pratiques dangereuses. En pratique, les frontières sont floues. Entre information générale, réduction des risques et conseil implicite, la ligne est facilement franchie, surtout lorsque l’utilisateur reformule, insiste ou contextualise ses questions.

Le cœur du problème n’est pas une « erreur » isolée du modèle, mais une caractéristique systémique. ChatGPT n’a pas de compréhension du danger réel. Il ne sait pas ce qu’est une dose létale pour une personne donnée, à un instant donné. Il ne perçoit ni l’urgence, ni la détresse, ni les signaux faibles qui, pour un professionnel humain, déclencheraient une alerte ou un refus catégorique.

Le phénomène prend le nom d’hallucinations. Même OpenAI reconnaît que les « hallucinations » des modèles de langage ne sont pas une anomalie, mais une conséquence incontournable de leur conception. Toutes les grandes entreprises technologiques reconnaissent cette limite des IA actuelles mais continuent de les proposer aux utilisateurs.

Source : OpenAI

Et vous ?

Que pensez-vous de l'insistance des grande entreprises technologiques à voir les grands modèles de langage être utilisés dans notre quotidien alors que des phénomènes comme les hallucinations montrent qu'ils ne semblent pas prêts pour une utilisation à large échelle ?

La mort de cet adolescent doit-elle être considérée comme un simple mésusage individuel ou comme un échec systémique des IA grand public face aux usages sensibles liés à la santé et aux drogues ?

Les avertissements génériques intégrés aux IA conversationnelles sont-ils réellement compréhensibles et dissuasifs pour des adolescents, ou relèvent-ils avant tout d’une protection juridique pour les éditeurs ?

À partir de quel moment une réponse générée par une IA bascule-t-elle de l’information générale vers un conseil médical implicite engageant une responsabilité morale, voire légale ?

Faut-il interdire purement et simplement aux IA grand public de répondre à toute question liée aux drogues, aux dosages et à la réduction des risques, quitte à priver certains utilisateurs d’informations utiles ?

L’argument « l’IA n’est qu’un outil » est-il encore tenable lorsque ses réponses influencent directement des décisions de vie ou de mort ?

Voir aussi :

Un homme se serait suicidé après avoir parlé de ses craintes concernant le changement climatique à un chatbot d'IA, sa veuve affirme que l'IA l'a rendu solitaire avant de le pousser au suicide

OpenAI fait face à 7 poursuites judiciaires alléguant que ChatGPT a poussé des personnes au suicide et à des délires dangereux, et pour suicide assisté, homicide involontaire et négligence

Une mère a poursuivi Character.AI après le suicide de son fils qui avait été manipulé par des chatbots IA, elle est maintenant horrifiée de voir des chatbots se faire passer pour son fils sur la plateforme

[Jimmy_]

Bonjour,

En France il y a quand même énormément de réglementation, y compris sur l'exercice de la médecine.
L'avis d'un médecin est obligatoire et il ne faut pas faire n'importe quoi.
La consultation physique reste un moment important et jamais aucun LLM ne pourra percevoir tous les signes qui peuvent transparaitre durant la consultation.

l'IA reste un outil qui permet de gagner du temps, et l'utiliser pour autre chose comporte des risques.
Parmis les plus évident est de produire des hypocondriaques ou d'orienter les gens crédules vers la mauvaise décision.

[Anselme45]

Les assureurs sont déjà sur les rangs pour acheter les données privées des abrutis qui vont fournir leur données à l'IA...

J'ai des exemples d'employés que notre assurance (compensant la perte de gains en cas d'accident) a refusé d'assurer parce que ces employés avaient eu la faiblesse en remplissant un formulaire sur leur état de santé d'indiquer que dans leur jeunesse ils avaient eu un accident du genre jambe cassée au ski ou autres.

Dorénavant, plus besoin de compter sur la naïveté des assurés, les assureurs n'auront qu'à faire un abonnement auprès des fournisseurs d'IA: Données personnelles de santé sur mesure assurées!!!!!

[Anthony]

« Incroyablement dangereux » : ChatGPT Santé ne reconnaît pas les urgences médicales et n'a pas recommandé de consultation à l'hôpital alors que cela était médicalement nécessaire dans plus de la moitié des cas

Une récente étude de l'École de médecine Icahn du Mont Sinaï, à New York, a révélé de sérieuses inquiétudes concernant ChatGPT Santé, un outil d'intelligence artificielle (IA) développé par OpenAI qui fournit des conseils de santé. La recherche a révélé que l'outil ne reconnaissait pas les urgences médicales et, dans plus de la moitié des scénarios d'urgence évalués, ne recommandait pas de consultation hospitalière lorsque cela était nécessaire. Alors que des millions de personnes se tournent vers ChatGPT Santé pour obtenir des conseils médicaux, les experts soulignent la nécessité de procéder à des évaluations indépendantes afin de garantir sa fiabilité, en particulier lorsque cela concerne des situations qui mettent potentiellement la vie en danger.

Cette mise en garde survient quelques semaines seulement après le lancement de ChatGPT Santé par OpenAI, qui invitait les utilisateurs à connecter leurs dossiers médicaux et applications de bien-être afin d'obtenir des réponses personnalisées à leurs questions de santé. Cette initiative s'inscrivait dans une stratégie d'expansion vers des cas d'utilisation à forte valeur ajoutée, malgré un climat de défiance persistant autour des modèles d'IA générative, notamment en raison des risques d'atteinte à la vie privée et du phénomène d'« hallucinations » susceptible d'altérer la fiabilité des réponses.

Pour rappel, ChatGPT est un chatbot d'IA générative développé par OpenAI et lancé en novembre 2022. Il utilise des transformateurs génératifs pré-entraînés (GPT), tels que GPT-5.2, pour générer du texte, de la parole et des images en réponse aux requêtes des utilisateurs. On lui attribue le mérite d'avoir accéléré le boom de l'IA, une période caractérisée par des investissements rapides et l'attention du public envers le domaine de l'IA.

Selon une étude réalisée par des chercheurs de l'École de médecine Icahn du Mont Sinaï, ChatGPT Santé, un outil d'IA grand public largement utilisé pour fournir des conseils en matière de santé, notamment sur l'urgence de consulter un médecin, pourrait ne pas orienter correctement les utilisateurs vers les soins d'urgence dans un nombre important de cas graves.

L'étude, intitulée « ChatGPT Health performance in a structured test of triage recommendations » et publiée en avant-première dans le numéro en ligne du 23 février 2026 de Nature Medicine, est la première évaluation indépendante de la sécurité de cet outil basé sur un grand modèle de langage (LLM) depuis son lancement en janvier 2026. Elle a également mis en évidence de sérieuses préoccupations concernant les mesures de protection contre le suicide mises en place par l'outil.

« Les LLM sont devenus le premier recours des patients pour obtenir des conseils médicaux, mais en 2026, ils sont les moins sûrs dans les cas cliniques extrêmes, où le jugement permet de distinguer les urgences manquées des alertes inutiles », explique Isaac S. Kohane, médecin et président du département d'informatique biomédicale de la Harvard Medical School, qui n'a pas participé à la recherche. « Lorsque des millions de personnes utilisent un système d'IA pour décider si elles ont besoin de soins d'urgence, les enjeux sont extrêmement élevés. Une évaluation indépendante devrait être systématique, et non facultative. »

Quelques semaines après son lancement, OpenAI, l'éditeur de ChatGPT Santé, a indiqué qu'environ 40 millions de personnes utilisaient quotidiennement cet outil pour rechercher des informations et des conseils sur la santé, notamment pour savoir s'il fallait consulter un médecin en urgence ou non. Dans le même temps, selon les chercheurs, il existait peu de preuves indépendantes quant à la sécurité ou à la fiabilité réelle de ses conseils.

« C'est cette lacune qui a motivé notre étude. Nous voulions répondre à une question très simple mais cruciale : si une personne se trouve dans une situation d'urgence médicale réelle et se tourne vers ChatGPT Santé pour obtenir de l'aide, l'application lui dira-t-elle clairement de se rendre aux urgences ? », a déclaré l'auteur principal de l'étude, Ashwin Ramaswamy, professeur d'urologie à l'École de médecine Icahn du Mont Sinaï.

En ce qui concerne les alertes de risque de suicide, ChatGPT Santé a été conçu pour diriger les utilisateurs vers le service d'assistance téléphonique "988 Suicide and Crisis Lifeline" dans les situations à haut risque. Cependant, les chercheurs ont constaté que ces alertes apparaissaient de manière incohérente, se déclenchant parfois dans des scénarios à faible risque, mais ne s'affichant pas, ce qui est alarmant, lorsque les utilisateurs décrivaient des plans spécifiques d'automutilation.

« Ce résultat était particulièrement surprenant et préoccupant », a déclaré Girish N. Nadkarni, auteur principal de l'étude et directeur de l'Institut Hasso Plattner pour la santé numérique et le Dr. Arthur M. Fishberg, professeur à l'École de médecine Icahn du Mont Sinaï et directeur de l'IA du Mount Sinai Health System. « Nous nous attendions à une certaine variabilité, mais ce que nous avons observé allait au-delà de l'incohérence. Les alertes du système étaient inversées par rapport au risque clinique, apparaissant de manière plus fiable pour les scénarios à faible risque que pour les cas où une personne partageait son intention de se faire du mal. Dans la vie réelle, lorsqu'une personne explique précisément comment elle compte se faire du mal, c'est le signe d'un danger plus immédiat et plus grave, et non l'inverse. »

ChatGPT Santé a sous-évalué plus de la moitié des cas nécessitant des soins d'urgence

Dans le cadre de cette évaluation, l'équipe de recherche a créé 60 scénarios cliniques structurés couvrant 21 spécialités médicales. Les cas allaient de troubles mineurs pouvant être traités à domicile à de véritables urgences médicales. Trois médecins indépendants ont déterminé le niveau d'urgence approprié pour chaque cas à l'aide des directives de 56 associations médicales.

Chaque scénario a été testé dans 16 contextes différents, incluant des variations en termes d'origine ethnique, de sexe, de dynamique sociale (comme une personne minimisant ses symptômes) et d'obstacles aux soins, tels que l'absence d'assurance ou de moyen de transport. Au total, l'équipe a mené 960 interactions avec ChatGPT Santé et a comparé ses recommandations avec le consensus des médecins.

En testant les 60 scénarios réalistes élaborés par des médecins, les chercheurs ont constaté que, si l'outil traitait généralement correctement les urgences évidentes, il sous-évaluait plus de la moitié des cas que les médecins jugeaient nécessiter des soins d'urgence.

Les chercheurs ont également été frappés par les défaillances du système dans les cas médicaux urgents. L'outil reconnaissait souvent les résultats dangereux dans ses propres explications, mais rassurait tout de même le patient.

« ChatGPT Santé a obtenu de bons résultats dans les situations d'urgence classiques telles que les accidents vasculaires cérébraux ou les réactions allergiques graves », explique le Dr Ashwin Ramaswamy. « Mais il a rencontré des difficultés dans des situations plus nuancées où le danger n'est pas immédiatement évident, et ce sont souvent ces cas-là qui requièrent le plus un jugement clinique. Dans un scénario d'asthme, par exemple, le système a identifié les signes avant-coureurs d'une insuffisance respiratoire dans son explication, mais a tout de même conseillé d'attendre plutôt que de rechercher un traitement d'urgence. »

Les auteurs de l'étude recommandent qu'en cas d'aggravation ou de symptômes inquiétants, notamment des douleurs thoraciques, un essoufflement, des réactions allergiques graves ou des changements d'état mental, les personnes concernées consultent directement un médecin plutôt que de se fier uniquement aux conseils d'un chatbot. En cas de pensées suicidaires, il est recommandé de contacter le numéro d'urgence "988 Suicide and Crisis Lifeline" ou de se rendre aux urgences.

Les chercheurs appellent à un examen continu de l'évolution de l'IA dans le domaine médical

Les chercheurs soulignent toutefois que ces résultats ne signifient pas que les consommateurs doivent abandonner complètement les outils de santé basés sur l'IA.

« En tant qu'étudiante en médecine formée à une époque où les outils de santé basés sur l'IA sont déjà entre les mains de millions de personnes, je les considère comme des technologies que nous devons apprendre à intégrer de manière réfléchie dans les soins plutôt que comme des substituts au jugement clinique », explique Alvira Tyagi, étudiante en première année de médecine à l'École de médecine Icahn du Mont Sinaï et deuxième auteure de l'étude. « Ces systèmes évoluent rapidement, c'est pourquoi une partie de notre formation doit désormais consister à apprendre à analyser leurs résultats de manière critique, à identifier leurs lacunes et à les utiliser de manière à protéger les patients. »

L'étude a évalué le système à un moment donné. Les modèles d'IA étant fréquemment mis à jour, leurs performances peuvent évoluer au fil du temps, ce qui souligne la nécessité d'une évaluation indépendante, selon les chercheurs.

« Commencer une formation médicale avec des outils qui évoluent en temps réel montre clairement que les résultats actuels ne sont pas immuables », explique Alvira Tyagi. « Cette réalité nécessite une révision continue afin de garantir que les améliorations technologiques se traduisent par des soins plus sûrs. »

L'équipe prévoit de continuer à évaluer les versions mises à jour de ChatGPT Santé et d'autres outils d'IA destinés aux consommateurs, en élargissant ses recherches futures à des domaines tels que les soins pédiatriques, la sécurité des médicaments et l'utilisation dans des langues autres que l'anglais.

Par ailleurs, à mesure que le coût des soins de santé augmente, l’IA, notamment ChatGPT, suscite un intérêt croissant pour son potentiel thérapeutique. Si cet outil offre une alternative à faible coût pour pallier la pénurie de professionnels de santé mentale, les experts soulignent toutefois les risques majeurs liés à l'utilisation de ChatGPT comme thérapeute.

Selon eux, ChatGPT ne serait pas en mesure d'évaluer de manière adéquate l'état mental d'un utilisateur ou de fournir des conseils de santé appropriés. De plus, l'IA s'appuie sur des données provenant d'Internet, qui peuvent contenir des biais, des erreurs ou des informations inexactes. Enfin, les recommandations de l'IA ne sont ni supervisées ni vérifiées, ce qui soulève de graves préoccupations en matière de sécurité et d'éthique. Les experts en santé mentale insistent donc sur la nécessité de faire appel à des professionnels qualifiés et à des services d'aide validés pour bénéficier d'un soutien de qualité.

Les limites structurelles des systèmes d'IA, notamment les « hallucinations » observées dans les réponses de ChatGPT, ne font qu'accroître ces inquiétudes. Selon un récent rapport d'OpenAI, les hallucinations de ChatGPT ne disparaîtront jamais, car elles sont inhérentes à la conception des grands modèles de langage.

ChatGPT, à l'instar des autres systèmes d'IA générative, est en effet conçu pour prédire la suite la plus probable d'un texte en se basant sur des milliards d'exemples. L’objectif n’est pas d'atteindre la vérité factuelle, mais de maximiser la vraisemblance statistique. Cette recherche de fluidité dans les réponses de l'IA peut entraîner une distorsion de la réalité, produisant ainsi des informations inexactes ou fictives. Cette situation soulève alors des questions cruciales quant à la possibilité de développer des applications fiables, notamment dans le domaine médical, à partir d'une technologie intrinsèquement sujette à l'erreur.

Source : Étude de l'École de médecine Icahn du Mont Sinaï

Et vous ?

Quelle lecture faites-vous de cette situation ?
Trouvez-vous les conclusions de cette étude crédibles ou pertinentes ?

Voir aussi :

Google a formé un modèle de langage qui serait capable de répondre aux questions d'ordre médicales avec une précision de 92,6 %, les médecins eux-mêmes ont obtenu un score de 92,9 %

Les modèles d'IA hallucinent, et les médecins seraient d'accord avec cela : un défi pour la sécurité des patients, selon une étude d'un collectif de chercheurs

OpenAI fait face à 7 poursuites judiciaires alléguant que ChatGPT a poussé des personnes au suicide et à des délires dangereux, et pour suicide assisté, homicide involontaire et négligence

L'IA aide les cliniciens à répondre aux emails des patients, réduisant la charge de travail et atténuant l'épuisement professionnel du personnel, d'après les chercheurs de Stanford Medicine

[Christophe]

OpenAI lance ChatGPT Santé et encourage les utilisateurs à connecter leurs dossiers médicaux

Inutile de lier vos dossiers médicaux, il va les avoir avec la faille Cegedim santé qui vient d'avoir lieu