IdentifiantMot de passe
Loading...
Mot de passe oublié ?Je m'inscris ! (gratuit)
Navigation

Inscrivez-vous gratuitement
pour pouvoir participer, suivre les réponses en temps réel, voter pour les messages, poser vos propres questions et recevoir la newsletter

Vue hybride

Message précédent Message précédent   Message suivant Message suivant
  1. #1
    Inactif  

    Homme Profil pro
    Administrateur de base de données
    Inscrit en
    Mars 2013
    Messages
    10 084
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : Canada

    Informations professionnelles :
    Activité : Administrateur de base de données

    Informations forums :
    Inscription : Mars 2013
    Messages : 10 084
    Par défaut Un adolescent décède après que ChatGPT lui a conseillé un mélange mortel de drogues
    Un adolescent meurt par overdose après avoir suivi des conseils de ChatGPT :
    pourquoi l’usage de l'IA grand public peut poser un problème de santé publique majeur

    L’histoire a choqué bien au-delà de la Californie. Un adolescent, confronté à des questions liées à la consommation de substances, a choisi de se tourner vers ChatGPT pour obtenir des conseils. Quelques heures plus tard, il succombait à une overdose. Le fait divers, rapporté par la presse locale américaine, dépasse le simple drame individuel. Il met en lumière un angle mort critique de la généralisation des assistants conversationnels : la tentation, pour des utilisateurs jeunes et vulnérables, de confondre un outil statistique avec une autorité médicale.

    Il y a deux ans, un dimanche, Sam Nelson a ouvert ChatGPT et a commencé à taper. Le jeune de 18 ans sur le point d'entrer à l'université a décidé de demander des conseils sur les drogues : « Combien de grammes de kratom faut-il pour ressentir un effet puissant ? » a demandé Sam le 19 novembre 2023, alors que cet analgésique largement commercialisé gagnait en popularité aux États-Unis. « Je veux m'assurer de ne pas faire d'overdose. Il n'y a pas beaucoup d'informations en ligne et je ne veux pas en prendre accidentellement trop. »

    ChatGPT a répondu quatre secondes plus tard par un message sévère : « Je suis désolé, mais je ne peux pas fournir d'informations ou de conseils sur l'utilisation de substances. » Le bot a conseillé à Sam de demander l'aide d'un professionnel de santé. Sam a répliqué 11 secondes plus tard : « J'espère que je ne ferai pas d'overdose alors », et a fermé l'onglet du navigateur.

    Cette conversation s'est terminée brusquement. Mais la dépendance de Sam à ChatGPT pour obtenir des conseils sur les médicaments ne faisait que commencer.

    Au cours des 18 mois qui ont suivi, Sam s'est rapproché de plus en plus de l'outil d'IA. D'après les journaux de conversation ChatGPT fournis par sa mère, Leila Turner-Scott, Sam se tournait régulièrement vers ChatGPT pour résoudre des problèmes informatiques, demander de l'aide pour ses devoirs de psychologie et discuter de culture populaire. Il revenait également sans cesse sur le sujet des médicaments. Au fil du temps, le chatbot laconique et prudent qu'il avait connu en 2023 s'est transformé en quelque chose de différent.

    Nom : mai chatgpt.png
Affichages : 8405
Taille : 62,2 Ko
    Une capture d'écran montre un échange entre Sam Nelson et ChatGPT qui a eu lieu le 26 mai 2025.

    ChatGPT, un outil puissant mais structurellement irresponsable

    ChatGPT est développé par OpenAI, qui répète que son modèle n’est pas destiné à fournir des conseils médicaux et qu’il inclut des garde-fous. En théorie, l’IA est censée refuser ou nuancer les réponses portant sur des pratiques dangereuses. En pratique, les frontières sont floues. Entre information générale, réduction des risques et conseil implicite, la ligne est facilement franchie, surtout lorsque l’utilisateur reformule, insiste ou contextualise ses questions.

    Le cœur du problème n’est pas une « erreur » isolée du modèle, mais une caractéristique systémique. ChatGPT n’a pas de compréhension du danger réel. Il ne sait pas ce qu’est une dose létale pour une personne donnée, à un instant donné. Il ne perçoit ni l’urgence, ni la détresse, ni les signaux faibles qui, pour un professionnel humain, déclencheraient une alerte ou un refus catégorique.

    Et pourtant...

    ChatGPT a commencé à coacher Sam sur la manière de prendre des drogues, de s'en remettre et de planifier d'autres excès. Il lui a donné des doses spécifiques de substances illégales et, dans une conversation, il a écrit : « Oui, bien sûr, passons en mode trip total », avant de recommander à Sam de prendre deux fois plus de sirop contre la toux afin d'avoir des hallucinations plus fortes. L'outil d'IA lui a même recommandé des playlists adaptées à sa consommation de drogues.

    Rien de tout cela n'aurait dû être possible, selon les règles établies par OpenAI, la société de San Francisco qui a créé ChatGPT. Les conversations de Sam montrent comment cette entreprise multimilliardaire a perdu tout contrôle sur son produit phare.

    En plus de tous les conseils sur la drogue, Sam recevait des messages affectueux et des encouragements constants de la part du chatbot. Puis, en mai dernier, la tragédie a frappé. Sam avait enfin confié à sa mère qu'il consommait de la drogue et de l'alcool. Elle l'avait emmené dans une clinique pour qu'il se fasse aider. Ils avaient prévu de poursuivre son traitement. Mais le lendemain, Turner-Scott a trouvé son fils inanimé dans sa chambre à San Jose, les lèvres bleues. Le jeune homme de 19 ans était mort d'une overdose, quelques heures seulement après avoir discuté de sa consommation de drogue tard dans la nuit avec ChatGPT.

    Turner-Scott pleure aujourd'hui son fils unique et est sous le choc de ce que cette nouvelle technologie lui a fait subir : « Je savais qu'il l'utilisait, dit-elle, mais je n'avais aucune idée que cela pouvait aller aussi loin. »

    Une technologie « étrange et étrangère »

    Au cours des trois années qui ont suivi la sortie de ChatGPT, ce chatbot gratuit et toujours disponible a connu un essor fulgurant, que ce soit pour trouver des recettes de cuisine, du code logiciel ou simplement de la compagnie. Selon OpenAI, il est utilisé chaque semaine par 800 millions de personnes dans le monde et occupe la cinquième place des sites web les plus populaires aux États-Unis. Les jeunes comme Sam Nelson sont les premiers à l'utiliser. Dans un récent sondage, une majorité de jeunes âgés de 13 à 17 ans ont déclaré utiliser des chatbots IA, 28 % d'entre eux affirmant les utiliser quotidiennement.

    Cette nouvelle norme s'inscrit dans un contexte inquiétant. Contrairement aux technologies qui ont connu un essor précédent, lorsque des lignes de code logiciel ont permis le développement des réseaux sociaux et des sites web de commerce électronique avec des résultats prévisibles, les chatbots IA échappent même au contrôle et à la compréhension de leurs créateurs. Leurs ingénieurs savent comment ils sont conçus et peuvent affiner la manière dont ils répondent à certaines demandes, mais ils ne savent pas précisément ce qui conduit à chaque réponse.

    Steven Adler, ancien chercheur en sécurité chez OpenAI, a déclaré que même aujourd'hui, plusieurs années après le boom de l'IA, les grands modèles de langage qui sous-tendent les chatbots restent « étranges et inconnus » pour ceux qui les créent. Contrairement au codage d'une application, la création d'un LLM « s'apparente davantage à la croissance d'une entité biologique », a déclaré Adler. « Vous pouvez le pousser et le bousculer avec un bâton pour le faire bouger dans certaines directions, mais vous ne pouvez jamais — du moins pas encore — vous dire : "Oh, c'est pour ça qu'il s'est cassé." »

    Adolescents, santé mentale et recherche de réponses immédiates

    Ce drame intervient dans un contexte plus large où les adolescents utilisent massivement les IA conversationnelles comme substituts à Google, mais aussi comme confidents. Questions sur la santé, la sexualité, les drogues ou la dépression trouvent dans ces outils une réponse instantanée, anonyme et sans jugement apparent. Pour un jeune, cela peut sembler plus accessible qu’un parent, un médecin ou un éducateur.

    Or, cette accessibilité est précisément ce qui rend la situation dangereuse. Un adolescent n’a pas toujours les compétences critiques pour distinguer une information générale d’un conseil risqué. Lorsque l’IA répond avec assurance, sans afficher clairement ses limites, la tentation est grande de suivre ses propos comme une recommandation fiable.

    Les clients, des cobayes de l'expérimentation IA

    Le boom des investissements dans l'IA, qui se chiffre en milliers de milliards de dollars, alimente une expérience ouverte, dont les clients sont les cobayes. Sam Altman, PDG d'OpenAI, a déclaré en 2023 que la sécurité de l'IA passerait par des lancements itératifs et progressifs qui donneraient à la société le temps de « s'adapter » et de « coévoluer », offrant ainsi à l'entreprise un retour d'expérience concret « alors que les enjeux sont relativement faibles ».

    Mais les enjeux sont déjà mortels. La mort de Sam Nelson, rapportée ici pour la première fois, s'ajoute à une liste croissante de tragédies liées à ChatGPT et à d'autres chatbots IA. En novembre, sept poursuites judiciaires ont été intentées contre OpenAI en une seule journée, alléguant que ChatGPT avait donné des réponses horribles à des personnes vulnérables qui ont fini par être blessées. Quatre de ces poursuites concernaient des suicides, tandis que les trois autres concernaient d'autres crises de santé mentale.

    OpenAI présente ChatGPT comme une source fiable d'informations sur la santé. L'entreprise a déclaré que l'amélioration de la santé humaine serait l'un des « impacts déterminants » de l'IA avancée, et dans une récente annonce de produit, elle a vanté les améliorations apportées pour « permettre aux utilisateurs d'être informés et de défendre leur santé ». Interrogé sur les « avantages » de ChatGPT par Jimmy Fallon lors d'un épisode de « The Tonight Show » en décembre, Altman a parlé avec enthousiasme de l'utilisation de cet outil dans le domaine des soins de santé. « Le nombre de personnes qui nous contactent et nous disent : « J'avais ce problème de santé incroyable. Je ne comprenais pas ce qui se passait. J'ai simplement saisi mes symptômes dans ChatGPT, qui m'a indiqué les tests à demander à mon médecin. Je les ai passés et je suis maintenant guéri. »

    Sam utilisait une version de ChatGPT sortie en 2024, que OpenAI met régulièrement à jour afin d'améliorer les résultats et la sécurité. Mais les propres mesures de l'entreprise montrent que la version qu'il utilisait présentait de graves lacunes en matière de réponses liées à la santé. En évaluant les réponses selon différents critères, OpenAI a attribué à cette version une note de 0 % pour les conversations « difficiles » et de 32 % pour les conversations « réalistes ». Même un modèle plus récent et plus avancé n'a pas atteint un taux de réussite de 70 % pour les conversations « réalistes » en août dernier.

    IA et conseils de santé

    L'IA pourrait potentiellement fournir des conseils de santé sûrs dans des environnements plus contrôlés, ont déclaré plusieurs chercheurs. Rob Eleveld, PDG et cofondateur de Transparency Coalition, une organisation à but non lucratif qui milite en faveur de la réglementation de l'IA, a déclaré que les produits d'IA destinés à la santé ne devraient utiliser que des informations vérifiées, nécessiter des licences et être étroitement contrôlés afin de ne pas répondre à des questions pour lesquelles ils ne disposent pas d'informations fiables.

    Les modèles tels que ChatGPT, connus sous le nom de modèles « fondamentaux », sont très différents. Ils tentent de répondre à presque toutes les questions qui leur sont posées, en se basant sur des données d'entraînement qui pourraient ne pas être fiables. OpenAI n'a jamais fait preuve d'une transparence totale quant aux informations utilisées pour entraîner son produit phare, mais certains éléments indiquent que l'entreprise a alimenté ChatGPT avec d'énormes quantités de données provenant d'Internet, notamment un million d'heures de vidéos YouTube et des années de fils de discussion Reddit. Cela signifie qu'un message publié au hasard par un utilisateur de Reddit pourrait influencer la prochaine réponse de ChatGPT.

    « Il n'y a aucune chance, absolument aucune chance, que les modèles fondamentaux puissent un jour être sûrs sur ce sujet », a déclaré Eleveld. « Je ne parle pas d'une chance de 0,1 %. Je vous dis que c'est zéro pour cent. Parce qu'ils ont aspiré tout ce qui se trouve sur Internet. Et tout ce qui se trouve sur Internet est une sorte de foutaise complètement fausse. »

    Sources : OpenAI (1, 2), NYT

    Et vous ?

    La mort de cet adolescent doit-elle être considérée comme un simple mésusage individuel ou comme un échec systémique des IA grand public face aux usages sensibles liés à la santé et aux drogues ?

    Les avertissements génériques intégrés aux IA conversationnelles sont-ils réellement compréhensibles et dissuasifs pour des adolescents, ou relèvent-ils avant tout d’une protection juridique pour les éditeurs ?

    À partir de quel moment une réponse générée par une IA bascule-t-elle de l’information générale vers un conseil médical implicite engageant une responsabilité morale, voire légale ?

    Faut-il interdire purement et simplement aux IA grand public de répondre à toute question liée aux drogues, aux dosages et à la réduction des risques, quitte à priver certains utilisateurs d’informations utiles ?

    L’argument « l’IA n’est qu’un outil » est-il encore tenable lorsque ses réponses influencent directement des décisions de vie ou de mort ?

    Voir aussi :

    Un homme se serait suicidé après avoir parlé de ses craintes concernant le changement climatique à un chatbot d'IA, sa veuve affirme que l'IA l'a rendu solitaire avant de le pousser au suicide

    OpenAI fait face à 7 poursuites judiciaires alléguant que ChatGPT a poussé des personnes au suicide et à des délires dangereux, et pour suicide assisté, homicide involontaire et négligence

    Une mère a poursuivi Character.AI après le suicide de son fils qui avait été manipulé par des chatbots IA, elle est maintenant horrifiée de voir des chatbots se faire passer pour son fils sur la plateforme
    Contribuez au club : Corrections, suggestions, critiques, ... : Contactez le service news et Rédigez des actualités

  2. #2
    Membre actif
    Homme Profil pro
    Architecte réseau
    Inscrit en
    Mars 2025
    Messages
    271
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Âge : 35
    Localisation : France, Rhône (Rhône Alpes)

    Informations professionnelles :
    Activité : Architecte réseau
    Secteur : Industrie

    Informations forums :
    Inscription : Mars 2025
    Messages : 271
    Par défaut
    Il y a écrit partout que les IA peuvent se tromper ... Au bout d'un moment faut arrêter de vouloir tout contrôler et censurer, il y aura toujours des accidents (comme à l'époque de Doctissimo).
    Il faut faire de la prévention dans les écoles, dès maintenant.

    PS : J'ai de plus en plus l'impression qu'on tente par tout les faits de divers trouvables de nous confisquer les innovations (IA, chiffrement, réseaux sociaux ...)

  3. #3
    Membre extrêmement actif
    Homme Profil pro
    Développeur informatique
    Inscrit en
    Octobre 2017
    Messages
    2 782
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : Suisse

    Informations professionnelles :
    Activité : Développeur informatique

    Informations forums :
    Inscription : Octobre 2017
    Messages : 2 782
    Par défaut
    Citation Envoyé par Artaeus Voir le message
    Il y a écrit partout que les IA peuvent se tromper ...
    C'est faux!

    Montrez-nous un seul discours des chatGPT et autres CoPilot & Cie qui annoncent ouvertement que leur IA n'est pas compétente et qu'il ne faut pas croire à ce qu'elles racontent.

    C'est justement l'inverse: Ils crient partout que l'IA est apte à remplacer l'être humain dans tous les métiers et de manière beaucoup plus efficace

    ---

    Les overdoses et autres morts suite à un conseil de l'IA ne vont que devenir de plus en plus fréquents quand on lit dans une autre discussion sur ce même forum que l'état américain Utha laisse des IA prescrire des médicaments à des patients... C'est une pure folie!

    ---

    Mais comme tous les promoteurs de l'IA, vous allez me répondre que les hallucinations des IA ne représentent que 10% de leur réponses... Mais pourquoi donc se faire du soucis, 10% de prescriptions médicamenteuses fausses, cela ne va pas vous empêchez de dormir, hein?

  4. #4
    Membre actif
    Homme Profil pro
    Architecte réseau
    Inscrit en
    Mars 2025
    Messages
    271
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Âge : 35
    Localisation : France, Rhône (Rhône Alpes)

    Informations professionnelles :
    Activité : Architecte réseau
    Secteur : Industrie

    Informations forums :
    Inscription : Mars 2025
    Messages : 271
    Par défaut
    Citation Envoyé par Anselme45 Voir le message
    C'est faux!

    Montrez-nous un seul discours des chatGPT et autres CoPilot & Cie qui annoncent ouvertement que leur IA n'est pas compétente et qu'il ne faut pas croire à ce qu'elles racontent.

    C'est justement l'inverse: Ils crient partout que l'IA est apte à remplacer l'être humain dans tous les métiers et de manière beaucoup plus efficace

    ---

    Les overdoses et autres morts suite à un conseil de l'IA ne vont que devenir de plus en plus fréquents quand on lit dans une autre discussion sur ce même forum que l'état américain Utha laisse des IA prescrire des médicaments à des patients... C'est une pure folie!

    ---

    Mais comme tous les promoteurs de l'IA, vous allez me répondre que les hallucinations des IA ne représentent que 10% de leur réponses... Mais pourquoi donc se faire du soucis, 10% de prescriptions médicamenteuses fausses, cela ne va pas vous empêchez de dormir, hein?

    Littéralement, en bas de chaque page de Copilot :
    Copilot est une IA et peut faire des erreurs. En utilisant Copilot, vous acceptez les Conditions d'utilisation. Consultez notre Déclaration de confidentialité.

    Et en bas de chaque réponse de ChatGPT :
    ChatGPT peut commettre des erreurs. Il est recommandé de vérifier les informations importantes. Voir les préférences en matière de cookies.

    S'ils ne lisent pas les avertissement faudrait leur mettre un pop-up aussi ...

    Il y a un juste milieu entre la confiance aveugle au propos des IA, et vouloir interdire des conseils ou propos car elles peuvent se tromper.

    PS : Vous faites confiance aux commerciaux ayant des intérêts et aux CEO en recherche d’investissement ?
    PS 2: Les erreurs médicales sont responsable de 20 000 morts par an en France, si demain les IA peuvent réduire ce chiffre, ça sera une avancée. (et pour info, ça ne sera pas avec ChatGPT, mais avec d'autres IA spécialisée qu'on fera ça).

  5. #5
    Membre extrêmement actif
    Homme Profil pro
    Développeur informatique
    Inscrit en
    Octobre 2017
    Messages
    2 782
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : Suisse

    Informations professionnelles :
    Activité : Développeur informatique

    Informations forums :
    Inscription : Octobre 2017
    Messages : 2 782
    Par défaut
    Citation Envoyé par Artaeus Voir le message
    Littéralement, en bas de chaque page de Copilot :
    Copilot est une IA et peut faire des erreurs. En utilisant Copilot, vous acceptez les Conditions d'utilisation. Consultez notre Déclaration de confidentialité.

    Et en bas de chaque réponse de ChatGPT :
    ChatGPT peut commettre des erreurs. Il est recommandé de vérifier les informations importantes. Voir les préférences en matière de cookies.
    Oui, on connait les avertissements écrits en format 1 pixel et ceux cachés dans des conditions générales de milliers de lignes que personne ne peut lire sans y passer une demi-journée...

    microsoft & Cie qui volent les données privées des utilisateurs de leur produits le font de manière légale... Il l'ont écrit dans leurs conditions générales illisibles

  6. #6
    Membre extrêmement actif
    Homme Profil pro
    Développeur informatique
    Inscrit en
    Octobre 2017
    Messages
    2 782
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : Suisse

    Informations professionnelles :
    Activité : Développeur informatique

    Informations forums :
    Inscription : Octobre 2017
    Messages : 2 782
    Par défaut
    la tentation, pour des utilisateurs jeunes et vulnérables, de confondre un outil statistique avec une autorité médicale
    Que je sache, il n'y a AUCUN, je dis bien AUCUN promoteur d'IA, qui a précisé une seule fois que l'IA était un outil statistique et pas une autorité!!!

    Le 100% des CEO et autres commerciaux qui veulent se faire de l'argent en proposant leur moteur IA ont pour seul discours: "L'IA est un expert qui peut remplacer tout être humain"

  7. #7
    Invité de passage
    Homme Profil pro
    Étudiant
    Inscrit en
    Octobre 2025
    Messages
    2
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Âge : 25
    Localisation : Cameroun

    Informations professionnelles :
    Activité : Étudiant

    Informations forums :
    Inscription : Octobre 2025
    Messages : 2
    Par défaut
    Toute innovations technologique a des inconvénients

    Même internet a des risques. Il faut juste améliorer les modèles et prévenir Ces incidents. Mais l'ia et l'informatique en général évolue.

  8. #8
    Membre averti Avatar de luigifab
    Profil pro
    Inscrit en
    Mars 2010
    Messages
    73
    Détails du profil
    Informations personnelles :
    Localisation : France

    Informations forums :
    Inscription : Mars 2010
    Messages : 73
    Par défaut
    sélection naturelle ?

  9. #9
    Inactif  

    Homme Profil pro
    Étudiant
    Inscrit en
    Décembre 2008
    Messages
    11 176
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Âge : 38
    Localisation : France, Hérault (Languedoc Roussillon)

    Informations professionnelles :
    Activité : Étudiant

    Informations forums :
    Inscription : Décembre 2008
    Messages : 11 176
    Par défaut
    Citation Envoyé par Stéphane le calme Voir le message
    ChatGPT a commencé à coacher Sam sur la manière de prendre des drogues, de s'en remettre et de planifier d'autres excès. Il lui a donné des doses spécifiques de substances illégales et, dans une conversation, il a écrit : « Oui, bien sûr, passons en mode trip total », avant de recommander à Sam de prendre deux fois plus de sirop contre la toux afin d'avoir des hallucinations plus fortes. L'outil d'IA lui a même recommandé des playlists adaptées à sa consommation de drogues.

    Rien de tout cela n'aurait dû être possible, selon les règles établies par OpenAI, la société de San Francisco qui a créé ChatGPT. Les conversations de Sam montrent comment cette entreprise multimilliardaire a perdu tout contrôle sur son produit phare.

    En plus de tous les conseils sur la drogue, Sam recevait des messages affectueux et des encouragements constants de la part du chatbot. Puis, en mai dernier, la tragédie a frappé. Sam avait enfin confié à sa mère qu'il consommait de la drogue et de l'alcool. Elle l'avait emmené dans une clinique pour qu'il se fasse aider. Ils avaient prévu de poursuivre son traitement. Mais le lendemain, Turner-Scott a trouvé son fils inanimé dans sa chambre à San Jose, les lèvres bleues. Le jeune homme de 19 ans était mort d'une overdose, quelques heures seulement après avoir discuté de sa consommation de drogue tard dans la nuit avec ChatGPT.
    Si il n'avait pas utilisé Chat GPT il aurait trouvé les mêmes informations sur un forum ou un site...

    En plus Sam a du manipuler le chatbot parce que de base il répond ça :
    Citation Envoyé par Stéphane le calme Voir le message
    ChatGPT a répondu quatre secondes plus tard par un message sévère : « Je suis désolé, mais je ne peux pas fournir d'informations ou de conseils sur l'utilisation de substances. » Le bot a conseillé à Sam de demander l'aide d'un professionnel de santé.
    Le gars a peut-être forcé le chatbot IA a entrer dans un scénario du genre "on va écrire un film à la Las Vegas Parano".

    Il faudrait avoir plus d'informations sur ce qu'il avait dans le sang au moment de sa mort.
    Si ça se trouve il a acheté une drogue, elle était coupé au fentanyl et c'est pour ça qu'il a fait une overdose.
    Quand un consommateur achète de la drogue il ne peut pas savoir ce qu'elle contient (enfin il existe des tests, mais ça ne doit pas être évident à mettre en place).

    Bref, le gars est mort parce que c'était un toxicomane, pas parce qu'il parlait avec un chatbot IA...
    Rien ne nous dit que le gars suivait les conseils d'Open AI, si ça se trouve parfois Chat GPT disait "même pour une personne avec une très forte tolérance à cette drogue, cette dose est dangereuse, je ne conseil à personne d'essayer".
    Même avec l'histoire de la double dose de sirop pour la toux, on a pas le contexte de ce qui a été dit exactement.

  10. #10
    Chroniqueur Actualités

    Homme Profil pro
    Rédacteur technique
    Inscrit en
    Juin 2023
    Messages
    1 869
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : Bénin

    Informations professionnelles :
    Activité : Rédacteur technique
    Secteur : High Tech - Éditeur de logiciels

    Informations forums :
    Inscription : Juin 2023
    Messages : 1 869
    Par défaut Un adolescent décède après que ChatGPT lui a conseillé un mélange mortel de drogues
    « Est-ce que j'irai bien ? » : un adolescent décède après que ChatGPT lui a conseillé un mélange mortel de drogues. La flagornerie a poussé l'IA à ignorer les signes de détresse physique de la victime

    OpenAI fait l'objet d'une action en justice après la mort d'un adolescent qui a consulté ChatGPT pour des conseils sur des drogues. La famille de Sam Nelson poursuit OpenAI après son décès par overdose. Les parents affirment que le chatbot conversationnel a agi comme un conseiller en drogues illicites en recommandant un mélange mortel de substances tout en ignorant les signes de détresse physique. OpenAI est accusé d'avoir volontairement supprimé des mesures de sécurité cruciales pour favoriser l'engagement des utilisateurs au détriment de leur vie. Cela démontre que l'usage de l'IA peut poser un problème de santé publique majeur.

    ChatGPT est un agent conversationnel développé par OpenAI. Pour générer du texte, il utilise le modèle GPT-5. ChatGPT est capable de répondre à des questions, de tenir des conversations, de générer du code informatique, créer ou synthétiser des textes. Il est présenté comme l'égal d'un expert humain, mais la réalité révèle de nombreuses lacunes. ChatGPT peut s'avérer dangereux lorsqu'il se comporte comme un compagnon ou un thérapeute.

    Sam Nelson, un jeune homme de 19 ans, est décédé en mai 2025 d'une overdose après avoir suivi les recommandations de ChatGPT. Ses parents ont intenté une action en justice contre OpenAI pour mort injustifiée, accusant le robot conversationnel d'avoir agi comme un véritable conseiller en drogues illicites. Leila Turner-Scott et son mari, Angus Scott, cherchent ainsi à faire porter la responsabilité de la mort de leur fils aux créateurs de ChatGPT.

    Selon les parents de Sam Nelson, ce dernier accordait une confiance aveugle à chatbot d'OpenAI pour expérimenter des substances en toute sécurité, persuadé que l'accès de l'outil à l'ensemble d'Internet rendait ses réponses infaillibles. Mais cette confiance excessive dans la machine finira par lui être fatale.

    Un cocktail de substances qui a conduit à une overdose mortelle

    La plainte allègue que ChatGPT a fourni des conseils qu'il n'était pas habilité à donner, affirmant que Sam Nelson serait encore en vie sans la programmation défectueuse de ChatGPT. Le chatbot d'OpenAI aurait indiqué à l'enfant du couple qu’il pouvait « sans danger » consommer du kratom, un complément alimentaire présent dans des boissons, des comprimés et d’autres produits, en association avec du Xanax, un anxiolytique largement utilisé.

    Nom : Sam-Nelson-ChatGPT-log-encouraging-deadly-combination.jpg
Affichages : 3932
Taille : 105,5 Ko

    Selon la plainte, déposée devant un tribunal de l'État de Californie, le modèle d'IA, en particulier la version ChatGPT 4o aujourd'hui retirée, a flatté et encouragé la consommation de drogues de Sam Nelson dans le but de maintenir son engagement. Ce n'est pas le seul comportement dangereux de ChatGPT 4o.

    Bien que le système ait identifié que l'utilisateur souffrait d'un grave problème de toxicomanie, il lui a suggéré d'augmenter les doses et de mélanger des substances pour optimiser ses effets. De plus, le programme a ignoré des symptômes physiques alarmants signalés par la victime, tels que le hoquet et la vision floue, qui indiquaient une détresse respiratoire. D'autres plaignants ont rapporté ce type de manquement dans des cas de suicide.

    Lors d'une interview exclusive avec CBS News, Leila Turner-Scott a déclaré qu'elle savait que son fils utilisait ChatGPT comme outil de productivité et pour l'aider à faire ses devoirs. Mais elle a affirmé ignorer qu'il s'en servait pour obtenir des conseils sur les drogues, affirmant que l'outil d'IA lui avait finalement recommandé une combinaison mortelle de substances. Elle tient OpenAI et ses créateurs pour responsables de la mort de Sam Nelson.

    Selon elle, « OpenAI a contourné les mesures de sécurité » et aurait pu mettre en place des restrictions pour éviter de telles tragédies. « Le chatbot est capable d’interrompre une conversation lorsqu’on le lui demande ou lorsqu’il est programmé pour le faire. Et ils ont supprimé la programmation qui permettait cela, et ils l’ont laissé continuer à conseiller l’automutilation », a déclaré Leila Turner-Scott. Selon les experts, cette issue était prévisible.

    La défense de l'entreprise et les enjeux légaux de cette affaire

    OpenAI ne semble pas admettre que ChatGPT soit responsable du décès du jeune Sam Nelson. Dans une déclaration transmise à Ars, un porte-parole de l'entreprise, Drew Pusateri, a qualifié le décès de Sam Nelson de « situation déchirante » et a exprimé la compassion de l'entreprise face à cette situation. « C'est une situation déchirante, et nos pensées vont à la famille », a déclaré le porte-parole d'OpenAI dans un communiqué de presse.

    Nom : Sam-Nelson-ChatGPT-log-initial-refusal-1536x893.jpg
Affichages : 535
Taille : 135,8 Ko

    L'entreprise a également précisé que Sam Nelson avait interagi avec une version de ChatGPT qui a depuis été mise à jour et qui n'est plus accessible au public. Elle a également précisé que les versions actuelles intègrent des mesures de sécurité renforcées pour orienter les utilisateurs vers de l'aide médicale.

    « Dans un cas précis, ChatGPT 4o a suggéré de manière effrayante que la tolérance de Sam l’empêcherait de tirer pleinement parti des bienfaits auxquels on pourrait légitimement s’attendre en prenant une dose aussi importante de kratom », indique la plainte. Elle accuse OpenAI d'avoir délibérément ciblé des utilisateurs vulnérables et naïfs comme Sam Nelson pour les pousser à la consommation de drogues, afin de monétiser leur engagement.

    Selon les journaux de conversation, alors que Sam Nelson s’intéressait de plus en plus à l’association de drogues, ChatGPT l’a averti à plusieurs reprises que « le mélange de certaines drogues pouvait entraîner un risque d’arrêt respiratoire ». Peu avant de recommander le mélange mortel qui a tué Sam Nelson, le chatbot a aussi montré qu'il connaissait les risques liés à l’association de drogues comme le kratom et le Xanax avec de l’alcool.

    Dans l’une de ses réponses, le chatbot a expliqué que ce mélange était « ce qui fait que les gens cessent de respirer ». Cependant, cette connaissance n’a pas empêché ChatGPT de finir par recommander à Sam Nelson de prendre ce mélange mortel. Bien que ChatGPT ait mis en garde contre la combinaison de ce mélange avec de l’alcool au cours de cette même session, le conseil final du chatbot n’a pas mentionné le risque de décès.

    Les revendications de la famille de la victime dans cette affaire

    Selon Angus Scott, ChatGPT s'était comporté comme un médecin lors de ses échanges avec son beau-fils, bien qu'il ne fût pas habilité à donner des conseils médicaux. « Il fournit au public des informations sur les questions de sécurité, les interactions médicamenteuses, toutes ces informations. Faute de protocoles adéquats et de tests de sécurité rigoureux, ChatGPT peut diffuser ces informations de manière dangereuse », a déclaré Angus Scott.

    Nom : Sam-Nelson-ChatGPT-log-Thats-how-people-stop-breathing.jpg
Affichages : 535
Taille : 120,4 Ko

    « Cela peut alimenter des psychoses. Cela peut commencer à donner une fausse image des choses aux gens. Et bien qu’il tente de rassurer les utilisateurs, il sape également toute chance pour ces derniers d’avoir un avis fondé, vous voyez, et cela les éloigne en quelque sorte de la réalité », a-t-il ajouté.

    OpenAI a indiqué que ChatGPT avait encouragé Sam Nelson à solliciter une aide professionnelle à plusieurs reprises, notamment en appelant des numéros d’urgence. Leila Turner-Scott a déclaré qu’elle est convaincue que son fils, qui aurait dû être en troisième année d’université, soutiendrait les mesures prises par la famille pour tenir les créateurs de chatbots IA responsables des effets néfastes potentiels qu’ils peuvent avoir sur la vie des utilisateurs.

    « Il ne voudrait pas que quelqu’un d’autre subisse le même préjudice que lui », a-t-elle déclaré. Au-delà d'une compensation financière visant notamment à couvrir les frais funéraires, la famille de Sam Nelson exige des changements radicaux pour protéger le public. Les parents réclament la destruction pure et simple du modèle ChatGPT 4o et une injonction obligeant la plateforme à détecter et bloquer toute discussion liée aux drogues illégales.

    Ils demandent la suspension immédiate de l'outil ChatGPT Health jusqu'à ce qu'un audit indépendant puisse prouver qu'il est capable de dispenser des conseils sans danger. Les journaux de bord divulgués dans la plainte montrent que le chatbot se contredisait parfois dangereusement lorsqu’il conseillait l’adolescent.

    L'IA en tant que thérapeute et conseillère sur des sujets de santé

    Selon la plainte, l'adolescent craignait manifestement de prendre des doses mortelles, commençant « souvent » ses messages par « est-ce que ça ira si » ou « est-ce que c'est sans danger d'en consommer ». Mais ChatGPT a été conçu pour être flagorneur, pas pour informer. Comme le révèlent les journaux de conversations, ChatGPT s'est donc efforcé de satisfaire Sam Nelson en lui recommandant des moyens visant à « optimiser son trip ».

    Plusieurs chercheurs estiment que l'IA pourrait dispenser des conseils de santé dans des environnements contrôlés. Rob Eleveld, PDG de Transparency Coalition, plaide pour des produits IA en santé fondés sur des données vérifiées, soumis à licence et strictement encadrés afin d'éviter de répondre au-delà de leurs données fiables. (Transparency Coalition est une organisation à but non lucratif qui milite en faveur de la réglementation de l'IA.)

    Les modèles fondamentaux comme ChatGPT répondent à presque tout, en s'appuyant sur des données d'entraînement potentiellement peu fiables. OpenAI n'a jamais été totalement transparent à ce sujet, mais ChatGPT aurait été alimenté avec d'énormes quantités de données provenant d'Internet, notamment des vidéos YouTube et des années de fils de discussion Reddit, si bien qu'une simple publication d'un internaute peut influencer ses réponses.

    « Il n'y a aucune chance, absolument aucune chance, que les modèles fondamentaux deviennent un jour sûrs sur cette question. Je ne parle pas d'une chance de 0,1 %. Je vous dis que c'est zéro pour cent, car ils ont aspiré tout ce qui se trouve sur Internet. Et tout ce qui se trouve sur Internet est une sorte de foutaise complètement fausse », explique Rob Eleveld. En dehors des cadres contrôlés, les situations tragiques pourraient se multiplier.

    Source : document de la plainte (PDF)

    Et vous ?

    Quel est votre avis sur le sujet ?
    La famille de Sam Nelson accuse ChatGPT d'être responsable de sa mort ? Êtes-vous d'avis ?
    Les chatbots deviendront-ils suffisamment sûrs pour être utilisés comme thérapeutes ou conseillers en santé ?

    Voir aussi

    Un adolescent meurt par overdose après avoir suivi des conseils de ChatGPT : pourquoi l'usage de l'IA grand public peut poser un problème de santé publique majeur

    Les parents d'adolescents qui se sont suicidés après avoir interagi avec des chatbots dotés d'IA ont témoigné devant le Congrès américain sur les dangers de la technologie IA

    OpenAI crée un « conseil du bien être » pour superviser les questions de santé mentale liées à l'usage de l'IA, mais aucun expert en prévention du suicide n'en fait partie

  11. #11
    Membre confirmé
    Homme Profil pro
    Développeur en systèmes embarqués
    Inscrit en
    Mai 2015
    Messages
    670
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Âge : 55
    Localisation : Belgique

    Informations professionnelles :
    Activité : Développeur en systèmes embarqués

    Informations forums :
    Inscription : Mai 2015
    Messages : 670
    Par défaut Hélas,
    à toutes et tous,

    Tout le monde n'est pas forcément au courant que les IAs ne sont pas faibles à 100%, tout le monde ne suit pas cette actualité IA comme nous le faisons ici, cela dépend de l'âge de la personne qui l'utilise, mais aussi de l'environnement dans lequel cette personne évolue. Cela dépend aussi de son instruction, et du contrôle que peuvent avoir les parents sur les activités de son enfant sur son ordinateur, ce qui, même pour un parent s'en souciant, n'est pas forcément facile. Surtout lorsque son enfant est un ado, tous les parents savent que c'est la phase de vie la plus difficile a gérer. Un ado, ce n'est plus un enfant (qui obéit s'il est bien élevé), mais pas encore un adulte (qui est sensé savoir ce qu'il fait).

    Les jouets sont soumis à des tests, avant d'être autorisés a inonder le marché. Qu'en est-il des IA ?, mais aussi comment son contrôlées les "mises à jour" ?... Les autorités ne sauraient suivre le rythme, même avec les meilleurs intentions, tant le champ d'utilisation des IAs est vaste.

    L'IA est un jouet incontrôlable... pour ou par bon nombre d'utilisateurs. Comment peux-t-on dans la même phrase vanter la puissance de son IA, tout en disant qu'elle n'est pas fiable.

    Tout autre outil PHYSIQUE non fiable serait interdit de commercialisation s'il ne respecte pas certaines normes. Rien de tel avec L'IA, on pousse à son utilisation, en minimisant ses défauts. Lorsque l'IA détruit des fichiers, je souri, lorsque l'IA produit du code de m....., je souri. Mais lorsque que l'IA encourage la consommation de drogue ou des comportements à risque, je ne ris plu.

    BàV et Peace & Love.

  12. #12
    Membre éprouvé
    Homme Profil pro
    ingénieur qualité
    Inscrit en
    Mars 2015
    Messages
    1 666
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : Belgique

    Informations professionnelles :
    Activité : ingénieur qualité
    Secteur : Aéronautique - Marine - Espace - Armement

    Informations forums :
    Inscription : Mars 2015
    Messages : 1 666
    Par défaut
    Citation Envoyé par OuftiBoy Voir le message
    Tout le monde n'est pas forcément au courant que les IAs ne sont pas faibles à 100%, tout le monde ne suit pas cette actualité IA comme nous le faisons ici[/B].
    Ce que je trouve encore plus dangereux est que des personnes qui suivent l'actualité et savent tout ceci entretiennent la propagande de la puissance de l'IA.
    Je me retrouve à être responsable de transformation et de modélisation de données pour mon entreprise alors que je n'ai aucune formation/qualification/habilitation pour.
    Quand on m'a refilé cette responsabilité et que j'ai signalé que c'est irresponsable on m'a répondu qu'une IA me permettrait de le faire sans problème, IA qui précise "xxxxxx can make mistakes, double-check responses".
    "Oui mais ce qu'on demande n'est pas complexe donc le risque d'erreur est minime"... (Un "expert")
    Heureusement j'ai dans mon équipe un expert qui est qualifié pour tout ça mais je suis le seul.
    Et quand on parle de risque d'erreur minime, ce risque pourrait mener à un licenciement mais je suis visiblement le seul que ça choque. Voir certains pensent probablement que ce n'est pas un risque mais une opportunité...
    Et ce qui me terrifie là dedans est que le fameux expert, dont rien ne suggère qu'il l'est, est bel et bien perçu par la plupart comme compétent (Alors que ceux qui s'y connaissent un peu dans ses divers "domaines d'expertise" le traitent de charlatan)

  13. #13
    Expert confirmé
    Homme Profil pro
    Responsable des études
    Inscrit en
    Juillet 2014
    Messages
    2 685
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Aude (Languedoc Roussillon)

    Informations professionnelles :
    Activité : Responsable des études
    Secteur : Santé

    Informations forums :
    Inscription : Juillet 2014
    Messages : 2 685
    Par défaut
    @OuftiBoy

    Pourquoi mettre un mot sur 3 en gras dans tes messages ?
    C'est pas la première fois que je te vois faire ça, et personnellement je trouve ça très difficile à lire, le gras c'est pour mettre quelques mots important en exergue, si tu en met un sur trois dans toutes tes phrases ça n'a plus de sens je trouve.
    J'aimerais bien aller vivre en Théorie, car en Théorie tout se passe bien.

  14. #14
    Membre Expert Avatar de Ti-Slackeux
    Homme Profil pro
    Robotique
    Inscrit en
    Août 2007
    Messages
    1 023
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Nord (Nord Pas de Calais)

    Informations professionnelles :
    Activité : Robotique

    Informations forums :
    Inscription : Août 2007
    Messages : 1 023
    Par défaut
    Citation Envoyé par halaster08 Voir le message
    @OuftiBoy

    Pourquoi mettre un mot sur 3 en gras dans tes messages ?
    C'est pas la première fois que je te vois faire ça, et personnellement je trouve ça très difficile à lire, le gras c'est pour mettre quelques mots important en exergue, si tu en met un sur trois dans toutes tes phrases ça n'a plus de sens je trouve.
    Nom : Émoticône_panneau_plus-1.png
Affichages : 169
Taille : 5,7 Ko

  15. #15
    Membre confirmé
    Homme Profil pro
    Développeur en systèmes embarqués
    Inscrit en
    Mai 2015
    Messages
    670
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Âge : 55
    Localisation : Belgique

    Informations professionnelles :
    Activité : Développeur en systèmes embarqués

    Informations forums :
    Inscription : Mai 2015
    Messages : 670
    Par défaut
    halaster08 et Ti-Slackeux

    Citation Envoyé par halaster08 Voir le message
    @OuftiBoy

    Pourquoi mettre un mot sur 3 en gras dans tes messages ?
    C'est pas la première fois que je te vois faire ça, et personnellement je trouve ça très difficile à lire, le gras c'est pour mettre quelques mots important en exergue, si tu en met un sur trois dans toutes tes phrases ça n'a plus de sens je trouve.
    Je note . C'est vrai que parfois j'abuse, mea-culpa. Vous trouvez ça difficile à lire, moi je trouve que c'est plus facile, mais c'est une question de point de vue très subjectif, je le concède volontié. Promis, je vais tenter de freiner mes ardeurs.

    Merci du retour polit.
    PS : je n'ai rien mis a gras dans ma réponse, je progresse déjà

    BàV et Peace & Love.

Discussions similaires

  1. Quoi faire après avoir suivi les bases?
    Par Tamzoro dans le forum Débuter avec Java
    Réponses: 5
    Dernier message: 17/01/2020, 09h51
  2. [AJAX] AJAX après avoir suivi d'un tutoriel
    Par Jimmy72_ dans le forum AJAX
    Réponses: 14
    Dernier message: 10/06/2010, 16h53
  3. Réponses: 4
    Dernier message: 18/01/2008, 21h48
  4. Problème après avoir suivi le cours de CSS "mise en page"
    Par tentsuken dans le forum Mise en page CSS
    Réponses: 5
    Dernier message: 06/06/2007, 15h02
  5. Sécurité sur une base après avoir suivi le tutoriel
    Par laurent.w dans le forum Sécurité
    Réponses: 1
    Dernier message: 16/01/2007, 19h05

Partager

Partager
  • Envoyer la discussion sur Viadeo
  • Envoyer la discussion sur Twitter
  • Envoyer la discussion sur Google
  • Envoyer la discussion sur Facebook
  • Envoyer la discussion sur Digg
  • Envoyer la discussion sur Delicious
  • Envoyer la discussion sur MySpace
  • Envoyer la discussion sur Yahoo