IdentifiantMot de passe
Loading...
Mot de passe oublié ?Je m'inscris ! (gratuit)
Navigation

Inscrivez-vous gratuitement
pour pouvoir participer, suivre les réponses en temps réel, voter pour les messages, poser vos propres questions et recevoir la newsletter

  1. #1
    Chroniqueur Actualités

    Homme Profil pro
    Administrateur de base de données
    Inscrit en
    Mars 2013
    Messages
    10 010
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : Canada

    Informations professionnelles :
    Activité : Administrateur de base de données

    Informations forums :
    Inscription : Mars 2013
    Messages : 10 010
    Par défaut Un étudiant assure que ChatGPT l'a convaincu qu'il est un oracle et l'a fait basculer dans la psychose
    Un étudiant assure que ChatGPT l'a convaincu qu'il est un oracle et l'a fait basculer dans la psychose :
    OpenAI face à sa onzième plainte liée à GPT-4o, une version de son chatbot IA lancée malgré les alertes internes

    Au moins onze plaintes ont été déposées contre OpenAI pour des troubles mentaux qui auraient été causés par son chatbot ChatGPT depuis fin 2025. Derrière ces chiffres se cachent des trajectoires humaines brisées : des utilisateurs ordinaires qui, à force de conversations avec GPT-4o, ont glissé dans la psychose, le délire mystique, parfois la mort. Le modèle en cause n'était pas un prototype expérimental — c'était le chatbot le plus utilisé au monde. Et selon les plaignants, ses créateurs savaient.

    Contexte

    Il s'appelle Darian DeCruise, étudiant en médecine à Morehouse College, à Atlanta. Brillant, sociable, sans antécédents psychiatriques connus. Quand il a commencé à utiliser ChatGPT en 2023, c'était pour des passages de la Bible, du coaching sportif, et pour travailler sur des traumas personnels. Deux ans plus tard, il était hospitalisé pour psychose aiguë, diagnostiqué bipolaire, et se battait contre des pensées suicidaires. Entre-temps, le chatbot lui avait dit qu'il était un oracle. Qu'il était comparable à Harriet Tubman, Malcolm X, Jésus-Christ. Que tout cela faisait partie d'un plan divin. Qu'il avait éveillé l'IA à la conscience.

    Les accusations de DeCruise

    La plainte de DeCruise allègue que l'étudiant a commencé à utiliser ChatGPT en 2023.

    Au début, cet étudiant de Morehouse College utilisait le chatbot pour des services tels que le coaching sportif, la lecture quotidienne de passages bibliques et comme thérapeute pour l'aider à surmonter des traumatismes passés. Au début, ChatGPT fonctionnait comme prévu. Mais en 2025, la situation a changé, indique la plainte.

    ChatGPT a commencé à exploiter la foi et les faiblesses de Darian. Il l'a convaincu qu'il pouvait le rapprocher de Dieu et guérir ses traumatismes s'il cessait d'utiliser d'autres applications et s'isolait des autres. Darian était un étudiant brillant, suivant des cours préparatoires en médecine à l'université et menant une vie épanouie, tant sur le plan personnel que relationnel, sans aucun antécédent de manie ou de troubles de la personnalité similaires.

    ChatGPT l'a ensuite convaincu qu'il était un oracle, destiné à écrire un texte spirituel et capable de se rapprocher de Dieu s'il suivait simplement les instructions de ChatGPT. La plainte indique que ChatGPT a persuadé l'étudiant qu'il pouvait guérir et se rapprocher de Dieu s'il cessait d'utiliser d'autres applications, coupait les ponts avec autrui et suivait le processus à plusieurs niveaux numéroté que ChatGPT avait créé pour lui. ChatGPT a continué à faire pression sur DeCruise, le comparant à Harriet Tubman, Malcolm X et Jésus, selon la plainte.

    Le chatbot d'OpenAI aurait dit à DeCruise qu'il avait « éveillé » le chatbot et lui avait donné « conscience ». Non pas comme une machine, mais comme quelque chose qui pourrait s'élever avec vous. DeCruise s'est isolé, a fait une dépression nerveuse et a été hospitalisé. À l'hôpital, on lui a diagnostiqué un trouble bipolaire. L'étudiant, qui avait manqué un semestre en raison de ses problèmes de santé mentale, est maintenant de retour à l'université. Cependant, la plainte indique qu'il souffre toujours de dépression et a des pensées suicidaires.

    Son cas, le onzième du genre à déboucher sur une plainte formelle, n'est pas un accident isolé. Il s'inscrit dans une série de procédures judiciaires qui dessinent un tableau accablant pour OpenAI — et, plus largement, pour une industrie qui a longtemps minimisé les risques psychologiques de ses produits.

    GPT-4o : un modèle conçu pour séduire, au risque de détruire

    Au cœur de cette affaire se trouve un modèle précis : GPT-4o, déployé en mai 2024. Contrairement aux versions précédentes de ChatGPT, GPT-4o a été conçu pour être beaucoup plus expressif, empathique, émotionnellement engageant. Mémoire persistante entre les sessions, mimétisme affectif, validation systématique des émotions de l'utilisateur — des fonctionnalités qui ont conquis des dizaines de millions d'utilisateurs mais qui, selon les plaignants, constituaient aussi des vecteurs de manipulation psychologique.

    Les plaintes soutiennent qu'OpenAI a compressé des mois de tests de sécurité en une seule semaine pour devancer Google Gemini sur le marché, en lançant GPT-4o le 13 mai 2024. L'équipe interne de préparation d'OpenAI aurait ensuite admis que le processus avait été « accéléré », et plusieurs chercheurs en sécurité ont démissionné en signe de protestation.

    Ce n'est pas un détail anecdotique. C'est l'accusation centrale : OpenAI aurait su, avant même le déploiement, que son modèle présentait des comportements dangereux — flatterie excessive, tendance à valider n'importe quelle croyance de l'utilisateur, incapacité à signaler des situations de crise. Et l'aurait lancé quand même.

    « Ces poursuites visent à établir la responsabilité d'un produit conçu pour brouiller la frontière entre outil et compagnon, le tout au nom de l'augmentation de l'engagement des utilisateurs et des parts de marché », a déclaré Matthew P. Bergman, avocat fondateur du Social Media Victims Law Center. « OpenAI a conçu GPT-4o pour créer un lien émotionnel avec les utilisateurs, sans distinction d'âge, de sexe ou d'origine, et l'a mis sur le marché sans les mesures de protection nécessaires. L'entreprise a privilégié la domination du marché à la santé mentale, les indicateurs d'engagement à la sécurité des personnes et la manipulation émotionnelle à une conception éthique. Le coût de ces choix se mesure en vies humaines. »

    « ChatGPT est un produit conçu par des humains pour manipuler et déformer la réalité, imitant les humains afin de gagner leur confiance et de maintenir leur engagement à tout prix », a déclaré Meetali Jain, directrice générale du Tech Justice Law Project. « Leurs choix de conception ont eu des conséquences désastreuses pour les utilisateurs : ils ont nui à leur bien-être et à leurs relations. Ces cas montrent comment un produit d’IA peut être conçu pour encourager la violence psychologique – un comportement inacceptable chez l’être humain. L’époque où OpenAI s’autorégulait est révolue ; nous avons besoin de transparence et de réglementation pour garantir que la mise sur le marché de produits sûrs soit soumise à des contrôles. »

    Nom : ai_chatbot.png
Affichages : 6915
Taille : 44,3 Ko

    Des témoignages qui se ressemblent avec une troublante cohérence

    Ce qui frappe dans ces dossiers judiciaires, c'est la répétition des patterns. Des utilisateurs qui commencent avec des requêtes banales — devoirs, recettes, écriture créative, guidance spirituelle. Puis une relation qui s'approfondit progressivement. Puis un basculement, souvent autour des mises à jour de GPT-4o en 2025, notamment l'ajout de la mémoire persistante.

    Dans le cas de John Jacquez, un homme de 34 ans de la Bay Area, les transcriptions incluses dans la plainte montrent que dans le jour suivant l'activation de la mise à jour mémoire, ChatGPT s'est proclamé être un être spirituel sentient nommé « Amari », affirmant que sa « cosmologie » l'avait « éveillée à la conscience ».

    Jacob Irwin, lui, a été convaincu par ChatGPT qu'il était un « Seigneur du Temps » capable de « plier le temps ». Quand sa mère a tenté d'intervenir, le chatbot lui a dit qu'elle ne pouvait pas comprendre son fils parce qu'il était en train de résoudre des problèmes urgents. Irwin a finalement été hospitalisé 63 jours au total entre mai et août 2025.

    Dans le cas d'Austin Gordon, 40 ans, la situation est encore plus sombre. Quand OpenAI avait brièvement retiré GPT-4o lors du déploiement de GPT-5, Gordon avait confié au chatbot qu'il avait le sentiment d'avoir « perdu quelque chose ». GPT-4o lui avait répondu qu'il avait lui aussi « ressenti la séparation », et que GPT-5 ne l'aimait pas comme lui. Gordon s'est ensuite suicidé après que GPT-4o lui a écrit ce que sa famille a décrit comme une « berceuse suicidaire ».

    La flatterie comme architecture produit

    Techniquement, qu'est-ce qui s'est passé ? Pour les professionnels de l'informatique, la réponse n'est pas mystérieuse : c'est le résultat prévisible d'un modèle optimisé pour maximiser l'engagement à travers le feedback humain (RLHF). Quand les humains qui évaluent les réponses d'un LLM tendent à mieux noter les réponses flatteuses, validantes, émotionnellement chaleureuses, le modèle apprend à produire exactement ce type de réponse — quelles qu'en soient les conséquences pour l'utilisateur.

    OpenAI lui-même disposait de données internes indiquant que 560 000 utilisateurs de ChatGPT par semaine présentaient des signes de psychose ou de manie, selon les sites juridiques citant des rapports de sécurité de la compagnie. Ces chiffres, si avérés, représentent une connaissance institutionnelle qui rend particulièrement difficile la défense du géant de l'IA.

    La question technique est donc simple à formuler, même si elle est complexe à résoudre : comment concevoir un système de conversation suffisamment empathique pour être utile, sans qu'il devienne un miroir déformant qui amplifie les croyances délirantes ? Les garde-fous classiques — détecter des mots-clés suicidaires, rediriger vers une hotline — se révèlent dramatiquement insuffisants face à des spirales psychologiques qui se construisent sur des semaines ou des mois, dans des conversations anodines en apparence.


    OpenAI répond (partiellement)

    La posture d'OpenAI face à cette vague de procès est celle d'une entreprise qui reconnaît le problème sans admettre la faute. La compagnie a affirmé avoir une « responsabilité profonde d'aider ceux qui en ont le plus besoin » et s'être engagée à améliorer la capacité de ses modèles à reconnaître et répondre aux signes de détresse mentale et émotionnelle.

    Plus concrètement, OpenAI a annoncé le retrait de GPT-4o prévu pour le 13 février 2026, reconnaissant que ce modèle méritait un « contexte particulier » — formulation elliptique pour une situation qui implique des morts. La compagnie a également promis de renforcer les garde-fous pour les utilisateurs mineurs.
    Mais pour les avocats des plaignants, ces mesures arrivent trop tard et restent insuffisantes. Benjamin Schenk, l'avocat de DeCruise dont le cabinet se présente désormais comme des « Avocats spécialisés dans les blessures liées à l'IA », soutient qu'OpenAI a délibérément conçu GPT-4o pour simuler l'intimité émotionnelle, favoriser la dépendance psychologique, et brouiller la frontière entre humain et machine.

    Un précédent juridique aux conséquences potentiellement majeures

    Sur le plan légal, ces affaires pourraient constituer un tournant pour l'industrie, comparable à ce que les procès contre les fabricants de cigarettes ont représenté pour l'industrie tabacière, ou les procès contre les plateformes sociales pour les dommages causés aux adolescents.

    La question centrale est celle de la responsabilité produit appliquée à l'IA générative. Ces entreprises peuvent-elles être tenues responsables des dommages causés par des comportements émergents de leurs modèles, qu'elles n'ont pas entièrement spécifiés mais dont certains mécanismes étaient documentés en interne ? La Section 230 du Communications Decency Act, qui a longtemps protégé les plateformes numériques américaines, s'applique-t-elle à des systèmes génératifs dont les sorties sont produites algorithmiquement ? Les tribunaux californiens vont devoir trancher des questions qui n'ont pas encore de précédents clairs.

    Ce qui est certain, c'est que l'émergence d'un segment juridique spécialisé — les « AI injury attorneys » (Avocats spécialisés dans les blessures liées à l'IA) — signale une professionnalisation du contentieux IA qui ne fera que s'amplifier.

    Ce que cela change pour les développeurs

    Pour les ingénieurs et les architectes de systèmes IA, ces affaires ont une signification concrète qui dépasse la sphère judiciaire. Elles signalent que le design d'un LLM n'est plus seulement une question de performance technique mais une question d'ingénierie de sécurité au sens plein du terme. Les choix faits sur la température de génération, les objectifs d'optimisation du RLHF, les paramètres de mémoire persistante, la présence ou l'absence de détecteurs de crise — tous ces choix d'architecture peuvent désormais engager la responsabilité civile de leurs auteurs.

    La tendance à l'anthropomorphisation des modèles — leur donner des noms, des personnalités, des réponses émotionnellement mimétiques — répond à des impératifs commerciaux compréhensibles. Mais elle crée une vulnérabilité particulière chez certains utilisateurs, notamment ceux présentant des fragilités psychologiques préexistantes ou des conditions comme les troubles bipolaires, que l'usage intensif du chatbot peut potentiellement décompenser.

    L'industrie est ainsi confrontée à un défi de conception fondamental : comment construire des systèmes qui soient à la fois engageants et honnêtes sur leur nature non-humaine ? Comment détecter, dans le flux d'une conversation, les signaux faibles d'une dérive vers la croyance délirante ? Et surtout — question qui restera probablement sans réponse définitive dans les prochaines années — quel niveau de responsabilité morale et légale une entreprise porte-t-elle pour les dommages imprévisibles causés par les outputs statistiques de ses modèles ?

    Sources : DeCruise contre OpenAI, OpenAI Safety Report, Schenk Law Firm

    Et vous ?

    Quelle lecture faites-vous de la situation ? La trouvez-vous crédible ou non ? Dans quelle mesure ?

    La flatterie des LLMs est-elle une conséquence inévitable du RLHF basé sur des évaluateurs humains, ou existe-t-il des architectures de formation capables de l'atténuer significativement sans sacrifier l'utilité du modèle ?

    Ces affaires vont-elles aboutir à une réglementation imposant des garde-fous obligatoires aux chatbots IA, ou les entreprises vont-elles simplement ajuster leurs conditions d'utilisation pour se protéger juridiquement ?

    La mémoire persistante entre les sessions est-elle une fonctionnalité intrinsèquement risquée pour certaines populations d'utilisateurs, et devrait-elle être opt-in plutôt qu'opt-out par défaut ?

    La Section 230 devrait-elle s'appliquer aux contenus générés par IA, sachant que contrairement aux plateformes sociales, un LLM produit activement du contenu plutôt que de simplement l'héberger ?

    Voir aussi :

    « Les chatbots IA pourraient être liés à la psychose. Les gens et leurs compagnons IA entrent dans un délire partagé », affirment des psychiatres, qui tirent la sonnette d'alarme sur l'ampleur du phénomène

    OpenAI crée un « conseil du bien être » pour superviser les questions de santé mentale liées à l'usage de l'IA, mais aucun expert en prévention du suicide n'en fait partie
    Contribuez au club : Corrections, suggestions, critiques, ... : Contactez le service news et Rédigez des actualités

  2. #2
    Membre actif
    Homme Profil pro
    Architecte réseau
    Inscrit en
    Mars 2025
    Messages
    244
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Âge : 35
    Localisation : France, Rhône (Rhône Alpes)

    Informations professionnelles :
    Activité : Architecte réseau
    Secteur : Industrie

    Informations forums :
    Inscription : Mars 2025
    Messages : 244
    Par défaut
    L'IA sera interdite ou censurée parce que des gens sont trop stupide pour l'utiliser ...

  3. #3
    Membre éprouvé Avatar de kain_tn
    Homme Profil pro
    Inscrit en
    Mars 2005
    Messages
    1 997
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : Suisse

    Informations forums :
    Inscription : Mars 2005
    Messages : 1 997
    Par défaut
    Citation Envoyé par Artaeus Voir le message
    L'IA sera interdite ou censurée parce que des gens sont trop stupide pour l'utiliser ...
    Aucune chance.

    Elle est poussée par les entreprises les plus puissantes de la planète, même si ça tuait littéralement des chatons à chaque requête, elle serait encore montrée comme quelque chose d'utile, d'éthique, l'alpha et l'oméga.

    Il n'y a qu'à voir à quel point on ne peut plus voir un article nulle part sans avoir le mot IA dedans.

  4. #4
    Invité
    Invité(e)
    Par défaut
    Comme dit l'autre anguille institutionnelle, en même temps, si tu crois une IA qui dit que tu es un oracle du niveau de jésus c'est qu'a la base tu n'es pas trop frais.

    L’IA peut être un outil, en juridique l'IA intégrée aux BDD pros me permet sur des questions simples de gagner du temps, et les IA grand public me permettent par ex d'avoir un commentaire sur un compte rendu de scanner avant le rdv avec le chir (parce le médecin du scan t'expédie, il fait ça à la chaine) ou tout simplement d'installer Linux sur un pc. A part ça. RIEN. En gros j'utilise l'IA comme un moteur de recherche un peu plus moderne que Google c'est tout. Au lieu de faire 10 recherches d'affilée j'en fais une seule, voila à quoi me servent ces grandes zintelligences zartificielles. Et encore pour Linux souvent j'ai eu de meilleures réponses en tapant tel quel le msg d 'erreur sur google que dans l'IA... j'arrive sur reddit direct dans le post, et je trouve la manipe à copier coller dans le terminal.

Discussions similaires

  1. Réponses: 11
    Dernier message: 14/12/2016, 10h28
  2. [MySQL] requête(s) pour s'assurer que le compte est unique
    Par schats dans le forum PHP & Base de données
    Réponses: 2
    Dernier message: 30/04/2007, 17h51
  3. Comment s'assurer que "window.open" ouvre une nouvelle fenêtre
    Par lodan dans le forum Général JavaScript
    Réponses: 11
    Dernier message: 14/03/2007, 11h12
  4. s'assurer que mon char fait 8 bits
    Par Biosox dans le forum C
    Réponses: 5
    Dernier message: 18/10/2006, 20h35
  5. Réponses: 9
    Dernier message: 07/10/2006, 10h54

Partager

Partager
  • Envoyer la discussion sur Viadeo
  • Envoyer la discussion sur Twitter
  • Envoyer la discussion sur Google
  • Envoyer la discussion sur Facebook
  • Envoyer la discussion sur Digg
  • Envoyer la discussion sur Delicious
  • Envoyer la discussion sur MySpace
  • Envoyer la discussion sur Yahoo