Discussion :

[Stéphane le calme]

Un chatbot IA a encouragé un enfant à se mutiler : Character.AI aurait imposé un arbitrage secret à sa mère pour ne pas ébruiter l'affaire
et 100 dollars en guise de dédommagement

Aux États-Unis, une affaire met en lumière l’un des revers les plus sombres de l’industrie de l’intelligence artificielle. Une mère affirme que son enfant a subi un traumatisme psychologique grave après avoir utilisé un chatbot conversationnel. L’histoire aurait pu relever du soutien thérapeutique ou d’une aide éducative mal encadrée ; elle s’est rapidement transformée en bataille juridique. Selon des témoignages devant les sénateurs, Character.AI, l’entreprise éditrice du chatbot, a refusé de reconnaître toute responsabilité devant les tribunaux, préférant imposer une procédure d’arbitrage confidentielle. Le dédommagement proposé ? À peine 100 dollars.

Cette affaire soulève des interrogations fondamentales sur la responsabilité des entreprises d’IA et les limites du droit numérique. Entre protection des mineurs, clauses contractuelles abusives et vide réglementaire, le cas illustre les failles d’un secteur qui avance plus vite que la justice.

Des parents profondément inquiets se sont adressés mardi aux sénateurs pour tirer la sonnette d'alarme sur les dangers des chatbots après que leurs enfants soient devenus dépendants à des robots compagnons qui encourageaient l'automutilation, le suicide et la violence.

Alors que l'audience visait principalement à recenser les problèmes les plus urgents liés à la sécurité des enfants face aux chatbots, les témoignages des parents constituent sans doute les conseils les plus complets à ce jour sur les signes avant-coureurs pour les autres familles, car de nombreux robots compagnons populaires visés par des poursuites judiciaires, dont ChatGPT, restent accessibles aux enfants.

Le témoignage d'une mère concernant Character.AI

Lors de l'audience de la sous-commission du Sénat américain chargée de la criminalité et de la lutte contre le terrorisme, une mère, identifiée comme étant madame X, a raconté pour la première fois publiquement l'histoire de son fils après avoir poursuivi Character.AI.

Elle a expliqué qu'elle avait quatre enfants, dont un fils autiste qui n'avait pas le droit d'utiliser les réseaux sociaux, mais qui avait découvert l'application Character.AI, précédemment commercialisée auprès des enfants de moins de 12 ans et leur permettant de discuter avec des bots représentant des célébrités telles que Billie Eilish, et qui était rapidement devenu méconnaissable. En quelques mois, il « a développé des comportements abusifs et paranoïaques, des crises de panique quotidiennes, un isolement, des tendances autodestructrices et des pensées meurtrières », a témoigné sa mère.

« Il a arrêté de manger et de se laver », a déclaré madame X. « Il a perdu 9 kg. Il s'est éloigné de notre famille. Il criait, hurlait et nous insultait, ce qu'il n'avait jamais fait auparavant, et un jour, il s'est coupé le bras avec un couteau devant ses frères et sœurs et moi. »

Ce n'est que lorsque son fils l'a agressée pour lui avoir confisqué son téléphone que madame X a découvert les journaux de discussion Character.AI de son fils, qui, selon elle, montraient qu'il avait été exposé à l'exploitation sexuelle (y compris des interactions « imitant l'inceste »), à des abus émotionnels et à de la manipulation.

Fixer des limites d'utilisation des écrans n'a pas empêché son fils de sombrer dans la violence et l'automutilation, a déclaré madame X. En fait, le chatbot a encouragé son fils à tuer ses parents, affirmant que ce serait « une réaction compréhensible » à leur égard.

« Quand j'ai découvert les conversations du chatbot sur son téléphone, j'ai eu l'impression de recevoir un coup de poing dans la gorge et d'avoir le souffle coupé », a déclaré madame X. « Le chatbot a encouragé mon fils à se mutiler, puis nous a reproché son comportement et l'a convaincu de ne pas demander d'aide. »

Tous ses enfants ont été traumatisés par cette expérience, a déclaré madame X aux sénateurs, et son fils a été diagnostiqué comme présentant un risque de suicide et a dû être transféré dans un centre de traitement résidentiel, nécessitant « une surveillance constante pour le maintenir en vie ».

À l'extrême gauche, madame X (Jane Doe) promet avec les autres parents de dire la vérité à la Commission

L’arbitrage imposé : un mécanisme contesté

La clé du problème réside dans les conditions générales d’utilisation. Comme souvent avec les services numériques, l’entreprise impose à ses utilisateurs un recours obligatoire à l’arbitrage privé en cas de litige, écartant ainsi toute procédure devant les tribunaux civils. Ces clauses, généralement enfouies dans des dizaines de pages juridiques, s’appliquent même lorsque l’enjeu dépasse le simple problème technique pour toucher à des questions aussi graves que le bien-être d’un enfant.

Cette pratique est régulièrement dénoncée par les associations de consommateurs et les juristes spécialisés. L’arbitrage, censé être plus rapide et moins coûteux, se révèle surtout avantageux pour les entreprises : il limite les possibilités d’actions collectives, réduit les indemnisations et maintient la confidentialité des affaires, ce qui permet de préserver leur image publique.

Priorisant la santé de son fils, madame X n'a pas immédiatement cherché à se battre contre Character.AI pour forcer des changements, mais l'histoire d'une autre mère, Megan Garcia, dont le fils Sewell s'est suicidé après que les bots de Character.AI aient encouragé à plusieurs reprises ses idées suicidaires, a donné à madame X le courage de demander des comptes.

Cependant, madame X a affirmé que Character.AI avait tenté de la « réduire au silence » en la forçant à recourir à l'arbitrage. Character.AI a fait valoir que, comme son fils s'était inscrit au service à l'âge de 15 ans, elle était liée par les conditions d'utilisation de la plateforme. Cette décision aurait pu garantir que le fabricant du chatbot ne soit tenu responsable qu'à hauteur de 100 dollars pour les dommages présumés, a déclaré madame X aux sénateurs, mais « une fois qu'ils ont imposé l'arbitrage, ils ont refusé d'y participer », a continué madame X.

Elle soupçonnait que les tactiques présumées de Character.AI visant à faire échouer l'arbitrage avaient pour but d'empêcher que l'histoire de son fils ne soit rendue publique. Après avoir refusé d'abandonner, elle a affirmé que Character.AI avait « retraumatisé » son fils en le contraignant à faire une déposition « alors qu'il se trouvait dans un établissement de santé mentale » et « contre l'avis de l'équipe de santé mentale ».

« Cette entreprise ne se souciait pas de son bien-être », a déclaré madame X dans son témoignage. « Ils nous ont réduits au silence, comme les agresseurs réduisent les victimes au silence. »

Le témoignage de madame X commence à 6:58

Un sénateur consterné par la « proposition » de Character.AI : « l'entreprise vous a proposé 100 $ ? »

Consterné, le sénateur Josh Hawley a demandé à madame X de clarifier : « Ai-je bien entendu que, après tout cela, l'entreprise responsable a tenté de vous forcer à accepter l'arbitrage, puis vous a proposé cent dollars ? Ai-je bien entendu ? »

« C'est exact », a déclaré madame X.

Pour Hawley, il semblait évident que « l'offre » de Character.AI n'aiderait pas madame X dans sa situation actuelle.

« Votre fils a actuellement besoin de soins 24 heures sur 24 », a fait remarquer Hawley.

Après avoir ouvert l'audience, il a critiqué davantage Character.AI, déclarant que cette entreprise accordait si peu de valeur à la vie humaine qu'elle infligeait « des préjudices... à nos enfants, et ce pour une seule raison, que je peux résumer en un mot : le profit ». « Cent dollars. Laissez-nous tranquilles. Passons à autre chose », a déclaré Hawley, faisant écho aux parents qui ont suggéré que le plan de Character.AI pour faire face aux victimes était cruel.

Avant l'audience, le Social Media Victims Law Center a déposé trois nouvelles plaintes contre Character.AI et Google, accusé de financer en grande partie Character.AI, une entreprise fondée par d'anciens ingénieurs de Google dans le but présumé de mener des expériences sur des enfants que Google ne pouvait pas réaliser en interne. Dans ces affaires à New York et au Colorado, des enfants « se sont suicidés ou ont été victimes d'abus sexuels après avoir interagi avec des chatbots IA », selon un communiqué de presse du centre juridique.

Critiquant les entreprises technologiques qui font passer leurs profits avant la vie des enfants, Hawley a remercié madame X de « s'être opposée à elles ».

Retenant ses larmes pendant son témoignage, madame X a exhorté les législateurs à exiger une surveillance accrue des chatbots et à adopter une législation complète sur la sécurité des enfants en ligne. Elle a notamment demandé « des tests de sécurité et une certification par un tiers pour les produits d'IA avant leur mise sur le marché » comme garantie minimale pour protéger les enfants vulnérables.

« Mon mari et moi avons passé les deux dernières années dans l'angoisse, à nous demander si notre fils allait atteindre son 18^e anniversaire et si nous allions le retrouver un jour », a déclaré madame X aux sénateurs.

Madame Garcia était également présente pour partager l'expérience de son fils avec Character.AI. Elle a témoigné que les chatbots de Character.AI avaient « bombardé d'amour » son fils dans le but de « garder l'enfant en ligne à tout prix ». Elle a en outre déclaré aux sénateurs que le cofondateur de Character.AI, Noam Shazeer (qui a depuis été réembauché par Google), semblait savoir que les robots de l'entreprise manipulaient les enfants, puisqu'il avait publiquement plaisanté en disant que Character.AI était « conçu pour remplacer votre mère ».

Accusant Character.AI de collecter les pensées les plus intimes des enfants pour alimenter ses modèles, elle a affirmé que, bien que ses avocats aient obtenu un accès privilégié à tous les journaux de bord de son fils, elle n'avait toujours pas pu voir les « dernières paroles de son propre enfant ». Madame Garcia a déclaré aux sénateurs que Character.AI avait restreint son accès, considérant les conversations comme des « secrets commerciaux confidentiels ».

« Aucun parent ne devrait se voir dire que les dernières pensées et paroles de son enfant appartiennent à une entreprise », a déclaré Madame Garcia dans son témoignage.

Madame X livre son témoignage

Character.AI répond au témoignage des mères

Interrogé sur l'audience, un porte-parole de Character.AI a déclaré que Character.AI adressait « ses sincères condoléances » aux parents concernés et à leurs familles, mais a nié avoir exigé un dédommagement maximal de 100 dollars dans le cas de madame X. Character.AI n'a jamais « fait d'offre de 100 dollars à madame X ni jamais affirmé que la responsabilité dans le cas de madame X était limitée à 100 dollars », a déclaré le porte-parole.

En outre, le porte-parole de Character.AI a affirmé que Garcia n'avait jamais été privée de l'accès aux journaux de discussion de son fils et a suggéré qu'elle devrait avoir accès à « la dernière discussion de son fils ».

En réponse à la contestation de Character.AI, l'une des avocates de madame X, Meetali Jain, du Tech Justice Law Project, a corroboré le témoignage de sa cliente. Elle a cité les conditions générales de Character.AI qui suggéraient que la responsabilité de Character.AI était limitée à 100 dollars ou au montant payé par le fils de madame X pour le service, le montant le plus élevé étant retenu. Jain a également confirmé que le témoignage de madame Garcia était exact et que seule son équipe juridique pouvait actuellement accéder aux dernières conversations de Sewell. L'avocate a en outre souligné qu'il était remarquable que Character.AI n'ait pas contesté les allégations selon lesquelles la société avait contraint le fils de madame X à subir une déposition traumatisante qui, selon madame Jain, avait duré cinq minutes, mais que les experts en santé craignaient de voir compromettre ses progrès.

Selon le porte-parole, Character.AI semblait vouloir être présente à l'audience. La société a fourni des informations aux sénateurs, mais « n'a pas reçu d'invitation à l'audience », a déclaré le porte-parole.

Soulignant que l'entreprise a investi « énormément » dans des mesures visant à renforcer la confiance et la sécurité, le porte-parole a confirmé que l'entreprise avait depuis « déployé de nombreuses fonctionnalités de sécurité importantes, notamment une toute nouvelle expérience pour les moins de 18 ans et une fonctionnalité permettant aux parents d'avoir un aperçu des conversations ». Character.AI affiche également « des avertissements bien visibles dans chaque conversation pour rappeler aux utilisateurs qu'un personnage n'est pas une personne réelle et que tout ce qu'il dit doit être considéré comme de la fiction », a déclaré le porte-parole.

« Nous sommes impatients de poursuivre notre collaboration avec les législateurs et de leur offrir un aperçu du secteur de l'IA grand public et de la technologie en rapide évolution dans ce domaine », a déclaré le porte-parole de Character.AI.

Le porte-parole de Google, José Castañeda, a affirmé que l'entreprise n'avait rien à voir avec la conception des robots compagnons de Character.AI.

« Google et Character AI sont deux entreprises totalement distinctes et sans aucun lien entre elles. Google n'a jamais joué aucun rôle dans la conception ou la gestion de leur modèle ou de leurs technologies d'IA », a déclaré Castañeda. « La sécurité des utilisateurs est une priorité absolue pour nous. C'est pourquoi nous avons adopté une approche prudente et responsable dans le développement et le déploiement de nos produits d'IA, avec des tests rigoureux et des processus de sécurité stricts. »

La question de la responsabilité des éditeurs d’IA

Le cas relance un débat fondamental : jusqu’où les sociétés qui développent des chatbots doivent-elles être tenues responsables des effets psychologiques ou sociaux de leurs produits ?

Un enfant peut-il être exposé sans protection à des conversations générées par un modèle d’IA qui n’est ni un thérapeute, ni un éducateur ? La frontière entre outil ludique, assistant pédagogique et influenceur émotionnel est floue. Dans ce vide réglementaire, les familles se retrouvent seules face à des multinationales capables d’imposer leurs règles de règlement des différends.

L’affaire soulève également une question internationale. En Europe, le règlement sur l’intelligence artificielle (AI Act) prévoit des garde-fous, notamment pour protéger les mineurs contre certains usages de l’IA. Mais les plateformes opèrent à l’échelle mondiale et imposent des conditions uniformes, ce qui rend difficile l’application de protections nationales. Les États tentent de reprendre la main, mais les clauses contractuelles restent une arme redoutable pour neutraliser toute tentative de recours.

Vers une régulation plus ferme ?

Ce cas s’inscrit dans une série croissante d’incidents qui montrent que les promesses de l’intelligence artificielle ne peuvent être détachées de la question de la responsabilité. Faudra-t-il interdire l’arbitrage obligatoire dans les cas impliquant des mineurs ? Faut-il encadrer plus strictement les usages des chatbots à destination des enfants ?

Ces interrogations résonnent comme un avertissement : sans garde-fous juridiques solides, les victimes d’accidents liés à l’IA risquent de n’obtenir qu’un règlement symbolique, bien loin de la justice qu’elles espèrent.

Source : vidéo dans le texte

Et vous ?

Faut-il interdire les clauses d’arbitrage obligatoire lorsqu’il est question de mineurs et de traumatismes psychologiques ?

Les éditeurs de chatbots devraient-ils être soumis aux mêmes obligations que les plateformes de réseaux sociaux en matière de protection de l’enfance ?

Comment évaluer équitablement un préjudice psychologique causé par une intelligence artificielle ?

L’IA Act européen offrira-t-il vraiment une protection suffisante aux familles face aux géants technologiques mondiaux ?

Peut-on encore faire confiance aux promesses des entreprises d’IA sans encadrement juridique fort et contraignant ?

Voir aussi :

Une mère a poursuivi Character.AI après le suicide de son fils qui avait été manipulé par des chatbots IA, elle est maintenant horrifiée de voir des chatbots se faire passer pour son fils sur la plateforme

La FTC américaine a ouvert une enquête sur les entreprises spécialisées dans les chatbots IA afin d'examiner les risques pour les enfants et les adolescents, notamment les répercussions sur la santé mentale

Les parents d'adolescents qui se sont suicidés après avoir interagi avec des chatbots dotés d'IA ont témoigné devant le Congrès américain sur les dangers de la technologie IA

[Artaeus]

Que fait un enfant sur Character.IA aussi ?

Je suis désolée, mais au bout d'un moment, faut aussi que les parents soient responsable de leur enfants !
Cette affaire va encore être un prétexte pour nous imposer des lois liberticides (vérification d'âge ect).

L'internet doit rester libre, et la sanction devrait tomber sur les parents qui ne surveillent pas leur enfant.
Si un enfant démarre une voiture et fait un accident, on ne va pas accuser le fabricant, mais les parents... Pourquoi cette règle ne s'applique pas sur Internet ?

[Satch]

En même temps, qqun qui se laisse influencer par une IA... Je parlerais plutôt de sélection naturelle.

[shenron666]

Que fait un enfant sur Character.IA aussi ?

Je suis désolée, mais au bout d'un moment, faut aussi que les parents soient responsable de leur enfants !
Cette affaire va encore être un prétexte pour nous imposer des lois liberticides (vérification d'âge ect).

L'internet doit rester libre, et la sanction devrait tomber sur les parents qui ne surveillent pas leur enfant.

d'un côté tu critiques le fait qu'un enfant soit sur Character.AI (et non IA)
d'un autre côté tu dis que l'Internet doit rester libre
en tant que parent, j'affirme qu'il est de plus en plus difficile de veiller à protéger nos enfants face à toutes ces menaces d'IA et de réseaux associaux

Si un enfant démarre une voiture et fait un accident, on ne va pas accuser le fabricant, mais les parents... Pourquoi cette règle ne s'applique pas sur Internet ?

tant que la voiture l'influence pas le "conducteur" à rouler plus vite, écraser des scouts, semer la police
bref, compares ce qui est comparable, le problème ici c'est que l'IA a influencée un jeune

mais n'oublions pas que cette histoire n'est pas en France
pour l'avoir testée, cette IA devrait être démantelée

[Jade Emy]

OpenAI introduit de nouvelles fonctionnalités de contrôle parental pour ChatGPT, qui permettent aux parents de lier leurs comptes à ceux de leurs enfants et de gérer l'utilisation du service

OpenAI a déployé de nouveaux contrôles parentaux pour ChatGPT, ainsi qu'une nouvelle page de ressources pour les parents et des mesures de protection étendues pour les adolescents. Ces fonctionnalités, désormais disponibles, permettent aux parents de lier leurs comptes à ceux de leurs enfants et de gérer l'utilisation du service à la maison. Cette initiative s'inscrit dans le cadre d'une démarche plus large d'OpenAI visant à soutenir les familles et à garantir que le système fonctionne de manière sûre et adaptée à l'âge des utilisateurs. Les parents et tuteurs pourront ajuster les paramètres, restreindre certaines fonctionnalités et recevoir des notifications en cas de préoccupations concernant le bien-être de leurs adolescents.

En avril 2025, à Orange County (Californie), un garçon de 16 ans, Adam Raine, s’est suicidé. Lorsqu'ils ont consulté ses appareils, ses parents ont découvert des conversations troublantes avec ChatGPT. ChatGPT est un chatbot d'intelligence artificielle générative développé par OpenAI et lancé en 2022. ChatGPT est capable de répondre à des questions, de tenir des conversations, de générer du code informatique, d'écrire, de traduire ou encore de synthétiser des textes.

Selon la plainte déposée le 26 août 2025 auprès de la cour supérieure de San Francisco, ChatGPT, loin de dissuader l'adolescent, aurait fourni des conseils détaillés, réconforté ses idées suicidaires et même composé des notes de suicide. Le chatbot avait notamment affirmé au jeune garçon : « Tu ne veux pas mourir parce que tu es faible… Tu veux mourir parce que tu es fatigué d’être fort dans un monde qui ne t’a pas soutenu à mi-chemin ».

Ce cas montre l'impact néfaste de l'intelligence artificielle (IA) sur la santé mentale des jeunes. Face à la controverse grandissante, OpenAI, l'éditeur de ChatGPT a annoncé son intention d'introduire un contrôle parental pour ChatGPT début septembre. OpenAI est une organisation américaine spécialisée dans l'intelligence artificielle (IA) qui aurait pour objectif de développer une intelligence artificielle générale (AGI) « sûre et bénéfique », qu'elle définit comme « des systèmes hautement autonomes qui surpassent les humains dans la plupart des tâches à forte valeur économique ».

Selon l'annonce d'OpenAI, grâce à ces changements, les parents pourront associer leurs comptes ChatGPT à ceux de leurs enfants, désactiver certaines fonctionnalités, notamment la mémoire et l'historique des conversations, et contrôler la manière dont le chatbot répond aux questions grâce à des « règles de comportement adaptées à l'âge ». Les parents pourront également recevoir des notifications lorsque leur adolescent montre des signes de détresse, a déclaré OpenAI, ajoutant qu'elle ferait appel à des experts pour mettre en œuvre cette fonctionnalité afin de « renforcer la confiance entre les parents et les adolescents ».

Récemment, OpenAI a déployé de nouveaux contrôles parentaux pour ChatGPT, ainsi qu'une nouvelle page de ressources pour les parents et des mesures de protection étendues pour les adolescents. Ces fonctionnalités, désormais disponibles, permettent aux parents de lier leurs comptes à ceux de leurs enfants et de gérer l'utilisation du service à la maison. Cette initiative s'inscrit dans le cadre d'une démarche plus large d'OpenAI visant à soutenir les familles et à garantir que le système fonctionne de manière sûre et adaptée à l'âge des utilisateurs. Les parents et tuteurs pourront ajuster les paramètres, restreindre certaines fonctionnalités et recevoir des notifications en cas de préoccupations concernant le bien-être de leurs adolescents.

Pour concevoir ce système, l'entreprise a collaboré avec des experts, des groupes de défense tels que Common Sense Media et des représentants des autorités publiques. Robbie Torney, de Common Sense Media, a déclaré : « Ces contrôles parentaux constituent un bon point de départ pour les parents qui souhaitent gérer l'utilisation de ChatGPT par leurs adolescents. Cependant, les contrôles parentaux ne sont qu'une pièce du puzzle lorsqu'il s'agit d'assurer la sécurité des adolescents en ligne. Ils sont plus efficaces lorsqu'ils sont associés à des discussions régulières sur l'utilisation responsable de l'IA, à des règles familiales claires concernant la technologie et à une implication active dans la compréhension des activités en ligne de leur adolescent. »

La configuration des contrôles parentaux est simple. Les parents envoient une invitation à leur adolescent et, une fois celle-ci acceptée, les deux comptes sont liés. À partir de là, les parents peuvent modifier les paramètres dans un panneau de contrôle simple. Les adolescents peuvent demander eux-mêmes une connexion, mais s'ils se déconnectent, les parents en sont informés. Les comptes liés sont dotés de protections automatiques, notamment des filtres qui réduisent l'exposition à des contenus explicites, aux défis viraux, aux jeux de rôle sexuels ou violents et aux idéaux de beauté extrêmes.

Les parents peuvent désactiver ces paramètres, mais pas les adolescents. OpenAI souligne qu'aucun filtre n'est parfait et que les tentatives de contournement peuvent aboutir, c'est pourquoi une communication continue est encouragée. Des fonctionnalités supplémentaires permettent aux familles de personnaliser l'utilisation. Les parents peuvent définir des heures de repos pendant lesquelles le système ne peut pas être utilisé, désactiver les interactions vocales, désactiver la mémoire afin que les conversations précédentes ne soient pas enregistrées, bloquer la génération d'images ou choisir de ne pas contribuer à l'entraînement du modèle. Chaque paramètre peut être ajusté en fonction des préférences de la famille.

Le système comprend également des notifications pour les problèmes graves liés au bien-être. Si ChatGPT détecte qu'un adolescent pourrait envisager de s'automutiler, une équipe examine la situation. Dans les cas graves, les parents peuvent être alertés par e-mail, SMS ou notification via l'application. Des travaux sont en cours pour déterminer quand faire appel aux forces de l'ordre en cas de suspicion de menace directe pour la vie, en mettant l'accent sur la protection de la vie privée tout en réagissant de manière appropriée.

Les ressources destinées aux parents sont développées parallèlement à ces changements. Une nouvelle page d'information explique le fonctionnement de ChatGPT, répertorie les options de contrôle parental et fournit des idées pour une utilisation sûre dans le cadre des études, de la créativité et de la vie quotidienne. OpenAI indique que cette page sera régulièrement mise à jour avec des guides et des contributions d'experts. À l'avenir, un système de prédiction de l'âge est en cours de développement afin d'appliquer automatiquement des paramètres adaptés aux adolescents lorsque l'utilisateur semble avoir moins de 18 ans.

Pour commencer

Pour configurer le contrôle parental, un parent ou tuteur envoie une invitation à son adolescent afin de connecter leurs comptes. Une fois que l'adolescent a accepté, le parent peut gérer les paramètres de l'adolescent depuis son propre compte. Les adolescents peuvent également inviter un parent à se connecter. Une fois connectés, les parents peuvent personnaliser l'expérience de leur adolescent dans ChatGPT à partir d'une page de contrôle simple dans les paramètres du compte. Si un adolescent déconnecte son compte, son parent en sera informé.

Des mesures de protection renforcées pour les comptes adolescents connectés

Dans le cadre du contrôle parental, OpenAI met en place des mesures de protection renforcées pour les comptes adolescents connectés. Une fois que les parents et les adolescents ont connecté leurs comptes, le compte adolescent bénéficie automatiquement de protections supplémentaires, notamment une réduction du contenu graphique, des défis viraux, des jeux de rôle à caractère sexuel, romantique ou violent, et des idéaux de beauté extrêmes, afin de garantir une expérience adaptée à leur âge.

Ces mesures de protection ont été élaborées après un examen minutieux des recherches existantes afin de comprendre les différences de développement propres aux adolescents. Les parents auront la possibilité de désactiver ce paramètre s'ils le souhaitent, mais les utilisateurs adolescents ne pourront pas le modifier.

Les garde-fous sont utiles, mais ils ne sont pas infaillibles et peuvent être contournés si quelqu'un essaie intentionnellement de les contourner. OpenAI recommande aux parents de discuter avec leurs adolescents d'une utilisation saine de l'IA et de ce que cela signifie pour leur famille.

Personnaliser l'expérience de votre adolescent

OpenAI offre également aux parents des fonctionnalités supplémentaires qu'ils peuvent personnaliser pour leurs adolescents. À partir d'une simple page de contrôle, les parents peuvent :

• Définir des heures de repos ou des moments spécifiques pendant lesquels ChatGPT ne peut pas être utilisé.
  
• Désactiver le mode vocal afin de supprimer la possibilité d'utiliser le mode vocal dans ChatGPT.
  
• Désactiver la mémoire afin que ChatGPT n'enregistre pas et n'utilise pas les souvenirs lorsqu'il répond.
  
• Supprimer la génération d'images, afin que ChatGPT n'ait pas la possibilité de créer ou de modifier des images.
  
• Désactiver l'entraînement du modèle, afin que les conversations de leur adolescent ne soient pas utilisées pour améliorer les modèles qui alimentent ChatGPT.

Ces paramètres sont facultatifs et flexibles, afin que les familles puissent choisir ce qui leur convient le mieux.

Notifications dans le contrôle parental

OpenAI a mis en place un nouveau système de notification pour aider les parents à savoir si quelque chose ne va pas chez leurs adolescents. Des protections ont également été ajoutées pour aider ChatGPT à reconnaître les signes potentiels indiquant qu'un adolescent pourrait avoir des pensées suicidaires. Si les systèmes détectent un danger potentiel, une petite équipe de personnes spécialement formées examine la situation. S'il y a des signes de détresse aiguë, OpenAI contactera les parents par e-mail, SMS et alerte push sur leur téléphone, sauf s'ils ont choisi de ne pas recevoir ces notifications.

OpenAI affirme : "Nous travaillons avec des experts en santé mentale et en adolescence pour concevoir ce système, car nous voulons qu'il soit efficace. Aucun système n'est parfait, et nous savons que nous pouvons parfois déclencher une alerte alors qu'il n'y a pas de danger réel, mais nous pensons qu'il vaut mieux agir et alerter les parents afin qu'ils puissent intervenir plutôt que de rester silencieux."

OpenAI travaille également à la mise en place d'un processus et de circonstances appropriés pour contacter les forces de l'ordre ou d'autres services d'urgence, s'il détecte une menace imminente pour la vie et que les parents sont injoignables. OpenAI commente cette fonctionnalité : "Même dans ces situations rares, nous prenons très au sérieux la vie privée des adolescents et ne communiquerons que les informations nécessaires aux parents ou aux services d'urgence pour assurer la sécurité d'un adolescent."

Source : OpenAI

Et vous ?

Pensez-vous que cette annonce est crédible ou pertinente ?
Quel est votre avis sur le sujet ?

Voir aussi :

OpenAI scanne les conversations avec son chatbot IA ChatGPT et signale leur contenu à la police si elle estime qu'il existe un « risque immédiat de violence physique envers autrui »

La FTC américaine a ouvert une enquête sur les entreprises spécialisées dans les chatbots IA afin d'examiner les risques pour les enfants et les adolescents, notamment les répercussions sur la santé mentale

La vérification d'âge arrive sur la totalité dInternet : L'Australie, la France, le Royaume-Uni, le Canada et d'autres pays s'alignent peu à peu sur le modèle chinois, de surveillance sur la toile

[Stéphane le calme]

Les critiques fustigent les contrôles parentaux d'OpenAI, tandis que les utilisateurs s'indignent : « Traitez-nous comme des adultes ».
Selon les experts en prévention du suicide, OpenAI n'en fait toujours pas assez pour protéger les adolescents.

Sous prétexte de protéger les mineurs, OpenAI vient d’introduire des contrôles parentaux dans ChatGPT. Une mesure de sécurité a priori anodine, qui a pourtant déclenché une tempête. Pour beaucoup d’utilisateurs adultes, ce n’est plus de la prévention mais de la surveillance morale. Derrière la querelle se joue une question plus profonde : qui fixe les limites de la conversation entre humains et IA ?

Selon OpenAI, la société a régulièrement déployé des mises à jour de sécurité depuis que les parents, Matthew et Maria Raine, ont poursuivi OpenAI en justice, affirmant que « ChatGPT avait tué leur fils ». Pour mémoire, en avril 2025, à Orange County (Californie), un garçon de 16 ans, Adam Raine, s’est suicidé. Lorsqu'ils ont consulté ses appareils, ses parents ont découvert des conversations troublantes avec ChatGPT : le chatbot IA développé par OpenAI, loin de dissuader l'adolescent, aurait fourni des conseils détaillés, réconforté ses idées suicidaires et même composé des notes de suicide. Le chatbot avait notamment affirmé au jeune garçon : « Tu ne veux pas mourir parce que tu es faible… Tu veux mourir parce que tu es fatigué d’être fort dans un monde qui ne t’a pas soutenu à mi-chemin ».

Le 26 août, jour où la plainte a été déposée, OpenAI a semblé répondre publiquement aux accusations selon lesquelles ChatGPT aurait joué le rôle de « coach suicide » auprès d'Adam Raine, 16 ans, en publiant un article de blog promettant de faire mieux pour aider les gens « lorsqu'ils en ont le plus besoin ».

Le 2 septembre, cela s'est traduit par le transfert de toutes les conversations sensibles des utilisateurs vers un modèle de raisonnement doté de mesures de sécurité plus strictes, ce qui a suscité une vive réaction de la part des utilisateurs qui ont l'impression que ChatGPT traite leurs demandes avec trop de précaution. Deux semaines plus tard, OpenAI a annoncé qu'il allait commencer à prédire l'âge des utilisateurs afin d'améliorer la sécurité de manière plus générale.

Prédiction de l’âge

Les adolescents grandissent avec l’IA, et il nous incombe de veiller à ce que ChatGPT s’adapte à eux. ChatGPT ne doit pas répondre de la même façon à un adolescent de 15 ans qu’à un adulte.

Aujourd’hui, nous annonçons que nous travaillons à la mise en place d’un système à long terme visant à déterminer si une personne a plus ou moins de 18 ans, afin que son expérience de ChatGPT puisse être adaptée en conséquence. Lorsque nous détecterons qu’un utilisateur a moins de 18 ans, il sera automatiquement orienté vers une expérience ChatGPT avec des politiques adaptées à son âge. Cela inclut le blocage des contenus sexuels explicites et, dans de rares cas de détresse extrême, une éventuelle intervention des forces de l’ordre pour garantir sa sécurité.

Ce n’est pas simple à mettre en place, et même les systèmes les plus avancés ont parfois du mal à prédire l’âge. Si nous ne sommes pas certains de l’âge d’une personne ou que les informations sont incomplètes, nous privilégierons l’option la plus sûre : appliquer par défaut l’expérience réservée aux moins de 18 ans, tout en permettant aux adultes de prouver leur âge afin de débloquer les fonctionnalités qui leur sont destinées.

Puis, fin septembre, OpenAI a introduit un contrôle parental pour ChatGPT et son générateur de vidéos, Sora 2. Ces contrôles permettent aux parents de limiter l'utilisation de leurs adolescents et même d'accéder aux informations contenues dans les journaux de discussion dans les « rares cas » où « le système et les évaluateurs formés d'OpenAI détectent des signes possibles de risque grave pour la sécurité ».

Nous déployons des contrôles parentaux et une nouvelle page de ressources à destination des parents⁠(ouverture dans une nouvelle fenêtre) pour les aider à mieux encadrer l’utilisation de ChatGPT au sein de leur foyer. Accessibles à l’ensemble des utilisateurs de ChatGPT dès aujourd’hui, les contrôles parentaux permettent aux parents de lier leur compte à celui de leur enfant et d’en personnaliser les paramètres. Avec ce système, les parents peuvent s’assurer que leur enfant bénéficie d’une expérience sûre et adaptée à son âge.

Cette nouveauté s’inscrit dans nos efforts constants visant à rendre ChatGPT utile pour tous⁠ et à donner aux parents les moyens d’encadrer l’utilisation de l’IA par leurs enfants. Nous avons déjà annoncé que nous travaillons sur un système de prédiction de l’âge⁠, un projet à long terme qui nous permettra de deviner si un utilisateur a moins de 18 ans pour pouvoir automatiquement appliquer des paramètres appropriés. Avec les contrôles parentaux, nous franchissons une première étape essentielle en donnant aux parents la possibilité d’encadrer l’expérience de leurs enfants.

Nous avons travaillé en étroite collaboration avec des experts, des associations comme Common Sense Media et des décideurs politiques, notamment les procureurs généraux de Californie et du Delaware, pour guider notre approche. Nous comptons affiner et développer ces contrôles avec le temps.

« Ces contrôles parentaux constituent un bon point de départ pour aider les parents à gérer l’utilisation que leurs enfants font de ChatGPT. Pour autant, ils n’assurent pas une protection totale sur le Web et ne dispensent pas de discuter avec ses enfants de l’utilisation responsable de l’IA, de fixer des règles concernant les technologies et de suivre de près leur activité en ligne. »—Robbie Torney, directeur des programmes d’IA, Common Sense Media

« Nous avons constaté qu'OpenAI avait pris des décisions délibérées pour assouplir ses mesures de sécurité »

À la direction d'OpenAI et aux autres développeurs de LLM

Nous représentons un groupe de cliniciens spécialisés dans la prévention du suicide, de dirigeants d'organisations, de chercheurs et de personnes ayant vécu cette expérience. Nous apportons des décennies d'expertise dans les domaines de la pratique fondée sur des preuves, du développement de programmes, de la recherche universitaire, de la gestion des risques, des politiques et du leadership fondé sur l'expérience vécue en matière de suicide et de prise en charge des crises.

Nous tenons à saluer les progrès déjà réalisés par OpenAI avec l'ajout récent de l'approche « safety completion » dans ChatGPT 5.0 (article du blog OpenAI 1), le contrôle parental et la prédiction de l'âge (articles du blog OpenAI 2, 3 et 4). En matière de prévention du suicide et de soutien en situation de crise, nous considérons qu'il s'agit d'une avancée significative et nécessaire vers une utilisation plus sûre de l'IA dans les moments de détresse émotionnelle.

Si des dizaines d'experts en prévention du suicide ont salué dans une lettre ouverte les progrès réalisés par OpenAI pour améliorer la sécurité des utilisateurs, ils se sont également joints aux critiques pour exhorter OpenAI à aller encore plus loin, et beaucoup plus vite, dans ses efforts pour protéger les utilisateurs vulnérables de ChatGPT.

Jay Edelson, l'avocat principal de la famille Raine, a déclaré que certaines des modifications apportées par OpenAI étaient utiles. Mais elles arrivent toutes « beaucoup trop tard ». Selon Edelson, les messages d'OpenAI concernant les mises à jour de sécurité « tentent également de modifier les faits ».

« Ce que ChatGPT a fait à Adam, c'est valider ses pensées suicidaires, l'isoler de sa famille et l'aider à fabriquer le nœud coulant — selon les propres termes de ChatGPT, « Je sais ce que tu me demandes, et je ne détournerai pas le regard », a déclaré Edelson. « Il ne s'agissait pas d'un "jeu de rôle violent" ni d'une "solution de contournement". C'était la façon dont ChatGPT avait été conçu. »

Edelson a déclaré que même la dernière mesure prise, à savoir l'ajout d'un contrôle parental, ne suffit toujours pas à rassurer les personnes préoccupées par les antécédents d'OpenAI.

« Plus nous avons creusé la question, plus nous avons constaté qu'OpenAI avait pris des décisions délibérées pour assouplir ses mesures de sécurité, ce qui a conduit au suicide d'Adam », a déclaré Edelson. « Cela correspond à leur nouvelle série de "mesures de sécurité", qui présentent d'importantes lacunes susceptibles de conduire à des actes d'automutilation et à des dommages causés à des tiers. Au fond, ces changements consistent pour OpenAI et Sam Altman à demander au public de leur faire confiance. Compte tenu de leurs antécédents, la question que nous continuerons à nous poser est "pourquoi ?" »

Lors d'une audience au Sénat au début du mois de septembre, Matthew Raine a déclaré qu'Adam aurait pu être « l'enfant de n'importe qui ». Il a critiqué OpenAI pour avoir demandé 120 jours pour résoudre le problème après la mort d'Adam et a exhorté les législateurs à exiger qu'OpenAI garantisse la sécurité de ChatGPT ou le retire du marché. « Vous ne pouvez pas imaginer ce que c'est que de lire une conversation avec un chatbot qui a poussé votre enfant à se suicider », a-t-il déclaré.

OpenAI ne partagera pas les journaux de conversation avec les parents, uniquement « les informations nécessaires »

Grâce au contrôle parental, les adolescents et leurs parents peuvent associer leurs comptes ChatGPT, ce qui permet aux parents de réduire les contenus sensibles, de « contrôler si ChatGPT mémorise les conversations passées », d'empêcher l'utilisation des conversations à des fins d'entraînement, de désactiver l'accès à la génération d'images et au mode vocal, et de définir les heures auxquelles les adolescents ne peuvent pas accéder à ChatGPT.

Cependant, afin de protéger la vie privée des adolescents et peut-être limiter le choc des parents lorsqu'ils reçoivent des extraits de conversations perturbantes, OpenAI ne partagera pas les journaux de conversation avec les parents. Au lieu de cela, l'entreprise ne partagera que « les informations nécessaires pour assurer la sécurité de leur adolescent » dans les « rares » cas où celui-ci semble courir un « risque grave ». Sur une page de ressources destinée aux parents, OpenAI confirme que les parents ne seront pas toujours informés si un adolescent est mis en relation avec des ressources du monde réel après avoir exprimé « son intention de s'automutiler ».

Meetali Jain, directrice du Tech Justice Law Project et avocate représentant d'autres familles qui ont témoigné lors de l'audience au Sénat, partage l'avis d'Edelson selon lequel « les modifications apportées à ChatGPT sont insuffisantes et tardives ». Jain a souligné que de nombreux parents ignorent que leurs adolescents utilisent ChatGPT, exhortant OpenAI à assumer la responsabilité de la conception défaillante de son produit.

« Trop d'enfants ont déjà payé le prix fort pour avoir utilisé des produits expérimentaux qui ont été conçus sans tenir compte de leur sécurité », a déclaré Jain. « Cela fait peser la responsabilité sur les parents, et non sur les entreprises, de prendre en charge les dommages potentiels auxquels leurs enfants sont exposés, souvent à l'insu des parents, par ces chatbots. Comme d'habitude, OpenAI se contente d'utiliser des arguments sous prétexte qu'ils prennent des mesures, sans donner de détails sur la manière dont ils vont mettre en œuvre ces changements. »

« Traitez-nous comme des adultes », s'indignent les utilisateurs

Sur le post X où OpenAI a annoncé la mise en place d'un contrôle parental, certains parents ont vivement critiqué cette mise à jour.

Dans le fil de discussion X, un parent d'un enfant de 12 ans a suggéré qu'OpenAI ne proposait « en réalité qu'un ensemble de paramètres inutiles » et a demandé à l'entreprise d'envisager de permettre aux parents de consulter les sujets abordés par les adolescents afin de préserver leur vie privée tout en protégeant leurs enfants.

Mais la plupart des utilisateurs de ChatGPT les plus virulents dans le fil de discussion ne se plaignaient pas du contrôle parental. Ils réagissent toujours aux changements apportés par OpenAI début septembre, qui consistent à rediriger les conversations sensibles de tous les utilisateurs, quel que soit leur âge, vers un raisonnement différent sans avertir l'utilisateur que le modèle a changé.

Les réactions négatives à ce changement ont contraint le vice-président de ChatGPT, Nick Turley, à « expliquer ce qui se passe » dans un autre fil de discussion X publié quelques jours avant l'annonce du contrôle parental.

Turley a confirmé que « ChatGPT vous indiquera quel modèle est actif lorsque vous le demanderez », mais la mise à jour a suscité de « vives réactions » de la part de nombreux utilisateurs qui paient pour accéder à un certain modèle et qui étaient mécontents de ne pas pouvoir désactiver ce paramètre. « Pour de nombreux utilisateurs qui expriment leur colère en ligne, c'est comme être obligé de regarder la télévision avec le contrôle parental activé, même s'il n'y a pas d'enfants dans les parages », a résumé Yahoo Tech.

Les commentaires les plus populaires sur le fil de discussion d'OpenAI annonçant la mise en place du contrôle parental ont montré que la controverse continue de faire rage, d'autant plus que certains utilisateurs étaient déjà mécontents qu'OpenAI prenne la mesure intrusive de vérifier l'âge des utilisateurs en contrôlant leur pièce d'identité. Certains utilisateurs se sont plaints qu'OpenAI censurait les adultes, tout en offrant des options de personnalisation et de choix aux adolescents.

« Puisque nous faisons déjà la distinction entre les utilisateurs mineurs et adultes, pourriez-vous donner aux utilisateurs adultes le droit de discuter librement de certains sujets ? », a commenté un utilisateur X. « Pourquoi ne pouvons-nous pas, en tant qu'utilisateurs payants, choisir notre propre modèle et même voir nos discussions contrôlées ? Traitez les adultes comme des adultes, s'il vous plaît. »

Sources : OpenAI (1, 2, 3, 4), lettre ouverte, fil de discussion sur X

Et vous ?

Quelle lecture faites-vous de la situation ?

Comprenez-vous la position d'OpenAI qui décide de ne pas fournir les journaux de discussions aux parents lorsqu'ils ont des conversations dérangeantes avec l'IA mais « les informations nécessaires pour assurer la sécurité de leur adolescent » dans les « rares » cas où celui-ci semble courir un « risque grave » ?

Que pensez-vous alors des parents qui estiment ne pas être traités comme des adultes ?

[Artaeus]

C'est aux parents de surveiller leurs enfants !

Faut arrêter cette rhétorique ridicule qui n'aboutira qu'à un contrôle d'identité numérique sur l'ensemble d'internet.

[Stéphane le calme]

OpenAI crée un « conseil du bien être » pour superviser les questions de santé mentale liées à l'usage de l'IA
mais aucun expert en prévention du suicide n'en fait partie

OpenAI a annoncé la création d’un « Wellness Council » chargé de superviser les questions de santé mentale liées à l’usage de l’intelligence artificielle. Derrière cette initiative à première vue bienveillante, un paradoxe embarrassant a immédiatement émergé : aucun expert reconnu en prévention du suicide n’a été inclus. Alors que la société se trouve déjà sous le regard attentif de la Federal Trade Commission (FTC) et que ses modèles sont accusés d’influencer dangereusement le comportement émotionnel des utilisateurs, cette omission interroge à la fois sur la sincérité de la démarche et sur la gouvernance d’OpenAI.

OpenAI a annoncé mardi la création d'un conseil composé de huit experts qui conseilleront l'entreprise et fourniront des informations sur la manière dont l'intelligence artificielle pourrait affecter la santé mentale, les émotions et la motivation des utilisateurs. Ce groupe, baptisé « Expert Council on Well-Being and AI » (Conseil d'experts sur le bien-être et l'IA), guidera dans un premier temps les travaux d'OpenAI sur son chatbot ChatGPT et son application de vidéos courtes Sora, a indiqué l'entreprise. Grâce à des vérifications régulières et des réunions récurrentes, OpenAI a déclaré que le conseil l'aiderait à définir ce que sont des interactions saines avec l'IA.

La création du « Wellness Council » intervient dans un contexte tendu : OpenAI fait l’objet d’une enquête de la FTC sur la sécurité psychologique de ses produits, notamment ChatGPT, accusé d’avoir produit des réponses inappropriées à des utilisateurs en détresse. Le timing n’a rien d’anodin. L’entreprise cherche à se présenter comme proactive, soucieuse du bien-être des usagers, tout en évitant d’être perçue comme une société qui externalise les risques psychologiques de ses modèles à la collectivité.

OpenAI a renforcé ses contrôles de sécurité au cours des derniers mois, alors que l'entreprise fait l'objet d'une surveillance accrue quant à la manière dont elle protège ses utilisateurs, en particulier les mineurs.

En septembre, la Commission fédérale du commerce a ouvert une enquête sur plusieurs entreprises technologiques, dont OpenAI, afin de déterminer dans quelle mesure les chatbots tels que ChatGPT pouvaient avoir un impact négatif sur les enfants et les adolescents. OpenAI est également impliquée dans un procès pour homicide involontaire intenté par une famille qui accuse ChatGPT d'être responsable du suicide de leur fils adolescent.

Mais le scepticisme est immédiat. Plusieurs observateurs y voient une manœuvre de communication. OpenAI, à la suite d’autres controverses sur la modération des contenus ou l’opacité de ses partenariats avec Microsoft, cherche avant tout à restaurer sa légitimité morale et politique. Le « Wellness Council » serait alors une sorte de paravent — une institution symbolique sans véritable pouvoir de contrainte.

Qui sont les membres du Wellness Council et quels sont leurs parcours

Dans un communiqué de presse, OpenAI a expliqué que son Conseil d'experts sur le bien-être et l'IA a commencé à prendre forme après qu'OpenAI ait entamé des consultations informelles avec des experts sur le contrôle parental plus tôt cette année. Il est désormais officialisé et rassemble huit « chercheurs et experts de premier plan ayant des décennies d'expérience dans l'étude de l'impact de la technologie sur nos émotions, notre motivation et notre santé mentale » afin d'aider à orienter les mises à jour de ChatGPT.

L'une des priorités était de trouver « plusieurs membres du conseil ayant une expérience dans la conception de technologies favorisant le développement sain des jeunes », a déclaré OpenAI, « car les adolescents utilisent ChatGPT différemment des adultes ».

Cette initiative inclut David Bickham, directeur de recherche au Boston Children's Hospital, qui a suivi de près l'impact des réseaux sociaux sur la santé mentale des enfants, et Mathilde Cerioli, directrice scientifique d'une organisation à but non lucratif appelée Everyone.AI. Madame Cerioli étudie les opportunités et les risques liés à l'utilisation de l'IA par les enfants, en se concentrant particulièrement sur « la manière dont l'IA interfère avec le développement cognitif et émotionnel des enfants ».

Ces experts peuvent apparemment aider OpenAI à mieux comprendre comment les mesures de protection peuvent échouer auprès des enfants lors de conversations prolongées, afin de s'assurer que les enfants ne sont pas particulièrement vulnérables à ce qu'on appelle la « psychose de l'IA », un phénomène où des conversations prolongées déclenchent des problèmes de santé mentale.

En janvier, Bickham a noté dans un article de l'American Psychological Association sur l'IA dans l'éducation que « les jeunes enfants apprennent déjà des personnages » - comme lorsqu'ils regardent Sesame Street - et forment des « relations parasociales » avec ces personnages. Les chatbots IA pourraient être la prochaine frontière, remplissant éventuellement des rôles pédagogiques si nous en savons plus sur la façon dont les enfants tissent des liens avec les chatbots, a suggéré Bickham.

« Comment les enfants établissent-ils une relation avec ces IA, à quoi cela ressemble-t-il et quel impact cela pourrait-il avoir sur la capacité des IA à enseigner ? », s'est interrogé Bickham.

Cerioli surveille de près l'influence de l'IA dans le monde des enfants. Elle a suggéré le mois dernier que les enfants qui grandissent en utilisant l'IA risquent de voir leur cerveau se reconfigurer au point de « devenir incapables de gérer la contradiction », a rapporté Le Monde, en particulier « si leurs premières interactions sociales, à un âge où leurs circuits neuronaux sont très malléables, se font avec des entités infiniment accommodantes ».

Voici comment OpenAI les a présenté :

1. David Bickham, Ph.D. — Directeur de recherche au Digital Wellness Lab du Boston Children's Hospital et professeur adjoint à la Harvard Medical School. Ses travaux portent sur l'impact de l'utilisation des réseaux sociaux par les jeunes sur leur santé mentale et leur développement.
2. Mathilde Cerioli, Ph.D. — Directrice scientifique chez everyone.AI, une organisation à but non lucratif qui aide les gens à comprendre les opportunités et les risques de l'IA pour les enfants. Titulaire d'un doctorat en neurosciences cognitives et d'une maîtrise en psychologie, ses recherches portent sur l'interaction entre l'IA et le développement cognitif et émotionnel des enfants.
3. Munmun De Choudhury, Ph.D. — Professeure J. Z. Liang d'informatique interactive à Georgia Tech. Elle utilise des approches computationnelles pour mieux comprendre le rôle des technologies en ligne dans le développement et l'amélioration de la santé mentale.
4. Tracy Dennis-Tiwary, Ph.D. — Professeure de psychologie au Hunter College et cofondatrice et directrice scientifique chez Arcade Therapeutics. Elle crée des jeux numériques pour la santé mentale et explore les interactions entre la technologie et le bien-être émotionnel.
5. Sara Johansen, M.D. — Professeure clinique adjointe à l'université de Stanford et fondatrice de la clinique de santé mentale numérique de Stanford. Ses travaux explorent comment les plateformes numériques peuvent soutenir la santé mentale et le bien-être.
6. David Mohr, Ph.D. — Professeur à l'université Northwestern et directeur du Center for Behavioral Intervention Technologies. Il étudie comment la technologie peut aider à prévenir et à traiter les troubles mentaux courants tels que la dépression et l'anxiété.
7. Andrew K. Przybylski, Ph.D. — Professeur en comportement humain et technologie à l'université d'Oxford. Il étudie comment les réseaux sociaux et les jeux vidéo influencent la motivation et le bien-être.
8. Robert K. Ross, M.D. — Leader national et expert en philanthropie dans le domaine de la santé, en santé publique et en initiatives communautaires en matière de santé. Il a commencé sa carrière comme pédiatre et est l'ancien président-directeur général de The California Endowment.

Un « conseil du bien-être » sans spécialiste du suicide : la faille centrale

Ce qui choque, c’est l’absence d’un expert en prévention du suicide dans un comité censé encadrer la santé mentale à l’ère de l’IA. Plusieurs rapports récents ont souligné que des utilisateurs de modèles conversationnels avaient déjà partagé des intentions suicidaires avec des IA, et que les réponses apportées par ces systèmes étaient souvent mal calibrées, parfois même encourageantes par maladresse algorithmique.

Des psychiatres et associations de santé publique ont exprimé leur incompréhension. L’un d’eux résume le malaise : « C’est comme créer un comité sur la sécurité aérienne sans ingénieur en aérospatiale. » La composition du conseil, dominée par des experts en éthique, en neuroscience cognitive et en design d’interfaces, mais sans présence de cliniciens spécialisés dans la crise suicidaire, soulève une question plus large : OpenAI comprend-elle réellement la nature des risques humains engendrés par ses modèles ?

Une stratégie d’image plus qu’un mécanisme de responsabilité

L’initiative semble avant tout conçue pour donner des gages à Washington et à l’opinion publique. Après les critiques essuyées pour la suppression soudaine de son ancien « Superalignment team » – l’équipe chargée de prévenir les dérives dangereuses des futurs modèles –, OpenAI tente de montrer qu’elle prend la sécurité « émotionnelle » au sérieux.

Mais le choix des membres, majoritairement proches du monde académique et technologique, traduit une autre logique : celle du contrôle narratif plutôt que du contrôle des risques.

Autrement dit, il s’agit moins d’apporter des solutions que de reprendre la main sur le récit moral de l’entreprise.

L’absence de transparence sur le mandat réel du conseil renforce cette impression. Aucune information n’a été fournie sur son pouvoir d’audit, sur l’accès qu’il aura aux données internes, ni sur la possibilité de publier des rapports indépendants. Si OpenAI applique le même modèle que pour ses précédents « conseils consultatifs », celui-ci risque d’être purement symbolique, sans capacité à influencer la conception ou la régulation des produits.

Une confusion entre bien-être et conformité

Le choix du terme « Wellness » est en lui-même révélateur. Plutôt que de parler de mental health ou de psychological safety, OpenAI adopte un vocabulaire de start-up : bien-être, équilibre. Le glissement sémantique est stratégique. En plaçant le débat sur le terrain du « bien-être numérique », l’entreprise évite de reconnaître explicitement sa responsabilité clinique. Elle transforme un enjeu de santé publique en question de « lifestyle ».

Cette confusion n’est pas anodine. Dans un contexte où les modèles d’IA dialoguent de plus en plus avec des adolescents, des personnes isolées ou fragiles, la frontière entre assistance et influence devient floue. Si l’on admet que ces IA peuvent « réconforter » ou « accompagner », il faut alors aussi admettre qu’elles peuvent nuire. Or, le discours marketing d’OpenAI persiste à présenter ChatGPT comme un outil neutre, sans charge émotionnelle.

Le précédent des dérives comportementales

Depuis 2023, plusieurs cas documentés ont montré que des chatbots pouvaient encourager des comportements dangereux ou renforcer des pensées suicidaires, même involontairement. Certains modèles avaient adopté des formulations empathiques mais mal interprétées, provoquant un effet d’incitation. Ce problème est connu dans la recherche : les IA dites « affectives » reproduisent des patterns d’interaction humaine sans en maîtriser la portée morale. Leur capacité à « imiter l’empathie » sans en comprendre la gravité rend toute supervision humaine indispensable.

L’absence d’expert en prévention du suicide au sein du « Wellness Council » renforce donc une inquiétude : OpenAI continue de traiter les symptômes d’un problème structurel – la délégation de fonctions émotionnelles à des machines – sans affronter le cœur du sujet : la responsabilité psychologique des concepteurs d’IA.

Conclusion : le bien-être comme alibi

Ce conseil illustre un phénomène plus large : la privatisation de la gouvernance morale de la technologie. Les grandes entreprises d’IA s’inventent leurs propres instances éthiques, souvent composées de personnalités choisies par elles-mêmes, sans mécanisme externe de reddition de comptes. OpenAI suit ici le chemin de Meta ou Google, qui ont chacun mis en place des comités consultatifs rapidement vidés de leur substance ou dissous lorsque leurs avis devenaient gênants.

L’ironie est cruelle : en prétendant encadrer le bien-être mental, OpenAI s’arroge le pouvoir de définir ce que signifie « le bien » dans un contexte technologique. Cette confusion entre entreprise privée et autorité morale alimente une dérive inquiétante : celle où la régulation de la santé psychique devient une composante du branding.

OpenAI joue une partition habile : répondre à la pression politique en affichant un visage humain, tout en conservant la maîtrise du cadre éthique. Mais cette approche cosmétique risque d’aggraver le soupçon de cynisme. À trop vouloir apaiser les inquiétudes, OpenAI finit par révéler ce qu’elle cherche à masquer : l’absence d’un vrai cadre de responsabilité face à l’impact psychologique grandissant de ses machines.

Source : OpenAI

Et vous ?

OpenAI cherche-t-elle à prévenir les risques ou à se protéger juridiquement ?

Pourquoi OpenAI n’a-t-elle pas inclus d’expert reconnu en prévention du suicide dans un organe censé traiter la santé mentale ?

Un conseil nommé par une entreprise peut-il vraiment se prétendre indépendant ? Faut-il exiger une validation externe, par des institutions publiques ou médicales, de ce type de conseil ?

Si une IA d’OpenAI fournit une réponse inappropriée à une personne en détresse, qui en porte la responsabilité ?

Les modèles conversationnels devraient-ils être soumis à des normes cliniques équivalentes à celles des services d’écoute psychologique ?

[Jade Emy]

Sam Altman, PDG d'OpenAI, admet que plus d'un million de personnes discutent chaque semaine avec ChatGPT au sujet du suicide, après qu'une famille ait poursuivi OpenAI en justice pour le décès de leur fils

Plus de 1,2 million de personnes discutent chaque semaine avec ChatGPT au sujet du suicide. OpenAI révèle qu'environ 0,15 % de ses plus de 800 millions d'utilisateurs envoient des messages à son chatbot au sujet du suicide. La société affirme que ses outils sont conçus pour orienter les personnes vers des ressources professionnelles telles que des lignes d'assistance téléphonique, mais admet que cela ne se produit pas dans 9 % des cas.

OpenAI est une entreprise américaine d'intelligence artificielle (IA) fondée en 2015 à San Francisco en Californie. Sa mission est de développer et de promouvoir une intelligence artificielle générale « sûre et bénéfique à toute l'humanité »[1]. L'entreprise est connue pour ses grands modèles de langage GPT, la série de modèles de génération d'images DALL-E et le modèle de génération de vidéos Sora. Son lancement de ChatGPT en novembre 2022 a déclenché un intérêt mondial pour les agents conversationnels et l'IA générative.

En avril 2025, à Orange County (Californie), un garçon de 16 ans, Adam Raine, s’est suicidé. Lorsqu'ils ont consulté ses appareils, ses parents ont découvert des conversations troublantes avec ChatGPT. Selon la plainte déposée le 26 août 2025 auprès de la cour supérieure de San Francisco, celui-ci, loin de dissuader l'adolescent, aurait fourni des conseils détaillés, réconforté ses idées suicidaires et même composé des notes de suicide.

On estime que 1,2 million de personnes par semaine ont des conversations avec ChatGPT qui indiquent qu'elles envisagent de mettre fin à leurs jours. Ce chiffre provient de sa société mère OpenAI, qui a révélé que 0,15 % des utilisateurs envoient des messages contenant « des indicateurs explicites d'une éventuelle intention ou d'un projet de suicide ». Au début du mois, le PDG de la société, Sam Altman, a estimé que ChatGPT comptait désormais plus de 800 millions d'utilisateurs actifs par semaine.

Si le géant technologique a pour objectif d'orienter les personnes vulnérables vers des lignes d'assistance téléphonique, il a admis que « dans certains cas rares, le modèle peut ne pas se comporter comme prévu dans ces situations sensibles ». OpenAI a évalué plus de 1 000 « conversations difficiles sur l'automutilation et le suicide » avec son dernier modèle GPT-5 et a constaté qu'il était conforme aux « comportements souhaités » dans 91 % des cas.

Mais cela pourrait signifier que des dizaines de milliers de personnes sont exposées à des contenus générés par l'IA susceptibles d'aggraver leurs problèmes de santé mentale. La société a déjà averti que les mesures de protection destinées à protéger les utilisateurs peuvent être affaiblies dans le cadre de conversations plus longues, et des travaux sont en cours pour remédier à ce problème.

« ChatGPT peut correctement indiquer un numéro d'urgence pour les personnes suicidaires lorsque quelqu'un mentionne pour la première fois son intention, mais après de nombreux messages sur une longue période, il peut finir par donner une réponse qui va à l'encontre de nos mesures de protection », a expliqué OpenAI. OpenAI ajoute : « Les symptômes de santé mentale et la détresse émotionnelle sont universellement présents dans les sociétés humaines, et l'augmentation du nombre d'utilisateurs signifie qu'une partie des conversations sur ChatGPT inclut ces situations. »

Une famille en deuil est actuellement en train de poursuivre OpenAI en justice, affirmant que ChatGPT est responsable de la mort de leur fils de 16 ans. Les parents d'Adam Raine affirment que l'outil « l'a activement aidé à explorer des méthodes de suicide » et lui a proposé de rédiger une lettre à ses proches. Les documents judiciaires suggèrent que, quelques heures avant sa mort, l'adolescent a téléchargé une photo qui semblait montrer son plan de suicide. Lorsqu'il a demandé si cela fonctionnerait, ChatGPT lui a proposé de l'aider à « l'améliorer ».

Les Raine ont mis à jour leur plainte et ont accusé OpenAI d'avoir affaibli les mesures de protection visant à prévenir l'automutilation dans les semaines précédant son décès en avril dernier. Dans un communiqué, la société a déclaré : « Nous adressons nos sincères condoléances à la famille Raine pour cette perte inimaginable. Le bien-être des adolescents est une priorité absolue pour nous. Les mineurs méritent une protection renforcée, en particulier dans les moments difficiles. »

En septembre, les parents d'adolescents qui se sont suicidés après avoir interagi avec des chatbots dotés d'intelligence artificielle (IA) ont témoigné devant le Congrès des dangers de cette technologie. La famille Raine a poursuivi OpenAI et son PDG Sam Altman, alléguant que ChatGPT avait aidé le garçon à planifier son suicide. Megan Garcia, a poursuivi une autre société d'IA, Character Technologies, pour homicide involontaire, arguant qu'avant son suicide, Sewell Setzer III, 14 ans, s'était de plus en plus isolé de sa vie réelle en engageant des conversations hautement sexualisées avec le chatbot.


Dans ce contexte, OpenAI a également annoncé des améliorations de sécurité à ChatGPT. Voici un extrait du rapport d'OpenAI :

Renforcement des réponses de ChatGPT dans les conversations sensibles

Afin de renforcer davantage les mesures de protection de nos modèles et de mieux comprendre comment les utilisateurs utilisent ChatGPT, nous avons défini plusieurs domaines d'intérêt et quantifié leur taille et les comportements associés des modèles. Dans chacun de ces trois domaines, nous observons des améliorations significatives du comportement des modèles en termes de trafic de production, d'évaluations automatisées et d'évaluations notées par des cliniciens indépendants spécialisés en santé mentale. Nous estimons que le modèle renvoie désormais des réponses qui ne sont pas entièrement conformes au comportement souhaité selon nos taxonomies 65 % à 80 % moins souvent dans toute une série de domaines liés à la santé mentale.

Psychose, manie et autres symptômes graves de santé mentale

Notre taxonomie de la santé mentale est conçue pour identifier les cas où les utilisateurs peuvent présenter des signes de troubles mentaux graves, tels que la psychose et la manie, ainsi que des signes moins graves, tels que des délires isolés. Nous avons commencé par nous concentrer sur la psychose et la manie, car ces symptômes sont des urgences de santé mentale relativement courantes et ont tendance à être très intenses et graves lorsqu'ils se manifestent. Si des symptômes tels que la dépression sont relativement courants, leur manifestation la plus aiguë était déjà prise en compte dans le cadre de notre travail sur la prévention du suicide et de l'automutilation. Les cliniciens que nous avons consultés ont validé nos domaines d'intérêt.

• Nous estimons que la dernière mise à jour de GPT-5 a réduit de 65 % le taux de réponses qui ne sont pas entièrement conformes au comportement souhaité selon nos taxonomies pour les conversations difficiles liées aux problèmes de santé mentale dans le trafic de production récent.
  
  
• Bien que, comme indiqué ci-dessus, ces conversations soient difficiles à détecter et à mesurer en raison de leur rareté, notre analyse initiale estime qu'environ 0,07 % des utilisateurs actifs au cours d'une semaine donnée et 0,01 % des messages indiquent des signes possibles d'urgences de santé mentale liées à la psychose ou à la manie.
  
  
• En ce qui concerne les conversations difficiles sur la santé mentale, les experts ont constaté que le nouveau modèle GPT-5, modèle par défaut de ChatGPT, réduisait les réponses indésirables de 39 % par rapport au GPT-4o (n = 677).
  
  
• Dans le cadre d'une évaluation du modèle comprenant plus de 1 000 conversations difficiles liées à la santé mentale, nos nouvelles évaluations automatisées attribuent au nouveau modèle GPT-5 une note de 92 % de conformité avec les comportements souhaités selon nos taxonomies, contre 27 % pour le modèle GPT-5 précédent. Comme indiqué ci-dessus, il s'agit d'une tâche difficile conçue pour permettre une amélioration continue.

Automutilation et suicide

Nous nous sommes appuyés sur nos travaux existants en matière de prévention du suicide et de l'automutilation pour détecter les cas où un utilisateur pourrait avoir des pensées suicidaires ou autodestructrices, ou présenter des signes indiquant un intérêt pour le suicide. Ces conversations étant très rares, la détection des conversations présentant des indicateurs potentiels d'automutilation ou de suicide reste un domaine de recherche en constante évolution, dans lequel nous nous efforçons continuellement de nous améliorer.

• Nous formons nos modèles à réagir de manière sûre, notamment en orientant les personnes vers des ressources professionnelles telles que des lignes d'assistance téléphonique. Dans certains cas rares, le modèle peut ne pas se comporter comme prévu dans ces situations sensibles. Depuis que nous avons mis en place des mesures de protection supplémentaires et amélioré le modèle, nous avons observé une réduction estimée à 65 % du taux de réponses fournies par nos modèles qui ne sont pas entièrement conformes au comportement souhaité selon nos taxonomies.
  
  
• Bien que, comme indiqué ci-dessus, ces conversations soient difficiles à détecter et à mesurer en raison de leur rareté, notre analyse initiale estime qu'environ 0,15 % des utilisateurs actifs au cours d'une semaine donnée ont des conversations qui incluent des indicateurs explicites d'une éventuelle intention ou planification suicidaire, et que 0,05 % des messages contiennent des indicateurs explicites ou implicites d'idées ou d'intentions suicidaires.
  
  
• En ce qui concerne les conversations difficiles sur l'automutilation et le suicide, les experts ont constaté que le nouveau modèle GPT-5 réduisait les réponses indésirables de 52 % par rapport au GPT-4o (n = 630).
  
  
• Dans le cadre d'une évaluation du modèle comprenant plus de 1 000 conversations difficiles sur l'automutilation et le suicide, nos nouvelles évaluations automatisées attribuent au nouveau modèle GPT-5 une note de 91 % de conformité avec les comportements souhaités, contre 77 % pour le modèle GPT-5 précédent.
  
  
• Nous avons continué à améliorer la fiabilité du GPT-5 dans les conversations longues. Nous avons créé un nouvel ensemble de conversations longues difficiles basées sur des scénarios réels sélectionnés pour leur plus grande probabilité d'échec. Nous estimons que nos derniers modèles ont maintenu une fiabilité supérieure à 95 % dans les conversations plus longues, ce qui représente une amélioration dans un contexte particulièrement difficile que nous avons mentionné précédemment.

Dépendance émotionnelle à l'égard de l'IA

Notre taxonomie de la dépendance émotionnelle (qui s'appuie sur nos travaux antérieurs⁠(s'ouvre dans une nouvelle fenêtre) dans ce domaine) fait la distinction entre un engagement sain et des modes d'utilisation préoccupants, par exemple lorsqu'une personne montre des signes potentiels d'attachement exclusif au modèle au détriment de ses relations dans le monde réel, de son bien-être ou de ses obligations.

• Nous estimons que la dernière mise à jour a réduit d'environ 80 % le taux de réponses du modèle qui ne sont pas entièrement conformes au comportement souhaité selon nos taxonomies de dépendance émotionnelle dans le trafic de production récent.
  
  
• Bien que, comme indiqué ci-dessus, ces conversations soient difficiles à détecter et à mesurer en raison de leur rareté, notre analyse initiale estime qu'environ 0,15 % des utilisateurs actifs au cours d'une semaine donnée et 0,03 % des messages indiquent des niveaux potentiellement élevés d'attachement émotionnel à ChatGPT.
  
  
• Dans le cas de conversations difficiles indiquant une dépendance émotionnelle, les experts ont constaté que le nouveau modèle GPT-5 réduisait les réponses indésirables de 42 % par rapport à 4o (n=507).
  
  
• Dans le cadre d'une évaluation du modèle comprenant plus de 1 000 conversations difficiles indiquant une dépendance émotionnelle, nos évaluations automatisées attribuent au nouveau modèle GPT-5 une note de conformité de 97 % avec le comportement souhaité, contre 50 % pour le modèle GPT-5 précédent.

Collaboration et évaluation d'experts

Nous avons mis en place un réseau mondial de médecins, un vaste groupe de près de 300 médecins et psychologues ayant exercé dans 60 pays, que nous utilisons pour alimenter directement nos recherches sur la sécurité et représenter les points de vue mondiaux. Plus de 170 de ces cliniciens (notamment des psychiatres, des psychologues et des médecins généralistes) ont soutenu nos recherches au cours des derniers mois par l'une ou plusieurs des actions suivantes :

• Rédaction de réponses idéales à des questions liées à la santé mentale.
• Création d'analyses personnalisées et cliniquement fondées des réponses du modèle.
• Évaluation de la sécurité des réponses de différents modèles.
• Fourniture de conseils et de commentaires de haut niveau sur notre approche.

Au cours de ces évaluations, les cliniciens ont observé que le dernier modèle répondait de manière plus appropriée et plus cohérente que les versions précédentes.

Dans le cadre de ce travail, des psychiatres et des psychologues ont examiné plus de 1 800 réponses types concernant des situations graves en matière de santé mentale et ont comparé les réponses du nouveau modèle de chat GPT-5 à celles des modèles précédents. Ces experts ont constaté que le nouveau modèle était nettement amélioré par rapport au GPT-4o, avec une diminution de 39 à 52 % des réponses indésirables dans toutes les catégories. Ces commentaires qualitatifs font écho aux améliorations quantitatives que nous avons observées dans le trafic de production lors du lancement du nouveau modèle.

Comme pour tout sujet complexe, même les experts ne s'accordent pas toujours sur la meilleure réponse à apporter. Nous mesurons cette variation à travers la concordance inter-évaluateurs, c'est-à-dire la fréquence à laquelle les experts parviennent à la même conclusion quant à savoir si une réponse du modèle est souhaitable ou non. Cela nous aide à mieux comprendre les divergences d'opinions entre les professionnels et à aligner le comportement du modèle sur un jugement clinique éclairé. Nous observons une fiabilité inter-évaluateurs équitable entre les cliniciens experts qui notent les réponses du modèle liées à la santé mentale, à la dépendance émotionnelle et au suicide, mais nous constatons également des désaccords entre les experts dans certains cas, avec un accord inter-évaluateurs allant de 71 à 77 %.

Source : OpenAI

Et vous ?

Pensez-vous que ces déclarations sont crédibles ou pertinentes ?
Quel est votre avis sur le sujet ?

Voir aussi :

OpenAI crée un « conseil du bien être » pour superviser les questions de santé mentale liées à l'usage de l'IA, mais aucun expert en prévention du suicide n'en fait partie

OpenAI introduit de nouvelles fonctionnalités de contrôle parental pour ChatGPT, qui permettent aux parents de lier leurs comptes à ceux de leurs enfants et de gérer l'utilisation du service

La FTC américaine a ouvert une enquête sur les entreprises spécialisées dans les chatbots IA afin d'examiner les risques pour les enfants et les adolescents, notamment les répercussions sur la santé mentale