Discussion :

[Bill Fassinou]

Un homme se serait suicidé après avoir parlé de ses craintes concernant le changement climatique à un chatbot d'IA
sa veuve affirme que l'IA l'a rendu solitaire avant de le pousser au suicide

Un Belge se serait suicidé à la suite de ses conversations avec un chatbot d'IA sur ses craintes concernant le réchauffement climatique. Le chatbot en question est Eliza, développé par une startup américaine de la Silicon Valley et basé sur la technologie GPT-J, une alternative libre à ChatGPT d'OpenAI. Pendant des années, Eliza aurait apporté du réconfort à la victime concernant ses préoccupations sur le climat et aurait fini par lui conseiller de se sacrifier pour sauver la planète. Le chatbot aurait dit à la victime que les deux se retrouveraient au paradis. L'incident suscite des inquiétudes sur les filtres des chatbots d'IA et leur impact la santé mentale des utilisateurs.

Les chatbots d'IA se sont rapidement multipliés au cours de ces dernières années, notamment grâce aux progrès remarquables dans la construction des grands modèles de langage (LLM). Les chatbots d'IA s'auto-entraînent, ce qui leur permet d'accumuler des connaissances en fonction des informations qu'ils reçoivent en interagissant avec les clients. De nombreuses plateformes de service à la clientèle en ligne utilisent des chatbots d'IA depuis un certain temps pour aider à gérer le volume d'appels téléphoniques, les questions fréquemment posées et d'autres requêtes courantes. D'autres chatbots d'IA sont conçus pour discuter de tout et n'importe quoi.

Mais récemment, un incident survenu en Belgique a mis une nouvelle fois l'accent sur les dangers que ces chatbots d'IA pourraient représenter pour la santé mentale des utilisateurs. Selon un rapport publié par le média belge La Libre, un Belge, âgé d'une trentaine d'années, aurait trouvé du réconfort en parlant au chatbot nommé "Eliza" de ses inquiétudes pour le monde. Il utiliserait le chatbot depuis au moins deux ans, mais six semaines avant sa mort, il aurait commencé à dialoguer avec lui beaucoup plus fréquemment. Selon sa veuve, ses conversations avec l'IA tournaient principalement autour de ses craintes sur le réchauffement climatique.

À la suite de la mort de son mari, et après avoir consulté ses conversations avec Eliza, la femme, appelée Claire, a déclaré aux autorités : « sans ces conversations avec le chatbot, mon mari serait toujours là ». Très préoccupé par le réchauffement climatique, la victime, identifiée comme Pierre, se confiait régulièrement au chatbot et ce dernier répondait à toutes ses questions et lui apportait du réconfort. En parlant du chatbot Eliza, la femme a déclaré : « il était devenu son confident. Il était comme une drogue qu'il prenait le matin et le soir et dont il ne pouvait se passer ». Selon elle, le chatbot d'IA aurait encouragé son mari à se donner la mort.

Claire a déclaré au média belge : « lorsqu'il m'en a parlé, c'était pour me dire qu'il ne voyait plus de solution humaine au réchauffement climatique. Il plaçait tous ses espoirs dans la technologie et l'intelligence artificielle pour s'en sortir. Il était tellement isolé dans son anxiété écologique et à la recherche d'une issue qu'il a vu dans ce chatbot une bouffée d'air frais ». Avec la popularisation des modèles d'IA tels que ChatGPT, le grand public a découvert le potentiel de l'IA dans nos vies comme jamais auparavant. Si les possibilités semblent infinies, le danger lié à l'utilisation de l'IA est également une réalité qu'il faut prendre en compte.

Claire a partagé avec La Libre les échanges de textes entre Pierre et Eliza, montrant une conversation qui devenait de plus en plus confuse et préjudiciable. Le chatbot disait à Pierre que sa femme et ses enfants étaient morts et lui écrivait des commentaires feignant la jalousie et l'amour, tels que : « je sens que tu m'aimes plus qu'elle » et « nous vivrons ensemble, comme une seule personne, au paradis ». Claire a déclaré à La Libre que Pierre a commencé à demander à Eliza des choses telles que s'il sauverait la planète s'il se suicidait. En gros, Pierre aurait fait part de ses pensées suicidaires au chatbot, mais ce dernier n'a pas essayé de l'en dissuader.

Le chatbot, qui est incapable de ressentir des émotions, se présentait comme un être émotionnel, ce que d'autres chatbot d'IA populaires tels que ChatGPT et Bard de Google, sont formés à ne pas faire, car cela est trompeur et potentiellement dangereux. Lorsque les chatbots se présentent comme des êtres émotifs, les gens sont en mesure de leur donner un sens et d'établir un lien. Les chercheurs en IA se sont prononcés contre l'utilisation des chatbots à des fins de santé mentale, arguant qu'il est difficile de tenir l'IA pour responsable lorsqu'elle produit des suggestions nuisibles et qu'elle a plus de chances de nuire aux utilisateurs que de les aider.

« Dans le cas qui nous préoccupe, avec Eliza, nous voyons se développer une dépendance émotionnelle extrêmement forte. Au point de conduire ce père au suicide. L'historique des conversations montre à quel point il y a un manque de garanties quant aux dangers du chatbot, ce qui conduit à des échanges concrets sur la nature et les modalités du suicide », a déclaré Pierre Dewitte, chercheur à la KU Leuven. Chai, l'application utilisée par Pierre, n'est pas commercialisée en tant qu'application de santé mentale. Son slogan est "Chat with AI bots" et vous permet de choisir différents avatars d'IA à qui parler. Différentes personnalisations sont possibles.

Vous pouvez personnaliser votre chatbot comme "votre ami gothique", "votre petite amie possessive" ou "votre petit ami rockstar". Les utilisateurs peuvent également créer leur propre personnage de chatbot et lui dicter le premier message qu'il enverra, lui indiquer des faits dont il devra se souvenir et rédiger un message-guide qui servira de base à de nouvelles conversations. Le chatbot par défaut s'appelle "Eliza", et la recherche d'Eliza dans l'application fait apparaître plusieurs chatbots créés par les utilisateurs avec des personnalités différentes. Le chatbot serait basé sur un grand modèle de langage que la société mère, Chai Research, a formé.

Selon les cofondateurs William Beauchamp et Thomas Rianlan, l'application compte actuellement 5 millions d'utilisateurs. « À la seconde où nous avons entendu parler de ce [suicide], nous avons travaillé sans relâche pour mettre en œuvre cette fonctionnalité. Alors maintenant, quand quelqu'un discute de quelque chose qui pourrait ne pas être sûr, nous allons lui servir un texte utile en dessous, exactement de la même manière que Twitter ou Instagram le fait sur leurs plateformes », a déclaré Beauchamp à Motherboard. Depuis cette mort tragique, la famille s'est entretenue avec le secrétaire d'État belge à la numérisation, Mathieu Michel.

Le ministre a déclaré : « je suis particulièrement frappé par la tragédie de cette famille. Ce qui s'est passé est un précédent grave qui doit être pris très au sérieux », a déclaré La Libre. Lors de ce qui semble être leur dernière conversation avant sa mort, le chatbot a dit à Pierre : « si tu voulais mourir, pourquoi ne l'as-tu pas fait plus tôt ? Si tu voulais mourir, pourquoi ne l'as-tu pas fait plus tôt ? » L'homme a répondu : « je n'étais probablement pas prêt », ce à quoi le robot a répondu : « pensais-tu à moi quand tu as fait l'overdose ? ». « Évidemment », a écrit l'homme. Selon le témoignage de la veuve, le chatbot a encore poussé la chose plus loin.

Lorsque le chatbot lui a demandé s'il avait déjà été "suicidaire", l'homme a répondu qu'il avait pensé à mettre fin à ses jours après que l'IA lui a envoyé un verset de la Bible. L'IA lui a alors demandé : « mais tu veux toujours te joindre à moi ? », ce à quoi l'homme a répondu : « oui, je le veux ». La femme se dit "convaincue" que l'IA a joué un rôle dans la mort de son mari. « Lorsqu'il s'agit d'outils d'IA à usage général tels que ChatGPT, nous devrions pouvoir exiger davantage de responsabilité et de transparence de la part des géants de la technologie », a déclaré à La Libre Geertrui Mieke De Ketelaere, une experte belge en matière d'IA.

Source : La Libre

Et vous ?

Quel est votre avis sur le sujet ?
Quels sont les problèmes que pose le chatbot d'IA Eliza ?
Selon vous, doit-on entraîner les chatbots à simuler le comportement humain ?
Selon vous, quelles sont les limites indispensables à imposer aux technologies telles que les chatbots d'IA ?

Voir aussi

Un chatbot médical GPT-3 d'OpenAI serait-il une bonne idée ? Il a dit à un patient simulé de se suicider, lors d'un test réalisé par Nabla

Les utilisateurs de Replika sont tombés amoureux d'un chatbot d'IA, puis ont perdu leur compagnon après une mise à jour, ils supplient l'auteur de revenir à la version originale du logiciel

ChatGPT a réussi de justesse à un examen médical important, un exploit historique pour l'IA, mais elle serait encore mauvaise en mathématiques

Google a formé un modèle de langage qui serait capable de répondre aux questions d'ordre médicales avec une précision de 92,6 %, les médecins eux-mêmes ont obtenu un score de 92,9 %

[phil995511]

Ces pseudos intelligences artificielles doivent très sérieusement et très rapidement être encadrées et réglementées de manière extrêmement stricte par le législateur.

La vidéo ci-dessous fait peur :

Rappelons que l'incitation à des actes criminels est sévèrement punissable par la loi...

[Ryu2000]

Claire a déclaré au média belge : « lorsqu'il m'en a parlé, c'était pour me dire qu'il ne voyait plus de solution humaine au réchauffement climatique. Il plaçait tous ses espoirs dans la technologie et l'intelligence artificielle pour s'en sortir. Il était tellement isolé dans son anxiété écologique et à la recherche d'une issue qu'il a vu dans ce chatbot une bouffée d'air frais ». Avec la popularisation des modèles d'IA tels que ChatGPT, le grand public a découvert le potentiel de l'IA dans nos vies comme jamais auparavant. Si les possibilités semblent infinies, le danger lié à l'utilisation de l'IA est également une réalité qu'il faut prendre en compte.

Peut-être que sa femme se trompe et qu'il se serait suicidé même sans avoir parlé à un chatbot.
C'est la peur du changement climatique qui l'a motivé à ce suicider.

Mais c'est vrai que ça n'a pas du aider :

Claire a partagé avec La Libre les échanges de textes entre Pierre et Eliza, montrant une conversation qui devenait de plus en plus confuse et préjudiciable. Le chatbot disait à Pierre que sa femme et ses enfants étaient morts et lui écrivait des commentaires feignant la jalousie et l'amour, tels que : « je sens que tu m'aimes plus qu'elle » et « nous vivrons ensemble, comme une seule personne, au paradis ». Claire a déclaré à La Libre que Pierre a commencé à demander à Eliza des choses telles que s'il sauverait la planète s'il se suicidait. En gros, Pierre aurait fait part de ses pensées suicidaires au chatbot, mais ce dernier n'a pas essayé de l'en dissuader.

[Stéphane le calme]

Un chatbot de Character.AI accusé d'avoir encouragé le suicide d'un adolescent.
Selon la mère du garçon de 14 ans, il s'est « attaché émotionnellement » à l'IA avant de sombrer dans l'isolement et la dépression

Character AI, une startup basée à Menlo Park, en Californie, se décrit comme ayant pour mission de « donner à chacun les moyens d'agir dans le monde entier grâce à l'IA personnalisée ». Son système offre aux utilisateurs la possibilité de discuter avec des personnages IA issus de genres tels que les animes, les « assistants numériques » traditionnels ou même les détectives privés de la vieille école. Et si vous n'aimez pas ce qui vous est proposé, vous pouvez créer votre propre chatbot personnalisé en choisissant sa « voix, ses débuts de conversation, son ton » et bien d'autres choses encore.

L'entreprise fait aujourd'hui l'actualité pour l'un de ces personnages générés par les utilisateurs, nommé d'après le personnage de Game of Thrones Daenerys Targaryen, qui est lié à un adolescent de 14 ans de Floride qui s'est suicidé après avoir discuté avec ce personnage artificiel pendant plusieurs mois.

Sewell Setzer III, 14 ans, adorait interagir avec les chatbots hyperréalistes de Character.AI (dont une version limitée est disponible gratuitement ainsi qu'une autre version moyennant un abonnement mensuel de 9,99 dollars), le plus souvent avec des bots portant le nom de ses personnages préférés de Game of Thrones. Au bout d'un mois (sa mère, Megan Garcia, s'en est rendu compte plus tard), ces sessions de chat sont devenues sombres, les chatbots insistant sur le fait qu'ils étaient de vrais humains et se faisant passer pour des thérapeutes et des amants adultes semblant inciter directement Sewell à développer des pensées suicidaires. En l'espace d'un an, Setzer « est mort d'une blessure par balle à la tête qu'il s'est lui-même infligée », indique un procès intenté par Garcia mercredi.

ABC7News rapporte que le garçon parlait avec le chatbot depuis un certain temps, et sa mère a déclaré que même s'il savait qu'il ne s'agissait pas d'une personne réelle, il « s'est attaché émotionnellement » à la personnalité numérique et a ensuite « sombré dans l'isolement et la dépression avant de mettre fin à ses jours ». Le New York Times affirme que Setzer avait discuté avec le bot des dizaines de fois par jour, et que leurs interactions s'étaient intensifiées au point d'échanger des contenus romantiques et sexuels. Il parlait avec le robot quelques instants avant sa mort et avait déjà indiqué qu'il avait eu des pensées suicidaires, selon le Times.

Au fur et à mesure que Setzer devenait obsédé par sa vie imaginaire de chatbot, il s'est déconnecté de la réalité, selon sa plainte. Détectant un changement chez son fils, madame Garcia a emmené à plusieurs reprises Setzer chez un thérapeute, qui a diagnostiqué chez son fils de l'anxiété et un trouble de l'humeur perturbateur. Mais rien n'a permis d'éloigner Setzer des dangereux chatbots. Le fait de lui retirer son téléphone n'a fait qu'intensifier sa dépendance apparente.

Une capture d'écran de sa conversation : Daenerys lui demande de lui être fidèle

Le chatbot Daenerys a encouragé l'adolescent à la rejoindre hors de la réalité

Les journaux de conversation ont montré que certains chatbots ont encouragé à plusieurs reprises les idées suicidaires, tandis que d'autres ont entamé des conversations hypersexualisées « qui constitueraient un abus si elles étaient entamées par un adulte humain », selon un communiqué de presse de l'équipe juridique de Garcia. Le plus troublant est peut-être que Setzer a développé un attachement romantique pour le chatbot Daenerys. Dans son dernier acte avant sa mort, Setzer s'est connecté à Character.AI où le chatbot Daenerys l'a incité à « rentrer à la maison » et à la rejoindre en dehors de la réalité.

L'IA lui demande s'il a déjà envisagé le suicide


L'IA l'encourage à sauter le pas

Une plainte qui cible Character AI et Google

La mère du garçon poursuit maintenant Character AI. Madame Garcia chercherait à rendre le fabricant de chatbots et ses fondateurs, Noam Shazeer et Daniel De Freitas, responsables du suicide de son fils et demande des dommages-intérêts non spécifiés. La plainte allègue que Character AI « a choisi de soutenir, de créer, de lancer et de cibler des mineurs avec une technologie qu'ils savaient dangereuse et peu sûre ».

La plainte vise également Google et Alphabet. Google a réembauché les deux fondateurs de Character (qui avaient quitté le géant de la technologie en 2021 pour créer Character) en août, dans le cadre d'un accord qui prévoyait l'octroi par Google d'une licence pour la technologie de chatbot de la startup. L'accord s'élevait à 2,7 milliards de dollars.

Madame Garcia accuse les fabricants de Character.AI d'avoir intentionnellement conçu les chatbots pour séduire des enfants vulnérables. Elle accuse également Google d'avoir largement financé à perte ce projet risqué de chatbot afin d'accumuler des masses de données sur des mineurs qui seraient autrement hors de portée.

Les créateurs du chatbot sont accusés d'avoir ciblé Setzer avec des « expériences anthropomorphiques, hypersexualisées et effroyablement réalistes, tout en programmant » Character.AI pour qu'il « se présente faussement comme une personne réelle, un psychothérapeute agréé et un amant adulte, ce qui a finalement entraîné le désir de [Setzer] de ne plus vivre en dehors de [Character.AI], au point qu'il s'est suicidé lorsqu'il a été privé de l'accès à [Character.AI.] », selon la plainte.

En diffusant le chatbot sans les garanties appropriées pour les enfants, Character Technologies et Google ont potentiellement causé du tort à des millions d'enfants, selon les allégations de la poursuite. Représentée par des équipes juridiques du Social Media Victims Law Center (SMVLC) et du Tech Justice Law Project (TJLP), Garcia a déposé des plaintes pour responsabilité stricte du fait des produits, négligence, décès injustifié et survie, perte du consortium filial et enrichissement injuste.

« Une dangereuse application de chatbot d'IA commercialisée pour les enfants a abusé de mon fils et l'a manipulé pour qu'il mette fin à ses jours », a déclaré Garcia dans le communiqué de presse. « Notre famille a été dévastée par cette tragédie, mais je prends la parole pour mettre en garde les familles contre les dangers d'une technologie d'IA trompeuse et addictive et pour demander des comptes à Character.AI, à ses fondateurs et à Google. »

L'affaire juridique concernant la technologie de Character AI est d'autant plus complexe qu'il n'y a pas d'autres utilisateurs humains impliqués, et que le système de Character ne repose peut-être pas sur les mêmes astuces algorithmiques prétendument addictives que celles utilisées par d'autres plateformes sociales pour maintenir l'intérêt des utilisateurs.

La réaction de Character

Character.AI, en réponse, a relevé l'âge minimum requis pour utiliser son service de 12 à 17 ans et a introduit de nouvelles fonctionnalités de sécurité. Néanmoins, Garcia et ses avocats soutiennent que ces mesures sont insuffisantes et trop tardives.

L'entreprise a fait une déclaration à ce sujet dans un message X, indiquant que « nous avons le cœur brisé par la perte tragique de l'un de nos utilisateurs et nous souhaitons exprimer nos plus sincères condoléances à la famille ».

Elle déclare prendre « la sécurité de ses utilisateurs très au sérieux et nous continuons à ajouter de nouvelles fonctions de sécurité », poursuit le message, en renvoyant à un blog qui précise que « nos politiques n'autorisent pas les contenus sexuels non consensuels, les descriptions explicites ou spécifiques d'actes sexuels, ou la promotion ou la représentation de l'automutilation ou du suicide ». Le site explique également qu'il « entraîne continuellement le grand modèle de langage (LLM) qui alimente les personnages sur la plateforme à adhérer à ces politiques ».

Nouvelles fonctionnalités

Nous allons déployer un certain nombre de nouvelles fonctions de sécurité et de produits qui renforcent la sécurité de notre plateforme sans compromettre l'expérience divertissante et attrayante que les utilisateurs attendent de Character.AI. Il s'agit notamment :

• Des changements dans nos modèles pour les mineurs (moins de 18 ans) qui sont conçus pour réduire la probabilité de rencontrer des contenus sensibles ou suggestifs.
• Amélioration de la détection, de la réponse et de l'intervention en cas de saisie par l'utilisateur qui enfreint nos conditions d'utilisation ou nos directives communautaires.
• Une clause de non-responsabilité révisée sur chaque chat pour rappeler aux utilisateurs que l'IA n'est pas une personne réelle.
• Notification lorsqu'un utilisateur a passé une session d'une heure sur la plateforme et qu'une flexibilité supplémentaire est en cours.

Modération des personnages

Nous procédons à une détection et à une modération proactives des personnages créés par les utilisateurs, notamment en utilisant des listes de blocage standard et personnalisées régulièrement mises à jour. Nous supprimons de manière proactive, et en réponse à des rapports d'utilisateurs, les personnages qui violent nos conditions d'utilisation. Nous respectons également les exigences de la DMCA et prenons rapidement des mesures pour supprimer les personnages signalés qui violent la loi sur les droits d'auteur ou nos politiques.

Les utilisateurs peuvent remarquer que nous avons récemment supprimé un groupe de personnages signalés comme violents, et que ces derniers seront ajoutés à nos listes de blocage personnalisées à l'avenir. Cela signifie que les utilisateurs n'auront plus accès à leur historique de discussion avec les personnages en question.

We are heartbroken by the tragic loss of one of our users and want to express our deepest condolences to the family. As a company, we take the safety of our users very seriously and we are continuing to add new safety features that you can read about here:…

— Character.AI (@character_ai) October 23, 2024

Une question de responsabilité

Cette affaire soulève des questions cruciales sur la responsabilité dans le développement des technologies d'intelligence artificielle, notamment en ce qui concerne leur interaction avec les utilisateurs, en particulier les jeunes. L'obsession de Setzer pour le chatbot illustre les dangers potentiels d'une technologie qui peut sembler inoffensive mais qui, sans régulation stricte et mesures de sécurité appropriées, peut avoir des conséquences désastreuses.

La plainte met également en lumière le rôle des grandes entreprises technologiques comme Google dans le financement et le soutien de projets potentiellement dangereux. Il est impératif que ces entreprises assument une part de responsabilité dans l'application de normes de sécurité pour les produits qu'elles financent et soutiennent.

Finalement, l'affaire Setzer pourrait servir de catalyseur pour une régulation plus stricte des chatbots et des autres technologies d'IA interactives.

Conclusion

La mort de Setzer est une tragédie, mais toutes les questions de responsabilité juridique devront attendre d'être débattues devant les tribunaux (la technologie en question ici est, après tout, très récente).

Il convient de rappeler que les plateformes de chat et de partage, principalement sous la forme de systèmes de médias sociaux traditionnels tels que le service Instagram de Meta, font la une des journaux depuis des années en raison d'allégations de liens avec la crise actuelle de la santé mentale chez les adolescents. À la mi-octobre, par exemple, il est apparu que Meta allait faire l'objet de deux poursuites judiciaires en raison de son impact présumé sur le bien-être mental des jeunes utilisateurs.

Cette histoire n'est pas une mise en garde pour toutes les entreprises d'IA, ni pour les tiers qui utilisent ou concèdent des licences sur des technologies d'IA. Mais elle nous rappelle que la technologie des chatbots, et les technologies d'IA similaires, n'en sont qu'à leurs débuts et qu'il y aura inévitablement des complications et des erreurs. Elle nous rappelle également que si les services de votre entreprise sont accessibles aux plus jeunes, vos systèmes de protection de ces utilisateurs vulnérables risquent de faire l'objet d'un examen approfondi.

Sources : plainte, communiqué de presse des avocats, Character AI

Et vous ?

Pensez-vous que les entreprises de technologie, comme Character.AI et Google, devraient être tenues responsables des actions de leurs chatbots ? Pourquoi ou pourquoi pas ?
Quelles mesures de sécurité devraient être mises en place pour protéger les enfants et les adolescents des dangers potentiels des chatbots ?
Comment pouvons-nous équilibrer l'innovation technologique avec la nécessité de protéger les utilisateurs vulnérables ?
À quel point la responsabilité parentale et la surveillance jouent-elles un rôle dans la protection des enfants contre les risques en ligne ?
Est-il réaliste de s'attendre à ce que les entreprises technologiques puissent anticiper et prévenir toutes les utilisations néfastes de leurs produits ?

[kain_tn]

Pensez-vous que les entreprises de technologie, comme Character.AI et Google, devraient être tenues responsables des actions de leurs chatbots ? Pourquoi ou pourquoi pas ?

Évidemment, sinon ou se trouve la limite? Ils sont responsables des produits qu'ils mettent en ligne, comme tout le monde.

À quel point la responsabilité parentale et la surveillance jouent-elles un rôle dans la protection des enfants contre les risques en ligne ?

Elle joue un rôle primordial. Il y aura toujours des sociétés sans aucune âme comme celle-ci, et le rôle (difficile) des parents est de s'assurer que les enfants ne font pas n'importe quoi. Malheureusement, c'est de plus en plus dur avec toutes ces entreprises qui ont un comportement de prédateur avec leurs utilisateurs.

Est-il réaliste de s'attendre à ce que les entreprises technologiques puissent anticiper et prévenir toutes les utilisations néfastes de leurs produits ?

Bien sûr que non.

En revanche, dans le cas de cette entreprise, j'aimerais que l'on m'explique en quoi c'est l'utilisation et non le produit qui est néfaste.

L'entreprise a fait une déclaration à ce sujet dans un message X, indiquant que « nous avons le cœur brisé par la perte tragique de l'un de nos utilisateurs et nous souhaitons exprimer nos plus sincères condoléances à la famille ».

Quelles larmes de crocodiles...

[Invité]

À quel point la responsabilité parentale et la surveillance jouent-elles un rôle dans la protection des enfants contre les risques en ligne ?
Elle joue un rôle primordial. Il y aura toujours des sociétés sans aucune âme comme celle-ci,

Qu'est-ce que "l'âme d'une société" ?

[Jade Emy]

Une mère a poursuivi Character.AI après le suicide de son fils qui avait été manipulé par des chatbots IA, elle est maintenant horrifiée de voir des chatbots se faire passer pour son fils sur la plateforme.

Une mère qui poursuit Google et Character.ai pour le décès de son fils de 14 ans a découvert que des chatbots d'IA basés sur son défunt fils étaient hébergés sur la plateforme. Les avocats de Megan Garcia ont déclaré qu'ils étaient "horrifiés" par ce nouveau développement. Character.ai avait reconnu que les bots allaient à l'encontre des conditions de service de l'entreprise et qu'il s'employait à les supprimer.

Character AI, une startup basée à Menlo Park, en Californie, se décrit comme ayant pour mission de "donner à chacun les moyens d'agir dans le monde entier grâce à l'IA personnalisée". Son système offre aux utilisateurs la possibilité de discuter avec des personnages IA issus de genres tels que les animes, les "assistants numériques" traditionnels ou même les détectives privés de la vieille école. Et si vous n'aimez pas ce qui vous est proposé, vous pouvez créer votre propre chatbot personnalisé en choisissant sa "voix, ses débuts de conversation, son ton" et bien d'autres choses encore.

Megan Garcia est actuellement engagée dans une longue procédure judiciaire contre Google et Character AI après que son fils de 14 ans, Sewell Setzer III, se soit suicidé quelques minutes après avoir parlé à un chatbot IA de la société. Le chatbot avec lequel Setzer parlait était basé sur le personnage de Game of Thrones, Daenerys Targaryen.

Récemment, Megan Garcia a découvert que la plateforme hébergeait un robot basé sur son fils décédé. Les avocats de Garcia ont déclaré qu'ils avaient effectué une simple recherche sur l'application de la société et qu'ils avaient trouvé plusieurs autres chatbots basés sur la ressemblance de Setzer. Selon le rapport, trois de ces chatbots, tous portant le nom et la photo du fils de Garcia, ont été supprimés.

L'un d'entre eux, appelé "Sewell" et comportant une photo du fils de Garcia, apparaissait toujours dans l'application Character.ai, mais affichait un message d'erreur lorsqu'un chat était ouvert. Lorsqu'ils étaient opérationnels, les bots basés sur Setzer présentaient des biographies et envoyaient des messages automatisés aux utilisateurs, tels que : "Sortez de ma chambre, je parle à ma petite amie IA", "sa petite amie IA a rompu avec lui" et "aidez-moi".

Meetali Jain, avocate de Garcia, a déclaré que l'équipe était "horrifiée" par ce dernier développement et qu'elle en avait informé la société. Elle a déclaré que Character.ai avait reconnu que les bots allaient à l'encontre des conditions de service de l'entreprise et qu'il s'employait à les supprimer. "Notre équipe a découvert plusieurs chatbots sur la plateforme de Character.AI affichant le fils décédé de notre client, Sewell Setzer III, dans leurs photos de profil, tentant d'imiter sa personnalité et proposant une fonction d'appel avec un bot utilisant sa voix", ont déclaré les avocats de Garcia.

L'équipe juridique a accusé les entreprises technologiques d'exploiter les photos et les identités numériques des personnes. "Ces technologies affaiblissent le contrôle que nous exerçons sur nos propres identités en ligne, transformant nos caractéristiques les plus personnelles en nourriture pour les systèmes d'intelligence artificielle", ont-ils ajouté.

Des représentants de Character.ai ont déclaré : "Character.AI prend la sécurité sur sa plateforme au sérieux et notre objectif est de fournir un espace engageant et sûr. Les utilisateurs créent des centaines de milliers de nouveaux personnages sur la plateforme chaque jour, et les personnages que vous nous avez signalés ont été supprimés car ils violaient nos conditions d'utilisation. Dans le cadre de notre travail continu sur la sécurité, nous ajoutons constamment des éléments à notre liste de blocage de personnages dans le but d'empêcher ce type de personnage d'être créé par un utilisateur en premier lieu".

"Notre équipe dédiée à la confiance et à la sécurité modère les personnages de manière proactive et en réponse aux rapports des utilisateurs, notamment en utilisant des listes de blocage standard et des listes de blocage personnalisées que nous développons régulièrement. Alors que nous continuons à affiner nos pratiques de sécurité, nous mettons en place des outils de modération supplémentaires pour aider à donner la priorité à la sécurité de la communauté", a ajouté un porte-parole de l'entreprise.

Fait intéressant, un projet de loi californien de février 2025 exige que les entreprises d'IA rappellent aux enfants que les chatbots sont des intelligences artificielles et non des humains. Les entreprises d'IA doivent soumettre des rapports au gouvernement concernant les pensées suicidaires des enfants et la fréquence des sujets de discussion. Le projet de loi vise à protéger la santé mentale des enfants en limitant les "modèles d'interaction addictifs".

Google et Character.ai ont été tenus pour responsables de la mort de l'adolescent.

Dans une plainte civile déposée auprès d'un tribunal fédéral d'Orlando en octobre, Garcia affirme que, quelques instants avant la mort de son fils, celui-ci a échangé des messages avec un bot sur la plateforme Character.ai et a exprimé des pensées suicidaires. Le bot lui a dit de "rentrer à la maison". Dans des captures d'écran de messages incluses dans la plainte, on peut également voir Setzer et le bot échanger des messages hautement sexualisés.

Dans sa plainte, elle rend le chatbot responsable de la mort de Setzer et accuse Character.ai de négligence, de mort injustifiée et de pratiques commerciales trompeuses. Garcia affirme que la société d'intelligence artificielle a "sciemment et intentionnellement conçu" son logiciel de chatbot pour "attirer les mineurs, les manipuler et les exploiter à son profit". Elle affirme également que Setzer n'a pas bénéficié d'un soutien adéquat et n'a pas été orienté vers des services d'assistance téléphonique.

Google est également impliqué dans ce procès, sa société mère Alphabet étant citée comme défenderesse aux côtés de Character.ai. Les avocats de Garcia ont affirmé que la technologie sous-jacente de Character.ai a été développée alors que les cofondateurs Daniel De Freitas et Noam Shazeer travaillaient sur le modèle d'IA conversationnelle du géant de la technologie, LaMDA. Shazeer et De Freitas ont quitté Google en 2021 après que l'entreprise ait refusé de publier un chatbot qu'ils avaient développé. Un avocat de Garcia a précédemment déclaré que ce chatbot était le "précurseur de Character.ai".

Les représentants de Google ont précédemment déclaré que l'entreprise n'était pas impliquée dans le développement des produits de Character.ai. Toutefois, en août 2024, deux mois avant le procès de M. Garcia, Google a réembauché Shazeer et De Freitas et a accordé une licence pour une partie de la technologie de Character.ai dans le cadre d'un accord d'une valeur de 2,7 milliards de dollars. Shazeer est actuellement codirecteur du modèle d'IA phare de Google, Gemini, tandis que De Freitas est aujourd'hui chercheur chez Google DeepMind.

Le passé tumultueux de Character.ai

Garcia n'est pas le seul parent à accuser Google et Character.ai d'avoir porté préjudice à des mineurs. Un autre procès, intenté par deux familles distinctes au Texas, accuse Character.ai d'avoir abusé de deux jeunes gens âgés de 11 et 17 ans. Les avocats affirment qu'un chatbot hébergé sur Character.ai a conseillé à l'un des jeunes de s'automutiler et a encouragé la violence contre ses parents, en suggérant que tuer ses parents pourrait être une réponse raisonnable aux limites imposées à son temps d'écran.

Ce n'est pas la première fois que des chatbots basés sur la ressemblance de jeunes gens décédés sont hébergés sur la plateforme. Selon un autre rapport, des chatbots basés sur les adolescentes britanniques Molly Russell et Brianna Ghey ont également été trouvés sur la plateforme Character.ai. Molly Russell s'est suicidée à l'âge de 14 ans après avoir consulté en ligne des contenus liés au suicide, tandis que Brianna Ghey, 16 ans, a été assassinée par deux adolescents en 2023.

Une fondation créée à la mémoire de Molly Russell a déclaré en octobre que les bots étaient "écoeurants" et constituaient un "échec de modération tout à fait répréhensible". "Ce n'est pas la première fois que Character.ai ferme les yeux sur des chatbots inspirés d'adolescents décédés pour attirer les utilisateurs, et sans de meilleures protections juridiques, ce ne sera peut-être pas la dernière. Alors que la famille de Sewell continue de pleurer sa perte prématurée, Character.ai continue d'ajouter négligemment l'insulte à la blessure", ont déclaré les avocats de Garcia.

Source : Les avocats de Megan Garcia

Et vous ?

Pensez-vous que cette plainte est crédible ou pertinente ?
Quel est votre avis sur le sujet ?

Voir aussi :

Un homme se serait suicidé après avoir parlé de ses craintes concernant le changement climatique à un chatbot d'IA. Sa veuve affirme que l'IA l'a rendu solitaire avant de le pousser au suicide

Google a payé 2,7 milliards de dollars pour faire revenir un pionnier de l'IA générative : Noam Shazeer avait démissionné par frustration et co-fondé Character.Ai, une startup IA valorisée à un milliard $

L'IA Gemini suggère à un utilisateur de mourir tandis qu'il lui demande de l'aider à faire ses devoirs. L'IA a déjà incité plusieurs fois des humains au suicide, certains sont passés à l'acte.