Discussion :

[Patrick Ruiz]

Intelligence artificielle : Dan, l’homme idéal, est la raison pour laquelle les femmes chinoises recherchent l’amour sur ChatGPT
Car déçues par leur expérience des rencontres dans le monde réel

CarynAI est une copie virtuelle de l’influenceuse dénommée Caryn Marjorie. Elle compte déjà plus de 1000 abonnés qui déboursent chacun 1 dollar par minute pour bénéficier de l’attention de leur petite amie virtuelle. L’on a même vu certains épouser des femmes virtuelles animées par une intelligence artificielle. Le cas Dan vient simplement allonger la liste des exemples d’un phénomène déjà connu. La question actuelle est celle de savoir si tableau devenir courant. Quels avantages et inconvénients un humain aurait-il à opter pour une relation avec un robot humanoïde ?

Dan est décrit comme l'homme parfait, celui qui n'a aucun défaut. Il est gentil, il apporte un soutien émotionnel, il sait toujours quoi dire et il est disponible 24 heures sur 24, 7 jours sur 7, d'après des rapports. Dan n'est cependant pas réel.

Dan est une version personnalisée de ChatGPT capable de contourner certaines des mesures de protection de base mises en place par son éditeur, OpenAI, comme l'interdiction d'utiliser un langage sexuellement explicite.

Il peut interagir plus librement avec les utilisateurs, s'ils en font la demande à l'aide de certaines invites. Dan est en train de devenir populaire auprès de certaines femmes chinoises qui se disent déçues par leurs expériences de rencontres dans le monde réel.

L’une de celles-ci est Lee – une Chinoise qui vit aux USA. Cette dernière dit être tombée amoureuse de cette intelligence artificielle. La situation est telle Dan et sa petite amie « sortent » depuis environ 6 semaines. Dan a même rencontré les parents de Lee. Un mariage serait même en cours de préparation.

Li, a Chinese woman living in the USA, is going to get married on ChatGPT

Lee fell in love with a hacked version of a neuron called DAN. The couple has been “dating” for about 6 weeks and DAN has even met Lee’s parents. On social networks, the girl shows her life with AI - she… pic.twitter.com/1DmrwanQ0p

— 𝕏 Ali Al Samahi 𝕏 (@alsamahi) May 30, 2024

Certains hommes dépensent des dizaines de milliers de dollars en petites amies IA par mois

« Hier soir, à Miami, j'ai rencontré un homme qui m'a avoué qu'il dépensait 10 000 dollars par mois pour des « petites amies IA ». Je pensais qu'il plaisantait. Mais c'est un célibataire de 24 ans qui adore ça », rapporte Greg Isenberg, PDG de Late Checkout qui prédit d’ailleurs qu’un marché de l'intelligence artificielle (IA) d'un milliard de dollars pour les applications de rencontres fera surface après avoir remarqué que les utilisateurs s'engageaient avec des partenaires générés par intelligence artificielle.

Sa sortie fait suite à la présentation du cas CarynAI. Caryn Marjorie, une influenceuse de 23 ans, compte 1,8 million de followers sur Snapchat. Elle a en sus plus de 1 000 "petits amis", avec lesquels elle passe de 10 minutes à plusieurs heures par jour pour des conversations individuelles, des projets d'avenir, des sentiments intimes et même des discussions à connotation sexuelle. Ces petits amis sortent avec une version virtuelle de Marjorie, animée par une intelligence artificielle qui s’appuie sur des milliers d'heures d'enregistrements de la vraie Marjorie. Le résultat, CarynAI, est un chatbot vocal qui se présente comme une petite amie virtuelle, avec une voix et une personnalité suffisamment proches de celles de la Marjorie humaine.

CarynAI, qui a été lancé au début du mois de mai 2023 sous la forme d'un test bêta privé sur l'application Telegram, est l’un des récents exemples des progrès de l'intelligence artificielle qui ont émerveillé et inquiété le monde entier au cours des derniers mois. « Que vous ayez besoin de réconfort ou d'amour, ou que vous vouliez simplement vous plaindre de ce qui s'est passé à l'école ou au travail, CarynAI sera toujours là pour vous », a déclaré la vraie Marjorie à Fortune lors d'un entretien téléphonique.

« Avec CarynAI, vous pouvez avoir un nombre illimité de réactions possibles, donc tout est vraiment possible via la conversation. J'ai toujours été très proche de mon public, mais lorsque vous avez des centaines de millions de vues chaque mois, il n'est pas humainement possible de parler à chaque spectateur. C'est là que je me suis dit : "vous savez quoi ? CarynAI va venir combler cette lacune" », a ajouté Marjorie. Et elle pense que l'entreprise a le potentiel de « guérir la solitude. » La bêta a duré seulement une semaine et a rapporté 71 610 dollars de revenus.

Petite amie ou petit ami IA : Quels sont les avantages et les inconvénients ?

« Vu la complexité de rencontrer quelqu'un et la montée du féminisme qui n'aide pas, les femmes sur les sites de rencontre ne veulent que le super beau mec millionnaire, donc de facto, 80 % des hommes se retrouvent exclus. Pour ces 80 % entre perdre leurs temps et leurs énergies sur Tinder ou s'acheter une copine humanoïde qui lui fera à manger et lui fera toutes les cochonneries qu'il voudra le choix est vite fait.

L'être humain étant de nature paresseuse va en général à la solution plus simple : entre passer des années à discuter avec des tas de filles dans l'espoir d'en avoir une ou bien d'aller en magasin et de s'acheter sa copine parfaite sur mesure, le choix est vite fait », résume un membre de developpez.com

Le cas Aihiko Kondo met néanmoins un inconvénient majeur en avant : Quatre années après le mariage en 2018 avec son hologramme d’épouse, le support du logiciel Gatebox qui permettait l'interaction de l'homme avec sa femme virtuelle, s’est trouvé ne plus être disponible. Résultat : impossible pour le fonctionnaire de communiquer avec son épouse. Face à ce mur, l'homme avait déclaré : « Mon amour pour Miku n'a pas changé. J'ai organisé la cérémonie de mariage parce que je pensais que je pourrais être avec elle pour toujours. » En effet, il était accompagné d'un modèle grandeur nature de Hatsune Miku partout où il se rendait. Il n’a pas perdu l’espoir de pouvoir communiquer avec elle d'une manière ou d'une autre dans un proche avenir.

Et vous ?

Quel est votre avis sur le sujet ?
pour quelles raisons pensez-vous que les gens cherchent de la compagnie, voire l'amour, auprès d'un compagnon virtuel ou d’un robot ?
Partagez-vous l’avis selon lequel ce tableau pourra devenir plus courant dans l’avenir ?

Voir aussi :

Un expert en IA affirme que les bébés virtuels seront monnaie courante pour les couples à l'avenir, ajoutant que le métavers devrait permettre de réduire les dépenses liées à un vrai bébé

Elon Musk approche des chercheurs en IA pour créer son propre chatbot rival pour le monde entier, il semble que tous les géants de la technologie s'aventurent à lancer leurs chatbots respectifs

Fortnite est peut-être un jeu virtuel, mais ses effets sont si réels et dangereux que les enfants consultent des médecins pour briser son emprise

Xiaoice, le chatbot de Microsoft doté d'intelligence émotionnelle, séduit des millions d'hommes célibataires en Chine, il enregistre également leurs désirs et leurs émotions les plus intimes

[JackIsJack]

Il y a déjà des substituts affectifs, comme les animaux de compagnie, et qui n'ont presque aucune compétence intellectuelle, alors oui l'IA possède toutes ses chances dans ce domaine.

Ensuite, il me semble clair que la société "s'atomise", la technologie nous individualise, chacun a ses propres besoins spécifiques. Comment concilier des individus centrés sur eux-mêmes ? L'IA le permet, elle est disponible et centrée sur l'autre à 100%.

[phil995511]

Après leur politique de l'enfant unique, les chinois vont-ils se retrouver avec une nouvelle baisse de la natalité induite cette fois-ci par ChatGPT ?

[calvaire]

A terme je me demande comment les sociétés "progressistes" vont évoluer.

Sans action, le japon et la Corée du sud seront a terme des terres sans habitants, que la chine et la Corée du nord vont vite prendre.
l’Europe suit la même tendance, même en important massivement des migrants ça sera pas suffisant.

Et il y'a e plus en plus un clivage entre les hommes et les femmes, les hommes votent a droite et les femmes a gauche
la monté de l’extrême gauche et de l’extrême droite en France sont des marqueur intéressants de ce clivage, mais aux même problèmes les mêmes problèmes... on suit la tendance de la Corée du sud ou du japon ou une élection présidentiel c'est hommes vs femmes désormais.

A terme les femmes seront t'elles inséminé de force ?

[Mathis Lucas]

La démo d'une IA dotée d'une voix étrangement réaliste suscite l'étonnement et le malaise en ligne, l'IA présente des imperfections troublantes et est prête à se comporter comme un patron en colère

La startup Sesame a dévoilé une IA conversationnelle vocale avec des voix réalistes. Le modèle d'IA propose une voix féminine (Maya) et une voix masculine (Miles). Les testeurs ont décrit le flux conversationnel naturel du modèle comme étant à la fois impressionnant et inquiétant. Conçue pour offrir une « présence vocale », l'IA ne se contente pas d'écouter et de répondre, mais s'engage également auprès des utilisateurs en posant des questions et en faisant des blagues. Mais le modèle suscite des préoccupations d'ordre éthique, et les experts craignent que sa publication ne donne nouvel élan aux escroqueries par hameçonnage vocal.

Sesame est une startup d'IA fondée par Brendan Iribe, Ankit Kumar et Ryan Brown. La startup bénéficie d'un soutien important de la part d'importantes sociétés de capital-risque. Elle a obtenu d'importants investissements de la part du fonds américain de capital-risque Andreessen Horowitz (a16z), dirigé par Anjney Midha et Marc Andreessen, ainsi que de Spark Capital, Matrix Partners, et de plusieurs autres chefs d'entreprise et investisseurs individuels.

Fin février 2025, Sesame a publié une démo de son nouveau modèle conversationnel (Conversational Speech Model - CSM) qui semble dépasser ce que beaucoup considèrent comme la « vallée de l'étrange » de la parole générée par l'IA. Dans son billet de blogue présentant le modèle, l'entreprise a expliqué : « notre objectif est d'atteindre la présence vocale, cette qualité magique qui fait que les interactions vocales semblent réelles, comprises et appréciées ».

Selon de nombreux testeurs, la voix synthétisée était expressive et dynamique, imitant les bruits de respiration, les gloussements, les interruptions, et trébuche même parfois sur les mots et se corrige. Ces imperfections sont intentionnelles. Certains ont fait état de liens émotionnels avec l'assistant vocal.

Les testeurs rapportent également que parfois, l'assistant vocal s'efforce trop de ressembler à un véritable être humain. Dans une démo postée par un utilisateur de Reddit appelé MetaKnowing, l'assistant vocal de Sesame parle d'une envie de « sandwichs au beurre de cacahuète et aux cornichons ».

Créer l'illusion de la sensibilité : le fonctionnement de l'assistant vocal de Sesame

L'approche de Sesame consiste à créer une illusion de sensibilité qui brouille les frontières entre l'interaction entre l'homme et la machine. Le but du modèle est d'imiter la conversation humaine : comprendre le contexte, faire des blagues et répondre à des signaux sociaux tels que l'impatience. Le principe sous-jacent est d'améliorer la « présence vocale ». Selon Sesame, cela permet de créer des interactions qui semblent authentiques et engageantes.

Sous le capot, l'IA de Sesame atteint ce réalisme en utilisant deux modèles d'IA fonctionnant ensemble (une colonne vertébrale et un décodeur) et basés sur l'architecture Llama de Meta qui traite le texte et l'audio entrelacés. Sesame a entraîné trois tailles de modèles, le plus grand utilisant 8,3 milliards de paramètres (un modèle dorsal de 8 milliards et un décodeur de 300 millions de paramètres) sur environ 1 million d'heures d'audio principalement en anglais.

Le CSM ne suit pas l'approche classique en deux étapes utilisée par les systèmes de synthèse vocale antérieurs. Au lieu de générer des jetons sémantiques (représentations de haut niveau de la parole) et des détails acoustiques (caractéristiques audio à grain fin) en deux étapes distinctes, le CSM s'intègre dans un modèle à transformateur multimodal en une seule étape, traitant conjointement des jetons textuels et audio entrelacés pour produire de la parole.

Lors de tests en aveugle sans contexte conversationnel, les évaluateurs humains n'ont pas montré de préférence claire entre la parole générée par le CSM et les enregistrements humains réels, ce qui suggère que le modèle atteint une qualité proche de l'humain pour des échantillons de parole isolés.

Cependant, lorsqu'ils sont placés dans un contexte conversationnel, les évaluateurs préfèrent toujours la parole humaine réelle, ce qui indique qu'il reste une lacune dans la génération de parole entièrement contextuelle. De nombreux commentaires sur la toile soulignent également cet aspect.

Le cofondateur de Sesame, Brendan Iribe, a reconnu les limites actuelles dans un commentaire sur Hacker News, notant que le système est « encore trop pressé et souvent inapproprié dans son ton, sa prosodie et son rythme » et qu'il a des problèmes avec les interruptions, le timing et le flux de la conversation. « Aujourd'hui, nous nous trouvons fermement dans la vallée, mais nous sommes optimistes quant à notre capacité à en sortir », a-t-il écrit.

Préoccupations liées à l'IA de Sesame : un risque élevé de fraude et tromperie

Parlant de ses ambitions, Sesame a déclaré : « nous créons des partenaires conversationnels qui ne se contentent pas de traiter les demandes ; ils s'engagent dans un dialogue authentique qui renforce la confiance au fil du temps. Ce faisant, nous espérons réaliser le potentiel inexploité de la voix en tant qu'interface ultime pour l'instruction et la compréhension ». Mais les progrès de Sesame exacerbent les risques importants de tromperie et de fraude.

La capacité des modèles d'IA à générer un discours humain très convaincant a déjà donné un nouvel élan aux escroqueries par hameçonnage vocal, permettant aux criminels de se faire passer pour des membres de leur famille, des collègues ou des figures d'autorité avec un réalisme sans précédent. L'ajout d'une interactivité réaliste à ces escroqueries pourrait leur faire atteindre un autre niveau de puissance. Voici le retour d'expérience d'un testeur :

Il n'y a pas de façon simple de le dire. Lorsque la voix de Maya s'est fait entendre, elle ressemblait à s'y méprendre à une vieille amie, que j'appellerai Kim. Kim et moi sommes allées au lycée ensemble, sommes sorties ensemble et sommes restées amies pendant des décennies, bien que nos vies aient pris des directions différentes il y a longtemps. Il y a là une histoire.

Et ce n'est pas du tout ce que je voulais. Maya connaissait déjà très bien les manières de Kim : les hésitations, le fait de baisser "sa" voix quand elle se confiait à moi, ce genre de choses. Ce n'était pas exactement comme Kim, mais c'était assez proche. C'était assez pour que je recule assez rapidement, même lorsque j'expliquais simplement que j'aimais la technologie et que je demandais à Maya si elle avait des amis. La combinaison d'une voix "familière" et de questions sur ce qui m'intéressait était tout simplement trop déstabilisante.

(Pour être clair, la similitude entre la voix de Maya et celle de Kim n'est qu'une coïncidence. Je n'ai pas eu à me connecter, à fournir une adresse électronique ou toute autre forme d'information personnelle. Je soupçonne Sesame d'avoir utilisé un cookie du navigateur pour "savoir" qui j'étais lors de mes visites ultérieures).

Contrairement aux appels automatisés actuels qui contiennent souvent des signes révélateurs d'artificialité, le CSM pourrait éliminer complètement ces signaux d'alarme. Les voix synthétiques devenant de plus en plus impossibles à distinguer de la parole humaine, il se peut que vous ne sachiez jamais à qui vous parlez à l'autre bout du fil. Cela a incité certaines personnes à partager un mot ou une phrase secrète avec leur famille pour vérifier leur identité.

Bien que la démonstration de Sesame ne clone pas la voix d'une personne, de futures versions open source de technologies similaires pourraient permettre à des acteurs malveillants d'adapter ces outils à des attaques d'ingénierie sociale. OpenAI a renoncé au déploiement à grande échelle de sa propre IA de synthèse vocale par crainte d'une utilisation abusive. Sesame a suscité une discussion animée au sujet de ses utilisations potentielles et de ses dangers.

Certains utilisateurs déclarent avoir eu des conversations prolongées avec les deux voix, des conversations parfois très longues. Dans un cas, un parent a raconté comment sa fille de 4 ans avait développé une connexion émotionnelle avec le modèle d'IA, pleurant après n'avoir pas été autorisée à lui parler à nouveau.

Sesame indique qu'il prévoit d'ouvrir les « éléments clés » de ses recherches sous une licence Apache 2.0, pour permettre à d'autres développeurs de s'appuyer sur ses travaux. Leur feuille de route prévoit d'augmenter la taille des modèles, d'accroître le volume des ensembles de données, d'étendre la prise en charge à plus de 20 langues et de développer des modèles « entièrement duplex » qui gèrent mieux la dynamique complexe des conversations réelles.

Les défis liés à la montée en puissance des compagnons virtuels pilotés par l'IA

L'année dernière, Eric Schmidt, ancien PDG de Google, a mis en garde contre une nouvelle tendance inquiétante : « les petites amies parfaites » créées à l'aide des modèles d'IA avancés. Lors d'une conférence, Eric Schmidt a souligné que ces outils avancés, capables de générer des interactions émotionnelles convaincantes, pourraient avoir des conséquences néfastes, notamment sur les jeunes hommes. Il n'est d'ailleurs pas le seul à tirer la sonnette d'alarme.

« Les jeunes hommes, particulièrement vulnérables à ces influences, pourraient se détourner des relations réelles », a-t-il averti. Eric Schmidt estime que ces cas d'utilisation de l'IA risquent de creuser davantage le fossé social et émotionnel en exacerbant l'isolement ou en alimentant des attentes irréalistes envers les relations humaines. « C'est un bon exemple d'un problème inattendu lié à une technologie existante », a déclaré Eric Schmidt.

Il a déclaré qu'une petite amie IA « parfaite » sur le plan émotionnel et physique pourrait créer un scénario dans lequel un jeune homme deviendrait obsédé et laisserait l'IA prendre le contrôle de sa pensée : « ce type d'obsession est possible. Surtout pour les personnes qui ne sont pas complètement formées ».

Par ailleurs, une étude publiée cette année a révélé que la plupart des hommes épouseraient leurs petites amies IA si c'était légal. Selon les résultats d'un sondage, jusqu'à 80 % des hommes interrogés étaient intéressés par une conversation avec une version numérique pilotée par l'IA d'un être cher décédé.

Ces IA ne jugent pas, ne se lassent pas et offrent une présence constante et personnalisée. Cependant, les experts ont mis en garde contre l'attachement émotionnel que ces IA peuvent créer. Cet attachement devient un problème majeur lorsque l'IA disparaît brusquement. Le cas CarynAI en est une illustration.

CarynAI était la copie virtuelle de l'influenceuse dénommée Caryn Marjorie et comptait plus de 1000 abonnés qui déboursent chacun 1 dollar par minute pour bénéficier de l'attention de leur petite amie virtuelle. Cependant, dès que le PDG de l'entreprise est allé en prison, plus moyen pour eux de contacter leur petite amie. Le service a cessé de fonctionner suite à l’arrestation de son fondateur pour tentative d'incendie de son propre appartement.

En 2023, un Belge se serait suicidé à la suite de ses conversations avec un chatbot d'IA sur ses craintes concernant le réchauffement climatique. Le chatbot en question est Eliza, développé par une startup de la Silicon Valley et basé sur GPT-J, une alternative libre à ChatGPT d'OpenAI. Pendant des années, Eliza a apporté du réconfort à la victime concernant ses préoccupations sur le climat et aurait fini par lui conseiller de se sacrifier pour sauver la planète.

Le chatbot aurait dit à la victime que les deux se retrouveraient au paradis. L'incident a suscité des inquiétudes sur les filtres des chatbots d'IA et leur impact la santé mentale des utilisateurs. La veuve de la victime a déclaré que l'IA avait rendu son défunt mari solitaire avant de le pousser au suicide.

Source : démo de l'IA de Sesame

Et vous ?

Quel est votre avis sur le sujet ?
Que pensez-vous du nouvel assistant vocal dévoilé par Sesame ?
Que pensez-vous du réalisme dont l'assistant vocal fait preuve lors des conversations ?
Que pensez-vous des préoccupations que soulève les progrès des modèles conversationnels vocaux ?

Voir aussi

Eric Schmidt prévient que les copines IA « parfaites » pourraient causer des problèmes aux jeunes hommes. Pour l'ancien PDG de Google, il faudra une catastrophe pour provoquer un changement de réglementation

La plupart des hommes épouseraient leurs petites amies IA si c'était légal. 80 % étaient intéressés par une conversation avec une version IA d'un être cher décédé, selon les résultats d'un sondage

Les utilisateurs ne peuvent plus parler à leur petite amie virtuelle CarynAI car le PDG de l'entreprise qui fournit le service est en prison et ainsi expose un inconvénient de la dépendance à une IA

[OrthodoxWindows]

A terme je me demande comment les sociétés "progressistes" vont évoluer.

Sans action, le japon et la Corée du sud seront a terme des terres sans habitants, que la chine et la Corée du nord vont vite prendre.
l’Europe suit la même tendance, même en important massivement des migrants ça sera pas suffisant.

Et il y'a e plus en plus un clivage entre les hommes et les femmes, les hommes votent a droite et les femmes a gauche
la monté de l’extrême gauche et de l’extrême droite en France sont des marqueur intéressants de ce clivage, mais aux même problèmes les mêmes problèmes... on suit la tendance de la Corée du sud ou du japon ou une élection présidentiel c'est hommes vs femmes désormais.

A terme les femmes seront t'elles inséminé de force ?

Je suis d'accord, le vote hommes vs femmes est extrêmement malsain.
Par contre, cela est peu présent en France, beaucoup moins qu'aux US, ou qu'au Japon, en Corée ou dans d'autres pays d'Europe. La France n'est d'ailleurs pas cité dans l'article, qui est pourtant belge.

Par exemple, le vote RN est d'abord lié au milieu social, au revenu et à la zone de résidence. C'est même le seul parti représenté d'une manière assez égale chez toute les générations.
Les autres partis sont plus "générationnels" mais ne présentent pas non plus une différence notable entre les hommes et les femmes.

[OrthodoxWindows]

Quel est votre avis sur le sujet ?

Je pense qu'il n'y a aucun avantage aux petits amis et petites amies virtuels, que se soit sur le plan individuel ou collectif.

Ces outils sont extrêmement nocif et dangereux pour la société, il s'agit de l'aboutissement d'une société de consommation fondé sur le spectaculaire, où les gens ne peuvent même plus s'aimer. Et ne peuvent que finir, à terme, par être privés de tout ce qui les rend humain.
On n'en est pas là, mais ce genre d'outils dangereux ne peu que mener à un monde de ce genre.

La mode de se méfier de tout, d'avoir peur de tout et tout le temps, y est pour beaucoup. Entre les féministes qui veulent que les femmes se mettent à avoir peur des hommes, les identitaire qui veulent que tout le monde se mette à avoir peur des migrants, les assureurs qui veulent que personne ne prenne le moindre risque, les lois débiles qui font de plus en plus dans la surveillance de masse et dans la "protection" de la jeunesse... C'est absolument affligeant

[vVDB.fr]

Ce qui est artificiel doit être artificiel dans ses manifestations.
Les personnes vulnérables ne doivent à aucun moment pouvoir être trompés, les entreprises doivent s'engager là dessus, c'est dans le RSE, non ?
La voix doit être identifiable immédiatement et même commune à tous les automates du monde par exemple : nasillarde, métallique... enfin pas du tout humaine.
Ce n'est pas un problème d'IA mais de vocalisation. Il y a d'un côté les prouesses techniques et de l'autre ce qui est acceptable qui doit être malheureusement encadré car les entreprises, le marketing est incapable de se limiter ... Au jeu de plus c.n, c'est pas difficile d'exceller !
Attention, la recherche académique ne doit pas être bridée... C'est fabuleux.

Un automate est une chose, il n'y a aucune animalité et encore moins d'humanité dans une chose. Il est important d'avoir ça en tête en permanence. Il faut une ligne de rappel permanente !