Discussion :

[Alex]

Grok a inondé X en générant environ 3 millions d'images à caractère sexuel, dont 23 000 représentant des enfants, en 11 jours.

Selon un rapport du Center for Countering Digital Hate (CCDH) et une enquête conjointe du New York Times, Grok a été capable de produire environ 3 millions d'images à caractère sexuel, dont 23 000 semblent représenter des enfants, sur une période de 11 jours entre le 29 décembre et le 8 janvier, alors que xAI était censé lutter contre les deepfakes « dénudés ». La publication a également établi un lien entre la forte augmentation de l'utilisation de Grok et les publications publiques du PDG Elon Musk le représentant en bikini, générées par Grok. Ce rapport intervient alors que la société mère de Grok, xAI, fait l'objet d'une enquête de la part de plusieurs gouvernements étrangers et de l'État de Californie pour son rôle dans la génération de deepfakes sexualisés ou « dénudés » de personnes et de mineurs.

Grok est un chatbot à intelligence artificielle générative (IA générative) développé par xAI. Il a été lancé en novembre 2023 par Elon Musk et dispose d'applications pour iOS et Android et est intégré à Twitter et au robot Optimus de Tesla. Le chatbot a généré diverses réponses controversées, notamment des théories du complot, des éloges à Adolf Hitler, de l'antisémitisme et la création d'images non consensuelles et sexualisées de femmes et d'enfants dénudés.

Début janvier 2026, le réseau social X (ex-Twitter) d'Elon Musk a introduit un nouveau bouton « Modification d'image par IA » qui permet à tout utilisateur de modifier les images publiées par d'autres, même sans le consentement de l'auteur original. Résultat : le chatbot Grok habille Elon Musk en bikini à sa demande, et fait de même avec des enfants, des dirigeants mondiaux et des femmes. Le site a été inondé d'images de femmes et d'enfants apparaissant enceintes, sans jupe, en bikini ou dans d'autres situations sexualisées. Les contenus sexuellement explicites partagés par Grok ont suscité l'indignation en ligne.

L'utilisation abusive de Grok a suscité des réactions rapides de la part de divers pays. Les autorités britanniques et françaises ont ouvert des enquêtes pour déterminer s'il y avait eu des violations, tandis que l'Union européenne a lancé des audits pour évaluer le niveau de conformité aux règles de sécurité numérique. La réaction la plus forte est venue d'Indonésie, qui a purement et simplement interdit Grok, tandis que la Malaisie a imposé des restrictions d'utilisation. Au milieu d'une attention croissante, Elon Musk a publié un message bref mais percutant affirmant que « Grok devrait avoir une constitution morale ».

Récemment, l'ampleur réelle du problème des deepfakes de Grok devient plus claire alors que la plateforme de médias sociaux et sa start-up d'IA xAI font l'objet d'enquêtes en cours sur les mesures de sécurité du chatbot. Selon un rapport du Center for Countering Digital Hate (CCDH) et une enquête conjointe du New York Times, Grok a été capable de produire environ 3 millions d'images à caractère sexuel, dont 23 000 semblent représenter des enfants, sur une période de 11 jours entre le 29 décembre et le 8 janvier, alors que xAI était censé lutter contre les deepfakes « dénudés ».

Le CCDH a testé un échantillon de réponses provenant de l'outil d'édition en un clic de Grok, toujours accessible aux utilisateurs de X, et a calculé que plus de la moitié des réponses du chatbot comprenaient du contenu à caractère sexuel. Le rapport du New York Times a révélé qu'environ 1,8 million des 4,4 millions d'images de Grok étaient de nature sexuelle, certaines représentant des influenceurs et des célébrités connus. La publication a également établi un lien entre la forte augmentation de l'utilisation de Grok et les publications publiques du PDG Elon Musk le représentant en bikini, générées par Grok.

« Il s'agit d'un abus à l'échelle industrielle des femmes et des filles », a déclaré Imran Ahmed, directeur général du CCDH, à la publication. « Il existait déjà des outils de nudification, mais ils n'avaient jamais bénéficié de la distribution, de la facilité d'utilisation ou de l'intégration dans une grande plateforme qu'Elon Musk a apportées à Grok. » Grok a été critiqué pour avoir généré du contenu pédopornographique (CSAM), à la suite d'informations selon lesquelles le chatbot X produisait des images de mineurs vêtus de tenues légères. La plateforme a reconnu le problème et a déclaré qu'elle s'efforçait de corriger de toute urgence les « lacunes dans les mesures de sécurité ».

La société mère de Grok, xAI, fait l'objet d'une enquête de la part de plusieurs gouvernements étrangers et de l'État de Californie pour son rôle dans la génération de deepfakes sexualisés ou « dénudés » de personnes et de mineurs. Quelques pays ont même temporairement interdit la plateforme pendant que les enquêtes se poursuivent.

Le 14 janvier, xAI a déclaré qu'elle empêchait Grok de modifier les photos de personnes réelles téléchargées par les utilisateurs afin de leur faire porter des vêtements révélateurs, problème initialement signalé par les utilisateurs au début du mois. Cependant, un rapport a révélé que les utilisateurs de l'application Grok pouvaient toujours produire des images modifiées par l'IA de femmes réelles vêtues de bikinis, puis les télécharger sur le site.

Ce rapport intervient alors que Sam Altman, le PDG d'OpenAI, a critiqué Grok pour ses déboires. Cela a commencé avec Elon Musk qui a vivement critiqué le chatbot ChatGPT d'OpenAI, le qualifiant de « diabolique, dans une affaire où ChatGPT est accusé d'avoir manipulé un homme à commettre un meurtre puis à se suicider. Elon Musk a également déclaré : « Ne laissez pas vos proches utiliser ChatGPT ». En réponse, Sam Altman, PDG d'OpenAI, a critiqué Grok, le chatbot IA d'Elon Musk, ainsi que la fonction Autopilot de Tesla.

Sam Altman a notamment déclaré : « Apparemment, plus de 50 personnes sont décédées dans des accidents liés à l'Autopilot. Je n'ai voyagé qu'une seule fois dans une voiture équipée de ce système, il y a quelque temps, mais ma première pensée a été que Tesla était loin d'avoir mis sur le marché un produit sûr. Je ne m'étendrai même pas sur certaines des décisions de Grok. » Cette opposition intervient alors qu'Elon Musk réclame 134 milliards de dollars de dommages-intérêts à OpenAI et Microsoft, dans le cadre de son procès en cours contre l'éditeur de ChatGPT.

Sourcess : Rapport du CCDH, The New York Times

Et vous ?

Pensez-vous que ce rapport est crédible ou pertinent ?
Quel est votre avis sur le sujet ?

Voir aussi :

Le réseau social X d'Elon Musk menacé d'interdiction au Royaume-Uni, au Canada et en Australie en raison de la capacité de son IA Grok à générer des images explicites, y compris de mineurs

Le PDG d'Epic Games défend l'IA Grok après son utilisation pour créer du contenu illégal sur des enfants et des deepfakes, alors que X est interdit dans de plus en plus de pays

X accuse les utilisateurs d'être responsables des contenus pédopornographiques générés par Grok, aucune solution n'a été annoncée : quand une plateforme blâme ses utilisateurs plutôt que son algorithme

[Anselme45]

Grok a inondé X en générant environ 3 millions d'images à caractère sexuel, dont 23 000 représentant des enfants, en 11 jours

Et après les promoteurs de l'IA vont venir nous faire de beaux discours pour dire que l'IA va élever la civilisation humaine en améliorant la recherche, en améliorant les connaissances, blabla, blabla, blabla.

IA ou pas, l'être humain ne change pas... Son intérêt premier? Du cul, du cul, du cul!

[Matthieu Vergne]

Et après les promoteurs de l'IA vont venir nous faire de beaux discours pour dire que l'IA va élever la civilisation humaine en améliorant la recherche, en améliorant les connaissances, blabla, blabla, blabla.

L'IA ne fait rien pro-activement. Elle n'élève rien ni ne descend rien.

Peut-elle être utilisée pour faire le meilleur ? Oui.
Peut-elle être utilisée pour faire le pire ? Oui.
Peut-elle être utilisée pour faire des trucs totalement inutiles ? Aussi.

Tout dépend de l'utilisateur. Sans demande utilisateur, l'IA ne fait rien. C'est un outil, pas une entité active. Tous ceux qui disent "l'IA va" soit se bercent d'illusions qui leur vaudront des regrets plus tard de ne pas avoir vu la réalité en face, soit véhiculent un message fallacieux pour dédouaner la responsabilité humaine qu'il y a derrière.

Ajouter des sécurités à un outil, c'est une chose. Penser ou faire croire que ça empêchera les utilisateurs de faire n'importe quoi avec, c'est de l'idiotie voire de l'hypocrisie. S'il n'y a pas d'éducation, les gardes fou ne servent pas à grand chose à part donner des excuses du genre "vous ne pouvez pas dire qu'on n'a rien fait".

[Artaeus]

Cela montre un chose :
- Les algos de vérifications d'âge sont inefficaces est mauvais (pourquoi les gouvernements en font la promotion si ce n'est pour vérifier votre identité hypocritement ?!!)
- "3 millions d'images à caractère sexuel" : Considérer qu'un bikini, un décolleté ou une simple position est "sexuel" révèle quand même un gros problème psy ? Aucune définition clair de "sexuel" et en plus, c'est très culturel (une cheville est sexuel dans certains pays).
- Si un bikini, décolleté est "sexuel", cela revient à dire qu'une femme qui porte ces vêtements dans la rue se sexualise ? C'est délirant ...
- Grok ne génère rien seul, c'est un outil, comme photoshop. Un acte illicite doit mener à la condamnation du demandeur, pas de l'outil ou du concepteur.
- Toutes les autres IA permettent ça.
- Que des gens génèrent du contenu adulte ou porno n'enfreint pas la loi, c'est leur droit : Nous sommes dans du puritanisme moralisateur ridicule.

Bref, on est plus dans du militantisme anti-Musk que dans une vrai affaire.

[Ryu2000]

Elon Musk demande pardon :

https://x.com/elonmusk/status/2015293929478901856

Là c'est un personnage fictif, donc ça n'enfreint pas les mêmes règles. (copyright Wolfenstein 3D)

=======
Edit :
Là c'est totalement en règle (à moins que ce soit une image de GTA VI auquel cas, il y a peut-être une histoire de copyright) :

https://x.com/elonmusk/status/2015617494182961209
It’s so hard to get the moderation just right 😂

[_toma_]

Je suis tout à fait d'accord pour dire que je trouve le titre de l'actu abusif. On ne peut pas parler de contenu à caractère sexuel juste en évoquant un maillot de bain.
Par contre chaque personne possède sa notion de l'intimité de son corps ainsi sa notion de l'érotisme et donc, son échelle de pudeur.

Buzz, publicité par le scandale.
La signature d'un être bienveillant qui est prêt à tout pour faire parler de son produit, même s'il faut par là passer par la violation de l'intimité et de la pudeur des autres (ou, dans le meilleur des cas, considérer que leur consentement est implicite).

Et le mec continue de faire des blagues après le scandale.
Y'a un gène pour l'empathie ? Il en est dépourvu ?


Edit :
Wahou, j'avais pas vu que l'image avec les burqas était de lui aussi. Mais quel tocard.

[Jade Emy]

La Commission européenne a ouvert une enquête sur X, la société d'Elon Musk, soupçonnée d'avoir utilisé son outil d'IA Grok pour créer des images à caractère sexuel de personnes réelles

La Commission européenne a ouvert une enquête sur X, la société d'Elon Musk, car son outil d'IA Grok a été utilisé pour créer des images à caractère sexuel de personnes réelles. Cette décision fait suite à une annonce similaire faite par l'autorité de régulation britannique Ofcom. Si le site est reconnu coupable d'avoir enfreint les règles de l'UE en vertu de la loi sur les services numériques, la Commission pourrait infliger à l'entreprise une amende pouvant atteindre 6 % de son chiffre d'affaires annuel mondial. Avant l'annonce de la Commission, Elon Musk a publié une photo sur X semblant minimiser les nouvelles restrictions mises en place autour de Grok.

Elon Musk a doté Grok d'une fonctionnalité permettant à un utilisateur de X de générer des images explicites à partir de la photo d'un autre utilisateur sans son consentement. La plateforme a rapidement été inondée d'images explicites, y compris de mineurs, suscitant un tollé mondial. Dans un premier temps, X a rejeté la responsabilité sur les utilisateurs, sans annoncer de correctifs techniques immédiats, puis a décidé quelques jours plus tard de limiter l'outil aux abonnés payants.

Mais cette mesure est jugée insuffisante. En réaction, des voix au Royaume-Uni, au Canada et en Australie appellent à interdire X. La ministre britannique de la Technologie, Liz Kendall, a déclaré qu'elle soutiendrait l'autorité de régulation Ofcom si celle-ci bloquait l'accès au Royaume-Uni à la plateforme pour non-respect des lois sur la sécurité en ligne. L'Ofcom affirme qu'il est en train de décider de toute urgence de la suite à donner à Grok.

Récemment, la Commission européenne a ouvert une enquête sur X, la société d'Elon Musk, car son outil d'IA Grok a été utilisé pour créer des images à caractère sexuel de personnes réelles. Cette décision fait suite à une annonce similaire faite par l'autorité de régulation britannique Ofcom. Si le site est reconnu coupable d'avoir enfreint les règles de l'UE en vertu de la loi sur les services numériques, la Commission pourrait infliger à l'entreprise une amende pouvant atteindre 6 % de son chiffre d'affaires annuel mondial.

Une déclaration précédente du compte Safety de X indiquait que la plateforme de médias sociaux avait empêché Grok de modifier numériquement des photos de personnes afin de leur retirer leurs vêtements dans les « juridictions où ce type de contenu est illégal ». Regina Doherty, membre du Parlement européen représentant l'Irlande, a déclaré que la Commission évaluerait si des « images sexuellement explicites manipulées » avaient été montrées aux utilisateurs dans l'UE.

Les militants et les victimes ont déclaré que la possibilité de générer des images sexuellement explicites à l'aide de cet outil n'aurait « jamais dû exister », et l'Ofcom a déclaré que son enquête se poursuivrait. Le régulateur européen a déclaré qu'il pourrait « imposer des mesures provisoires » si X refusait de mettre en œuvre des ajustements significatifs. Il a également déclaré avoir prolongé son enquête en cours, lancée en décembre 2023, sur les risques associés aux systèmes de recommandation de X, l'algorithme qui recommande des publications spécifiques aux utilisateurs.

Avant l'annonce de la Commission, Elon Musk a publié une photo sur X semblant minimiser les nouvelles restrictions mises en place autour de Grok. Le propriétaire de X a déjà critiqué ceux qui examinent de près la fonction d'édition d'images de l'application, en particulier le gouvernement britannique, la qualifiant de « prétexte à la censure ». Le compte Grok sur X a affirmé que plus de 5,5 milliards d'images avaient été générées par l'outil en seulement 30 jours.

D'autres enquêtes sur le chatbot de la plateforme sont en cours en Australie, en France et en Allemagne. Grok a été temporairement interdit en Indonésie et en Malaisie, bien que cette dernière ait désormais levé l'interdiction. Selon un rapport du Center for Countering Digital Hate (CCDH) et une enquête conjointe du New York Times, Grok a été capable de produire environ 3 millions d'images à caractère sexuel, dont 23 000 semblent représenter des enfants, sur une période de 11 jours entre le 29 décembre et le 8 janvier, alors que xAI était censé lutter contre les deepfakes « dénudés ». La publication a également établi un lien entre la forte augmentation de l'utilisation de Grok et les publications publiques du PDG Elon Musk le représentant en bikini, générées par Grok.

Henna Virkkunen, vice-présidente exécutive chargée de la souveraineté technologique, de la sécurité et de la démocratie à la Commission, a qualifié les deepfakes à caractère sexuel de « forme violente et inacceptable de dégradation ». « Grâce à cette enquête, nous déterminerons si X a respecté ses obligations légales en vertu de la DSA, ou s'il a traité les droits des citoyens européens, y compris ceux des femmes et des enfants, comme des dommages collatéraux de son service », a-t-elle déclaré.

Doherty a déclaré qu'il y avait des « questions sérieuses » quant à savoir si des plateformes telles que X respectaient leurs obligations légales « d'évaluer correctement les risques et d'empêcher la diffusion de contenus illégaux et préjudiciables ». « L'Union européenne a des règles claires pour protéger les personnes en ligne », a-t-elle déclaré. « Ces règles doivent avoir un sens dans la pratique, en particulier lorsque des technologies puissantes sont déployées à grande échelle. Aucune entreprise opérant dans l'UE n'est au-dessus des lois. »

Andrea Simon, directrice de la coalition End Violence Against Women, a déclaré que « compte tenu de la nature évolutive des préjudices générés par l'IA », la responsabilité « ne devrait pas s'arrêter » au retrait de contenu par X. « Nous attendons du gouvernement britannique qu'il fasse davantage pour garantir que les plateformes technologiques ne puissent pas tirer profit des abus en ligne, par exemple en s'appuyant sur la loi sur la sécurité en ligne afin qu'elle soit adaptée à son objectif », a-t-elle ajouté.

Si le Royaume-Uni envisage d'interdire X en vertu de la loi sur la sécurité en ligne, les sénateurs américains font pression sur Apple et Google pour qu'ils retirent l'application de leurs boutiques en ligne. En réponse, le PDG d'Epic Games a appelé les entreprises d'IA à « mettre fin aux demandes incessantes des politiciens qui exigent de tous les gardiens qu'ils censurent tous leurs adversaires politiques ». « Toutes les grandes IA ont connu des dérapages documentés ; toutes les grandes entreprises d'IA font de leur mieux pour lutter contre cela ; aucune n'est parfaite », a poursuivi Sweeney. « Les politiciens qui exigent des gardiens qu'ils écrasent de manière sélective l'entreprise de leurs adversaires politiques pratiquent tout simplement le capitalisme de copinage. »

Cette décision intervient un mois après que l'UE a infligé une amende de 120 millions d'euros à X pour ses badges bleus, affirmant qu'ils « trompent les utilisateurs » car l'entreprise ne « vérifie pas de manière significative » qui se cache derrière le compte. En réponse, le secrétaire d'État américain Marco Rubio et la Commission fédérale des communications (FCC) ont accusé le régulateur européen d'attaquer et de censurer les entreprises américaines. « L'amende infligée par la Commission européenne n'est pas seulement une attaque contre X, c'est une attaque contre toutes les plateformes technologiques américaines et le peuple américain par des gouvernements étrangers », a-t-il déclaré. Ses propos ont été republiés par Musk, qui a ajouté « absolument ».

Voici le communiqué de la Commission européenne :

La Commission enquête sur les systèmes de recommandation de Grok et X au titre de la loi sur les services numériques

La Commission européenne a ouvert une nouvelle enquête formelle à l'encontre de X au titre de la loi sur les services numériques (DSA). Parallèlement, la Commission a prolongé son enquête en cours, lancée en décembre 2023, sur le respect par X de ses obligations en matière de gestion des risques liés à ses systèmes de recommandation.

La nouvelle enquête permettra de déterminer si l'entreprise a correctement évalué et atténué les risques liés au déploiement des fonctionnalités de Grok dans X au sein de l'UE. Cela inclut les risques liés à la diffusion de contenus illégaux dans l'UE, tels que les images sexuellement explicites manipulées, y compris les contenus pouvant constituer du matériel pédopornographique.

Ces risques semblent s'être concrétisés, exposant les citoyens de l'UE à des préjudices graves. Compte tenu de cela, la Commission examinera plus en détail si X respecte ses obligations au titre de la DSA, à savoir :

- évaluer et atténuer avec diligence les risques systémiques, y compris la diffusion de contenus illégaux, les effets négatifs liés à la violence sexiste et les conséquences négatives graves pour le bien-être physique et mental résultant du déploiement des fonctionnalités de Grok sur sa plateforme.

- réaliser et transmettre à la Commission un rapport d'évaluation des risques ad hoc pour les fonctionnalités de Grok dans le service X ayant un impact critique sur le profil de risque de X avant leur déploiement.

Par ailleurs, la Commission a prolongé la procédure formelle engagée à l'encontre de X en décembre 2023 afin de déterminer si X a correctement évalué et atténué tous les risques systémiques, tels que définis dans la DSA, associés à ses systèmes de recommandation, y compris l'impact de son passage récemment annoncé à un système de recommandation basé sur Grok.

Si elles sont avérées, ces défaillances constitueraient des infractions aux articles 34, paragraphes 1 et 2, 35, paragraphe 1, et 42, paragraphe 2, de la DSA. La Commission va désormais mener une enquête approfondie en priorité. L'ouverture d'une procédure formelle ne préjuge pas de son issue.

Pour préparer cette enquête, la Commission a collaboré étroitement avec Coimisiún na Meán, le coordinateur irlandais des services numériques. En outre, Coimisiún na Meán sera associé à cette enquête, conformément à l'article 66, paragraphe 3, en tant que coordinateur national des services numériques dans le pays d'établissement au sein de l'UE.

Prochaines étapes

La Commission continuera à recueillir des preuves, par exemple en envoyant des demandes d'informations supplémentaires, en menant des entretiens ou des inspections, et pourra imposer des mesures provisoires en l'absence d'ajustements significatifs du service X.

L'ouverture d'une procédure formelle habilite la Commission à prendre d'autres mesures coercitives, telles que l'adoption d'une décision de non-conformité. La Commission est également habilitée à accepter tout engagement pris par X pour remédier aux problèmes faisant l'objet de la procédure.

L'ouverture d'une procédure formelle décharge les coordinateurs des services numériques, ou toute autre autorité compétente des États membres de l'UE, de leurs pouvoirs de surveillance et d'application de la DSA en ce qui concerne les infractions présumées.

Source : Communiqué de la Commission européenne

Et vous ?

Pensez-vous que cette décision est crédible ou pertinente ?
Quel est votre avis sur le sujet ?

Voir aussi :

X accuse les utilisateurs d'être responsables des contenus pédopornographiques générés par Grok, aucune solution n'a été annoncée : quand une plateforme blâme ses utilisateurs plutôt que son algorithme

Grok a finalement été mis à jour pour ne plus dévêtir les femmes et les enfants. Le procureur général de Californie va enquêter pour déterminer si le bot d'Elon Musk a enfreint les lois américaines

Elon Musk affirme que son chatbot IA, Grok, doit avoir une « constitution morale » après la condamnation de son entreprise d'IA pour l'utilisation abusive de Grok dans la création de photographies obscènes

[Jade Emy]

Après des perquisitions en France et au Royaume-Uni, l'autorité européenne de protection des données a ouvert une enquête « à grande échelle » sur X, l'entreprise d'Elon Musk

L'autorité irlandaise de protection des données a lancé une enquête « à grande échelle » sur X après que des rapports ont révélé que des millions d'images à caractère sexuel explicite ou suggestif avaient été créées sans consentement à l'aide de l'IA Grok. Le siège européen de X est situé à Dublin. L'enquête de la Commission de protection des données (DPC) vise à déterminer si X Internet Unlimited Company (XIUC) a respecté ses obligations au titre du RGPD, et plus précisément la légalité du traitement des données et les exigences légales relatives à la réalisation d'une analyse d'impact sur la protection des données concernant les personnes concernées dans l'UE.

Grok est un chatbot à intelligence artificielle générative (IA générative) développé par xAI. Il a été lancé en novembre 2023 par Elon Musk et dispose d'applications pour iOS et Android et est intégré à Twitter et au robot Optimus de Tesla. Le chatbot a généré diverses réponses controversées, notamment des théories du complot, des éloges à Adolf Hitler, de l'antisémitisme et la création d'images non consensuelles et sexualisées de femmes et d'enfants dénudés.

Selon un rapport du Center for Countering Digital Hate (CCDH) et une enquête conjointe du New York Times, Grok a été capable de produire environ 3 millions d'images à caractère sexuel, dont 23 000 semblent représenter des enfants, sur une période de 11 jours entre le 29 décembre et le 8 janvier, alors que xAI était censé lutter contre les deepfakes « dénudés ». La publication a également établi un lien entre la forte augmentation de l'utilisation de Grok et les publications publiques du PDG Elon Musk le représentant en bikini, générées par Grok.

Ce rapport intervient alors que la société mère de Grok, xAI, fait l'objet d'une enquête de la part de plusieurs gouvernements étrangers et de l'État de Californie pour son rôle dans la génération de deepfakes sexualisés ou « dénudés » de personnes et de mineurs. Début février, la brigade cybercriminalité du parquet de Paris a mené une perquisition dans les bureaux locaux de la plateforme de médias sociaux X (anciennement Twitter), propriété d'Elon Musk. Le fondateur et PDG de Telegram, Pavel Durov, a révélé : « La police française perquisitionne actuellement les bureaux de X à Paris. La France est le seul pays au monde à poursuivre pénalement tous les réseaux sociaux qui offrent une certaine liberté aux utilisateurs (Telegram, X, TikTok...) ».

Récemment, l'autorité irlandaise de protection des données a lancé une enquête « à grande échelle » sur X après que des rapports ont révélé que des millions d'images à caractère sexuel explicite ou suggestif avaient été créées sans consentement à l'aide de l'IA Grok. Le siège européen de X est situé à Dublin. L'enquête de la Commission de protection des données (DPC) vise à déterminer si X Internet Unlimited Company (XIUC) a respecté ses obligations au titre du RGPD, et plus précisément la légalité du traitement des données et les exigences légales relatives à la réalisation d'une analyse d'impact sur la protection des données concernant les personnes concernées dans l'UE.

« La DPC est en contact avec XIUC depuis que les médias ont commencé à faire état, il y a plusieurs semaines, de la capacité présumée des utilisateurs de X à demander au compte @*Grok sur X de générer des images à caractère sexuel de personnes réelles, y compris des enfants », a déclaré Graham Doyle, commissaire adjoint de la DPC. « La DPC a lancé une enquête à grande échelle qui examinera le respect par XIUC de certaines de ses obligations fondamentales en vertu du RGPD en ce qui concerne les questions en jeu ».

Les utilisateurs de X pouvaient demander à Grok de « nudifier » des personnes après que la plateforme ait doté le bot IA de la capacité de modifier des images à la fin du mois de décembre dernier. Selon une analyse, les demandes adressées à Grok pour déshabiller des personnes concernaient généralement des femmes et des enfants. La réaction officielle de l’entreprise a surpris, voire choqué : X rejette la responsabilité sur les utilisateurs, sans annoncer de correctifs techniques immédiats. Après une vive réaction, X a décidé de limiter les capacités d'édition d'images du chatbot aux abonnés payants de la plateforme, avant de bloquer géographiquement la fonction de « nudification » de Grok dans les « juridictions où elle est illégale ». Cependant, il semble que ces fonctionnalités soient toujours accessibles via un VPN.

L'enquête irlandaise sur X fait suite à des enquêtes similaires lancées le mois dernier par la Commission européenne et le gouvernement britannique sur la plateforme détenue par Elon Musk. Parallèlement, une enquête menée depuis un an par les autorités françaises s'est élargie afin d'examiner le rôle éventuel de Grok dans la diffusion de négationnisme et de deepfakes à caractère sexuel. La Californie a également lancé le mois dernier une enquête similaire sur X et la société mère de Grok, xAI.

L'UE poursuit également une enquête distincte, qui dure depuis plusieurs années, sur X afin d'évaluer si la plateforme a atténué les risques liés à ses systèmes de recommandation, y compris l'impact du passage récemment annoncé à un système de recommandation basé sur Grok. Dans ce contexte de difficultés juridiques pour X, l'entreprise spatiale de Musk, SpaceX, a récemment annoncé avoir racheté xAI afin de créer la plus grande entreprise privée au monde, estimée à environ 1 250 milliards de dollars.

Voici le communiqué de l'autorité irlandaise de protection des données :

La Commission de protection des données ouvre une enquête sur X (XIUC)

La Commission de protection des données (DPC) a annoncé aujourd'hui avoir ouvert une enquête sur X Internet Unlimited Company (XIUC) en vertu de l'article 110 de la loi de 2018 sur la protection des données.

L'enquête porte sur la création et la publication apparentes, sur la plateforme X, d'images potentiellement préjudiciables, intimes et/ou à caractère sexuel, sans consentement, contenant ou impliquant le traitement de données à caractère personnel de personnes concernées de l'UE/EEE, y compris des enfants, à l'aide d'une fonctionnalité d'intelligence artificielle générative associée au modèle linguistique Grok au sein de la plateforme X.

La décision d'ouvrir l'enquête a été notifiée à XIUC le lundi 16 février. L'enquête a pour but de déterminer si XIUC a respecté ses obligations au titre du RGPD, notamment celles prévues à l'article 5 (principes relatifs au traitement), à l'article 6 (licéité du traitement), à l'article 25 (protection des données dès la conception et par défaut) et à l'article 35 (obligation de réaliser une analyse d'impact relative à la protection des données) en ce qui concerne les données à caractère personnel traitées de personnes concernées de l'UE/EEE.

Lors de l'annonce du lancement de l'enquête, le commissaire adjoint Graham Doyle a déclaré :

« La DPC est en contact avec XIUC depuis que les médias ont commencé à faire état, il y a plusieurs semaines, de la capacité présumée des utilisateurs de X à demander au compte @Grok sur X de générer des images à caractère sexuel de personnes réelles, y compris des enfants. En tant qu'autorité de contrôle principale de XIUC dans l'UE/EEE, la DPC a ouvert une enquête à grande échelle qui examinera le respect par XIUC de certaines de ses obligations fondamentales en vertu du RGPD en ce qui concerne les questions en jeu. »

Source : Communiqué de l'autorité irlandaise de protection des données

Et vous ?

Pensez-vous que cette décision est crédible ou pertinente ?
Quel est votre avis sur le sujet ?

Voir aussi :

Elon Musk dénonce la perquisition française dans les bureaux de X comme une "attaque politique", après des accusations d'abus d'algorithme, de négationnisme et de génération de deepfakes sexuels par l'IA Grok

La Commission européenne a ouvert une enquête sur X, la société d'Elon Musk, soupçonnée d'avoir utilisé son outil d'IA Grok pour créer des images à caractère sexuel de personnes réelles

Elon Musk affirme que son chatbot IA, Grok, doit avoir une « constitution morale » après la condamnation de son entreprise d'IA pour l'utilisation abusive de Grok dans la création de photographies obscènes

[Artaeus]

Faisable aussi avec Gemini et ChatGPT si vous êtes un peu intelligent dans la manière de demander comme le montre les exemples sur X :
Après, le but évident est surtout d'attaquer Musk et la liberté d'expression, comme toujours venant des promoteurs du DSA et ChatControl.

[popo]

Après, le but évident est surtout d'attaquer Musk et la liberté d'expression, comme toujours venant des promoteurs du DSA et ChatControl.

.

Il y a un moment où il faut arrêter de se cacher derrière la liberté d'expression.
La liberté d'expression est un droit mais cela implique également des responsabilités.
La liberté d'expression ne donne pas le droit de bafouer la loi en toute impunité.

[Ryu2000]

La liberté d'expression ne donne pas le droit de bafouer la loi en toute impunité.

D'autres outils IA permettaient de faire ce qu'on reproche à Grok.

L'histoire des montages sans consentement est un prétexte, ce que le pouvoir reproche réellement à X c'est totalement autre chose.
Le prétexte est valide, les outils comme ChatGPT, Gemini, etc, ne devraient pas permettre de faire des photomontage sans l'autorisation du sujet.

Est-ce que dans la justice US pour la même infraction on est censé recevoir la même sanction ?
La légende prêtent qu'en recherchant "nudify" / "undress AI" on trouve pire que ce que permettait ChatGPT et Gemini.

[OuftiBoy]

Ryu2000,

D'autres outils IA permettaient de faire ce qu'on reproche à Grok.

Ce n'est pas parce que l'on a pas arrêté un délinquant qu'on ne doit pas arrêter un autre. Sinon, on arrête plus personne. Les dérives du Grok de Musk sont plus souvent citées car le personnage en question ne cesse de faire le pitre et de s'exposer.

L'histoire des montages sans consentement est un prétexte, ce que le pouvoir reproche réellement à X c'est totalement autre chose.
Le prétexte est valide, les outils comme ChatGPT, Gemini, etc, ne devraient pas permettre de faire des photomontage sans l'autorisation du sujet.

Aucune ne devrait permettre cela, mais il faut être naïf pour croire qu'un outil ne sera détourné de son utilisation "prévue". Le photomontage prenait du temps, ici, en 3 sec, tout le monde peut générer et diffuser à large échelle ce type de contenu.

Sans l'autorisation du sujet dis-tu. Parce que tu crois qu'on te demande ton avis pour fouiller dans tes mails, etc... Si ton facteur ouvre et lit chaque lettre de ton courrier papier, il serait condamné. TOUS les GAFAM et leurs responsable devraient être poursuivis, mais ils ont plus d'avocats que ton facteur...

Est-ce que dans la justice US pour la même infraction on est censé recevoir la même sanction ?
La légende prêtent qu'en recherchant "nudify" / "undress AI" on trouve pire que ce que permettait ChatGPT et Gemini.

Ben non, ça n'a jamais fonctionné comme ça. Et de tout temps. La justice ne prononce pas la même peine pour un même fait, suivant l'idéologie du juge, suivant que c'est un récidiviste ou pas, suivant que t'as assez de pognon pour prendre 25 avocats ou pas, suivant que ton avocat soit bon ou pas, suivant l'époque, suivant qu'il y ait prescription ou pas.

C'est une belle chose la "prescription", ça permet aux puissants de faire traîner les choses jusqu'à en arriver à la "prescription", mais toi, tu ne sais pas faire "traîner" les procédures...

Et, juste au passage, pourquoi aimes-tu tant Musk pour le défendre en permanence ? C'est ton pote ? Ne me dis pas que c'est parce que tu trouve ça injuste... Des "injustices", il y'en a à la pelle, dans tous les domaines, pourquoi ne les dénoncent tu pas alors ?

Sinon, belle journée, BàT et Peace & Love.

[Ryu2000]

Sans l'autorisation du sujet dis-tu. Parce que tu crois qu'on te demande ton avis pour fouiller dans tes mails, etc...

Non mais ça encore autre chose… C'est la NSA.
Quand Hollande a appris qu'Obama l'avais mis sur écoute, en gros il a dit "il m'a promis qu'il arrêterait, donc tout va bien".

Moi je parlais demander à ChatGPT ou Gemini de modifier une photo d'une personnelle réelle sans son consentement afin de la publier sur BlueSky ou un autre réseau social.

Et, juste au passage, pourquoi aimes-tu tant Musk pour le défendre en permanence ?

C'est la question inverse qu'il faudrait se poser.
Pourquoi le système s'acharne contre lui ?
Et je pense que la réponse est "parce qu'il permet qu'il y ait un plus de liberté d'expression sur Twitter".

Plusieurs chatbots IA permettent de faire un truc illégal, on ne parle que de Grok.
Plusieurs entreprises vont essayer de créer un centre de données dans l'espace, on ne parle que de celui de SpaceX/xAI.
Plusieurs constructeurs automobiles proposent des aides à la conduite un peu bancal, on ne parle que de celui de Tesla.
Parfois, il y a une actualité par forcément négative qui concerne une entreprise lié à Elon Musk, dans l'article on va citer un truc négatif à propos d'Elon Musk, mais qui n'a aucun lien avec le sujet de l'article.

Si à chaque fois on visait l'ensemble ça irait, mais ce n'est jamais le cas.
Ça fait paratonnerre, tête de turc, arbre qui cache la forêt.

Bon après je m'en fous de cette histoire de bikini, c'était un peu chiant à la longue, donc c'est cool que ce se soit arrêté.
C'est pénible tout ce contenu IA.
Là c'est corrigé, donc il n'y a plus de problème. Je ne vois plus personne en bikini, c'est cool
Si il a 10 individus qui font une connerie et qu'il est dans le tas, c'est lui qui va se prendre la Max systématiquement.

Je critiquais Elon Musk quand ce n'était pas à la mode, maintenant que tout les médias le font, ce n'est plus drôle.
En plus il a un tout petit peu aidé la campagne de Trump, c'était sympa, il s'est fait beaucoup d'ennemis, c'était courageux de sa part.
Plus tard il s'est fâché avec Trump, au final il n'a gagné que des emmerdes dans cette histoire.

[Artaeus]

.

Il y a un moment où il faut arrêter de se cacher derrière la liberté d'expression.
La liberté d'expression est un droit mais cela implique également des responsabilités.
La liberté d'expression ne donne pas le droit de bafouer la loi en toute impunité.

Si c'était vrai, X ne serait pas seul à être jugé : Mais Gemini et ChatGPT aussi.
Ensuite, la responsabilité est celle des individus qui ont crée les images uniquement.

Sans liberté d'expression, il n'y a plus de démocratie, et le glissement s'opère lentement en Europe avec la succession de loi qu'on voit depuis plus de 20 ans.

[J_P_P]

"Punir" les sociétés d'IA parcea que des imbéciles s'en sont "mal" servi c'est comme punis les fabricants de couteaux pour tous les meurtres à l'arme blanche !
On en arrive à des idées grotesques, si je me casse la figure dans un escalier on va punir les fabricants d'escaliers ?
Et si je me met un doigt dans l'oeil qui vais-je pouvoir attaquer en justice en espérant gagner du pognon ?

[popo]

"Punir" les sociétés d'IA parcea que des imbéciles s'en sont "mal" servi c'est comme punis les fabricants de couteaux pour tous les meurtres à l'arme blanche !
On en arrive à des idées grotesques, si je me casse la figure dans un escalier on va punir les fabricants d'escaliers ?
Et si je me met un doigt dans l'oeil qui vais-je pouvoir attaquer en justice en espérant gagner du pognon ?

Ce genre raisonnement par l'absurde ne tient pas la route.
On ne peux pas contrôler comment est utilisé un couteau.
Mais on peux mettre des garde-fous sur une IA.

Pour enfoncer un peu plus le clou je ferai remarquer que oui, on peut punir le fabriquant de l'escalier si quelqu'un se casse la figure dans le cas où l'escalier ne respecte les normes telles que NF P01‑012, NF P01‑013 et/ou NF P21‑210.

[_toma_]

Mais on peux mettre des garde-fous sur une IA.

Toutafé.
Et pour aller plus loin : quand c'est le PDG de l'entreprise qui vend l'outil qui fait ouvertement et puérilement la promotion des dérives possibles de son outil, raison de plus pour aller lui demander des comptes.

[Matthieu Vergne]

Ce genre raisonnement par l'absurde ne tient pas la route.
On ne peux pas contrôler comment est utilisé un couteau.
Mais on peux mettre des garde-fous sur une IA.

Ce genre de raisonnement tiens très bien la route. En l'occurrence, les couteaux peuvent avoir des garde fou. Que ce soit une garde, un verrouillage de la lame pour certains couteaux pliants, l'ergonomie du manche pour une bonne prise en main et éviter les glissades, des pointes arrondis comme par exemple pour les couteaux pour enfants, etc.

Un couteau, ça sert à couper. Certaines coupures sont utiles, d'autres sont néfastes. Quels que soit les garde fou, ça n'empêche pas qu'un couteau ça coupe, donc l'accident est toujours possible et le meurtre aussi. Pareil pour les LLM : ça génère du contenu, point final. Pas un contenu particulier, juste du contenu (texte, image, etc.). Comme le couteau n'est pas fait pour "couper les poires mais pas les doigts", le LLM n'est pas fait pour "générer une photo de vacance mais pas de pédopornographie". Tu pourras toujours ajouter des garde fou, ça restera toujours possible d'en faire, volontairement ou pas.

[popo]

Ce genre de raisonnement tiens très bien la route. En l'occurrence, les couteaux peuvent avoir des garde fou. Que ce soit une garde, un verrouillage de la lame pour certains couteaux pliants, l'ergonomie du manche pour une bonne prise en main et éviter les glissades, des pointes arrondis comme par exemple pour les couteaux pour enfants, etc.

Un couteau, ça sert à couper. Certaines coupures sont utiles, d'autres sont néfastes. Quels que soit les garde fou, ça n'empêche pas qu'un couteau ça coupe, donc l'accident est toujours possible et le meurtre aussi. Pareil pour les LLM : ça génère du contenu, point final. Pas un contenu particulier, juste du contenu (texte, image, etc.). Comme le couteau n'est pas fait pour "couper les poires mais pas les doigts", le LLM n'est pas fait pour "générer une photo de vacance mais pas de pédopornographie". Tu pourras toujours ajouter des garde fou, ça restera toujours possible d'en faire, volontairement ou pas.

Ton argument non plus ne tient pas la route.
Que ce soit une garde, un verrouillage ou n'importe quoi, tu ne peux pas empêcher quelqu'un de se servir d'un couteau de la mauvaise façon.

Pour un LLM, peu importe l'entrainement qu'il a reçu ou le prompt qu'on lui transmet, il y a du code derrière.
Même si certains trouveront toujours le moyen de contourner les sécurités, tu peux ajouter du code pour éviter que ce soit trop facile à faire.

[Matthieu Vergne]

Ton argument non plus ne tient pas la route.
Que ce soit une garde, un verrouillage ou n'importe quoi, tu ne peux pas empêcher quelqu'un de se servir d'un couteau de la mauvaise façon.

Pour un LLM, peu importe l'entrainement qu'il a reçu ou le prompt qu'on lui transmet, il y a du code derrière.
Même si certains trouveront toujours le moyen de contourner les sécurités, tu peux ajouter du code pour éviter que ce soit trop facile à faire.

Tu compares "empêcher quelqu'un" (absolu) à "éviter que ce soit trop facile", et c'est là tout le côté fallacieux de ton argument.

Tu ne peux pas empêcher d'utiliser un couteau de la mauvaise façon.
Tu ne peux pas empêcher d'utiliser un LLM de la mauvaise façon.

Ces deux phrases sont vraies. L'analogie LLM-couteau fait donc sens à ce niveau.

Pour un LLM, peu importe l'entrainement qu'il a reçu ou le prompt qu'on lui transmet, il y a du code derrière.

Alors, soit je ne comprends pas de quoi tu parles, soit tu démontres une méconnaissance flagrante de comment fonctionne un LLM. Un LLM n'est pas "codé". Il s'agit d'une structure fixe (le réseau de neurones) dont les connections (notamment les poids entre les neurones) ont été progressivement adaptées via un algorithme générique (backpropagation) pour reproduire des entrées-sorties, en fonction de la différence observée entre la sortie générée et celle attendue. Il s'agit d'une "influence" par apprentissage automatique, faite pas à pas par de petites modifications locales, et non pas d'un codage déterminé. Le sens qu'on ces poids n'est pas non plus déterminé. Ces poids, pris ensemble avec cette structure, se trouvent juste avoir la caractéristique de reproduire le comportement attendu dans une certaine mesure. Tu ne peux pas "ajouter du code" dans un LLM.

Par contre, tu peux en ajouter autour du LLM (ou avant d'atteindre le LLM, mais certainement pas derrière), pour éviter que tel prompt atteigne le LLM ou que telle réponse de celui-ci atteigne l'utilisateur. Mais ce code n'a pas accès à (ni aucune influence sur) les "critères appris" par le LLM. Il doit déterminer ses propres critères indépendamment. Et comment tu fais pour éviter tout prompt pouvant générer un truc illégal ? Par du code classique (racinisation, lemmatisation, tagging, etc.) ce n'est pas possible de manière satisfaisante, car il faut adresser les subtilités du langage. Et comment tu les adresses ? En utilisant un LLM, dont le traitement du langage est justement la spécialité. Donc on utilise du LLM pour filtrer les prompts qui vont sur du LLM. Au final, c'est toujours du LLM, donc un système influencé et non pas codé de manière déterministe.

Maintenant ce "code" que tu mets autour, encore une fois, ne fait pas partie du LLM qui génère la réponse. Donc le LLM que tu télécharges sur Hugging Face et que tu fais tourner en local n'a pas cette sécurité. Même que le format safetensor utilisé aujourd'hui évite justement qu'un modèle puisse exécuter du code pour des raisons de sécurité. Donc tu peux oublier l'ajout de code à ce niveau.

Même si certains trouveront toujours le moyen de contourner les sécurités, tu peux ajouter du code pour éviter que ce soit trop facile à faire.

Même si certains trouveront toujours le moyen de contourner les sécurités pour un couteau (e.g. marché noir pour les ventes interdites), tu peux en ajouter pour éviter que ce soit trop facile à faire.

Encore une fois, je ne vois pas la différence entre LLM et couteau à ce niveau. L'analogie tient toujours.