xAI divulgue au FBI les prompts Grok utilisés pour créer des vidéos pornographiques non consensuelles
Le FBI a obtenu de la société xAI d'Elon Musk qu'elle divulgue les prompts Grok utilisés pour créer des vidéos pornographiques non consensuelles
les historiques de prompts deviennent des pièces à conviction
Le FBI enquête sur l'utilisation de Grok dans une affaire de harcèlement en cours. L'agence a obtenu un mandat de perquisition visant le réseau social X d'Elon Musk afin de récupérer les détails des prompts qu'un homme, Simon Tuck, aurait utilisés pour générer plus de 200 vidéos sexuelles non consenties mettant en scène une femme de son entourage réel. L'affaire ravive les critiques visant Elon Musk, qui a doté son Grok de capacités permettant de créer des images dénudées de femmes et de mineures à partir de photos publiées sur sa plateforme X. Le site avait été inondé de millions d'images à caractère sexuel, dont plus de 3 millions d'images en seulement 11 jours.
Grok est un chatbot d'IA générative développé par xAI. Il a été lancé en novembre 2023 par Elon Musk, dispose d'applications pour iOS et Android et est intégré à X (ex-Twitter) et au robot Optimus de Tesla. Depuis sa sortie, il a généré de nombreuses réponses controversées, notamment des théories du complot, des éloges à Adolf Hitler, de l'antisémitisme et la création d'images non consensuelles et sexualisées de femmes et d'enfants dénudés.
Ces dérives ont, à chaque occurrence, suscité un tollé et conduit les autorités de nombreux pays à ouvrir des enquêtes sur le chatbot « excentrique » d'Elon Musk. Les informations concernant cette nouvelle enquête proviennent d'un affidavit du FBI versé au dossier judiciaire et rendu public.
L'affaire va bien au-delà de la création de deepfakes. Simon Tuck est accusé d'avoir mené une campagne de harcèlement intensive contre le mari de cette femme. Il aurait notamment procédé à un "swatting" à leur domicile (c'est-à-dire un faux appel aux forces spéciales) envoyé des signalements anonymes à l'employeur de la victime en l'accusant faussement d'être un pédophile ou un toxicomane... Il semblait vouloir nuire à la réputation de l'homme.
Il aurait également usurpé son identité pour proférer des menaces de fusillade de masse et de suicide, contacté une société de pompes funèbres pour signaler que l'homme allait bientôt mourir, et se serait même fait passer pour un membre de "Sector 16", un groupe de hackers russes, pour envoyer des menaces.
Grok utilisé pour créer des vidéos pornographiques non consenties
Selon l'affidavit, en janvier, le FBI a obtenu un mandat pour accéder aux conversations de Simon Tuck avec le chatbot et a reçu en retour « les prompts (instructions génératives) fournis à Grok ayant généré environ 200 vidéos pornographiques d'une femme ressemblant étroitement à l'épouse de la victime ». Cette fonctionnalité de Grok est sujette à polémique depuis son introduction, mais X et Elon Musk ont rejeté la responsabilité sur les utilisateurs.
L'entreprise a finalement décidé de restreindre l'accès à l'outil. Un exemple de prompt divulgué au FBI est cité dans le document judiciaire : Simon Tuck y décrivait en détail une femme blonde aux cheveux ondulés se déshabillant sur un court de tennis, avec des indications précises sur sa morphologie et ses vêtements. Ce niveau de détail révèle une utilisation délibérée et ciblée de l'outil pour créer un contenu visant une personne réelle et identifiable.
Le FBI indique également que Simon Tuck aurait utilisé Grok pour rédiger une plainte contre le mari de la femme, qui a ensuite été transmise à l'employeur de ce dernier. Les actes décrits dans l'affidavit sont extrêmes et horribles, mais ne sont pas vraiment inhabituels dans les affaires de harcèlement.Envoyé par Simon Tuck à Grok
Il s'agit du dernier exemple en date d'utilisation abusive potentielle du chatbot de xAI. L'entreprise d'Elon Musk fait l'objet d'enquêtes dans différentes régions pour l'utilisation de Grok à des fins de diffusion d'images nues non consenties. En réponse, Elon Musk et ses soutiens ont qualifié ces actions de censure.
Un signal fort : les chats avec les IA sont désormais des preuves
Ce qui est remarquable ici, c'est que cette affaire montre que les forces de l'ordre considèrent les conversations avec des chatbots comme des sources potentielles de preuves et que le social X d'Elon Musk se conforme à ces demandes. Cela met en évidence le rôle de X dans le fait d'avoir permis à Grok de créer du contenu sexuel non consensuel dans une affaire pénale impliquant du cyberharcèlement extrême et des dommages dans la vie réelle.
Selon l'affidavit, Simon Tuck a utilisé Grok pour créer ce contenu sexuel non consensuel au moment même où Grok était vivement critiqué pour avoir créé du contenu pédopornographique. Tout cela s'est produit pendant le phénomène « undress her », qui a montré à quel point la modération du contenu de Grok est déplorable. Plus récemment, des rapports ont également signalé que Grok avait été utilisé pour révéler le vrai nom d'une actrice adulte.
Au début de l'année, la tendance à la nudification de Grok a vu de nombreux utilisateurs demander à l'IA de générer des images de nudité à partir de diverses photos sources dans l'application. Selon Bloomberg, à un moment donné, Grok générait environ 6 700 images par heure pouvant être classées comme « sexuellement suggestives ou nudifiantes ». Le site avait été inondé de plus de 3 millions d'images à caractère sexuel en seulement 11 jours.
À la suite d'une vague de protestations mondiales contre l'utilisation de cet outil pour générer des images explicites, xAI avait annoncé que cette fonctionnalité serait bloquée prochainement. Pendant ce temps, Elon Musk insistait sur le fait que les utilisateurs sont responsables de ce qu'ils font avec son chatbot.
Grok d'Elon Musk dans la tourmente : une modération défaillante
Grok fait l'objet d'une surveillance accrue dans le monde entier en raison de ses garde-fous jugés trop laxistes. Le chatbot d'Elon Musk est régulièrement empêtré dans les polémiques depuis sa sortie. La chercheuse en politiques publiques Riana Pfefferkorn s'est dite surprise que la plateforme ait mis autant de temps à déployer les nouvelles mesures de protection et estime que les fonctions d'édition auraient dû être supprimées dès le début des abus.
« Des questions subsistent quant à la manière dont X appliquera ses nouvelles politiques, notamment comment le Grok saura si une image représente une personne réelle et quelles mesures il prendra lorsque les utilisateurs enfreindront les règles. Musk n'a pas non plus présenté l'entreprise sous un jour sérieux », a déclaré la chercheuse, précisant qu'il serait utile qu'il cesse de faire des choses comme republier un deepfake de Keir Starmer en bikini.
Selon les experts, il est possible que les résultats de Grok, s'ils n'étaient pas contrôlés, aient finalement conduit X à enfreindre la loi américaine Take It Down Act, qui entrera en vigueur en mai 2026 et qui oblige les plateformes à supprimer rapidement les contenus pornographiques de vengeance générés par l'IA. L'une des mères des enfants d'Elon Musk, Ashley St Clair, a qualifié les résultats de Grok utilisant ses images de pornographie de vengeance.
En janvier, le procureur général de Californie, Rob Bonta, a déclaré que X d'Elon Musk pourrait avoir enfreint les lois américaines. Rob Bonta a précisé que les images représentant des victimes « légèrement vêtues » dépassent les limites, tout comme les images mettant des enfants dans des positions sexuelles. Le procureur a appelé X à prendre plus de mesures pour restreindre les résultats de Grok, ce qui pourrait être fait grâce à quelques mises à jour.
La Commission européenne ouvre une enquête sur Grok d'Elon Musk
La Commission européenne a ouvert une enquête sur X après que Grok a été utilisé pour créer des images à caractère sexuel de personnes réelles. Cette décision fait suite à une annonce similaire faite par l'autorité de régulation britannique Ofcom. Si le site est reconnu coupable d'avoir enfreint les règles de l'UE en vertu de la loi sur les services numériques, la Commission pourrait infliger à X une amende pouvant atteindre 6 % de son chiffre d'affaires annuel mondial.
Les garde-fous de Grok sont jugés insuffisants. En réaction, des voix au Royaume-Uni, au Canada et en Australie ont appelé à interdire X. La ministre britannique de la Technologie, Liz Kendall, a déclaré qu'elle soutiendrait l'autorité de régulation Ofcom si celle-ci bloquait l'accès au Royaume-Uni à la plateforme pour non-respect des lois sur la sécurité en ligne. L'Ofcom affirme qu'il est en train de décider de toute urgence de la suite à donner à Grok.
« Le schéma est clair : les garde-fous de sécurité de Grok sont au mieux incohérents, au pire inexistants. Et lorsque l'outil est accessible à toute personne disposant d'un compte X, les dommages s'aggravent », a écrit un critique. Les groupes militants et les victimes ont déclaré que la possibilité de générer des images sexuellement explicites à l'aide de cet outil n'aurait « jamais dû exister », et l'Ofcom a déclaré que son enquête se poursuivrait.
Conclusion
Selon certains utilisateurs, Grok continue de générer des images explicites lorsqu'on le lui demande, ce qui peut avoir des implications majeures au-delà des images falsifiées de célébrités. Cela pourrait ouvrir la voie à de nouveaux litiges, tout en exposant les utilisateurs de X à un risque important. Elon Musk s'oppose fermement à la réglementation et a même affirmé que cette initiative relevait davantage de la censure que de la protection.
Malgré un cycle de mise à jour fréquent, le chatbot a suscité des controverses liées à ses réponses sur des sujets sensibles et à l'influence d'Elon Musk sur ses prises de position politiques. Grok est également accusé de propager de la désinformation à caractère négationniste et complotiste. Les antécédents de Grok en matière d'exactitude sont pour le moins mitigés, avec des incidents de divulgation d'informations personnelles et de diffusion d'infox.
Cette affaire met en lumière trois enjeux majeurs : la capacité des outils d'IA générative à être détournés dans des campagnes de harcèlement ciblé, l'insuffisance criante de la modération de Grok, et l'émergence d'une nouvelle pratique judiciaire où les historiques de prompts deviennent des pièces à conviction.
Source : document judiciaire (PDF)
Et vous ?
Quel est votre avis sur le sujet ?
Voir aussi
Répondre avec citation
Partager