Discussion :

[Stéphane le calme]

Préserver la dignité à l’ère du numérique : le Royaume-Uni envisage de criminaliser la création d'images deepfake sexuellement explicites,
les contrevenants s'exposent à « des poursuites judiciaires et à une amende illimitée »

Dans une démarche visant à lutter contre la violence faite aux femmes, le ministère de la Justice du Royaume-Uni a annoncé qu’il criminaliserait la création d’images deepfake à caractère sexuel explicite. Cette nouvelle législation, qui n’a pas encore été adoptée, prévoit des poursuites et une amende illimitée pour les contrevenants. Les images deepfake, qui sont des faux créés par intelligence artificielle pour ressembler à des personnes réelles dans des situations sexuelles explicites, sont de plus en plus utilisées pour humilier ou causer du tort aux victimes. La création de ces images sera considérée comme une infraction pénale, même si le créateur n’a pas l’intention de les partager.

Au cours de la dernière décennie, l'essor de la technologie de synthèse d'images par apprentissage profond a permis aux personnes disposant d'un PC grand public de créer de plus en plus facilement de la « pornographie trompeuse » en remplaçant les visages des acteurs par ceux d'une autre personne qui n'a pas consenti à l'acte. Cette pratique a donné naissance au terme "deepfake" en 2017, l'association de "deep learning" (apprentissage profond) et "fake" (factice). Depuis lors, le terme s'est étendu pour englober des images et des vidéos entièrement nouvelles synthétisées à partir de zéro, créées à partir de réseaux neuronaux qui ont été entraînés sur des images de la victime.

Les progrès rapides de l'intelligence artificielle ont entraîné une augmentation de la création et de la diffusion de fausses images et de fausses vidéos. Le Royaume-Uni a classé la violence à l'égard des femmes et des filles comme une menace nationale, ce qui signifie que la police doit donner la priorité à la lutte contre ce phénomène, et cette loi est conçue pour l'aider à réprimer une pratique qui est de plus en plus utilisée pour humilier ou affliger les victimes.

Mardi, le gouvernement britannique a annoncé une nouvelle loi visant la création de fausses images sexuellement explicites générées par l'IA. En vertu de cette loi, qui n'a pas encore été adoptée, les contrevenants s'exposent à des poursuites et à une amende illimitée, même s'ils ne diffusent pas les images à grande échelle, mais les créent dans l'intention d'affliger la victime. Le gouvernement considère que cette loi s'inscrit dans le cadre d'un effort plus large visant à renforcer la protection juridique des femmes.

Le gouvernement introduit également de nouvelles infractions pénales pour les personnes qui prennent ou enregistrent des images intimes réelles sans consentement, ou installent des équipements pour permettre à quelqu’un de le faire. Un nouveau facteur aggravant statutaire sera introduit pour les délinquants qui causent la mort par un comportement sexuel abusif, dégradant ou dangereux.

Laura Farris, Minister for Victims and Safeguarding, a déclaré :

La création de fausses images sexuelles est méprisable et totalement inacceptable, que l'image soit partagée ou non. C'est un autre exemple de la manière dont certaines personnes cherchent à dégrader et à déshumaniser les autres, en particulier les femmes. Et cela peut avoir des conséquences catastrophiques si le matériel est partagé à plus grande échelle. Ce gouvernement ne le tolérera pas. Ce nouveau délit envoie un message très clair : la production de ce matériel est immorale, souvent misogyne, et constitue un délit.

Le problème n'est pas propre au Royaume-Uni

En mars, en Floride, deux garçons âgés de 13 et 14 ans ont été inculpés pour avoir diffusé de faux nus de leurs camarades de classe. L'essor des modèles de synthèse d'images open source tels que Stable Diffusion depuis 2022 a renforcé l'urgence pour les régulateurs américains de tenter d'endiguer (ou au moins de punir) l'acte de création de deepfakes non consensuels. Le gouvernement britannique s'est engagé dans une mission similaire.

En vertu de ce nouveau délit, les personnes qui créent ces images horribles sans consentement risquent un casier judiciaire et une amende illimitée. Si l'image est ensuite partagée plus largement, les contrevenants peuvent être envoyés en prison. La nouvelle loi signifie que si quelqu'un crée un deepfake sexuellement explicite, même s'il n'a pas l'intention de le partager mais veut simplement causer de l'inquiétude, de l'humiliation ou de la détresse à la victime, il commettra une infraction pénale.

Elle renforcera également les infractions existantes, car si une personne crée ce type d'image et la partage ensuite, le CPS pourrait l'accuser de deux infractions, ce qui pourrait entraîner une aggravation de sa peine.

L'année dernière, la loi controversée sur la sécurité en ligne (Online Safety Act) a criminalisé le partage de deepfakes non consensuels. La nouvelle proposition de loi, qui doit encore passer par le processus parlementaire pour être promulguée, marquerait la première fois que la création de deepfakes sexuellement explicites d'adultes non consentants deviendrait illégale au Royaume-Uni (la distinction étant le partage par rapport à la création). Le gouvernement affirme que les lois existantes couvrent déjà la création de deepfakes sexuels d'enfants.

Le gouvernement cherche également à renforcer les lois existantes, en permettant l'inculpation de la création et de la distribution de contenus de deepfakes, ce qui pourrait conduire à des sanctions plus sévères de la part du Crown Prosecution Service (CPS).

Cally Jane Beech, militante et ancienne candidate de Love Island, a déclaré :

« Ce nouveau délit constitue une étape importante dans le renforcement des lois relatives aux "deepfakes" afin de mieux protéger les femmes. Ce que j'ai enduré va au-delà de l'embarras ou du désagrément. Trop de femmes continuent de voir leur vie privée, leur dignité et leur identité compromises par des individus malveillants de cette manière et cela doit cesser. Les personnes qui agissent de la sorte doivent être tenues pour responsables ».

Deborah Joseph, directrice de la rédaction européenne de GLAMOUR, a déclaré :

« GLAMOUR se félicite du projet du ministère de la Justice de présenter un amendement au projet de loi sur la justice pénale, qui doit placer la sécurité des femmes en ligne au centre de cette conversation. Une récente enquête de GLAMOUR a révélé que 91 % de nos lectrices pensent que la technologie deepfake constitue une menace pour la sécurité des femmes et, après avoir entendu des témoignages de victimes, nous savons à quel point les conséquences peuvent être graves. Bien qu'il s'agisse d'un premier pas important, il reste encore un long chemin à parcourir avant que les femmes ne se sentent vraiment à l'abri de cette horrible activité ».

Une technologie a déjà marquée l'actualité cette année

Des photos pornos de Taylor Swift générées par l'IA Designer de Microsoft

Fin janvier, des images pornographiques de la chanteuse et actrice Taylor Swift ont circulé sur les réseaux sociaux. Certaines d'entre elles ont été générées en piratant Designer, le générateur d'IA texte-image gratuit de Microsoft.

Des internautes ont réussi à contourner les mesures de protection conçues pour empêcher l'outil de générer des images de célébrités. C'est dans un groupe de Telegram que les membres ont partagé des stratégies pour y parvenir. Ils notaient par exemple qu'il fallait éviter de se servir d'invites utilisant "Taylor Swift" et en utilisant à la place des mots-clés tels que "Taylor 'singer' Swift". Ils ont ensuite été en mesure de générer des images sexualisées en utilisant des mots-clés décrivant « des objets, des couleurs et des compositions qui ressemblent clairement à des actes sexuels », plutôt que d'essayer d'utiliser des termes sexuels.

Très vite, un porte-parole de Microsoft a déclaré que la grande enseigne technologique « enquêtait sur ces rapports » et avait « pris des mesures appropriées pour empêcher l'utilisation abusive de nos outils ». Le porte-parole a également indiqué que le code de conduite de Microsoft interdit l'utilisation des outils Microsoft « pour la création de contenus intimes pour adultes ou non consensuels, et toute tentative répétée de produire des contenus qui vont à l'encontre de nos politiques peut entraîner la perte de l'accès au service ».

Un employé paye 25 millions de dollars à des escrocs après une réunion vidéo avec son directeur financier généré par IA

Un employé du secteur financier a versé 25 millions de dollars à des escrocs qui se faisaient passer pour le directeur financier de son entreprise grâce à la technologie du deepfake lors d’un appel vidéo, selon la police de Hong Kong. L’arnaque élaborée a consisté à faire croire à l’employé qu’il participait à un appel vidéo avec plusieurs autres membres du personnel, mais tous étaient en fait des créations de deepfake, a déclaré la police de Hong Kong lors d’un briefing vendredi. « Dans la conférence vidéo à plusieurs personnes, il s’avère que tout le monde (qu’il a vu) était faux », a déclaré le surintendant principal Baron Chan Shun-ching à la radio publique RTHK.

Source : gouvernement britannique

Et vous ?

Que pensez-vous de cette proposition de loi ? Gagnerait-elle à être appliquée dans d'autres pays ? Pourquoi ou pourquoi pas ?
Quels défis les autorités pourraient-elles rencontrer pour faire respecter cette loi ?
Pensez-vous que la criminalisation des images deepfake à caractère sexuel est une mesure efficace pour protéger les victimes de cyberharcèlement ?
Quel rôle les plateformes en ligne devraient-elles jouer dans la détection et la suppression des contenus deepfake non consensuels ?
Comment les individus peuvent-ils se protéger contre l’utilisation abusive de leur image dans des deepfakes ?
La technologie deepfake a-t-elle un côté positif ? Si oui, lequel ?
Devrait-il y avoir des exceptions à cette loi pour les œuvres d’art ou la satire ?

[walfrat]

Que pensez-vous de cette proposition de loi ? Gagnerait-elle à être appliquée dans d'autres pays ? Pourquoi ou pourquoi pas ?

Le deepfake devrait être quasi interdit de base pour moi. Même sous couvert d'humour, faire dire a quelqu'un quelque chose qu'il n'a pas dit est un problème.
En revanche s'en servir dans la production de film ou jeu vidéo est intéressant.

Quels défis les autorités pourraient-elles rencontrer pour faire respecter cette loi ?

Comme tout sur internet, dès que la victime et le coupable ne sont pas dans le même pays c'est la merde.

Pensez-vous que la criminalisation des images deepfake à caractère sexuel est une mesure efficace pour protéger les victimes de cyberharcèlement ?

Ca leur fera un outil de moins pour cyberharceler, pas plus ni moins.

Quel rôle les plateformes en ligne devraient-elles jouer dans la détection et la suppression des contenus deepfake non consensuels ?

En soit faire passer un algo anti deep fake sur un upload ça se fait, le soucis étant qu'il faut que l'algo soit bien à jour car comme toujours, c'est le jeu du chat et de la souris.
Et aussi comment traiter les faux positif ?

Comment les individus peuvent-ils se protéger contre l’utilisation abusive de leur image dans des deepfakes ?

A part porter plaintes ? Ne pas mettre d'eux même la moindre image publique ? Je vois pas trop quoi faire sinon.

La technologie deepfake a-t-elle un côté positif ? Si oui, lequel ?

Appliqué dans les films/jeu vidéo ça pourrait donner des éléments très réalistes a plus bas cout, très interessant pour les production plus modestes.

Devrait-il y avoir des exceptions à cette loi pour les œuvres d’art ou la satire ?

Je dirais que oui mais ça devrait être fait d'une façon qu'il ne fait aucun doute qu'il s'agit d'une satire. Pour les oeuvres d'art (hors satire donc), consentement explicite de l'interessé.

[Jon Shannow]

Les deepfake utilisent des systèmes d'IA. Ces systèmes devraient systématiquement avoir une métadonnée non modifiable qui indique que c'est un produit généré par IA. Du coup, ça serait très utile pour les algos de contrôle de contenu.
Je ne doute pas un instant que certains arriveraient à le contourner, mais ça rendrait la tâche beaucoup plus difficile et donc moins abordable pour le commun des mortels.