Discussion :

[Stéphane le calme]

FBI : des cybercriminels se servent de plus en plus de l'IA pour créer des images et vidéos à caractère porno de leurs victimes,
afin de les faire chanter

Le FBI a mis en garde lundi contre l'utilisation croissante de l'intelligence artificielle pour générer de fausses photos et vidéos dont le contenu est explicite. Les malfaiteurs exigent alors un paiement des personnes ciblées, parmi lesquelles des mineurs et des adultes non consentants, si elles ne veulent pas voir ces montages se répandre sur les réseaux sociaux. Elles prennent le soin de leur rappeler que ces images / vidéos pourront leur causer du tort, aussi bien auprès de leurs proches que dans leur environnement professionnel.

La sextorsion est une forme de chantage qui se produit quand une personne menace de partager ou de publier des contenus privés sensibles à moins que vous ne lui envoyiez des images érotiques, que vous consentiez à des actes sexuels ou que vous lui envoyiez de l’argent. C’est un crime grave qui peut toucher aussi bien des adolescents que des adultes. Les sextorqueurs utilisent souvent de faux profils sur les réseaux sociaux ou des techniques d’ingénierie sociale pour gagner la confiance de leurs victimes et leur extorquer du contenu compromettant.

Dans certains cas, les images en possession des escrocs sont réelles et ont été obtenues de quelqu'un que la victime connaît ou d'un compte qui a été piraté. D'autres fois, les escrocs prétendent seulement avoir du matériel explicite sans fournir aucune preuve.

Cependant, avec les avancées en matière d'intelligence artificielle, ces cybercriminels ont encore moins d'effort à fournir.

Un deepfake - la contraction des termes anglais deep learning (apprentissage profond) et fake (feint, truqué) - est une technique de synthèse d'images basée sur l'intelligence artificielle. Les méthodes actuelles utilisées deviennent incroyablement sophistiquées et permettent déjà de créer des fausses vidéos difficilement identifiables en tant que telles. Le deepfake est utilisé pour combiner et superposer des images et des vidéos existantes afin de les manipuler à l’aide de l’apprentissage automatique. La technologie est en développement et des chercheurs continuent d’améliorer les méthodes qui contribueront certainement à révolutionner certains secteurs d’activité, mais qui ne manqueront, peut-être, pas de se retrouver, comme une arme, entre les mains des personnes malveillantes.

Sans surprise, l’une des premières utilisations de deepfake a été vue dans l’industrie porno, où des visages ont été superposés à d’autres.

Les deepfake au service des cybercriminels

Ces derniers mois, a expliqué le FBI dans une alerte publiée lundi, l'utilisation de l'IA pour générer de fausses vidéos qui semblent montrer de vraies personnes engagées dans des activités sexuellement explicites a augmenté.

« Le FBI continue de recevoir des rapports de victimes, y compris des enfants mineurs et des adultes non consentants, dont les photos ou vidéos ont été modifiées en contenu explicite », ont écrit des responsables. « Les photos ou vidéos sont ensuite diffusées publiquement sur les réseaux sociaux ou sur des sites pornographiques dans le but de harceler les victimes ou de réaliser des programmes de sextorsion ».

Depuis avril 2023, le FBI a observé une augmentation du nombre de victimes de sextorsion signalant l'utilisation de fausses images ou vidéos créées à partir de contenu publié sur leurs sites de médias sociaux ou de publications Web, fournies à l'acteur malveillant sur demande ou capturées lors de chats vidéo. Sur la base de récents signalements de victimes, les acteurs malveillants ont généralement exigé*: 1. Un paiement (par exemple, de l'argent, des cartes-cadeaux) avec des menaces de partager les images ou les vidéos avec des membres de la famille ou des amis des réseaux sociaux si les fonds n'étaient pas reçus*; ou 2. Que la victime envoie de vraies images ou vidéos à caractère sexuel.

Les logiciels et les services basés sur le cloud pour créer des vidéos dites deepfake sont abondants en ligne et sont disponibles indépendamment de la bourse de l'utilisateur, allant des offres open source disponibles gratuitement aux comptes d'abonnement. Avec les progrès de l’IA ces dernières années, la qualité de ces offres s’est considérablement améliorée au point où une seule image du visage d’une personne suffit pour créer des vidéos réalistes qui utilisent la ressemblance de la personne dans une fausse vidéo.

La plupart des offres de deepfake incluent au moins ostensiblement des protections conçues pour empêcher les abus de deepfake, par exemple, en utilisant une vérification intégrée conçue pour empêcher le programme de fonctionner sur des « supports inappropriés ». Dans la pratique, ces garde-fous sont souvent faciles à contourner, et il existe des services disponibles sur le darkweb qui ne sont pas soumis à ces restrictions.

Le FBI exhorte le public à prendre des précautions

« De nombreuses victimes, dont des mineurs, ignorent que leurs images ont été copiées, manipulées et diffusées jusqu'à ce qu'elles soient portées à leur attention par quelqu'un d'autre. Les photos sont ensuite envoyées directement aux victimes par des acteurs malveillants pour sextorsion ou harcèlement, il arrive que les victimes les découvrent elles-mêmes sur Internet. Une fois diffusé, les victimes peuvent être confrontées à des défis importants pour empêcher le partage continu du contenu manipulé ou sa suppression d'Internet ».

Le FBI a exhorté les gens à prendre des précautions pour empêcher que leurs images ne soient utilisées dans des deepfakes.

« Bien qu'apparemment inoffensives lorsqu'elles sont publiées ou partagées, les images et les vidéos peuvent fournir aux acteurs malveillants une source abondante de contenu à exploiter pour des activités criminelles », ont déclaré des responsables. « Les progrès de la technologie de création de contenu et des images personnelles accessibles en ligne offrent de nouvelles opportunités aux acteurs malveillants pour trouver et cibler les victimes. Cela les rend vulnérables à l'embarras, au harcèlement, à l'extorsion, aux pertes financières ou à la revictimisation continue à long terme ».

Le FBI recommande au public de tenir compte des points suivants lorsqu'il partage du contenu (par exemple, des photos et des vidéos) ou lorsqu'il interagit avec des personnes en ligne*:

• Surveiller l'activité en ligne des enfants et discuter des risques associés au partage de contenu personnel
• Faites preuve de discrétion lorsque vous publiez des images, des vidéos et du contenu personnel en ligne, en particulier ceux qui incluent des enfants ou leurs informations.
  
  • Les images, vidéos ou informations personnelles publiées en ligne peuvent être capturées, manipulées et distribuées par des acteurs malveillants à votre insu ou sans votre consentement.
  • Une fois le contenu partagé sur Internet, il peut être extrêmement difficile, voire impossible, de le supprimer une fois qu'il est diffusé ou publié par d'autres parties.
• Effectuez fréquemment des recherches en ligne sur vous et vos informations sur les enfants (par exemple, nom complet, adresse, numéro de téléphone, etc.) pour aider à identifier l'exposition et la diffusion d'informations personnelles sur Internet.
• Appliquez des paramètres de confidentialité sur les comptes de médias sociaux, notamment en définissant des profils et vos listes d'amis comme privés, pour limiter l'exposition publique de vos photos, vidéos et autres informations personnelles.
• Pensez à utiliser des moteurs de recherche d'images inversées pour localiser les photos ou vidéos qui ont circulé sur Internet à votre insu.
• Faites preuve de prudence lorsque vous acceptez des demandes d'amis, communiquez, engagez des conversations vidéo ou envoyez des images à des personnes que vous ne connaissez pas personnellement. Méfiez-vous particulièrement des personnes qui vous demandent ou vous pressent immédiatement de les fournir. Ces éléments pourraient être capturés à l'écran, enregistrés, manipulés, partagés à votre insu ou sans votre consentement, et utilisés pour vous abuser de vous ou de quelqu'un que vous connaissez.
• Ne fournissez pas d'argent ou d'autres objets de valeur à des personnes inconnues ou inconnues. Se conformer aux exigences des acteurs malveillants ne garantit pas que vos photos ou contenus sensibles ne seront pas partagés.
• Faites preuve de discrétion lorsque vous interagissez avec des personnes connues en ligne qui semblent agir en dehors de leur comportement normal. Les comptes de médias sociaux piratés peuvent facilement être manipulés par des acteurs malveillants pour gagner la confiance d'amis ou de contacts pour d'autres stratagèmes ou activités criminelles.
• Sécurisez les réseaux sociaux et autres comptes en ligne à l'aide de mots de passe ou de phrases secrètes complexes et d'une authentification multifacteur.
• Recherchez les politiques de confidentialité, de partage de données et de conservation des données des plateformes, applications et sites Web de médias sociaux avant de télécharger et de partager des images, des vidéos ou tout autre contenu personnel.

Une forte hausse des cas de sextorsion financière en 2022

Le National Center for Missing & Exploited Children (NCMEC), un organisme américain de protection de l’enfance, permet au public et aux fournisseurs de services électroniques de signaler les cas présumés d’exploitation sexuelle de mineurs en ligne grâce à sa CyberTipline. L’année dernière, il a reçu plus de 32 millions de signalements par le biais de ce service, comme il l’a révélé dans un rapport. Une hausse de près de 3 millions comparé à 2021.

Parmi les signalements reçus par la CyberTipline l’année dernière, 99,5% (31,9 millions) concernaient des cas présumés de pornographie infantile, soit des contenus pédopornographiques. Le NCMEC rapporte par ailleurs une augmentation de 82% des rapports concernant la séduction en ligne d’enfants. « L’un des facteurs contributifs à cette croissance a été une augmentation alarmante des rapports de sextorsion financière », a précisé l’organisme. Ce crime consiste à inciter des enfants à envoyer des photos explicites pour ensuite les menacer de les partager avec leurs amis, leur famille ou d’autres personnes s’ils n’envoient pas d’argent.

Au cours des années précédentes, les auteurs de sextorsion étaient plus susceptibles de cibler les jeunes filles dans le but d'obtenir des images explicites supplémentaires. En 2022, nous avons constaté une forte augmentation du nombre de garçons victimes de chantage pour de l'argent au lieu d'images. Les analystes du NCMEC ont analysé les rapports de sextorsion financière pour fournir des informations sur les victimes et les délinquants qui peuvent être utilisées pour créer des ressources de prévention et soutenir les efforts des forces de l'ordre pour répondre à ces crimes.

Enfin, sur les plus de 32 millions de rapports reçus en 2022, le NCMEC en a transmis plus de 49 000 rapports aux forces de l’ordre. Cela, car l’incident signalé était de nature urgente ou parce qu’ils contenaient des informations selon lesquelles un enfant était en danger imminent.

Sources : FBI, rapport NCMEC

Et vous ?

Que pensez-vous des recommandations du FBI pour se protéger ? Laquelle / Lesquelles vous parle(nt) le plus ?
Que faites-vous pour protéger vos images et / ou celles de vos enfants en ligne ?
Qu'est-ce qui pourrait expliquer la montée en puissance de ce phénomène de sextorsion ?

[Jade Emy]

La Corée du Sud s'apprête à criminaliser la possession ou le visionnage de vidéos deepfakes sexuellement explicites, avec des peines allants jusqu'à trois ans de prison ou une amende de plus de 20 000 euros.

La Corée du Sud s'apprête à criminaliser la possession ou le visionnage de vidéos deepfakes sexuellement explicites. Les contrevenants risquent jusqu'à trois ans de prison ou une amende pouvant atteindre l'équivalent de 20 300 euros. Si la nouvelle législation est promulguée, la peine maximale pour le délit de création de deepfake pornographique sera portée à sept ans, que le créateur ait eu ou non l'intention de distribuer les images.

Un deepfake - la contraction des termes anglais deep learning (apprentissage profond) et fake (feint, truqué) - est une technique de synthèse d'images basée sur l'intelligence artificielle (IA). Les méthodes actuelles utilisées deviennent incroyablement sophistiquées et permettent déjà de créer des fausses vidéos difficilement identifiables en tant que telles. Le deepfake est utilisé pour combiner et superposer des images et des vidéos existantes afin de les manipuler à l’aide de l’apprentissage automatique.

Dans un rapport de 2023, le FBI a mis en garde contre l'utilisation croissante de l'IA pour générer de fausses photos et vidéos dont le contenu est explicite. Les malfaiteurs exigent alors un paiement des personnes ciblées, parmi lesquelles des mineurs et des adultes non consentants, si elles ne veulent pas voir ces montages se répandre sur les réseaux sociaux. Elles prennent le soin de leur rappeler que ces images / vidéos pourront leur causer du tort, aussi bien auprès de leurs proches que dans leur environnement professionnel.

Face à la prolifération de cette menace, les législateurs sud-coréens ont adopté une loi interdisant la possession et le visionnage d'images et de vidéos sexuellement explicites de type "deepfake". La nouvelle loi a été adoptée le 26 septembre par l'Assemblée nationale sud-coréenne. Il ne manque plus que la signature du président Yoon Suk Yeol pour qu'elle entre en vigueur. Selon les termes du nouveau projet de loi, toute personne qui achète, conserve ou regarde ce type de matériel est passible d'une peine de prison pouvant aller jusqu'à trois ans ou d'une amende pouvant atteindre l'équivalent de 20 300 euros.

En Corée du Sud, il est déjà illégal de créer un faux matériel sexuellement explicite dans l'intention de le distribuer. Les contrevenants sont passibles d'une peine pouvant aller jusqu'à cinq ans de prison ou d'une amende d'environ 34 000 euros en vertu de la loi sur la prévention de la violence sexuelle et la protection des victimes. Si la nouvelle législation est promulguée, la peine maximale pour le délit de création de deepfake pornographique sera portée à sept ans, que le créateur ait eu ou non l'intention de distribuer les images.

Ces dernières années, l'échange d'images sexuellement explicites manipulées par l'IA et de deepfakes a suscité l'indignation du public en Corée du Sud. En août 2024, les autorités ont lancé une enquête sur ce type de contenu qui aurait été partagé via des salons de discussion sur l'application de messagerie Telegram. L'enquête sur Telegram a été annoncée peu de temps après que le PDG de la société technologique, Pavel Durov, a été inculpé par les autorités françaises pour de multiples délits, y compris l'allégation selon laquelle sa plateforme a été utilisée pour la propagation de matériel d'abus sexuels sur des enfants.

Une enquête a révélé que les visages de plusieurs diplômées de l'université nationale de Séoul étaient apparus sur des deepfakes sexuellement explicites produits et distribués par des hommes avec lesquels elles avaient étudié. "J'ai été choquée de voir à quel point le processus était systématique et organisé", a déclaré l'enquêteur. "La chose la plus horrible que j'ai découverte est un groupe d'élèves mineurs d'une école [pour partager du contenu] qui comptait plus de 2 000 membres."

La diffusion de ce type d'images parmi les jeunes en Corée du Sud semble être un problème très répandu. L'agence de presse nationale sud-coréenne Yonhap a rapporté que 387 personnes ont été arrêtées en 2024 seulement pour des délits liés à des contenus sexuels truqués, dont 80 % d'adolescents, en citant des données de la police.

Autre incident, de fausses images explicites de l'icône de la pop Taylor Swift se sont rapidement répandues sur la plateforme de médias sociaux X d'Elon Musk au début de l'année 2024, attirant des millions de vues et incitant X (anciennement Twitter) à bloquer temporairement les recherches sur l'artiste en janvier.

En mai, deux sénateurs américains ont cosigné un projet de loi bipartisan visant à réprimer la diffusion en ligne de fausses images intimes non consensuelles. La législation propose des sanctions comprenant des amendes et jusqu'à deux ans de prison, ainsi que des sanctions civiles pouvant aller jusqu'à 150 000 dollars.

Pendant ce temps, le gouverneur de Californie a signé 9 projets de loi réglementant les contenus générés par l'IA, pour répondre aux risques liés aux "deepfakes". Deux projets de loi concernent les acteurs et les interprètes, trois projets de loi visent à lutter contre l'utilisation abusive de contenus générés par l'IA et quatre projets de loi visent à règlementer l'utilisation de l'IA dans les campagnes électorales.

Et vous ?

Pensez-vous que ce projet de loi est crédible ou pertinent ?
Quel est votre avis sur le sujet ?

Voir aussi :

Telegram s'est conformé à la demande des autorités en Corée du Sud de retirer certains contenus pornographiques "deepfake" et s'est excusé pour son manque de réponses aux crimes sexuels numériques

Le Royaume-Uni envisage de criminaliser la création d'images deepfake sexuellement explicites. Les contrevenants s'exposent à « des poursuites judiciaires et à une amende illimitée »

"Vous ne pouvez pas croire toutes les vidéos que vous voyez", selon Brad Smith, vice-président de Microsoft. Il explique comment lutter contre le contenu abusif de l'IA et les deepfakes malveillants

[jnspunk]

C'est plutôt une bonne nouvelle je trouve, ca veut dire qu'ils n'ont rien de plus important à combattre.