Des chercheurs créent une IA qui rend facile la création de deepfakes à partir d'une seule image
Des chercheurs créent une IA qui rend facile la création de deepfakes à partir d'une seule image
et les résultats sont dangereusement réalistes
Faisant actuellement l'objet de recherches pour les rendre plus efficaces, les deepfakes - contraction de deep learning (apprentissage profond) et fake (truqué) - font allusion à des techniques de synthèse d'images basées sur l'intelligence artificielle. Si elles sont assez récentes, les techniques actuelles de deepfakes donnent déjà des résultats très impressionnants, ce qui inquiète les législateurs US.
L'on craint qu'elles soient utilisées contre des personnes pour les représenter dans des situations auxquelles elles s'opposeraient, comme dans des vidéos pornographiques. Précisons en effet que c'était le but original de cette technologie : elle peut être utilisée dans l’industrie porno, où des visages peuvent être supposés à d’autres. Selon les législateurs US, les deepfakes représentent aussi un danger politique réel. Ils pensent par exemple que cette technique de synthèse d’images pourrait être utilisée dans le cadre de campagnes de désinformation plus larges dans l’optique d’influencer des élections en diffusant de fake news qui pourraient alors paraître plus crédibles. Autrement dit, les technologies de création de deepfakes pourraient être des armes dangereuses entre les mains des personnes malveillantes.
Malgré les craintes que les deepfakes soient utilisés à des fins malveillantes, les recherches pour rendre cette technologie plus puissante se multiplient. La toute dernière est le résultat des travaux d'une équipe composée de chercheurs d'un centre d'intelligence artificielle de Samsung et de l'Institut des sciences et de la technologie de Skolkovo, tous deux basés à Moscou.
Les chercheurs ont mis au point un moyen de créer des deepfakes ou « portraits vivants » à partir d'un très petit ensemble de données - une seule photographie suffit dans certains cas. Leur recherche intitulée « Few-Shot Adversarial Learning of Realistic Neural Talking Head Models » a été publiée lundi dans arXiv, l'archive de prépublications électroniques d'articles scientifiques.
Ils utilisent des techniques de machine learning appelées few-shot ou one-shot learning, qui font allusion à un apprentissage à partir de quelques exemples ou d'un seul exemple. En effet, si l'intelligence artificielle est performante dans les applications utilisant beaucoup de données, il lui manque la capacité d'apprendre d'un nombre limité d'exemples. Autrement dit, les méthodes d'apprentissage profond actuelles souffrent d'une faible efficacité pour de petits échantillons, ce qui contraste nettement avec la perception humaine : même un enfant peut reconnaître une girafe par exemple après avoir visionné une seule photo. Le few/one-shot learning vise donc à doter les réseaux neuronaux profonds de cette capacité : atteindre un haut niveau d'apprentissage à partir de très petits ensembles de données.
Dans leurs travaux, les chercheurs de Samsung ont donc pu utiliser une image pour créer un portrait animé convaincant. En augmentant le nombre de clichés (en passant à 8 ou 32 photos par exemple), le portait animé devient de plus en plus réaliste. Et cela fonctionne même sur le portait de Mona Lisa et d'autres photos uniques. Dans une vidéo publiée par l'un des chercheurs sur YouTube, les célèbres portraits d’Albert Einstein, Fyodor Dostoyevsky et Marilyn Monroe prennent vie comme si c’était des vidéos qui avaient été capturées en direct à partir de l’appareil photo de votre smartphone.
Le fait que l'IA de Samsung ait besoin d'une seule photo pour générer un portrait vivant ou deepfake ne veut pas dire que l'algorithme ne repose que cette seule photo. Derrière, il y a un travail préliminaire de meta-learning qui a été réalisé. Les chercheurs ont en effet effectué de longs apprentissages sur une grande base de données d’un référentiel public de 7000 images de célébrités extraites de YouTube. Cela permet à l'algorithme d’identifier ce qu’ils appellent des caractéristiques « historiques » des visages : yeux, formes de la bouche, longueur et forme d’un pont nasal.
À partir de là, le système est capable de générer une vidéo ou un portrait animé à partir de photos de personnes qui n'ont pas été prises en compte dans la phase de meta-learning. Concrètement, quand le système reçoit en entrée la photo d'une nouvelle personne, il initialise ses paramètres d’une manière spécifique à la personne, de sorte que la génération du deepfake ou portrait animé puisse se baser sur quelques images et se faire rapidement, « malgré la nécessité d’ajuster des dizaines de millions de paramètres ».
Comme avec la plupart des deepfakes, il y a quelques défauts. La plupart des visages sont entourés d'artefacts visuels. Mais les résultats restent impressionnants étant donné que cette technique est à ses débuts.
Cette recherche représente une avancée significative par rapport à ce que les autres deepfakes et algorithmes utilisant des réseaux adverses génératifs peuvent accomplir. Au lieu d'apprendre à l'algorithme comment coller un visage sur un autre à l'aide d'un catalogue d'expressions d'une personne, les chercheurs utilisent les traits de visage qui sont communs à la plupart des humains pour ensuite marionnettiser un nouveau visage.
« Plusieurs travaux récents ont montré comment des images de tête humaine extrêmement réalistes peuvent être obtenues en formant des réseaux de neurones convolutifs pour les générer. Afin de créer un modèle personnalisé de la tête d'une personne qui est en train de parler, ces travaux nécessitent une formation sur un grand ensemble de données d'images de la même personne. Cependant, dans de nombreux scénarios pratiques, de tels modèles peuvent être formés à partir de quelques images d'une personne, voire d'une seule image », expliquent les chercheurs. « Nous montrons qu’une telle approche permet de créer des modèles très réalistes et personnalisés de nouveaux personnages et même des portraits. »
Source : Publication de la recherche
Et vous ?
:fleche: Que pensez-vous de cette recherche ? Exploit ou rien d'extraordinaire ? Quelles sont les éventuelles applications ?
:fleche: Les chercheurs en IA ne sont-ils pas en train de construire une arme dangereuse pour les individus et la société ?
:fleche: Les technologies de deepfake ne devraient-elles pas être interdites ? Dans ce cas, comment cela peut-il se faire ? Est-ce déjà trop tard ?
Voir aussi :
:fleche: Un sénateur propose un projet de loi prohibant l'utilisation de la technologie deepfake, si elle venait à servir des buts frauduleux
:fleche: Une vidéo deepfake de Donald Trump diffusée sur une chaine de TV nationale ? L'employé responsable a été licencié
:fleche: Les législateurs US estiment que la technologie deepfake constitue une menace à la sécurité nationale et appellent à des contremesures
:fleche: Une nouvelle méthode inédite de deepfake a été mise au point par des chercheurs, permettant de transférer le style d'une personne à une autre
