Discussion :

[Olivier Famien]

Avec l’IA Deep Nostalgia, il est maintenant possible de transformer de vieilles photos de vos proches en vidéos émouvantes,
les mouvements sur les vidéos sont pour l’instant limités au visage

Si vous avez la photo d’un parent décédé et que vous voulez lui redonner vie, l’entreprise MyHeritage se propose de la transformer en courte vidéo émouvante de quelques secondes. Rapporté ainsi, les utilisateurs d’iPhone se presseront de dire que la technologie n’est pas vraiment nouvelle dans la mesure où Apple propose depuis plusieurs années la fonctionnalité live photo sur les iPhone et iPad. Cette dernière permet d’obtenir des clichés animés en enregistrant des séquences d’images fixes, ce qui permet de créer une courte vidéo à partir de ces images fixes.

Toutefois, pour ce qui concerne l’entreprise MyHeritage, la séquence vidéo obtenue n’est pas le fruit de l’association de plusieurs images prises de la personne photographiée, mais résulte d’un traitement effectué par un système d’intelligence artificielle (IA) sur une image fixe. Ce système nommé Deep Nostalgia a été développé par l’entreprise DI-D, une société spécialisée dans la reconstitution vidéo utilisant l’apprentissage profond, et cédé sous licence à MyHeritage.

Pour obtenir la séquence vidéo à partir de l’image fixe, MyHeritage explique que la photo à animer est dans un premier temps améliorée en augmentant la résolution du visage et en rendant la photo plus nette en utilisant l’outil MyHeritage Photo Enhancer. Une fois cette étape terminée, l’IA Deep Nostalgia prend le relais en appliquant à la photo un pilote parmi la palette de pilotes créées à l’avance par MyHeritage et qui peuvent être considérés comme des modèles de mouvements. Chaque pilote est en fait une vidéo constituée d’une séquence fixe de mouvements et de gestes.

Parmi le lot des pilotes préenregistrés, Deep Nostalgia choisit automatiquement la séquence à appliquer en fonction de l’orientation du visage. Selon MyHeritage, son IA peut appliquer très précisément des mouvements à un visage de votre photo fixe, créant ainsi une courte vidéo que vous pouvez partager avec vos amis et votre famille. Tout ce processus prend généralement 10 à 20 secondes pour être achevé. Et si l’animation obtenue ne vous satisfait pas, l’entreprise souligne qu’il est possible d’utiliser d’autres modèles d’animation disponibles sur son site web.

Cependant, précisons-le, il n’y a que le visage de la personne qui est animée dans la vidéo obtenue. La personne peut sourire, cligner des yeux et tourner la tête. Tout le corps de la personne reste statique. C’est pourquoi dans la vidéo obtenue le focus est mis sur le visage de la personne.

MyHeritage précise que cette fonctionnalité est destinée à une utilisation nostalgique, c’est-à-dire à ramener à la vie les ancêtres bien-aimés. Si vous êtes intéressé par l’outil Deep Nostalgia, il suffit de vous inscrire sur le site web de MyHeritage afin de pouvoir l’utiliser. Après avoir effectué l’inscription gratuite, vous pourrez animer jusqu’à cinq différentes photos. Si vous voulez allez au-delà de cette limite, il va falloir payer un abonnement pour animer plus de photos. Également, il convient de préciser que pour l’heure, le système ne permet pas d’animer plusieurs visages à la fois sur une même photo. Mais avec la technologie qui avance à grands pas, ce n’est qu’une question de temps pour que cela puisse être possible. Et qui sait, peut être que l’on pourra également animer tout le corps de la personne.

Vu les abus qui pourraient découler de l’usage de cet outil, l’entreprise explique que les vidéos obtenues n’incluent pas la parole. De même, elle recommande de ne pas l’utiliser sur des personnes sans leur permission ou de le faire avec des photos qui vous appartiennent. Mais le web étant ce qu’il est, il ne serait pas étonnant de voir des tiers utiliser cet outil pour fabriquer des vidéos deepfakes en faisant dire des choses que des personnes n’ont jamais dites. La vidéo ci-dessous montée par MyHeritage n’est qu’un aperçu ce que l’on pourrait faire avec cet outil.

Votre opinion

Que pensez-vous de cet outil ? Impressionnant ou pas ?

Avec les possibilités offertes par cet outil, devrait-on craindre son évolution ?

Voir aussi

Avatarify, un deepfake qui échange en temps réel votre visage avec celui d'une célébrité pendant les appels vidéo sur Zoom et Skype
Un sénateur propose un projet de loi prohibant l'utilisation de la technologie deepfake si elle venait à servir des buts frauduleux
Deepfake : l'app gratuite Zao vous permet de changer le visage d'un personnage de film par le votre après avoir téléchargé une photo
Facebook lance le Deepfake Detection Challenge, un concours avec plus de 10 millions de dollars à la clé visant à faire avancer la recherche en matière de lutte contre les contenus manipulés
Des deepfakes mettant en scène Vladimir Poutine et Kim Jong-un sont utilisés dans une campagne publicitaire politique, non pas pour perturber les élections, « mais protéger le droit de vote »

[Lily56]

Le résultat est juste sublime

[ijk-ref]

"IA Deep Nostalgia" Un nom aussi malhonnête que les fameux "hologrammes" de Mélenchon.

La techno derrière est la même que celle transformant notre visage en chien sur smartphone. Sauf qu'il y a une animation du model 3D texturé avec la photo. Ce qui a plus de 5 ans.

Rien avoir avec le "Deep Learning"

[tlt]

Tout simplement balèze.
Je pense qu'il y a du Reenactment + GAN dérrière.

[mmsarki]

"Derrière cette intelligence artificielle permettant à partir d’un portrait d’animer une vidéo se trouve une entreprise spécialisée dans l’analyse du génome qui propose des services illégaux en France."

Extrait de cet article...
https://www.lemonde.fr/pixels/articl...2_4408996.html

[Guim_]

Sont-ils les seuls à avoir sorti un tel usage ?

Je suis déjà tombé sur un site nommé motionportrait qui propose, me semble, la même chose.

[mach1974]

Bonjour,

pas de GAN juste du dlib avec du réseaux de neurones

[ijk-ref]

pas de GAN juste du dlib avec du réseaux de neurones

Oui dlib comme sur les applications qui nous rajoutent une langue et des oreilles de chien depuis longtemps

Pas du tout du réseaux de neurones pour l'animation du visage.

Par contre, il y en a évidemment dans la partie amélioration de photo : https://www.myheritage.fr/photo-enhancer (mais ce n'est pas le sujet de l'article)

L'animation de visage est donc quelque chose d'amusant mais n'est pas du tout l'aboutissement technique (deep learning) que certains ont l'air de croire.

Par comparaison avec le jeu d'échecs, on est plus proche du Turc mécanique (automate joueur d'échecs) que des premières versions de l'algorithme minimax.

C'est donc trompeur par rapport au sujet qui devrait être traité ici "Intelligence artificielle"