Des réseaux neuronaux aident à la conversion ascendante d'une célèbre vidéo de 1896 en qualité 4K
Des réseaux neuronaux aident à la conversion ascendante d'une célèbre vidéo de 1896 en qualité 4K,
le rendu est comparable à une vidéo actuelle prise par smartphone
Les réseaux neuronaux deviennent de plus en plus sophistiqués avec le temps. Ils permettent déjà aux scientifiques de reconstruire les pensées humaines à partir des ondes cérébrales en temps réel et de nombreuses autres choses encore. Récemment, un homme du nom de Denis Shiryaev s’est servi des réseaux de neurones pour mettre à l’échelle 4K un film de 1896 à l'aide des applications commerciales d'édition d'images Gigapixel AI et DAIN de Topaz Labs. Il a porté non seulement le métrage à 4K, mais aussi augmenté la fréquence d'images à 60 images par seconde.
Shiryaev a utilisé Gigapixel AI pour rendre le court métrage muet de 50 secondes « L'Arrivée d'un train en gare de La Ciotat » de 1896 au format 4K avec des images très réalistes. Le film original a une qualité très floue et une très basse résolution. Après son travail, le résultat obtenu par Shiryaev est surprenant. Sa nouvelle vidéo semble très bien répondre aux normes vidéo du XXIe siècle. Le logiciel Gigapixel AI utilise un algorithme d'interpolation propriétaire qui analyse l'image, reconnaît les détails et les structures et complète l'image.
Gigapixel AI arrive à rendre les images plus nettes et plus claires, même après qu'elles aient été agrandies de 600 %. DAIN, en revanche, imagine et insère des images entre les images clés d'un clip vidéo existant. Autrement dit, DAIN analyse et cartographie des clips vidéo, puis insère les images de remplissage générées entre les images existantes. C’est le même concept que la fonction de lissage de mouvement des téléviseurs 4K. Pour avoir le même résultat dans cette vidéo de 1896, Shiryaev a ajouté suffisamment d'images pour augmenter le taux à 60 FPS.
La version améliorée de « L'arrivée d'un train en gare de La Ciotat » de Shiryaev ressemble à un film récent tourné à l’aide d’un smartphone ou un GoPro. Même les personnes qui attendent sur le quai ressemblent aux reconstitutions historiques en costume que l'on trouve dans un village de pionniers. Cela dit, même si la vidéo est vraiment remarquable, elle n’est pas tout à fait réussie. Selon certains, l'effet n'est en aucun cas parfait.
Si on le passe en plein écran, on a l'impression que les objets du premier plan et l'intérieur des objets sont plutôt bien, mais si on regarde les bords des objets, ou des trucs en arrière-plan, les coutures se défont un peu. Néanmoins, ces derniers estiment que la technique de Shiryaev est très bien pensée et très prometteuse, puisqu’elle pourrait bien inspirer d’autres personnes amoureuses du cinéma muet. L'on pourrait aussi assister à une renaissance du cinéma muet grâce à la numérisation et à l'enrichissement de leurs stocks de films par l'IA.
Les algorithmes des réseaux neuronaux sont très puissants et sont améliorés chaque année. Les possibilités d’usage sont très nombreuses et le monde télévisuel pourrait bien être l’un des plus grands bénéficiaires. « Montrez au réseau neuronal une image à basse résolution d'un visage et il se rendra compte qu'il s'agit d'un visage et complétera les bons détails pour les yeux, le nez, ainsi que la bouche du sujet. Montrez au réseau neuronal un bâtiment en brique à basse résolution et il ajoutera un motif de brique approprié dans la version à haute résolution », explique Topaz Labs.
Il y a lieu de s’inquiéter quant aux mauvais usages que l’on peut en faire, mais la technologie peut aussi bien être un moyen d’utiliser l’IA pour actualiser le cinéma ancien et révolutionner l’industrie elle-même. En outre, la prochaine étape pour Shiryaev serait peut-être de colorier la vidéo. Les réseaux de neurones peuvent faire cela également, en utilisant la même technique de base. Il faut peut-être trouver un tas de photos en couleur, les convertir en noir et blanc, et ensuite former un réseau de neurones pour reconstruire les originaux en couleur.
Source : Vidéo
Et vous ?
:fleche: Qu'en pensez-vous ?
Voir aussi
:fleche: Un réseau neuronal reconstruit les pensées humaines à partir des ondes cérébrales en temps réel, ce qui améliorera les dispositifs de rééducation post-AVC, selon une nouvelle recherche
:fleche: DeepMind rend Sonnet open source, sa bibliothèque de réseau neuronal orientée objet qui facilite la création de réseaux neuronaux complexes
:fleche: Les réseaux neuronaux « n'apprennent pas vraiment », affirme un expert du domaine travaillant chez Intel
:fleche: Un sénateur propose un projet de loi prohibant l'utilisation de la technologie deepfake si elle venait à servir des buts frauduleux
:fleche: Facebook lance le Deepfake Detection Challenge, un concours avec plus de 10 millions de dollars à la clé, visant à faire avancer la recherche en matière de lutte contre les contenus manipulés
