1 pièce(s) jointe(s)
Conférence NeurIPS AI : une IA de Nvidia se sert d'images réelles qu'elle convertit en paysage numérique
Conférence NeurIPS AI : une IA de Nvidia se sert d'images réelles qu'elle convertit en paysage numérique,
qui a pu être utilisé pour un jeu
Nvidia a publié les résultats d’une étude qui montre comment combiner les visuels générés par l'IA avec un moteur de jeu vidéo traditionnel. Le résultat est un système graphique hybride qui pourrait un jour être utilisé dans les jeux vidéo, la réalité virtuelle, voire même des films.
« C’est une nouvelle façon de faire des rendus de contenu vidéo en utilisant l’apprentissage en profondeur », a expliqué Bryan Catanzaro, vice-président de l’apprentissage en profondeur appliqué chez Nvidia. « De toute évidence, Nvidia s’intéresse beaucoup à la création d’images [et] nous réfléchissons à la manière dont l’IA va révolutionner le domaine ».
Ce dimanche, à la Conférence NeurIPS AI à Montréal, Nvidia a dévoilé son nouveau système d'intelligence artificielle, capable de créer automatiquement des environnements de jeu en 3D à partir de vidéos et de photos prises dans la vie réelle.
La technologie en est encore à ses débuts, mais dans une démonstration, les chercheurs de Nvidia ont montré que le système d'IA pouvait reconnaître les différents éléments d'une vidéo de rue, tels que les trottoirs, les voitures en stationnement et les bâtiments, et les redessiner dans un environnement urbain 3D.
La recherche en intelligence artificielle pourrait éventuellement rationaliser la manière dont les développeurs construisent leurs jeux en ajoutant un nouveau niveau d'automatisation au processus de construction du monde. « L'une des raisons pour lesquelles nous sommes si enthousiastes est qu'il est plus facile de créer du contenu et de l'ajouter à un monde virtuel » , a déclaré le vice-président de Nvidia, Bryan Catanzaro, aux journalistes dans la salle.
Par exemple, un développeur de jeux pourrait filmer Paris ou un stade et utiliser le système d’intelligence artificielle pour en créer rapidement un modèle virtuel. Le même modèle peut ensuite être édité ou modifié de la manière souhaitée par le développeur.
Le système d'intelligence artificielle peut également être appliqué aux avatars virtuels. Catanzaro a présenté un scénario dans lequel vous prenez un selfie et laissez le système d'IA le scanner pour recréer une version numérique photoréaliste de vous-même pour le jeu. Nvidia a montré comment cela pouvait fonctionner en utilisant le système d’IA pour créer une vidéo factice d’un chercheur de son entreprise exécutant la danse Gangnam Style. Les algorithmes ont été capables de le faire en capturant les poses d'un danseur réel, puis en mappant les mouvements sur des images du chercheur.
Quel en est le principe ?
Le système de Nvidia génère des graphiques en quelques étapes. Premièrement, les chercheurs doivent collecter des données de formation, qui dans ce cas ont été extraites de jeux de données open source utilisés pour la recherche sur la conduite autonome. Ces images sont ensuite segmentées, ce qui signifie que chaque image est divisée en différentes catégories : ciel, voitures, arbres, route, bâtiments, etc. Les chercheurs expliquent que différentes couleurs représentent différents objets
Une fois rendu à ce niveau, le système d'intelligence artificielle de Nvidia va utiliser des algorithmes baptisés GAN (generative adversarial networks), qui se sont révélé apte à synthétiser des images photoréalistes. Les GAN agissent en opposant deux réseaux de neurones pour atteindre un certain objectif. Dans ce cas, un réseau se concentre sur la création d'images réalistes, l'autre agit comme un « discriminateur » qui signale les mauvaises images.
Les missions concurrentes peuvent entraîner le système à intelligence artificielle à s’ajuster au fil du temps. Par exemple, les chercheurs de Nvidia ont réussi à former le système en 10 jours à la création de vidéos photoréalistes de scènes de rue à une résolution d’écran de 2K.
Ces données segmentées sont alors utilisées pour générer de nouvelles versions de ces objets.
Ensuite, les ingénieurs ont créé la topologie de base de l'environnement virtuel à l'aide d'un moteur de jeu traditionnel. Dans ce cas, le système était Unreal Engine 4, un moteur populaire utilisé pour des jeux tels que Fortnite, PUBG, Gears of War 4 et bien d’autres. En utilisant cet environnement comme framework, les algorithmes d’apprentissage approfondi génèrent ensuite les graphiques de chaque catégorie d’objet en temps réel, en les collant dans les modèles du moteur de jeu.
« La structure du monde est en train d'être créée traditionnellement », explique Catanzaro, « la seule chose que génère l'IA, ce sont les graphismes ». Il ajoute que la démonstration elle-même est basique et qu'elle a été réalisée par un seul ingénieur. « Il s’agit plus d’une preuve de concept que d’un jeu amusant à jouer ».
Source : Nvidia
Et vous ?
:fleche: Qu'en pensez-vous ?
Voir aussi :
:fleche: Nvidia publie un CA trimestriel inférieur aux attentes des analystes, l'entreprise est touchée par la baisse de la demande pour les cryptomonnaies
:fleche: NVIDIA dévoile RAPIDS, sa suite logicielle pour l'apprentissage automatique (pas forcément profond) sur carte graphique
:fleche: Sortie de CUDA 10, l'API de calcul sur processeur graphique de NVIDIA, avec la possibilité de définir ses calculs comme un graphe de dépendances
:fleche: Microsoft Azure prend en charge NVIDIA GPU Cloud pour les projets de Deep Learning et HPC, une solution qui permet d'exploiter la puissance des GPU
:fleche: NVIDIA dévoile ses GPU Turing avec une GeForce RTX 2080 Ti en tête d'affiche qui promet des performances record en matière de ray tracing et d'IA
