IdentifiantMot de passe
Loading...
Mot de passe oublié ?Je m'inscris ! (gratuit)
Navigation

Inscrivez-vous gratuitement
pour pouvoir participer, suivre les réponses en temps réel, voter pour les messages, poser vos propres questions et recevoir la newsletter

Développement 2D, 3D et Jeux Discussion :

L'IA a le potentiel de remodeler radicalement les jeux vidéo, selon le chercheur principal en IA chez Nvidia


Sujet :

Développement 2D, 3D et Jeux

  1. #1
    Chroniqueur Actualités

    Homme Profil pro
    Administrateur de base de données
    Inscrit en
    Mars 2013
    Messages
    8 469
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : Canada

    Informations professionnelles :
    Activité : Administrateur de base de données

    Informations forums :
    Inscription : Mars 2013
    Messages : 8 469
    Points : 198 060
    Points
    198 060
    Par défaut L'IA a le potentiel de remodeler radicalement les jeux vidéo, selon le chercheur principal en IA chez Nvidia
    L'IA vous permet désormais d'avoir de vraies conversations avec les PNJ dans les jeux vidéo : le cas de Matrix Awakens.
    Cette évolution pourrait donner lieu à une multitude de scénarios possibles

    Les personnages non joueurs (PNJ) que vous rencontrez dans les jeux vidéo sont peut-être doués pour le combat ou pour vous donner des objets précieux, mais personne ne les a jamais accusés d’être de fins bavards. Certains se contentent de grogner ou de prononcer des réponses de deux mots. Même les PNJ les plus élaborés ne possèdent souvent que quelques lignes de dialogue préprogrammées, enregistrées par des acteurs de doublage humains, ce qui rend les personnages informatiques susceptibles de se répéter si vous leur parlez pendant plus d’une minute.

    L’IA améliore les compétences conversationnelles des PNJ. Depuis la sortie de ChatGPT d’OpenAI, les développeurs modifient les jeux existants pour y inclure des PNJ qui fusionnent ChatGPT avec une technologie de synthèse vocale pour générer un discours original et audible. Certains de ces mods proposent même aux joueurs de nouveaux scénarios, dont un dans l’univers de Grand Theft Auto V où vous incarnez un policier du Los Santos Police Department (LSPD).

    La voix, captée par le microphone, pourrait bientôt rendre les jeux vidéos beaucoup plus immersifs

    La voix IA pourrait être une évolution majeure dans la conception des jeux. Vous pouvez en avoir un aperçu grâce à une démo récemment publiée par Replica Studios qui présente une version modifiée du jeu Matrix Awakens qui vous permet d’utiliser votre propre microphone pour converser avec des PNJ dans les rues de la ville. La démo offre un aperçu maladroit mais fascinant de la façon dont la voix IA pourrait bientôt rendre les jeux vidéo beaucoup plus immersifs, en permettant aux studios de jeux de développer l’interactivité sociale des mondes virtuels d’une manière qui aurait été pratiquement impossible avec des acteurs de doublage humains.

    Nom : replica.png
Affichages : 2451
Taille : 659,5 Ko

    Citation Envoyé par Replica Studios
    Chez Replica, nous pensons que la technologie AI Voice a le potentiel d'éliminer les goulots d'étranglement critiques dans le développement de jeux narratifs lourds, permettant aux studios de raconter des histoires toujours plus grandes et plus immersives.

    En discutant et en travaillant avec certains des studios et des franchises de jeux les plus prospères d'aujourd'hui, nous avons découvert un problème intéressant que beaucoup d'entre eux ont en commun.

    Bien que bon nombre de ces studios disposent de budgets de production alléchants et d'énormes équipes de personnes pour coordonner le doublage, ils atteignent une limite supérieure sur le nombre de personnages et de lignes de dialogue qu'ils peuvent livrer dans les jeux vidéo.

    La raison en est que la complexité croît de façon exponentielle avec l'échelle. Lorsque vous considérez des jeux qui ont plusieurs centaines de personnages PNJ, où chaque PNJ nécessite un doubleur pour interpréter les lignes, un réalisateur pour le coaching de performance en direct, les changements de script potentiels et les reprises, le mastering et les effets sonores, le doublage et la localisation, puis l'animation, les effets spéciaux, effets visuels, etc*; l'effort impliqué dans la coordination de ce projet massif dans un laps de temps limité est énorme.

    Il est évident que le système actuel consistant à peupler les jeux vidéo de personnages et à créer une immersion par le biais de la narration ne s'adapte pas facilement. Nous voyons le potentiel de l'IA pour résoudre bon nombre de ces défis, permettant même aux petites équipes de rêver grand et d'adapter leurs jeux à des aventures épiques.

    *Nous sommes ravis de vous présenter les PNJ intelligents alimentés par l'IA de Replica Studios pour Unreal Engine. Considérez cela comme une partie du travail fondamental que nous effectuons pour aider les studios de jeux à faire évoluer facilement leurs jeux avec des PNJ alimentés par l'IA entièrement exprimés et animés.

    Pour donner aux PNJ des capacités conversationnelles, le système Smart NPCs de Replica fusionne ChatGPT avec une technologie de synthèse vocale. Le logiciel, qui fonctionne sur Unreal Engine 5, synchronise également automatiquement les mouvements des lèvres et du corps des personnages avec leur discours. Du côté manuel, les développeurs peuvent personnaliser chaque personnage pour qu’il ait une voix, une histoire et un ensemble de dispositions et de motivations émotionnelles uniques - un processus qui détermine non seulement ce que les personnages vous disent, mais aussi ce qu’ils se disent entre eux.

    Un testeur raconte son aventure avec

    Lorsque j’ai essayé la démo, je n’ai pas entendu les PNJ converser entre eux, mais j’ai eu quelques conversations qui offrent un aperçu de la qualité actuelle de la technologie. Chaque personnage auquel j’ai parlé était disposé à avoir une sorte de conversation, et ils étaient même capables de se souvenir des sujets passés dont nous avions discuté lorsque je les ai croisé quelques minutes avant. Mais tous les PNJ ne semblaient pas enthousiastes à l’idée de parler. À un coin de rue, j’ai demandé à une femme comment elle s’appelait et elle a répondu : « Je m’appelle Chelsie, et je viens d’un monde de déception ». Je lui ai demandé si elle savait qu’elle était dans un jeu informatique. « Je ne sais pas ce que je suis ni où je suis. Rien n’a plus de sens ».

    C’est compréhensible : elle est coincée dans la Matrice, après tout. J’ai essayé de voir si les personnages avaient reçu pour instruction d’éviter de briser le quatrième mur en ne parlant jamais de la célèbre série de films sur laquelle le jeu est basé. Quelques personnages sous-entendaient n'avoir aucune connaissance des films. Mais ensuite, j'ai demandé à un personnage de nommer un film de science-fiction de 1999 : Elle a proposé The Matrix, en disant que c'était l'un de ses films préférés de tous les temps.

    Pour tester les limites de la connaissance que les personnages ont d'eux-mêmes, j'ai demandé à un homme vêtu d'un costume gris de quelle couleur étaient ses vêtements. Il a dit qu'il portait une chemise arc-en-ciel. Quand je lui ai dit que c'était faux, il a dit qu'il devait rêver.

    Une nouvelle ère de jeux indépendants

    Le projet Matrix Awakens de Replica était une démo, il est donc probable que les futurs jeux utilisant des systèmes vocaux d'IA seraient en mesure d'affiner les PNJ pour que leur discours s'aligne plus étroitement sur la réalité du monde du jeu. Pourtant, ces hoquets soulèvent des questions sur les PNJ "jailbreakés" dans les futurs jeux*: étant donné que les jailbreakers ont déjà fait parler ChatGPT et GPT-4 d'une manière que leurs développeurs n'avaient jamais prévue, il reste une question ouverte de savoir si les joueurs créatifs seront en mesure d'obtenir des PNJ. dire – ou même faire – des choses tout aussi surprenantes.

    En termes de construction de mondes massifs et socialement immersifs, les systèmes vocaux d'IA pourraient bientôt permettre aux studios de jeux indépendants de rivaliser plus facilement avec les grands noms de l'industrie. Les jeux créés par de grandes entreprises (souvent appelées studios AAA) peuvent comporter des dizaines de milliers de lignes de dialogue. Par exemple, Red Dead Redemption 2 de Rockstar Games, qui avait un budget estimé à plus de 500 millions de dollars, contient 500 000 lignes de dialogue enregistrées parlées par plus de 1 000 acteurs de la voix.

    En utilisant l'IA, les studios indépendants pourraient atteindre ce genre de quantité à un prix abordable. La qualité est une question distincte. Les acteurs professionnels de la voix humaine surpassent toujours les systèmes de synthèse vocale en termes de son naturel, émotif et convaincant. Mais les joueurs ne se soucient peut-être pas beaucoup du réalisme du discours des PNJ. Après tout, les jeux indépendants deviennent de plus en plus populaires même s'ils manquent généralement du genre de graphismes hyperréalistes que l'on voit dans les jeux AAA.

    Pour tirer le meilleur parti des deux mondes, les développeurs peuvent également opter pour un mélange de dialogues générés par l'IA et d'acteurs vocaux, comme l'a écrit Replica Studios dans un article de blog.

    Conclusion

    La plus grande évolution que l'IA vocale pourrait apporter aux jeux - qu'ils soient indépendants ou AAA - réside sans doute dans l'histoire. Les jeux d'aujourd'hui utilisent souvent des astuces sophistiquées pour donner aux joueurs l'illusion qu'ils contrôlent leur destin, comme les systèmes de karma qui suivent votre comportement et vous donnent une réputation qui influence la façon dont les PNJ interagissent avec vous. Ces astuces peuvent changer le scénario et déclencher certaines lignes de dialogue avec les PNJ, mais en réalité, cette stratégie de «*narration ramifiée*» ne permet aux joueurs de choisir qu'à partir d'un petit lot de destins prédéterminés.

    L'IA pourrait un jour permettre des scénarios de jeu beaucoup moins linéaires, libérant potentiellement les joueurs pour créer des récits dont les développeurs n'ont jamais rêvé.

    Téléchargez et installez la démo jouable avec REPLICA Smart NPCs dans le projet Matrix Awakens

    Source : Replica Studio

    Et vous ?

    Que pensez-vous de la démo de Replica Studios qui permet de converser avec les PNJ dans le jeu Matrix Awakens ?
    Quels sont les avantages et les inconvénients de l’utilisation de l’IA pour générer des dialogues dans les jeux vidéo ?
    Quels sont les défis techniques que pose l’IA conversationnelle dans le domaine du jeu vidéo ?
    Quels sont les jeux vidéo que vous aimeriez voir modifiés avec l’IA conversationnelle ?
    Quelles sont les compétences ou les connaissances nécessaires pour créer des mods avec l’IA conversationnelle ?
    Contribuez au club : Corrections, suggestions, critiques, ... : Contactez le service news et Rédigez des actualités

  2. #2
    Expert éminent Avatar de kain_tn
    Homme Profil pro
    Inscrit en
    Mars 2005
    Messages
    1 565
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : Suisse

    Informations forums :
    Inscription : Mars 2005
    Messages : 1 565
    Points : 7 295
    Points
    7 295
    Par défaut
    Citation Envoyé par Stéphane le calme Voir le message
    L'IA pourrait un jour permettre des scénarios de jeu beaucoup moins linéaires, libérant potentiellement les joueurs pour créer des récits dont les développeurs n'ont jamais rêvé.
    Oulà, non. Si on parle bien d'IA génératives, elles ne peuvent que reproduire à l'infini des croisements de ce qui a déjà été fait et imaginé par des humains ou d'autres IA.

    Citation Envoyé par Stéphane le calme Voir le message
    Que pensez-vous de la démo de Replica Studios qui permet de converser avec les PNJ dans le jeu Matrix Awakens ?
    Ça a déjà été fait il y a quelques mois par un modeur de Skyrim: https://hothardware.com/news/chatgpt...-generative-ai

    Je dois dire que c'est l'usage le moins inquiétant que je vois de ces IA génératives (sauf pour le coup du microphone. Encore et toujours de la fichue collecte biométrique), pour le moment. Même si les gros éditeurs vont sans doute essayer d'en abuser et d'en mettre à toutes les sauces pour faire des économies.
    Copier c'est copier; voler c'est vendre un CD une vingtaine d'euros!


    Code C : Sélectionner tout - Visualiser dans une fenêtre à part
    1
    2
    3
    4
    5
    6
    7
    #include <stdio.h>
     
    int main(int argc, char **argv) {
     
        printf("So long, and thanks for the fish, Dennis...\n");
        return 0;
    }

  3. #3
    Membre émérite
    Profil pro
    Inscrit en
    Juin 2009
    Messages
    909
    Détails du profil
    Informations personnelles :
    Localisation : France

    Informations forums :
    Inscription : Juin 2009
    Messages : 909
    Points : 2 820
    Points
    2 820
    Par défaut
    Comme tous les nouveaux outils, beaucoup vont essuyer des platres s'ils se lancent dedans très tôt. Pour les joueurs de jeu vidés, penser au passage de la 2D à la 3D

  4. #4
    Chroniqueur Actualités

    Homme Profil pro
    Rédacteur technique
    Inscrit en
    Juin 2023
    Messages
    543
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : Bénin

    Informations professionnelles :
    Activité : Rédacteur technique
    Secteur : High Tech - Éditeur de logiciels

    Informations forums :
    Inscription : Juin 2023
    Messages : 543
    Points : 9 917
    Points
    9 917
    Par défaut L'IA a le potentiel de remodeler radicalement les jeux vidéo, selon le chercheur principal en IA chez Nvidia
    « Avant d'avoir un million de robots dans le monde physique, nous verrons d'abord un milliard d'agents incarnés dans les univers virtuels »
    affirme un scientifique de Nvidia

    Jim Fan, chercheur principal chez Nvidia, pense que l'IA a le potentiel de remodeler radicalement les jeux vidéo. Il estime que les progrès rapides dans le domaine de l'IA ouvrent une nouvelle frontière pour les jeux vidéo : des mondes ouverts à l'infini, un contenu unique, un dialogue dynamique avec les personnages non joueurs (PNJ) et la possibilité d'accélérer le développement des jeux. Il a ajouté que l'IA et les jeux sont nés l'un pour l'autre et que leur mariage heureux ne fait que commencer. Nvidia a présenté au début de l'année une plateforme d'IA appelée "Avatar Cloud Engine for Games" qui permet aux joueurs de converser avec les personnages non jouables.

    Jim Fan est chercheur en IA et ses recherches portent sur les modèles multimodaux de base, l'apprentissage par renforcement, la vision par ordinateur et les systèmes à grande échelle. Il est chercheur principal chez Nvidia et responsable de l'initiative de l'entreprise sur les agents d'IA. Il a déclaré que sa mission consiste à construire des agents habiles et compétents dans les mondes physiques (robotique) et virtuels (jeux, simulation). Il a obtenu un doctorat au Stanford Vision Lab et a effectué un stage à l'OpenAI (avec Ilya Sutskever et Andrej Karpathy), mais également au Baidu AI Labs et à l'Institut québécois d'IA (MILA) fondée par Yoshua Bengio.

    Fan est convaincu que les récents progrès dans le domaine de l'IA, notamment les grands modèles de langage (LLM) et l'IA générative, permettront aux jeux vidéo d'entrer dans une nouvelle ère. Il a été le fer de lance de Voyager (le premier agent d'IA qui joue à Minecraft de manière efficace et développe ses capacités en permanence), MineDojo (un agent ouvert qui apprend en regardant des centaines de milliers de vidéos Minecraft sur YouTube), Eureka (une main de robot à cinq doigts qui effectue des tâches extrêmement dextres comme tourner un stylo) et VIMA (l'un des premiers modèles multimodaux de base pour la manipulation des robots).

    Dans un billet publié jeudi sur X, Fan a déclaré que 2024 sera un point d'inflexion pour l'industrie du jeu vidéo. Il affirme que les efforts en cours pour intégrer les LLM aux jeux vidéo transformeront l'industrie une fois pour toutes et rendront les personnages non jouables "vivants", et que ces derniers interagiront de manière beaucoup plus fluide et cohérente avec les humains. Voici ci-dessous les prédictions de Fan pour 2024 et sur l'avenir du jeu vidéo :

    Citation Envoyé par Jim Fan

    Avant d'avoir un million de robots dans le monde physique, nous verrons d'abord un milliard d'agents incarnés dans les mondes virtuels. Le jeu est le deuxième grand domaine auquel je me consacrerai en 2024. L'IA et les jeux sont nés l'un pour l'autre, et leur mariage heureux ne fait que commencer.

    D'une part, les jeux ouverts constituent une "soupe primordiale" pour l'émergence d'une IA généraliste. Les capacités d'un agent sont limitées par la complexité du monde dans lequel il vit. Minecraft en est un excellent exemple. En 2023, nous avons assisté à une explosion de nouveaux algorithmes rendus possibles par Minecraft. Pour n'en citer que quelques-uns :

    - MineCLIP (issu du framework open source MineDojo de notre équipe) : apprendre les fonctions de récompense en regardant 100 000 vidéos de jouabilité (gameplay) sur YouTube.
    - VPT (OpenAI) : imite le comportement en pseudo-étiquetant des actions sur YouTube.
    - Voyager : apprentissage tout au long de la vie en contexte avec une bibliothèque de compétences explicite de code.
    - STEVE-1 : guide l'acteur pour qu'il suive des commandes dans l'espace latent de MineCLIP, inspiré par DALLE-2.
    - Et bien d'autres encore : DEPS, Jarvis-1, DreamerV3…

    Outre Minecraft, il existe de nombreux autres jeux qui requièrent une perception, une agilité, une exploration, un raisonnement et une planification extrêmement avancés. Nous ne faisons qu'effleurer la surface.

    Je pense que les jeux (et la simulation en général) fourniront les prochains billions de jetons de haute qualité pour entraîner nos modèles de base. Ce qui est génial, c'est que ces jetons sont activement sélectionnés par l'agent lui-même par le biais de l'exploration. Il peut choisir d'expérimenter des choses qui réduisent au maximum ses incertitudes internes - un peu comme la curiosité humaine.

    D'autre part, l'IA entraînera un changement de paradigme dans le secteur des jeux. Cette année, nous constatons un regain d'intérêt de la part de la communauté pour Stanford Smallville, où 25 agents d'IA habitent une ville numérique. Ils vont au travail, cancanent, organisent des activités sociales, se font de nouveaux amis et tombent même amoureux.

    C'est une expérience passionnante, mais nous n'avons pas encore ressenti d'impact sur les jeux réels. C'est parce que nos LLM sont trop ennuyeux et trop chers. Si vous jetez un coup d'œil au journal de discussion de Smallville, vous constaterez que les conversations ne sont pas du tout amusantes. Aucun parent ne parle à ses enfants de manière aussi polie. L'économie d'unité que représente le déploiement d'un si grand nombre d'agents n'a pas non plus de sens à l'échelle.

    Ceci étant dit, je pense que 2024 est un point d'inflexion. Le monde numérique de Westworld arrive et va transformer l'industrie une fois pour toutes. Les jeux seront vraiment vivants. Les personnages interagiront avec les humains et entre eux, noueront des relations, entreprendront des actions cohérentes tout au long de leur vie et réagiront de manière humaine. Chaque jeu aura une valeur de relecture infinie et chaque joueur vivra une expérience unique et personnalisée.
    Les PNJ ont généralement un modèle de comportement fixe, et leurs manières et leur discours sont guindés et peu naturels. Toutefois, Fan estime que l'IA génératrice aidera les développeurs de jeux vidéo à créer une plus grande variété de dialogues originaux pour les PNJ. Certains éditeurs utilisent déjà l'IA générative dans les PNJ pour rendre les conversations plus réalistes. La société de jeux chinoise NetEase utilise ChatGPT pour générer le dialogue des PNJ dans son jeu mobile "Justice", tandis que Replica Studios, une société australienne d'IA, a récemment introduit des "PNJ intelligents piloté par l'IA" pour le géant des moteurs de jeux Unreal Engine.


    Cela permet aux développeurs de jeux d'utiliser l'IA pour lire le dialogue des PNJ, plutôt que d'embaucher un comédien humain pour la voix. Toutefois, Julian Togelius, professeur associé à l'université de New York, a déclaré que l'utilisation de PNJ générés par l'IA comporte un risque : les éditeurs de jeux pourraient perdre le contrôle de la narration du jeu. Togelius mène des recherches sur l'IA et les jeux à l'université de New York. Il affirme : « les PNJ peuvent dire des choses qui brisent le jeu, qui sont impolies ou qui rompent l'immersion ». Il a également déclaré que la création de PNJ pilotés par l'IA pourrait s'avérer plus compliquée qu'on ne le pense.

    Selon lui, créer de "bons" PNJ générés par l'IA qui aident le joueur est également beaucoup plus difficile que de créer des ennemis qui se battent contre vous. « Nous n'avons pas vu beaucoup d'avancées dans l'IA qui anime les autres personnages des jeux, qui essaie de modéliser le joueur ou qui essaie de générer le monde. Nous allons donc voir beaucoup de progrès dans ces directions », a-t-il déclaré. En outre, certains critiques affirment que l'intégration de l'IA générative dans les jeux vidéo pourrait avoir un impact négatif sur une grande partie des jeux multijoueurs, en rendant les niveaux injouables ou en s'écartant du scénario du jeu.

    Les jeux à monde ouvert, comme "Grand Theft Auto", "Skyrim" et "Elden Ring", abordent la jouabilité avec des quêtes et des histoires non linéaires. L'IA générative a donc le potentiel de remodeler l'expérience de jeu. Togelius imagine un "immense jeu ouvert" avec des possibilités infinies, de nouvelles villes, de nouvelles personnes et de nouveaux paysages, chacun avec sa propre histoire et ses propres éléments interactifs. Selon lui, en utilisant les données recueillies sur le joueur lors des parties précédentes, l'IA générative pourrait être en mesure de créer des scénarios uniques et des quêtes sur mesure pour les joueurs situés au bon niveau.

    Cependant, si les développeurs gardent le contrôle sur le contenu généré de manière procédurale, l'IA générative a le potentiel de développer des niveaux injouables ou de s'écarter de manière involontaire de la narration du jeu. « Les jeux ont des contraintes fonctionnelles : les niveaux doivent pouvoir être complétés et les PNJ ne doivent pas mentir dans l'univers du jeu », affirme Togelius. Selon d'autres critiques, l'hallucination des modèles d'IA pourrait également constituer un véritable casse-tête pour les développeurs de jeux vidéo. Cela pourrait pousser les PNJ à s'écarter du scénario du jeu et contribuer ainsi à dégrader l'expérience du joueur.

    Source : Jim Fan

    Et vous ?

    Quel est votre avis sur le sujet ?
    Que pensez-vous de l'intégration de l'IA générative dans les jeux vidéo ?
    Selon vous, quels sont les risques liés à l'intégration de l'IA générative dans les jeux vidéo ?

    Voir aussi

    Nvidia présente une plateforme d'IA appelée "Avatar Cloud Engine for Games" qui permet aux joueurs de converser avec les personnages non jouables

    L'IA vous permet désormais d'avoir de vraies conversations avec les PNJ dans les jeux vidéo : le cas de Matrix Awakens. Cette évolution pourrait donner lieu à une multitude de scénarios possibles

    La révolution de l'IA générative dans l'industrie des jeux : une voie vers une créativité sans limites, avec 20 % des professionnels envisageant une réduction des coûts

Discussions similaires

  1. Dans les jeux vidéo êtes vous complétionniste ?
    Par LittleWhite dans le forum Jeux
    Réponses: 18
    Dernier message: 12/11/2020, 03h15
  2. Réponses: 11
    Dernier message: 30/10/2019, 12h06
  3. Réponses: 175
    Dernier message: 12/03/2019, 12h53
  4. Les jeux vidéo vous rendent-ils plus intelligents ?
    Par LittleWhite dans le forum Développement 2D, 3D et Jeux
    Réponses: 11
    Dernier message: 27/01/2014, 17h38
  5. Avez vous un plugin pour avoir des ombres
    Par pierrot10 dans le forum jQuery
    Réponses: 1
    Dernier message: 05/09/2011, 15h00

Partager

Partager
  • Envoyer la discussion sur Viadeo
  • Envoyer la discussion sur Twitter
  • Envoyer la discussion sur Google
  • Envoyer la discussion sur Facebook
  • Envoyer la discussion sur Digg
  • Envoyer la discussion sur Delicious
  • Envoyer la discussion sur MySpace
  • Envoyer la discussion sur Yahoo