Discussion :

[Bill Fassinou]

Nvidia présente une plateforme d'IA appelée "Avatar Cloud Engine for Games" qui permet aux joueurs de converser avec les personnages non jouables

Nvidia vient de présenter les capacités de sa nouvelle plateforme "Avatar Cloud Engine (ACE) for Games" et l'une d'elles a particulièrement attiré l'attention : la plateforme tire parti de l'IA pour permettre aux joueurs de parler naturellement aux personnages non jouables (PNJ) et de recevoir des réponses appropriées. La société a révélé cette technologie lors de l'événement Computex 2023, en montrant une démo appelée Kairos avec un joueur (humain) parlant à un PNJ nommé Jin dans un magasin de Ramen à l'allure dystopique. Lors de l'événement, Nvidia a présenté la démo comme un aperçu de ce que pourrait être la collision entre les jeux vidéo et l'IA.

Depuis la récente percée des grands modèles de langage (LLM), des tentatives ont été faites pour utiliser de tels systèmes d'IA dans les jeux vidéo afin de permettre un dialogue dynamique avec les personnages non-joueurs (PNJ). Nvidia vient de présenter une tentative réussie d'un projet visant à créer un dialogue avec un PNJ. Lors de l'événement Computex 2023, Jensen Huang, PDG de Nvidia, a dévoilé "Avatar Cloud Engine (ACE) for Games". Il s'agit d'un service de fonderie de modèles d'IA, conçu pour donner vie aux personnages des jeux en utilisant des capacités de conversation en langage naturel, d'expression audio-faciale et de synthèse vocale / parole-texte.

Huang a montré une démo de jeu dans laquelle un PNJ nommé Jin, qui tient un magasin de nouilles Ramen, interagit avec un joueur humain qui lui pose des questions vocales et obtient des réponses acceptables qui correspondent à l'histoire du PNJ. Dans la démo, le joueur (appelé Kai) entre dans la boutique de Ramen de Jin, lui demande comment il va (en voix) et discute du fait que le quartier a un taux de criminalité élevé. Kai lui demande s'il peut l'aider et Jin lui répond : « si vous voulez faire quelque chose, j'ai entendu des rumeurs selon lesquelles le puissant seigneur du crime Kumon Aoki est à l'origine de toutes sortes de chaos dans la ville ».

Jin a ajouté qu'il pense qu'Aoki est probablement à l'origine de cette violence. Kai demande où trouver Aoki et Jin le lui indique, ce qui met l'utilisateur sur la voie de la recherche. « L'IA contribuera non seulement à la redéfinition et à la synthèse de l'environnement, mais aussi à l'animation des personnages. L'IA jouera un rôle très important dans l'avenir des jeux vidéo », a déclaré le PDG de Nvidia. Huang s'est montré très optimiste en ce qui concerne les derniers développements de Nvidia en matière d'IA, notamment d'IA générative. Selon le magnat des affaires, cette démo constitue un aperçu de ce que pourrait être la collision entre les jeux et l'IA.

Nvidia ACE se compose de trois éléments distincts : NeMo, Riva et Omniverse Audio2Face. NeMo fournit de grands modèles de langage que les développeurs peuvent personnaliser avec des données sur l'histoire et les dialogues. Riva peut reconnaître la parole et convertir le texte en audio, ce qui permet des conversations en direct avec NeMo. Audio2Face convertit la sortie audio de Riva en animations faciales qui peuvent être utilisées, par exemple, pour contrôler les personnages MetaHuman dans Unreal Engine 5 via les liens Omniverse. Comme on pouvait s'y attendre, la voix de l'IA est guindée, mais la faible latence dans la démo est frappante.

Cependant, les détails sur le modèle de langage et le matériel en arrière-plan ne sont pas disponibles. Nvidia NeMo comprend Guardrails, qui est conçu pour empêcher les conversations d'IA inappropriées ou "dangereuses". On peut supposer que cela empêcherait les PNJ de répondre à des questions inappropriées et hors sujet posées par les utilisateurs. Guardrails dispose également d'une sécurité qui devrait empêcher les utilisateurs ou les injecteurs d'invites potentiels de "jailbreaker" les chatbots et de leur faire faire de mauvaises choses. Pour le moment, l'entreprise n'a pas donné plus de détails sur les différents composants de la plateforme ACE.

La démo a été réalisée par Nvidia et son partenaire Convai afin de promouvoir les outils utilisés pour la créer. « Avec Nvidia ACE for Games, les outils de Convai peuvent atteindre la latence et la qualité nécessaires pour rendre les personnages IA non jouables accessibles à presque tous les développeurs de façon rentable », a expliqué Purnendu Mukherjee, fondateur et PDG de Convai. Bien sûr, la démo n'utilise pas seulement ces outils. Elle est construite dans Unreal Engine 5, le moteur de jeu vidéo développé par Epic Game, avec des tonnes de ray-tracing. Selon Nvidia, les modèles d'IA qui composent ACE varient en taille, en performance et en qualité.

« Le service de fonderie ACE for Games aidera les développeurs à affiner les modèles pour leurs jeux, puis à les déployer via Nvidia DGX Cloud, les PC GeForce RTX ou sur site pour l'inférence en temps réel. Les modèles sont optimisés pour la latence, une "exigence critique pour des interactions immersives et réactives dans les jeux », a déclaré l'entreprise. Selon les analystes, il n'est pas certain qu'un développeur adopte l'ensemble de la boîte à outils ACE comme le fait la démo. GSC Game World est l'un des premiers studios de développement à utiliser au moins un des outils d'ACE : Audio2Face sera utilisé dans "S.T.A.L.K.E.R. 2 : Heart of Chernobyl".

Cependant, les histoires générées par l'IA ne seront pas racontées par les PNJ autour du feu de camp pour le moment. La société propose une vidéo explicative sur le fonctionnement et les possibilités de ses outils. Dans cette vidéo, on peut voir des joueurs parler (poser des questions) à des PNJ et leur demander de faire des choses qui impliquent des objets réels et d'autres personnages du jeu. Par exemple, dans la vidéo, un joueur demande à un PNJ de lui remettre un pistolet posé sur une table et le PNJ s'exécute. Dans une autre partie de la vidéo, le joueur demande à un PNJ (un soldat) de tirer sur une cible située à un endroit précis.

La vidéo montre également comment les outils de Convai rendent tout cela possible. En somme, les images de la démo sont plus convaincantes que les dialogues de l'IA, même s'il est facile de voir comment cette dernière pourrait être énormément améliorée. Outre ACE for Games, Nvidia a annoncé un certain nombre d'autres collaborations et produits, notamment le supercalculateur DGX GH200 AI, doté de 256 puces Grace Hopper totalisant 144 téraoctets de mémoire et offrant des performances exaflopiques en matière d'IA. Selon Nvidia, le DGX GH200 GPT-3 est 2,2 fois plus rapide qu'un cluster DGX H100.

Sources : Présentation du PDG de Nvidia, Jensen Huang, lors du salon Computex 2023 à Taipei, Nvidia

Et vous ?

Quel est votre avis sur le sujet ?
Quels commentaires faites-vous sur la démo de "Nvidia Avatar Cloud Engine (ACE) for Games" ?
Quelles sont les implications potentielles de cette plateforme pour les développeurs et les studios de jeux vidéo ?

Voir aussi

Le PDG de Nvidia, Jensen Huang, affirme que ceux qui n'ont pas d'expertise en matière d'IA seront laissés pour compte, et ajoute que l'IA est en bonne voie pour réinventer l'informatique de A à Z

La version 5.0 de PhysX, le moteur physique de Nvidia, est maintenant disponible en open source, le dépôt GitHub du projet comprend également le code source de Flow 2.0

Les actions de Nvidia s'envolent de près de 30 % en raison de l'augmentation des prévisions de ventes et de l'essor de l'IA, portant sa valeur boursière à plus de 950 milliards de dollars

Conférence NVIDIA GTC : les annonces phares concernant l'IA générative et le cloud, le métavers, les grands modèles de langage et les différents partenariats avec Microsoft, Google, Oracle et AWS

[Mathis Lucas]

Nvidia déploiera cette année des « personnages autonomes » qui agissent comme des coéquipiers pilotés par l'IA dans les jeux vidéo
et aident les joueurs à trouver des butins et à remplir leurs missions

Nvidia a annoncé au CES 2025 qu'il prévoit de lancer dans le courant de l'année sa plateforme « NVIDIA ACE ». Cette dernière permet de créer des personnages autonomes qui se comportent comme de véritables coéquipiers dans les jeux vidéo. Ces personnages utilisent l'IA générative pour percevoir, planifier et agir comme des joueurs humains. Vos coéquipiers seront plus à même de comprendre ce que vous essayez d'accomplir, tandis que vos adversaires s'adapteront de manière plus dynamique à vos tactiques pour survivre. Nvidia annonce s'être associé aux développeurs de jeux pour intégrer les personnages autonomes d'ACE dans leurs titres.

Nvidia veut introduire des coéquipiers plus intelligents dans les jeux vidéo

Les personnages non jouables (PNJ) suivent traditionnellement des « règles » strictes conçues pour imiter l'intelligence, adhérer à une histoire guidée et fournir une interaction scénarisée avec le joueur. Mais avec l'essor des grands modèles de langage (LLM), Nvidia affirme que l'IA des jeux est prête à subir une véritable refonte intelligente. En d'autres termes, Nvidia veut introduire des personnages autonomes plus serviables utilisant la puissance de l'IA.

Le fabricant de puces compte y arriver avec sa nouvelle plateforme « NVIDIA ACE ». Présentée pour la première fois en 2023, NVIDIA ACE est une suite de technologies humaines numériques accélérées par RTX (Ray Tracing Texel eXtreme) qui donnent vie aux PNJ grâce à l'IA générative. Nvidia étend maintenant ACE des PNJ conversationnels aux personnages de jeu autonomes qui utilisent l'IA pour percevoir, planifier et agir comme des joueurs humains.

Propulsé par l'IA générative, NVIDIA ACE permettra des mondes de jeu vivants et dynamiques avec des compagnons qui comprennent et soutiennent les objectifs des joueurs, et des ennemis qui s'adaptent dynamiquement aux tactiques des joueurs.

Les personnages sont dotés de « petits modèles de langage (SLM) » qui sont capables de planifier à des fréquences similaires à celles des humains, nécessaires à une prise de décision réaliste, ainsi que de SLM multimodaux pour la vision et l'audio qui permettent aux personnages IA d'entendre des signaux audio et de percevoir leur environnement.

Nvidia a annoncé qu'il s'est associé aux développeurs de jeux pour intégrer les personnages autonomes d'ACE dans leurs titres. « Interagissez avec des joueurs et des compagnons dotés d'une IA humaine dans PUBG: BATTLEGROUNDS, inZOI et NARAKA: BLADEPOINT MOBILE PC VERSION. Combattez des boss dotés d'une IA qui apprend en permanence et s'adapte à votre style de jeu dans MIR5 », a écrit le fabricant de puces dans un billet de blogue.

Pour ce qui est du fonctionnement dans PUBG, vous pourrez faire équipe avec le « PUBG Ally », que Nvidia et l'éditeur de PUBG, Krafton, appellent le « premier personnage cojouable (CPC) au monde ». Il pourra communiquer en utilisant le jargon propre au jeu, fournir des recommandations stratégiques en temps réel, trouver et partager du butin, conduire des véhicules et combattre d'autres joueurs humains en utilisant le vaste arsenal d'armes du jeu ».

En gros, il s'agit d'un coéquipier piloté par l'IA à qui l'on peut parler en langage naturel et qui est censé être aussi capable qu'un humain. Une vidéo montre le « PUBG Ally » en train d'aider un joueur à trouver un butin spécifique, d'apporter un véhicule et d'essayer de flanquer les joueurs adverses.

Toutefois, la vidéo est fortement éditée et n'est pas en direct. Il ne s'agit que d'une démonstration de faisabilité et d'un scénario très élaboré, nous ne savons donc pas comment cela se passera dans les jeux réels, mais il pourrait s'agir d'une utilisation réellement intéressante de l'IA dans les jeux.

Nvidia convaincu que sa technologie ACE va révolutionner les jeux vidéo

Le PDG de Nvidia, Jensen Huang, a dévoilé la plateforme « Avatar Cloud Engine (ACE) for Games » lors de l'événement Computex 2023 de l'entreprise. NVIDIA ACE est un service de fonderie de modèles d'IA conçu pour donner vie aux personnages des jeux en utilisant des capacités de conversation en langage naturel, d'expression audio-faciale et de synthèse vocale / parole-texte. Nvidia a déclaré avoir passé les derniers mois à améliorer la technologie.

De nombreux jeux tireront parti de cette nouvelle technologie, notamment le jeu de bataille royale PUBG, qui introduit le concept de personnage jouable en coopération (Co-Playable Character - CPC) avec PUBG Ally. Pilotés par un petit modèle de langage Mistral, ces coéquipiers d'IA pourront utiliser le jargon propre au jeu, fournir des recommandations utiles en temps réel, trouver et partager du butin, conduire des véhicules et combattre d'autres joueurs.

« Les coéquipiers d'IA propulsés par NVIDIA ACE peuvent rejoindre votre groupe, combattre à vos côtés, vous trouver des objets spécifiques dont vous avez besoin, échanger des équipements, vous suggérer des compétences à débloquer et faire des jeux qui vous aideront à remporter la victoire », affirme Nvidia.

Le prochain jeu de simulation de vie de Krafton, appelé inZOI, recevra également des CPC appelés « Smart Zoi ». Naraka: Bladepoint, un jeu d'action-aventure de genre battle royale publié par NetEase en 2021, intégrera des coéquipiers d'IA dès mars 2025 sur mobile, et plus tard dans l’année sur PC.

NVIDIA ACE marque une étape cruciale dans l’intégration de l’IA dans les jeux vidéo. Au-delà des simples PNJ scriptés, nous nous dirigeons vers des interactions toujours plus naturelles et dynamiques avec nos compagnons virtuels. Reste à voir si la technologie tiendra ses promesses une fois qu'elle sera déployée à grande échelle.

Source : Nvidia

Et vous ?

Quel est votre avis sur le sujet ?
Que pensez-vous des personnages de jeu autonomes pilotés par l'IA présentés par Nvidia ?
Nvidia affirme que cette technologie va révolutionner les jeux vidéo ? Partagez-vous cet avis ? Pourquoi ?

Voir aussi

Le PDG de Nvidia, Jensen Huang, affirme que les jeux entièrement générés par l'IA verront le jour d'ici 5 à 10 ans,
Ce qui suggère que l'IA pourrait remplacer les développeurs de jeux à l'avenir

La révolution induite par l'IA dans les jeux vidéo inquiète les acteurs du secteur, ils craignent que des emplois ne soient supprimés et que des créations artistiques ne soient usurpées

Nvidia présente une plateforme d'IA appelée "Avatar Cloud Engine for Games" qui permet aux joueurs de converser avec les personnages non jouables