Discussion :

[Olivier Famien]

Des programmes IA seraient meilleurs au jeu de Doom que les humains
après avoir appris à jouer en regardant d'autres joueurs

A mesure que le temps passe, l’intelligence artificielle (IA) commence à montrer sa puissance dans divers domaines de la société. Il y quelques mois de cela, AlphaGo, le programme d’intelligence artificielle de Google basé sur Deepmind, était opposé à Lee Sedol, l’un des meilleurs joueurs au monde du jeu de Go. Après plusieurs matchs, AlphaGo s’est imposé 4 manches à 1. Ce succès n’a pas manqué de faire couler de l’encre autour de ce domaine en pleine exploration.

En attendant que tous les aspects de ce domaine soient véritablement mis au service de l’humanité, des développeurs viennent de creuser encore ce champ d’application et ont exploité la puissance de l’apprentissage automatique et du réseau neuronal pour faire apprendre à leurs programmes d’intelligence artificielle à jouer au jeu vidéo.

Tout est parti du concours organisé lors de la conférence IEEE sur l’intelligence informatique et les jeux du 20 au 23 septembre dernier. Ce concours mettait en compétition non pas des personnes, mais des programmes d’intelligence artificielle qui devaient jouer au jeu Doom, le jeu vidéo à la première personne (FPS) reconnu comme étant le pionnier des jeux vidéo utilisant un graphisme en 3D immersive. Dans ce jeu, le joueur doit parcourir différentes pièces et éliminer des assaillants tout en évitant de se faire tirer dessus.

Généralement, pendant les jeux, les bots peuvent avoir accès à un ensemble d’informations telles que les cartes, la position des objets, les endroits, la position des joueurs en scrutant les données sur le réseau ou dans le jeu en lui-même afin de se faciliter la tâche. Mais pour cette compétition IA, les agents IA n’ont eu droit à aucune de ces informations. Pour apprendre à jouer et s’illustrer comme le meilleur joueur lors des combats, les agents IA devaient faire comme les humains, c’est-à-dire regarder les autres joueurs (IA ou humains) jouer et bâtir leur habileté en s’appuyant seulement sur ce qu’ils ont appris en regardant les autres joueurs jouer.

Pour y arriver, les développeurs devaient soumettre un script écrit en C++, Python ou Java qui se connecterait à ViZDOOM, la plateforme de recherche IA basée sur Doom. C’est cette dernière qui a permis aux agents IA d’apprendre en regardant ce qui se passe sur l’écran. Et pour éviter toute discrimination, les développeurs ont eu droit chacun à une machine avec Windows ou Linux et fonctionnant avec un processeur Intel Core i7-4790 CPU cadencé à 3,60 GHz, 16 Go de mémoire RAM et une carte graphique GTX 960 4 GB.

Après les différents affrontements, les développeurs de Facebook ont été sacrés vainqueurs du premier concours qui imposait de jouer dans un environnement déjà maîtrisé par l’agent IA avec comme arme un lance-roquettes. En plus du lance-roquettes, l’agent IA pouvait également collecter des kits de santé et des munitions. Pour le second concours, le plus difficile qui imposait de jouer dans 2 environnements connus d’avance et dans 3 environnements inconnus aux agents IA, c’est l’équipe d’Intel qui l’a emporté.

Par ailleurs, même si ces entreprises bénéficient de talents avérés dans le domaine de l’IA, il y a une équipe de deux étudiants qui s’est particulièrement bien illustrée en obtenant les secondes places aux deux concours cités alors que Intel et Facebook n’ont participé qu’à un seul concours.

Les étudiants en question sont Guillaume Lample et Devendra Singh Chaplot de Carnegie Mellon University. Ils ont passé quatre mois à plancher sur le code de leur programme d’intelligence artificielle. Et après avoir analysé les résultats effectués par les étudiants avec leur agent IA, Lample et Chaplot soutiennent que son « architecture surpasse considérablement les agents IA intégrés au jeu ainsi que les humains dans les scénarios de combat à mort ». Tout comme AlphaGo, le programme IA des deux étudiants est basé sur le programme d’intelligence artificielle DeepMind.

Pour beaucoup, cette démonstration du potentiel de l’intelligence artificielle pourrait être exploitée dans divers domaines tels que la conduite autonome ou d’autres domaines encore afin d’amener les systèmes intelligents à pouvoir réagir comme souhaité dans des environnements inconnus tout en se basant sur les différents objets qui se présentent.

Source : Post-Gazette, ViZDOOM, Carnegie Mellon University

Et vous ?

Que vous inspirent les avancées dans le domaine de l'intelligence artificielle ?

Voir aussi

Jeu de Go : les développeurs s'imposent face à Lee Sedol, l'IA de Google terrasse la star du Go par un score de 4-1

La Rubrique Algorithmique, Forum Intelligence artificielle, Cours et tutoriels Algorithmique, FAQ du langage

[10_GOTO_10]

Echecs, go, Doom, ...

On vit une époque formidable. Non seulement les robots nous piquent notre boulot, maintenant ils nous piquent nos jeux.

[ustensile]

Y'a déjà des IAs dans le trading haute fréquence, ce serait bien d'en mettre là où il y en a vraiment besoin, chez les politiques, à la TV etc

[LapinGarou]

Une IA à la place de Hollande... Ca laisser rêveur M'enfin si elle est formée par les politiques, elle fera tout pareil. Comme attendre la fin du quinquennat pour se bouger et faire genre elle est toujours active...

Comment l'agent sait que ce qu'il "voit" est bien ?
Si sur 10 joueurs, 9 campent et gagnent, est ce que pour lui c'est "bien" ?

[hotcryx]

car il sait par définition que camper c'est mal.

Il a aussi des infos pré-établies comme: courir, marcher, sauter, ne pas tirer sur ces coéquipiés, être performant, ne pas se tuer, être discret, ne pas camper ou camper plus de 10 sec...

Certaines sont dans les règles des serveurs.

Aux échecs classiques, la tour se déplace verticalent et horizontalement... => règles.

[marsupial]

Lorsque la théorie de la relativité a été découverte, avec l'IA nous, êtres humains, n'aurions peut-être pas décidé de commencer à l'utiliser pour en faire une arme bien trop puissante pour nous. Maintenant que cette arme existe, cette branche de développement bloque pour avancer vers d'autres applications plus utiles à notre bien du fait de restrictions liées à sa dangerosité.

L'IA constituera, je l'espère, une aide à la décision grâce à des modélisations pour faire nos choix et maîtriser notre destin.

Gouverner, c'est prévoir. Pas espionner les masses.

Domaine d'application immédiat dans le système capitaliste : la finance. Comme éviter une galéjade façon subprimes.
Beaucoup de travail en perspective et de ressources nécessaires pour son utilisation : données(Cloud), puissance de calcul (quantique), espace de stockage, réseau, et ... sécurité évidemment. Sans oublier beaucoup de développement

[blbird]

Contre une équipe humaine de joueurs pro (ou réputés) sur des jeux de type FPS, je doute que l'IA arrive à faire quelque chose pour le moment. Il y a une organisation tactique, des compétences individuelles et un jeu d'équipe qui n'a rien à voir avec les joueurs habituels : je le sais par expérience.

C'est extrêmement plus compliqué que le GO, qui possède des règles fixes. Je rappelle que pour le match IA versus joueur PRO de go, Google faisait tourner son IA avec un datacenter (ayant accès à Internet) et donc une puissance de calcul phénoménale et des données "illimitées", à des années lumières des capacités d'un très bon PC autonome sans accès internet. C'était assez déséquilibré je trouve.

[athlon64]

bonjour,

les géants de l'informatique ont mis en place des systèmes d'intelligence artificielle dont certains sont ouvert au public.

Les systèmes les plus performants dont on dispose aujourd'hui sont des IA basées sur les réseaux de neurones, plus particulièrement le deep learning.

C'est ce type de système qui a battu Lee Sedol au jeu de Go.

Jusque là le processus d'apprentissage était un peu lourd car il fallait disposer d'une machine puissante, pour éviter d'attendre des mois...

Ben de nos jours non seulement des algos performants sont dispos sur le net mais également, les machines sont devenus puissantes.

Je ne parle pas vraiment de la puissance du CPU qui est ridicule à proprement dit, mais des APU, disons CPU+GPU+FPGA+DSP etc. Rien qu'avec le calcul GPU le gain de temps est immense(10x-100x)

Bref ça ne m’étonnerait pas que les IA nous battent à DOOM, les IA ne peuvent de toute façon que progresser, alors que chez les humains, quand on voit le contenu des émissions à la télé ou

les tendances de recherches Google, on a des doutes.

Après concernant cette évolution de l'IA je ne sais pas ce que ça va donner, imaginez déjà un idot qui entraîne un robot tueur et le lâche dans la nature... Ou encore une voiture à conduite autonome qui va perpétrer tout seul des .

Quand je vois l'état du monde aujourd'hui, je dis le futur craint...

[commandantFred]

Bonjour. Sans vouloir diminuer l'intéret du sujet de l'article. Il y a un malentendu entre faire jouer une IA à DOOM ou au Chess/GO et rendre un robot vraiment intelligent, au moins dans ses fonctions motrices.

Ce malentendu provient du but d'un jeu qui consiste à donner l'impression d'un affrontement avec peu de choix possibles. D'où l'impression qu'on peut se contenter d'une heuristique et d'une approche statistique comme l'algorithme minimax, ou l'évolution génétique..

Jouer à doom, c'est une petite dizaine de commandes possibles dont chacune va réagir exactement de la même manière car on s'adresse à une simulation limitée. La qualité des graphiques et les astuces du simulateur donnent une impression d'immersion qui est l'objectif recherché mais introduit une confusion majeure entre jouer sur une simulation et piloter un vrai robot (ou une voiture)

Si vous montez une Raspberry pi sur un chariot motorisé avec servomoteurs pour la direction, le résultat sera presque le même à chaque tour si vous jouez dans un gymnase par exemple.

Mais ça n'aura rien à voir dés que vous vous retrouverez sur une surface avec de petits cailloux ou simplement plus ou moins humide selon la meteo.

Alors les algorithmes prédictifs qui fonctionnent très bien sur une simulation, donneront des résultats catastrophiques parce que les cailloux sont aléatoires (et se déplacent suite au passage du bot) alors que la simulation de doom donne toujours un résultat identique avec la précision d'un double !

Ce sont donc des disciplines très différentes. Les émulations de simulateurs associées à une heuristique dans une logique minimax ou génétique permettent de prévoir très loin dans l'avenir. Dans le monde réel, prévoir l'avenir peut rendre un robot dangereux (tondeuse à gazon qui présume que votre chat s'est pas en train de dormir sur la pelouse )

Quant aux réseaux de neurones ou deep learning (Tensorflow) , on les utilise surtout pour reconnaître des objets sur une image.

Au final mmax, genes et tensorflow ont en commun de faciliter l'apprentissage. Au détriment du contrôle que le développeur aura sur le comportement de sa machine.

C'est un sujet très grave selon moi.

La seule raison pour laquelle les autorités s'y intéressent aussi peu est qu'elles n'y comprennent pas grand chose. Mais les automobiles sans pilote vont bientôt déferler sur les routes et il y aura forcément des accidents. On fera donc le procès des algorithmes ! Plus sérieusement , la responsabilité des intégrateurs sera sur la table et je ne voudrais pas être à leur place quand ils devront expliquer pourquoi la voiture n'a pas vu que le véhicule qui n'avait pas la priorité était un gamin de 5 ans sur un vélo à stabilisateurs...

[athlon64]

Il y a un malentendu entre faire jouer une IA à DOOM ou au Chess/GO et rendre un robot vraiment intelligent, au moins dans ses fonctions motrices.

Bonjour, intéressant, mais je sais pas trop exactement où tu voulais en venir, ou à quel message tu répondais. Moi je pense de la reconnaissance d'objet...

[blbird]

Jouer à doom, c'est une petite dizaine de commandes possibles dont chacune va réagir exactement de la même manière car on s'adresse à une simulation limitée. La qualité des graphiques et les astuces du simulateur donnent une impression d'immersion qui est l'objectif recherché mais introduit une confusion majeure entre jouer sur une simulation et piloter un vrai robot (ou une voiture)

Je pense que tu te trompes, en tout cas pour DOOM (ou tout équivalent FPS). On est dans un monde relativement ouvert, avec
- un déplacement en 3D (et pas uniquement juste au sol),
- une vision en 3D limitée (90° en général),
- le mouvement de la caméra à 360° en 3D aussi,
- les mouvements d'objets (tirs entre autres) et les sons à prendre en compte, qui permettent de déduire l'emplacement relatif des autres joueurs. Sans parler qu'un humain sera capable de jouer avec ces éléments pour tendre des pièges.

Donc bon, les petites dizaines de commandes, elles sont en faite beaucoup plus nombreuses que dans le jeu de Go.

Un bon joueur de FPS jouant contre un débutant ou un joueur standard sera capable de le frag à la chaine sans même que celui-ci voit son ennemi sur son écran...

Non vraiment, j'ai un gros doute sur la capacité d'une IA à battre un joueur de haut niveau à un jeu comme celui-là. Encore plus si on parle d'un jeu FPS en équipe. Après il ne faut jamais dire jamais, c'est peut-être une question de temps. Mais le jour ou une IA bat un très bon joueur à un FPS, personnellement je commencerais à m'inquiéter, on ne sera vraiment plus très loin des soldats IA autonomes dans la vrai vie...

J'ai hâte de voir les premiers vrai matchs virtuels.

[Matthieu Vergne]

Non vraiment, j'ai un gros doute sur la capacité d'une IA à battre un joueur de haut niveau à un jeu comme celui-là. Encore plus si on parle d'un jeu FPS en équipe. Après il ne faut jamais dire jamais, c'est peut-être une question de temps. Mais le jour ou une IA bat un très bon joueur à un FPS, personnellement je commencerais à m'inquiéter, on ne sera vraiment plus très loin des soldats IA autonomes dans la vrai vie...

T'en fais pas va. Le jour où ça arrivera, tu verras les très nombreuses différences qu'il y a entre jouer à un FPS et agir comme un soldat, t'amenant à réviser ta copie en te disant que finalement on en est encore loin.

[blbird]

T'en fais pas va. Le jour où ça arrivera, tu verras les très nombreuses différences qu'il y a entre jouer à un FPS et agir comme un soldat, t'amenant à réviser ta copie en te disant que finalement on en est encore loin.

Certes, je pense aussi. Mais malgré tout on y sera très proche au niveau du logiciel, la hardware ayant encore beaucoup de progrès à faire.

[commandantFred]

Je pense que tu te trompes, en tout cas pour DOOM (ou tout équivalent FPS). On est dans un monde relativement ouvert, avec
- un déplacement en 3D (et pas uniquement juste au sol),
- une vision en 3D limitée (90° en général),
- le mouvement de la caméra à 360° en 3D aussi,
- les mouvements d'objets (tirs entre autres) et les sons à prendre en compte, qui permettent de déduire l'emplacement relatif des autres joueurs. Sans parler qu'un humain sera capable de jouer avec ces éléments pour tendre des pièges.

Ce n'est pas vraiment la qualité de la simulation qui est déterminante mais surtout son objectif : immerger le joueur et lui faire croire qu'il est dans un couloir avec des monstres qui le canardent de boules de feu. Nous savons tous que tout cela n'est qu'un moteur 3D qui ajoute beaucoup de réalisme à des actions parfaitement prédictibles.

L'IA qui va jouer à la place d'un humain va remplacer le joystick par une commande de déplacement. Si l'IA gagne, suite à un déplacement, elle va conclure qu'il était pertinent , le stocker et le reproduire plus tard pour obtenir un résultat comparable.

Après des milliers de parties jouées en apprentissage, l'ia aura parcouru la majorité des cas possibles et commencera à bien jouer.

Très rapidement, l'ia va trouver les limites de la simulation, se calquer dessus et stocker les cas de figure en rapport avec la granulométrie du jeu où :

granulométrie = nombre d'actions possibles entre une frame et sa suivante

Ce genre de simulation abuse très bien un cerveau biologique , d'où son succès commercial.

Mais quand c'est une IA qui joue, il n'y a rien de biologique :

En gros l'IA va : (pour chaque frame)
1) évaluer la situation
2) tester tous les coups possibles et la réaction du jeu sur une profondeur dépendant du temps machine dont elle dispose
3) émuler la réaction du jeu pour essayer de la reproduire à l'identique (pour chaque coup simulé)

S'il manque du temps machine, il y a la variante dite "montecarlo" qui permet de scanner les cas de façon aléatoire plutôt que séquentielle

Le problème : Lorsque on la soumet à une situation donnée, la simulation réagit toujours de la même façon alors que dans le "vrai monde" les conséquences ne sont pas identiques lorsqu'un cas se reproduit. Peu importe le degré de vectorisation que la simulation autorise. Le problème n'est pas la complexité (qui est souvent faible) mais le fait que les paramètres soient FINIS en nombre comme en amplitude alors que dans la vie , les paramètres sont INFINIS

Le problème d'une simulation à fortiori quand c'est un jeu video, c'est que l'émulation et sa simulation utilisent la même techno avec les mêmes limites. Que ces limites suffisent largement à immerger un cerveau humain ne présage en rien de la capacité d'une IA à se comporter correctement lorsque elle doit contrôler des paramètres issus de la mécanique spatiale (comme dans le cas d'une automobile)..


Mais par expérience, je dirais surtout :

Le problème récurrent de ces approches , c'est que le développeur perd très vite le contrôle des priorités de comportement. Il devient vite impossible d'enseigner à son programme que sauver une vie est plus important que sauver un fichier !

[blbird]

Très intéressant Fred tout ca. Mais l'hypothèse de départ n'est pas tout à fait la bonne : Google pense que, dans un environnement de jeu FPS type Doom/Quake, des joueurs contrôlés par une IA, pourront battre de vrais joueurs en équipe contre équipe (ou 1vs1). Ce n'est pas du tout pareil.

[Iradrille]

Un bon joueur de FPS jouant contre un débutant ou un joueur standard sera capable de le frag à la chaine sans même que celui-ci voit son ennemi sur son écran...

Non vraiment, j'ai un gros doute sur la capacité d'une IA à battre un joueur de haut niveau à un jeu comme celui-là. Encore plus si on parle d'un jeu FPS en équipe. Après il ne faut jamais dire jamais, c'est peut-être une question de temps. Mais le jour ou une IA bat un très bon joueur à un FPS, personnellement je commencerais à m'inquiéter, on ne sera vraiment plus très loin des soldats IA autonomes dans la vrai vie...

En 1v1, un humain n'a aucune chance : ya une partie stratégie / placement, mais ya aussi une grande partie réflexe / précision.
Un bout de pied apparait à l'écran ? Il faut quelques dixièmes de secondes à un bon joueur pour "comprendre" qu'un ennemie est en face, quelques dixièmes de secondes de plus pour viser / tirer.
Dans le même cas une IA est capable de "comprendre" la situation / viser / tirer en quelques µs (avec une précision de 100%; il ne ratera jamais sa cible).
C'est tellement déséquilibré de ce coté que ça doit permettre de combler les lacunes (si lacunes il y a) coté stratégie.

Pour un fps en équipe, la partie stratégie à plus d'importance, mais tout dépend où on limite la communication entre IA : une IA n'est pas limité par la vitesse à laquelle elle parle (contrairement à un humain); énormément d'infos peuvent être partagées. Une IA ne connait pas non plus le phénomène "heu attend je peux pas parler là, j'suis concentré".

[blbird]

En 1v1, un humain n'a aucune chance : ya une partie stratégie / placement, mais ya aussi une grande partie réflexe / précision.
Un bout de pied apparait à l'écran ? Il faut quelques dixièmes de secondes à un bon joueur pour "comprendre" qu'un ennemie est en face, quelques dixièmes de secondes de plus pour viser / tirer.
Dans le même cas une IA est capable de "comprendre" la situation / viser / tirer en quelques µs (avec une précision de 100%; il ne ratera jamais sa cible).
C'est tellement déséquilibré de ce coté que ça doit permettre de combler les lacunes (si lacunes il y a) coté stratégie.

Pour un fps en équipe, la partie stratégie à plus d'importance, mais tout dépend où on limite la communication entre IA : une IA n'est pas limité par la vitesse à laquelle elle parle (contrairement à un humain); énormément d'infos peuvent être partagées. Une IA ne connait pas non plus le phénomène "heu attend je peux pas parler là, j'suis concentré".

N'y voyez pas de l'insistance maladive, mais je connais bien le sujet.

Cela fait déjà très longtemps que les très bons joueurs, en 1v1 ou en équipe (mais beaucoup moins d'intérêt), s'entraînent contre des bots (IA) qui visent à la perfection. Plus que ca même, ces bots "trichent", dans le sens où leur vision est directement de 360° et n'est pas limitée comme celle des humains. Malgré tout, cette IA ne fait pas le poids, même en 1v1. Les pro humains sont tout à fait capables de frag une IA sans que celle-ci ait eu le temps de voir ne serait-ce qu'un bout de leur ennemi (splash damage suffisants, projections, entre autres).

Quand à la communication en équipe, ce sont les meilleurs joueurs qui sont entrainés à jouer entre eux, pas besoin de communiquer oralement. Ils ont quelques touches pour indiquer qu'ils ont besoin d'aide, quand faire leurs rotations, indiquer qu'un joueur ennemi a réussis à passer, ajoutez à ca leur capacité à viser à la perfection tout en prédisant des trajectoires ennemis non-rectilignes et les mouvements ennemis qui seront faits, c'est suffisant. L'intelligence de groupe humaine fait le reste. Une bonne partie se joue principalement dans les premières minutes, quand une équipe arrive à installer son jeu, à contrôler la map, IA ou non, c'est souvent terminé.

Ce n'est clairement pas du tout du même niveau que le Go ou le jeu d'échec. J'attends donc de voir.

Un petit exemple rapide ici :

Le joueur prend l'ascendant sur un bot qui vise à la perfection. Il y a des exemples bien plus probants que ca, je pourrais en mettre dès que j'aurais un peu de temps.

[Iradrille]

Un petit exemple rapide ici :

Il y a une énorme différence entre les bots inclus dans les jeux et une IA développée par Intel / Google (ou autre géant du secteur) disposant d'une puissance de calcul quasi infinie.

En utilisant les mêmes données (image / son) une IA pourra extraire au moins la même quantité d'infos qu'un humain. Rajoute une étude comportementale, et l'humain devient prédictible (ce qui est probablement le plus grand défaut qu'un joueur peut avoir).

La question n'est vraiment pas "Est-ce qu'une IA arrivera à battre un humain ?", mais "Quand est-ce que ça va arriver ?".
(Et si Google s'y intéresse, je dirais dans moins de 5 ans.)

Les échecs et le go posent problème principalement à cause de la puissance de calcul requise (avec une puissance de calcul infinie, il suffirait de brut force le problème); il y a très peu de réflexion dans un fps : "deviner" ce que l'autre va faire, à partir d'informations limitées (ce qu'on voit / entend).
C'est un domaine sur lequel beaucoup de recherches ont été faite (Google fait ça à longueur de journée par exemple, les services de renseignements aussi).

[blbird]

Je pense aussi que l'IA y arrivera un jour certainement.

Mais contrairement au Go ou aux échecs, ici la puissance de calculs influe peu : il n'y a pas de "brut force" pour gagner à tout les coups, car l'ensemble des possibilités de jeu dans un environnement 3D est beaucoup plus important. Et même si l'ordinateur arrivait à calculer toutes les possibilités en temps réel (contrairement au go où l'ordinateur à du temps entre chaque coup), ici, même en ayant cette connaissance, il faudra anticiper, deviner la stratégie adverse qui est elle aussi mouvante. Parce que si c'est la mauvaise stratégie ou le mauvais mouvement adverse qui est anticipé parmi un grand nombre de possibilités (quelque soit la puissance de calcul brut utilisable, ca ne change pas grand chose pour le choix), c'est bien souvent un point en moins.

Non vraiment, ce n'est pas pareil du tout, c'est tout ce que je voulais dire. Ici pour moi, le jour ou l'IA bat facilement des joueurs entrainés, on sera en face d'un nouveau palier de l'IA, qu'on a pas encore atteins.

[commandantFred]

Brute force+apprentissage vs. vieux FPS en 1v1, je suis d'accord, l'IA finira par tout gagner mais les dés sont pipés.
La réalité des commandes du jeu est simplissime, contrairement à l'impression que donne l'image. L'IA ne perçoit pas l'illusion. Vu d'un bot, on n'a que position, vitesse, angle, orientation pour chaque objet.

Il ne reste plus qu'à lui faire jouer 1 million de parties et l'IA saura même anticiper les mouvements de celle du jeu au point de passer entre les dummies sans se faire tuer...