Discussion :

[Bill Fassinou]

AlphaStar, la nouvelle IA de DeepMind, a écrasé des joueurs pro de Starcraft II
un jeu vidéo conçu pour défier l'intellect humain

L’IA, c’est le sujet qu’on ne présente plus. Son intrusion dans nos vies quotidiennes et cela dans tous les domaines ou presque choque certains. Des futuristes y voient une menace pour la démocratie telle que nous l’a connaissons, certains craignent que tous les emplois de demain ne soient destinés qu’aux machines intelligentes, et d’autres nous mettent en garde contre une époque où l’intelligence artificielle pourra s’améliorer d’elle-même, dépassant ainsi l’homme. Cependant, malgré toutes ces critiques dont elle est victime, les entreprises qui développent cette technologie acclament chaque succès et progrès qu’elles accomplissent.

L’intelligence artificielle semble de jour en jour prête à relever tous les défis que l’homme aura à lui lancer. C’est le cas peut-être de AlphaStar, une IA conçue par DeepMind, une filiale de Google pour tenter de rivaliser avec des professionnels de jeux tels que StarCraft II. DeepMind est une entreprise britannique spécialisée dans l'intelligence artificielle fondée en 2010. Elle est rachetée le 26 janvier 2014 par Google pour plus de 628 millions de dollars américains. L’objectif de DeepMind est de résoudre l'intelligence. Pour atteindre ce but, l'entreprise essaie de combiner les meilleures techniques de l'apprentissage automatique et des neurosciences des systèmes pour construire de puissants algorithmes d'apprentissage généraliste.

L'entreprise souhaite non seulement doter les machines d'une intelligence artificielle performante, mais aussi comprendre le fonctionnement du cerveau humain. Pour les entreprises qui développent des outils dotés d’intelligence artificielle, il faut trouver la meilleure manière de rendre sa solution plus performante. Pour cela, la complexité retrouvée dans les jeux de stratégie en temps réel (RTS) constitue un atout important comme l’explique DeepMind sur son site Web.

« Les jeux sont utilisés depuis des décennies comme un moyen important de tester et évaluer les performances des systèmes d’intelligence artificielle. Au fur et à mesure que les capacités de l’IA augmentent, la communauté des chercheurs a recherché des jeux de plus en plus complexes qui capturent différents éléments d’intelligence nécessaires à la résolution de problèmes scientifiques et réels. Ces dernières années, StarCraft est considéré comme l'un des jeux de stratégie en temps réel les plus difficiles et l'un des jeux les plus joués de tous les temps. Il s'est imposé par consensus comme un “grand défi” pour la recherche sur l'IA ».

AlphaStar répond aux mêmes critères de construction que les précédentes solutions de DeepMind. Il base son apprentissage essentiellement sur un réseau de neurones qui reçoit des données d'entrée de l'interface de jeu brute (une liste d'unités et de leurs propriétés) et génère une séquence d'instructions constituant une action dans le jeu. Des informations plus utiles et plus détaillées sur sa conception et son mécanisme de fonctionnement sont présentées par DeepMind sur son site Web. Cependant, AlphaStar a, peut-on dire, réussi la mission qui est la sienne à savoir battre des joueurs professionnels du très célèbre StarCraft II.

Il est donc devenu la première intelligence artificielle à réaliser cet exploit. Connaissez-vous ce jeu de stratégie publié pour la première fois sur PC en 2010 ? Sinon, pour un petit rappel, StarCraft II est créé par Blizzard Entertainment. Il s'inscrit dans un univers fictif de science-fiction et propose un gameplay riche et multi-couches conçu pour défier l'intellect humain. A ce jeu, l’IA de DeepMind a battu à plusieurs reprises, dans une série de matchs, des joueurs professionnels tels que Grzegorz Komincs et Dario Wünsch classés respectivement 13e et 42e sur la liste des joueurs professionnels dans le monde sur un référentiel centralisé des wikis de Liquipedia.

DeepMind a tenu à expliquer que le choix s’est porté sur ce jeu compte tenu de sa complexité et que son IA a obtenu ce résultat notamment grâce son réseau de neurones qui lui confère les capacités d’un apprentissage supervisé et d’un apprentissage par renforcement. En intelligence artificielle, plus précisément en apprentissage automatique, l'apprentissage par renforcement consiste, pour un agent autonome (robot, etc.), à apprendre à partir d'expériences, de façon à optimiser une récompense quantitative au cours du temps. L'agent est plongé au sein d'un environnement et prend ses décisions en fonction de son état courant.

En retour, l'environnement procure à l'agent une récompense, qui peut être positive ou négative. L'agent cherche au travers d'expériences itérées, un comportement décisionnel (appelé stratégie ou politique, et qui est une fonction associant à l'état courant l'action à exécuter) optimal, en ce sens qu'il maximise la somme des récompenses au cours du temps. Pour finir son argumentaire, DeepMind a indiqué que l’objectif premier d’un tel travail n’est pas simplement de réussir à battre des humains dans un jeu de stratégie, mais de mesurer à quel point les techniques de conception et les algorithmes de l’intelligence artificielle ont évolué. Grâce à cela, l’entreprise estime qu’à l’avenir, il sera possible de concevoir des agents d’IA capables d’exécuter des tâches intelligentes comme un être humain ainsi que d’autres tâches selon l’environnement dans lequel elle se trouvera.

Rappelons qu'en 2016, après AlphaGo, l’IA de Google DeepMind qui avait terrassé Lee Sedol, l’un des meilleurs joueurs de Go au monde, la filiale de Google, voulait déjà tester ses recherches en intelligence artificielle dans des domaines plus complexes, et c’est celui des jeux vidéo qui a été choisi. Le 4 novembre, lors de l’événement BlizzCon 2016 du studio Blizzard Entertainment, DeepMind avait annoncé une collaboration avec la société de développement de jeux vidéo basée en Californie pour ouvrir le jeu StarCraft II aux chercheurs en IA et en apprentissage automatique partout dans le monde.

En d’autres termes, StarCraft II était devenu le nouveau domaine dans lequel DeepMind avait décidé de tester ses recherches en intelligence artificielle. Les compétences acquises dans cet environnement plus complexe pourront ensuite être transférées dans le monde réel. En effet, « StarCraft est un environnement de test intéressant pour la recherche actuelle en IA, car il fournit un pont utile pour la complexité du monde réel », explique Google DeepMind. Et d’ajouter que : « les compétences nécessaires à un agent pour progresser dans l'environnement et bien jouer à StarCraft pourraient finalement être transférées à des tâches réelles ».

Sources : DeepMind, Liquipedia

Et vous ?

Qu'en pensez-vous ?

Voir aussi

L'intelligence artificielle menace-t-elle la démocratie dans le monde ? Oui, selon un conseiller principal à la Commission européenne

Après le jeu de Go, Google DeepMind veut tester une intelligence artificielle dans StarCraft II, un jeu vidéo de stratégie en temps réel

Google absorbe l'unité de santé de DeepMind pour transformer son application mobile Streams en assistant boosté à l'IA pour infirmières et médecins

70 % des projets d'IA dans le commerce numérique sont couronnés de succès d'après un sondage réalisé par Gartner

Des chercheurs du MIT créent la première intelligence artificielle psychopathe pour illustrer le problème de biais des données nourries aux IA

[codec_abc]

J'ai regardé les parties et il faut encore relativiser sur les capacités de la machine. Pour faire simple, sur Starcraft II un joueur compétent doit maitriser 2 aspects:

Le "macro game": C'est la capacité à gérer ses workers, développer ses bases, scouter l'ennemie, analyser la situation et prendre des décisions en fonctions.
La "micro game": C'est la capacité à gérer les unités par petits groupes (voire de manière individuelle) lors des combats pour maximiser leur efficacité. Par exemple, lors d'un combat si un missile arrive dans vos unités et que vous n'avez pas le temps de l’éviter: Vous avez tout intérêt a faire reculer toutes les unités immédiatement. Puis vous prenez une unité, idéalement peu couteuse, pour l'envoyer dans le missile pour la sacrifier et ne pas prendre de dégâts sur les autres.

Pour avoir regardé certaines games, l'IA de DeepMind a une macro game correcte (bien qu'en dessous de ce que font les joueurs humains) et une micro game largement meilleur que tout humain. Et cela se prouve par le nombre d'actions par minutes (APM). C'est une moyenne flottante qui décrit le nombre d'actions qu'un joueur fait sur un intervalle de temps donné. L'humain étant physiquement limité, les meilleurs pro montent (souvent lors des combats) autour de 600-800 APMs dans les situations les plus tendues. DeepMind grâce à ses capacités de machine est arrivé jusqu'à 1500 APMs. De plus, il faut voir que sur l'intégralité des actions exécutés par un humain il en aura certaines qui ne seront pas efficaces (clics ratés, mauvaise touche, etc...) la ou l'IA de DeepMind fera exactement ce qu'elle veut.

Bref, l'IA de DeepMind a montré un comportement intéressant mais a gagné grâce à ses habilitées sur-humaines (temps de réaction, précision, exécution parfaite et immédiate, etc...) et non pas grâce à son intelligence.

[melka one]

un jour on verra un article avec un titre du genre l'IA l'arnaque publicitaire du moment.

[Uther]

L'humain étant physiquement limité, les meilleurs pro montent (souvent lors des combats) autour de 600-800 APMs dans les situations les plus tendues. DeepMind grâce à ses capacités de machine est arrivé jusqu'à 1500 APMs. De plus, il faut voir que sur l'intégralité des actions exécutés par un humain il en aura certaines qui ne seront pas efficaces (clics ratés, mauvaise touche, etc...) la ou l'IA de DeepMind fera exactement ce qu'elle veut.

Tu es sur de ce que tu avances ?
Autant je suis d'accord qu’au niveau efficacité l'IA n'étant pas l'imité par l'IHM, elle a probablement 100% de ses actions efficace. Par contre j'avais lu que le nombre d'APM était bien en dessous d'un joueur humain pro.

[Jex974]

Oui, ils ont annoncé qu'ils ont volontairement bridé les APM justement pour ne pas que ce soit un biais. Après c'est clair qu'il y a un max de marketing et d'effets d'annonce derrière. Toujours est-il qu'on progresse et qu'on arrive à faire aujourd'hui ce qu'on pensait impossible il y a 10 ans (gagner au Go et aux jeux "stratégiques"). Le terme IA est biaisé et à la fin ce ne sont que des algo. Mais entre la puissance des ordi de maintenant et l'amélioration de ces algo, les champs des possibles sont plutôt sympa je trouve

[codec_abc]

Tu es sur de ce que tu avances ?
Autant je suis d'accord qu’au niveau efficacité l'IA n'étant pas l'imité par l'IHM, elle a probablement 100% de ses actions efficace. Par contre j'avais lu que le nombre d'APM était bien en dessous d'un joueur humain pro.

Elle est en dessous en moyenne. Sur les moments clés elle monte bien à 1500 APMs, la preuve sur la vidéo de DeepMind.

D'ailleurs, il y a un passage ou un joueur pro dit "It's micro [NDLR:AlphaStar] starts to get ridiculous" ce qui veut dire que son micro management d'unités est tellement bon que ça en devient ridicule/risible.

[arond]

après il serait important de préciser que l'IA a fait deux types de matchs premier type de match l'IA a accès à une vision de toute la carte l'humain c'est fait rouler dessus.

Deuxième type de match ou le broullard de guerre était en place la l'ia a perdu un match sur 5

[darklinux]

Elle est en dessous en moyenne. Sur les moments clés elle monte bien à 1500 APMs, la preuve sur la vidéo de DeepMind.

D'ailleurs, il y a un passage ou un joueur pro dit "It's micro [NDLR:AlphaStar] starts to get ridiculous" ce qui veut dire que son micro management d'unités est tellement bon que ça en devient ridicule/risible.

Google à limité ces APM ... AlphaStar à de la marge , il peux encore grimpé , pas un coréen de 22 ans s ' entraînant 18 heures sur vingt quatre , une IA ne connais ni la fatigue , ni la faim , ni l '' envie de sexe ... l ' IA gagne au finish . Je ne pense pas que l ' IA finisse en buzzwords à la mode blockchain .

[CoderInTheDark]

Pardon, je suis quand même curieux de savoir comment il joue.
Moi j'avai joué à Starcraft et broodwar.

Et si sa méthode c'est de prendre les zerg et de produire un max dd'unité et d'attaquer dès le début c'est pas forcément glorieux.
Moi ça m'agaçait ce jeu sans finesse stratégique

[Uther]

Se limiter au rush zergling ultra-rapide, ça marche bien contre les débutants, mais ça ne peut pas marcher sur des professionnels. Au contraire, une fois que tu as appris a gérer ça, et que tu t'y attend, c'est une victoire facile.

Ce genre de technique d'attaque rapide (on appelle ça un cheese) peut éventuellement être utilisé à haut niveau pour surprendre un adversaire imprudent. Mais un humain, comme une IA, qui jouerait avec une seule stratégie est plutôt facile a contrer.

En l’occurrence, l'IA a joué des parties plutôt classiques avec des valeurs d'armées moyennes.

[Matthieu Vergne]

Je n'ai jamais joué à Starcraft (bien que je connaisse le principe par d'autres jeux du même style). Ce n'est d'ailleurs pas mon style de jeu donc je n'ai aucune compétence pour juger de la qualité de jeu autrement qu'en disant qui a battu qui. Cela dit, j'ai lu l'article et regardé la vidéo, et plusieurs points sont à relever.

Tout d'abord, un résumé du contexte :
- le jeu s'est déroulé avec 1 seule race (les Protoss)
- le jeu s'est déroulé sur 1 seule map (Catalyst LE)
- l'IA a été entraînée au préalable
- 5 parties ont d'abord été jouées contre un pro Zerg, qui a accepté de jouer Protoss
- l'IA a encore été entraînée
- 5 parties ont ensuite été jouées contre un pro Protoss

De là on peut déjà en tirer plusieurs points :
- aucun avantage particulier lié à des choix avant partie (e.g. choix des races, de la carte, etc.) et tout est connu à ce niveau là, à contrario d'une partie typique j'imagine. On enlève donc des inconnues des deux côtés, joueur comme IA.
- l'IA est par contre hyper spécialisée pour 1 race et 1 carte. Il y a fort à parier qu'à quantité d'entraînement équivalent, elle aurait été moins performante si elle avait dû apprendre sur plusieurs maps et pour plusieurs races (surtout avec la combinatoire). Est-ce que ça aurait fait une différence dans qui gagne à la fin, ça par contre on ne peut pas le savoir.
- le pro Zerg avait un handicap alors que le pro Protoss n'en avait pas, on pouvait donc s'attendre à un meilleur résultat humain dans le second cas mais, avec l'entraînement supplémentaire entre parties, rien n'était moins sûr.

Les résultats ont été les suivants :
- AlphaStar a battu le pro Zerg 5-0
- AlphaStar a battu le pro Protoss 5-0

Dans les faits, c'est donc une victoire écrasante.

Cependant, la vidéo annonce bien des subtilités d'AlphaStar :
- AlphaStar avait une vision d'ensemble de la map, pas une vision caméra. Les actions de l'IA sont montrés avec un "équivalent caméra", où ils plaçaient la caméra là où l'IA jouait pour faire comme si, et on pouvait voir par exemple que l'IA faisait des allers retours extrêmement brefs entre un combat et sa base.
- Bien qu'on parle d'AlphaStar au singulier, le fait est que chacune des 5 parties était une instance différente d'AlphaStar. En l'occurrence, les gens de DeepMind savait qu'ils allaient faire 5 parties, et ils ont donc pris 5 instances parmi leur top, une pour chaque partie. De fait, le seul joueur humain a joué contre 5 joueurs IA, chacun spécialisé dans une stratégie différente.
- L'entraînement d'AlphaStar était équivalent à 200 ans de jeu avant le pro Zerg. Il a été poursuivi avant de jouer contre le pro Protoss.
- L'IA a montré par moment une micro-gestion qu'un humain n'aurait sans doute pas pu faire (si j'en crois les commentateurs), tel qu'encercler un groupe d'unités ennemies en l'attaquant sur 3 fronts à la fois, avec une micro-gestion très efficace sur les 3 fronts en même temps.
- Une dernière partie a été jouée en bonus contre le pro Protoss, où ils ont repris une version entraînée depuis zéro et avec la caméra en plus à gérer. DeepMind affirme que, selon leur méthode d'évaluation, elle a atteint le même niveau que les autres, mais se ils refusent à affirmer que ce soit une preuve de performance équivalente. L'humain a gagné, mais impossible donc de dire si c'était une exception, si c'était à cause de la remise à zéro, ou si c'était à cause du "fardeau" supplémentaire de la caméra.

Ce que j'en retiens :
- des avantages machines restent à retirer pour la rendre comparable à un humain
- l'hyper spécialisation de l'IA (race, map, stratégie) était clairement en sa faveur.
- la quantité d'entraînement de l'IA est sans commune mesure avec celle d'un humain.

En bref, AlphaStar est ici un joueur hyper spécialisé de 200 ans d'expérience, avec encore des avantages machine. Il n'y a donc aucune honte à perdre contre un monstre pareil.

Que dire quant aux avancées en IA ?
- Par ces résultats, DeepMind montre qu'une IA est capable d'obtenir une expertise de jeu de très bon niveau sur un jeu de type StarCraft.
- Néanmoins, avant de pouvoir dire qu'il bat l'humain à StarCraft, il y a de la combinatoire à rajouter. Notamment, il faudrait n'avoir qu'une seule instance, capable de jouer n'importe quelle race, contre n'importe quelle race, sur n'importe quelle map. C'est d'ailleurs leur objectif actuel.
- En terme d'intelligence par contre, ça ne montre rien du tout : faire jouer un humain de quelques dizaines d'années d'expérience contre un humain de plus de 200 ans cumulé, personne ne s'étonnerait de voir gagner le second. Il faudra gagner avec une quantité d'entraînement comparable avant de pouvoir dire que l'IA atteint un niveau humain.

[LittleWhite]

Bonjour,

Petit bémol par rapport à ce que vous dites, Matthieu Vergne : un joueur (pro) a une race de prédilection et ne s’entraîne et ne joue qu'avec celle-ci. Donc, pour moi, l'IA n'a pas besoin d'apprendre à gérer les trois races du jeu pour pouvoir être sur le même pied d'égalité que le joueur humain. Qui plus est, si l'IA prend aléatoire comme race, le joueur humain aura une difficulté supplémentaire (le temps perdu à découvrir quel est son ennemi).

[Stéphane le calme]

AlphaStar, l'IA de DeepMind qui a battu deux des meilleurs joueurs de Starcraft II,
a eu "jusqu'à" 200 ans d'entraînements en gameplay virtuel

DeepMind, la startup de l'IA acquise par Google en 2014, est probablement mieux connue pour avoir créé la première intelligence artificielle à battre un champion du monde au jeu de Go. Alors, que faites-vous après avoir maîtrisé l'un des jeux de société les plus difficiles au monde ? Vous abordez un jeu vidéo complexe. Plus précisément, DeepMind a décidé de développer une IA pour jouer au jeu de stratégie en temps réel StarCraft II.

StarCraft exige des joueurs qu’ils rassemblent des ressources, construisent des dizaines d’unités militaires et les utilisent pour tenter de détruire leurs adversaires. StarCraft est particulièrement difficile pour une IA car les joueurs doivent exécuter des plans à long terme sur plusieurs minutes de jeu, les peaufinant à la volée face aux contre-attaques ennemies. DeepMind a déclaré qu’avant ses propres efforts, personne n’était parvenu à concevoir une intelligence artificielle StarCraft aussi performante que les meilleurs joueurs.

La nécessité d'équilibrer les objectifs à court et à long terme et de s'adapter aux situations imprévues pose un défi de taille aux systèmes souvent fragiles et inflexibles. La maîtrise de ce problème nécessite des avancées dans plusieurs défis de la recherche sur l'IA, notamment dans :

• la théorie du jeu : StarCraft est un jeu où, à la différence du chifoumi (pierre-papier-ciseaux, il n'y a pas de meilleure stratégie. En tant que tel, un processus de formation à l'IA doit continuellement explorer et élargir les frontières de la connaissance stratégique.
• Informations imparfaites : contrairement aux jeux comme les échecs ou Go où les joueurs voient tout, les informations cruciales sont cachées aux joueurs de StarCraft et doivent être activement découvertes en effectuant des « reconnaissances ».
• Planification à long terme : comme beaucoup de problèmes concrets, les causes et effets ne sont pas instantanés. Les jeux peuvent également prendre jusqu’à une heure, ce qui signifie que les actions entreprises au début du jeu risquent de ne pas être rentables avant longtemps.
• Temps réel : contrairement aux jeux de société traditionnels où les joueurs alternent les mouvements subséquents, les joueurs de StarCraft doivent effectuer des actions de manière continue au fur et à mesure que le chronomètre avance.
• Grand espace d'action : des centaines d'unités et de bâtiments différents doivent être contrôlés simultanément, en temps réel, créant ainsi un espace combinatoire de possibilités. De plus, les actions sont hiérarchiques et peuvent être modifiées et augmentées.

En raison de ces immenses défis, StarCraft est devenu un « grand défi » pour la recherche sur l'IA.

DeepMind a annoncé avoir battu deux des meilleurs joueurs de StarCraft

Jeudi dernier, DeepMind a annoncé une avancée significative. La société a opposé son IA, baptisée AlphaStar, à deux des meilleurs joueurs de StarCraft - Dario "TLO" Wünsch et Grzegorz "MaNa" Komincz. AlphaStar a remporté une série de cinq matchs contre Wünsch 5-0, puis a battu Komincz 5-0.

Ces dernières années, StarCraft, considéré comme l'un des jeux de stratégie en temps réel (RTS) les plus difficiles et l'un des sports les plus joués de tous les temps, s'est imposé par consensus comme un « grand défi » pour la recherche sur l'IA.

Nous présentons maintenant notre programme StarCraft II, AlphaStar, la première intelligence artificielle à vaincre un joueur professionnel de haut niveau. Lors d'une série de matches d'essai qui s'est déroulée le 19 décembre, AlphaStar a remporté une victoire décisive face au Grzegorz "MaNa" Komincz, de l'équipe Liquid, 5-0, à la suite d'un match de référence contre son coéquipier Dario "TLO" Wünsch. . Les matches se sont déroulés dans des conditions de match professionnelles sur une carte en échelle de compétition et sans aucune restriction de jeu.

Bien que les jeux vidéo tels qu'Atari, Mario, Quake III Arena Capture du drapeau et Dota 2 aient connu un succès considérable, les techniques de l'intelligence artificielle ont jusqu'à présent eu du mal à faire face à la complexité de StarCraft. Les meilleurs résultats ont été rendus possibles par la fabrication manuelle d’éléments majeurs du système, l’imposition de restrictions importantes aux règles du jeu, la fourniture de capacités surhumaines au système ou la lecture de cartes simplifiées. Même avec ces modifications, aucun système n’a réussi à rivaliser avec les compétences des joueurs professionnels. En revanche, AlphaStar joue à StarCraft II dans son intégralité, en utilisant un réseau de neurones profonds entraîné directement à partir de données brutes de jeu, par apprentissage supervisé et renforcement.

AlphaStar a été formé en utilisant "jusqu'à 200 ans" de gameplay virtuel

Le comportement d’AlphaStar est généré par un réseau de neurones profonds qui reçoit des données d’entrée de l’interface de jeu brute (une liste des unités et de leurs propriétés) et émet une séquence d’instructions constituant une action dans le jeu.

AlphaStar utilise également un nouvel algorithme d’apprentissage multi-agents. Le réseau de neurones a été initialement formé par apprentissage supervisé à partir de jeux humains anonymisés publiés par Blizzard. Cela a permis à AlphaStar d’apprendre, par imitation, les stratégies de base micro et macro utilisées par les joueurs à l’échelle de StarCraft. Cet agent initial a vaincu l'IA intégrée de niveau « Elite » - autour du niveau de l'or pour un joueur humain - dans 95% des matchs.

Afin de former AlphaStar, nous avons développé une configuration de formation distribuée hautement évolutive à l'aide des TPU v3 de Google, qui prend en charge une population d'agents apprenant à partir de plusieurs milliers d'instances parallèles de StarCraft II. La ligue AlphaStar a duré 14 jours, avec 16 TPU pour chaque agent. Pendant la formation, chaque agent a connu jusqu'à 200 ans de jeu StarCraft en temps réel. L'agent final AlphaStar comprend les composants de la distribution Nash de la ligue - en d'autres termes, le mélange le plus efficace de stratégies découvertes - fonctionnant sur un seul GPU desktop.

En somme, le processus a commencé par l'utilisation de l'apprentissage supervisé pour aider les agents à apprendre à imiter les stratégies des joueurs humains. Cette technique d’apprentissage par renforcement était suffisante pour construire un bot StarCraft II compétent. DeepMind dit que cet agent initial « a vaincu l'IA intégrée du niveau Elite - autour du niveau de l'or pour un joueur humain - dans 95% des matchs »

DeepMind a ensuite divisé cette IA initiale en plusieurs variantes, chacune avec un style de jeu légèrement différent. Tous ces agents ont été jetés dans une ligue virtuelle StarCraft, chaque agent jouant avec les autres joueurs 24 heures sur 24, apprenant de leurs erreurs et faisant évoluer leurs stratégies au fil du temps.

« Pour encourager la diversité dans la ligue, chaque agent a son propre objectif d'apprentissage: par exemple, quels concurrents cet agent devrait-il viser, et toutes motivations internes supplémentaires qui biaisent la façon dont l'agent joue », explique DeepMind. « Un agent peut avoir pour objectif de vaincre un concurrent spécifique, tandis qu'un autre peut devoir vaincre toute une distribution de concurrents, mais en construisant davantage d'une unité de jeu particulière ».

Selon DeepMind, certains agents ont gagné l'équivalent de 200 ans de pratique en jouant à StarCraft contre d'autres agents. Sur une période de deux semaines, ce processus darwinien a considérablement amélioré les compétences moyennes des agents:

Au terme de ce processus, DeepMind a sélectionné cinq des agents les plus puissants de sa ménagerie virtuelle pour affronter les challengers humains d'AlphaStar. Une conséquence de cette approche est que les joueurs humains été confrontés à une stratégie différente lors de chaque match contre AlphaStar.

Source : DeepMind

Et vous ?

Le combat était-il équitable selon vous ou l'IA disposait-elle d'avantages ?

Voir aussi :

Unity lancera bientôt un challenge axé sur l'intelligence artificielle au travers d'un jeu pour repousser les limites des systèmes intelligents
La révolution de l'automatisation et de l'intelligence artificielle sera surtout néfaste pour les hommes, selon une analyse
« L'intelligence artificielle n'existe pas et la voiture autonome n'existera jamais », selon un expert en IA
RITME organise un atelier sur la programmation parallèle et l'intelligence artificielle, les 6 et 7 février 2019 en Belgique
Dans l'hôtel futuriste d'Alibaba, le personnel est en supplément, l'hôtel étant géré par l'intelligence artificielle

[Dgamax]

Même si ils ont limité les APM, les 10 match en off qui se sont déroulé chez Deepmind en Angleterre, Alphastar a gagné 10/0, mais il avait un accès global de toute la map (sauf celle couverte par le brouillard de guerre) donc en plus d'avoir un microgestion parfaite, elle pouvait et c'est ce qu'elle a fait, attaquer sur plusieurs front en même temps sans devoir repositionner la camera car elle avait la vue total de la map.

Par contre, le match qui était en live contre MaNa, celle-ci a été entraîné différemment, elle était limité à la même vision que MaNa et cette fois-ci MaNa a remporté la victoire.

Au niveau de la microgestion il n'y a rien d'impressionnant, c'est une machine, même si Alphastar tourne sur un simple laptop, le temps réponse comparé à un être humain est bien meilleur donc ça pas de surprise.

[Doksuri]

pareil, j'ai ete surpris de voir que sont APM (actions par minutes) n'etait pas deconnant (et etait souvent plus bas que l'humain)

j'ai pas regarde tous les matchs (pas le temps) mais de ce que j'ai vu, c'est ce que pourrait faire n'importe qui :

• AlphStar met la pression a son ennemi (juste a la sortie de sa base) ce qui lui permet de scout (decouvrir) les unites (et la quantite) de l'autre => et reagir en consequent (produire l'unite de contre)
• en parallele, AlphaStar semble avoir une notion de succes du combat (il possede X,Y,Z unites, j'en possede A,B,C ... j'ai 90% de chances de perdre)
• AlphaStar utilise au mieux ses ressources (production en continue)
• s'il ne peut plus mettre la pression, il rentre defendre sa base.
• lors des combats, il place au mieux ses unites et attend que l'autre s'ecrase contre lui

le probleme du cerveau humain, c'est qu'on a un nombre limite de TODO a checker en continue (verifier qu'on utilise bien toutes nos ressources, verifier la mini-map, verifier que nos unites sont bien places, quelles unites produire, quels batiments construires, verifier que ci, que ca...) et quand arrive un combat, on perd le fil de cette TODO
=> AlphaStar ne se rate jamais sur ces TODOs

l'autre probleme et qu'on a une moins bonne estimation de l'issue d'un combat

de plus, je n'ai pas l'impression qu'il "triche" comme on pourrait l'entendre : j'ai l'impression qu'il detecte sur la mini-map, un point ennemi : il deplace la camera dans la zone pour "voire" ce que c'est.

[fredoche]

ma petite pensée philosophique du jour :
ce sont des jeux de guerre, de stratégie militaire certes SF et virtuels, mais guerre, bataille, boum boum, conquête, etc.
Battre, écraser, vaincre, tuer, massacrer, encercler

Qui appelle ça de l'intelligence ? Qui ?

Du temps où les échecs étaient rois, les grands joueurs n'étaient pas forcément très intelligents de manière générale, mais ils développaient un don, des capacités cognitives (comme d'autres le calcul mental ou les langues), une spécialisation.

Des gars comme Vinci, Einstein, Pythagore, Euclide étaient intelligents. L'intelligence c'est de résoudre utilement des problèmes, apporter de nouveaux outils, découvrir de nouvelles facettes, augmenter "le monde".

Quand est-ce qu'on met ces fameuses IA à bosser sur le traitement de la leucémie ou du paludisme ?

Parce que sinon c'est juste de la branlette, et de bons scénarios à la terminator.

[LittleWhite]

Bonjour,

Je souhaiterai répondre à fredoche.
Il est possible de considérer les jeux sous la forme suivante : un jeu vidéo n'est qu'une problématique présentée au joueur, problématique qu'il doit résoudre pour accéder à une récompense (la fin du jeu, souvent).
Dans Mario, le joueur doit aller à droite (fin du niveau). Pour cela il peut sauter et courir. Il faut faire preuve d'une certaine capacité cognitive (synchronisation des yeux et mains, reflex, mémoire...) pour réussir.
Dans Starcraft, on démarre avec quatre récolteurs. Il faut écraser son ennemi. Du coup, il faut monter une armée (une armée efficace pour battre l'ennemi et non pas juste une "grosse" armée), lui donner des ordres précis et pointus, gérer ses ressources et son extension. Bref, cela demande (d'après moi) des capacités plus élevés que Mario.

Et pour moi, Starcraft est une évolution du jeu d'échec. Un jeu d'échec sur une carte plus grande, avec des ressources à gérer, de la production à gérer, mais dans l'idée, cela reste de la stratégie et cela reste qu'il faut battre l'adversaire (en détruisant ses pièces).

Et puis, on a déjà mis les IA sur des sujets "plus utiles d'après vous" : http://www.developpez.com/actu/23971...lon-une-etude/ .

[onilink_]

Au niveau de la microgestion il n'y a rien d'impressionnant, c'est une machine, même si Alphastar tourne sur un simple laptop, le temps réponse comparé à un être humain est bien meilleur donc ça pas de surprise.

C'est tellement peu impressionnant qu'il a fallu attendre 2019 (soit près d'une décennie après la sortie du jeu) pour faire une IA capable de battre des joueurs d'élite.

J'imagine qu'alpha go est encore moins impressionnant à vos yeux.
C'est tellement trivial comme jeu pour une machine.

[marsupial]

Le combat était-il équitable selon vous ou l'IA disposait-elle d'avantages ?

L'IA disposait d'avantages comme référencés par Matthieu Vergne mais il s'agit d'un gigantesque bond en avant pour une machine. Qui peut se targuer d'avoir battu des joueurs pros avec une machine ? Bien que Deep Mind n'ait plus rien à prouver suite à son triomphe au jeu de Go contre les meilleurs joueurs, ils font progresser la recherche dans le domaine du jeu. Une IA qui challenge l'humain dans un jeu le rend plus intéressant.

Et comme dit par Little White, l'IA performe dans d'autres domaines que le jeu. Et là qui se plaindra que l'IA utilise tous les avantages d'une machine pour poser un diagnostic précoce pour un meilleur traitement ?

[fredoche]

Littlewhite, je connais bien Mario et Starcraft, je suis un vieux joueur, je pourrais en raconter autant que le joueur du grenier si ça se trouve.

Mais ça me rappelle les exploits Deepblue contre Kasparov de l'époque. Je trouve ça tellement limité cette notion d'intelligence dans ces contextes, aussi artificielle soit-elle.

J'avais envie de le dire, histoire de récolter une bonne tournée de pouces rouges, alors Go ! Niet pas le jeu

Kasparov sait nouer ses lacets tout seul et a été un des premiers opposants à Poutine, voilà de la vraie intelligence.