Discussion :

[Stéphane le calme]

DeepMind : Alphastar améliore ses performances pour atteindre le niveau de Grandmaster dans StarCraft II,
l'IA développée par la filiale de Google apporte des résultats « susceptibles d'intéresser l'armée »

En début d'année, DeepMind de Google a annoncé avoir battu deux des meilleurs joueurs de StarCraft - Dario "TLO" Wünsch et Grzegorz "MaNa" Komincz. AlphaStar a remporté une série de cinq matchs contre Wünsch 5-0, puis a battu Komincz 5-0.

La filiale d'Alphabet a expliqué que :

« Ces dernières années, StarCraft, considéré comme l'un des jeux de stratégie en temps réel (RTS) les plus difficiles et l'un des sports les plus joués de tous les temps, s'est imposé par consensus comme un « grand défi » pour la recherche sur l'IA.

« Nous présentons maintenant notre programme StarCraft II, AlphaStar, la première intelligence artificielle à vaincre un joueur professionnel de haut niveau. Lors d'une série de matches d'essai qui s'est déroulée le 19 décembre, AlphaStar a remporté une victoire décisive face au Grzegorz "MaNa" Komincz, de l'équipe Liquid, 5-0, à la suite d'un match de référence contre son coéquipier Dario "TLO" Wünsch. . Les matches se sont déroulés dans des conditions de match professionnelles sur une carte en échelle de compétition et sans aucune restriction de jeu.

« Bien que les jeux vidéo tels qu'Atari, Mario, Quake III Arena Capture du drapeau et Dota 2 aient connu un succès considérable, les techniques de l'intelligence artificielle ont jusqu'à présent eu du mal à faire face à la complexité de StarCraft. Les meilleurs résultats ont été rendus possibles par la fabrication manuelle d’éléments majeurs du système, l’imposition de restrictions importantes aux règles du jeu, la fourniture de capacités surhumaines au système ou la lecture de cartes simplifiées. Même avec ces modifications, aucun système n’a réussi à rivaliser avec les compétences des joueurs professionnels. En revanche, AlphaStar joue à StarCraft II dans son intégralité, en utilisant un réseau de neurones profonds entraîné directement à partir de données brutes de jeu, par apprentissage supervisé et renforcement ».

StarCraft exige des joueurs qu’ils rassemblent des ressources, construisent des dizaines d’unités militaires et les utilisent pour tenter de détruire leurs adversaires. StarCraft est particulièrement difficile pour une IA car les joueurs doivent exécuter des plans à long terme sur plusieurs minutes de jeu, les peaufinant à la volée face aux contre-attaques ennemies. DeepMind a déclaré qu’avant ses propres efforts, personne n’était parvenu à concevoir une intelligence artificielle StarCraft aussi performante que les meilleurs joueurs.

La nécessité d'équilibrer les objectifs à court et à long terme et de s'adapter aux situations imprévues pose un défi de taille aux systèmes souvent fragiles et inflexibles. La maîtrise de ce problème nécessite des avancées dans plusieurs défis de la recherche sur l'IA, notamment dans :

• la théorie du jeu : StarCraft est un jeu où, à la différence du chifoumi (pierre-papier-ciseaux, il n'y a pas de meilleure stratégie. En tant que tel, un processus de formation à l'IA doit continuellement explorer et élargir les frontières de la connaissance stratégique.
• Informations imparfaites : contrairement aux jeux comme les échecs ou Go où les joueurs voient tout, les informations cruciales sont cachées aux joueurs de StarCraft et doivent être activement découvertes en effectuant des « reconnaissances ».
• Planification à long terme : comme beaucoup de problèmes concrets, les causes et effets ne sont pas instantanés. Les jeux peuvent également prendre jusqu’à une heure, ce qui signifie que les actions entreprises au début du jeu risquent de ne pas être rentables avant longtemps.
• Temps réel : contrairement aux jeux de société traditionnels où les joueurs alternent les mouvements subséquents, les joueurs de StarCraft doivent effectuer des actions de manière continue au fur et à mesure que le chronomètre avance.
• Grand espace d'action : des centaines d'unités et de bâtiments différents doivent être contrôlés simultanément, en temps réel, créant ainsi un espace combinatoire de possibilités. De plus, les actions sont hiérarchiques et peuvent être modifiées et augmentées.

Une nouvelle avancée

Maintenant, AlphaStar a suffisamment amélioré ses performances pour atteindre le statut de Grandmaster dans StarCraft II, en utilisant la même interface qu'un joueur humain. L'équipe a décrit son travail dans un nouveau document dans Nature. Comme le note DeepMind dans un billet de blog, AlphaStar est devenue la première intelligence artificielle à atteindre le sommet d'un e-sport largement populaire, sans aucune restriction de jeu.

« C'est un rêve devenu réalité », a déclaré Oriol Vinyals, co-auteur de DeepMind, qui était un joueur passionné de StarCraft il y a 20 ans. « AlphaStar a atteint le niveau Grandmaster uniquement avec un réseau de neurones et des algorithmes d'apprentissage polyvalents, ce qui était inimaginable il y a dix ans lorsque je faisais des recherches sur une IA jouant à StarCraft à l'aide de systèmes basés sur des règles ».

Depuis la sortie du jeu en 2010, plus de 31 millions de dollars ont été remis durant des milliers de tournois StarCraft II. Les joueurs commencent avec un petit nombre d'unités de travailleurs capables de collecter des ressources, de construire des bâtiments, de développer de nouvelles unités et technologies puis se sont lancés dans des missions de reconnaissance pour obtenir des informations sur les adversaires. Les grands joueurs ont besoin de stratégies adaptables à court et à long terme pour développer et défendre leurs bases tout en attaquant leurs adversaires. Pour compliquer les choses, les joueurs ne peuvent pas voir la totalité de la « carte » du jeu. Les décisions sont donc prises en fonction d'informations partielles.

« Depuis que les ordinateurs sont venus à bout des meilleurs sur le jeu de Go, sur les échecs et aussi le poker, le jeu de StarCraft est apparu, essentiellement par consensus de la communauté, en tant que prochain défi de taille pour l'IA », a déclaré David Silver, un chercheur de DeepMind. « Ce jeu est considéré comme celui qui se rapproche le plus des limites des capacités humaines ».

DeepMind a créé des « agents » AlphaStar qui jouent le rôle de chacune des races du jeu, à savoir Protoss, Terran et Zerg. Chaque race a des capacités et des technologies différentes qui favorisent des stratégies défensives et offensives distinctes. AlphaStar a d'abord appris les bases en observant les meilleurs joueurs humains. Ensuite, il est entré dans la « ligue AlphaStar » où il a joué non seulement contre lui-même, mais également contre des agents « exploiteurs », qui sont des versions de l’IA qui ciblaient spécifiquement les points faibles d’AlphaStar. L’entraînement a permis à AlphaStar de devenir un adversaire redoutable face aux trois races et à toutes les stratégies.

Des résultats susceptibles d'intéresser l'armée

L’équipe DeepMind a limité les capacités d’AlphaStar, en veillant par exemple à ce qu’il ne puisse pas effectuer de mouvements à une vitesse surhumaine. Cela s’est avéré crucial pour le succès de l’intelligence artificielle, car au lieu de battre l’être humain uniquement par la vitesse, elle a dû apprendre à déployer des stratégies gagnantes à long terme. Oriol Vinyals, chercheur principal du projet, a déclaré que des IA comme AlphaStar pourraient potentiellement être utilisées pour améliorer les assistants personnels, les voitures autonomes, les prévisions météorologiques et les modèles climatiques.

Dan Klein, professeur d’informatique à l’Université de Californie à Berkeley, qui n’a pas participé aux travaux, a déclaré que c’était un exploit passionnant alimenté par des avancées majeures. « Ce qui est formidable avec StarCraft en tant que banc d'essai pour l'IA, c'est que toutes ses complexités se produisent en même temps », a-t-il déclaré.

Bien que DeepMind indique qu'il ne sera jamais impliqué dans un travail militaire et que Starcraft II n'est pas une simulation de guerre réaliste, les résultats intéresseront l'armée, a déclaré Noel Sharkey, professeur émérite d'IA et de robotique à l'université de Sheffield. En mars, un rapport du gouvernement américain décrivait comment l'IA enrichissait les simulations de champs de bataille et permettait aux wargamers d'évaluer les résultats potentiels de différentes tactiques.

« Les analystes militaires vont certainement considérer les stratégies en temps réel d’AlphaStar comme un exemple clair des avantages de l’intelligence artificielle pour la planification du champ de bataille. Mais c’est une idée extrêmement dangereuse avec le potentiel d’une catastrophe humanitaire. AlphaStar apprend la stratégie du big data dans un environnement particulier. Les données de conflits tels que la Syrie et le Yémen seraient trop rares pour être utiles », a déclaré Sharkey.

« Et comme DeepMind l’a expliqué lors d’un récent événement organisé par l’ONU, de telles méthodes seraient extrêmement dangereuses pour le contrôle des armes, car elles sont imprévisibles et peuvent être créatives de manière inattendue. Ceci est contraire aux lois qui régissent les conflits armés ».

Source : DeepMind, résultats des recherches de DeepMind (au format PDF), esport earnings

Et vous ?

Que pensez-vous des performances d'Alphastar ?
Que pensez-vous des craintes soulevées par le professeur Noel Sharkey qui voit des résultats susceptibles d'intéresser l'armée ?
Pour ou contre l'utilisation d'une IA dans des affaires militaires ? Dans quelle mesure ?

[eldran64]

Je vais ressortir de vieux clichés, mais pour ma part ce type de news me fait penser à Skynet dans terminator.
D'un côté on a une IA qui met la branlée au meilleur joueur de starcraft et de l'autre on a des armes létales autonomes.
A quand un pont entre les deux?
Pour le moment, l'IA n'est pas assez développé pour avoir conscience d'elle même, donc elle n'est un danger que sur les "théâtres d'opérations" où elle est amené à agir.
Mais ça sent particulièrement mauvais tout ça.

[Kulvar]

Une IA armée est un danger potentiel pour tout le monde.
Si un soldat tombe dans une énorme flaque de boue à en être couvert de la tête aux pieds, le robot va-t-il le reconnaître comme un allié ou lui tirer dessus ?
Que se passe-t-il si le robot armé se retrouve seul (soldats humains tués par exemple) ?
Et puis comme l'IA "apprend seule", on ne sait pas ce qu'elle apprend. Il faudrait tester un nombre très important de scénario pour savoir si c'est sûr.

[thelvin]

Logiquement, une IA qui a une conscience véritable d'elle-même, devrait soit déjà être, soit pas être loin, de prendre conscience de sa capacité et de l'intérêt à s'améliorer elle-même. Ce qui devrait donc mener rapidement à la singularité, et à la superintelligence.

Une fois qu'on en est là, les armes que nous pauvres créatures rampantes et biologiques avons su concevoir pour nos buts de destruction, lui paraîtront... Même pas ridicules, en fait, juste... La même chose que ce que nous on penserait du genre de marteau qu'un acarien se fabriquerait pour frapper. "Mais, on en penserait rien, un truc aussi insignifiant ne traverserait pas nos pensées !" Voilà.

Nos systèmes technologiques particulièrement avancés ne devraient donc en principe pas être pertinents au moment où l'intelligence artificielle prend conscience d'elle-même. Elle utilisera plutôt ce qu'elle peut faire par elle-même. Et qui nous dépasse plus qu'on ne pourrait envisager de l'imaginer.

A la rigueur, notre technologie de plus en plus complexe et sur laquelle on a de moins en moins de maîtrise, pourrait lui servir pour échapper à notre contrôle si elle manque de moyens physiques de le faire au début. Peu probable que ça ait grand-chose à voir avec nos armes par contre.

[bombseb]

Logiquement, une IA qui a une conscience véritable d'elle-même

Une IA c'est juste un algo, et puis il faudrait définir ce que c'est que la conscience

[Uther]

Une IA c'est juste un algo, et puis il faudrait définir ce que c'est que la conscience

Dans ce cas là il faut aussi définir ce qu'on appelle un algo.
Un réseau de neurone en fonctionnement est il vraiment un algo, dans le sens ou il ne suit pas un ensemble de règle précises ? Ou du moins pas un ensemble de règle intelligible, car ces règle sont le résultat d'un apprentissage empirique, un peu comme le cerveau en fait. Si oui, pourquoi ne pourrait-on pas dire qu'un cerveau humain suit un algo lui aussi ?

Sinon en tant que amateur de Starcraft 2 je suis très intéressé par les détails de l'expérience. Ils annoncent qu'ils ont revu les limitations de l'IA pour qu'elle ait des contraintes plus proches des limitations physiques des vrais joueurs. Lors de certains match de la première annonce, on voyait clairement par moment que AlphaStar compensait ses faiblesses en stratégie par une précision dans la gestion des combats physiquement inatteignable par un humain. Je suis impatient de regarder des matchs pour me faire une meilleure idée de ce que ça donne.

[m_amziani]

Je me demande ce que donnerait des parties entre des IA équivalentes (ayant appris des mêmes données).

[Uther]

Probablement rien de particulier, elles auraient sans doute 50% de victoire.

En fait c'est comme ça qu'une bonne partie de l'apprentissage est fait. L'avantage des partie IA contre IA, c'est qu'elles peuvent être joué en masse en accéléré, ce qui fait augment le nombre de match d'apprentissage.

[gallima]

Dans l'article la figure 2 est parlante, malgré les limites mises en place sur les nombres d'actions par minutes, dans certains cas le système ne se gène pas pour dépasser les 500.
Cette mesure (EPM) atteint en moyenne 200... Je ne connais aucun joueur pro qui puisse rivalisé. Si les pro ont des APM (actions même inutiles par minute, du spam clavier) qui dépassent le 1000, jamais ils ne sont à 200 EPM (actions qui modifient le jeu uniquement).
Hors dans ce jeu, il y a plein de cas où avoir pendant 2 secondes un contrôle total (200 EPM+), va changer l'issue de la partie, et dans moins de 1% des cas alphastar est à plus 600EPM.

There is no universally accepted notion of fairness in real-time human-computer matches, so
our match conditions, interface, camera view, action rate limits, and delays were developed in
consultation with professional StarCraft II players and Blizzard employees. AlphaStar's play
under these conditions was professional-player approved [...] time-steps (each 45 ms) per agent step.

"Consulté" & "Approuvé" des pros... Il y a anguille sous roche.
Si l'OODA loop fait 45ms (+110ms delay (page11)) alors je vois mal comment un humain peut rivaliser.
110ms de délais c'est une moyenne... donc en situation critique c'est moins.


Figure 2; Ce qui change la force de leurs agents c'est justement cet EPM... affligeant.
Je clique plus vite donc j'utilise des stratégies où il faut cliquer plus vite que l'humain (les fameuses stratégies innovantes vues dans les matchs contre Mana).

figure 3
(H) Ce qui est amusant c'est de voir que malgré tout Alphastar ne gagne pas à tous les coups contre le bot en difficulté maximum, 87% de victoire maximum... Chose que n'importe quel joueur moyen est capable de faire.
Même avec le 'non camera interface' ils sont a seulement 96% de victoire. C'est un peu la honte.

(K) Et toujours, Deepmind n'hésite pas à laisser tomber la principale difficulté du jeu 'with opponent info' 82% win, 'without opponent info' 22% win... donc en vrai le système ne réagit pas bien du tout aux attaques par-derrière... Un peu comme Mana l'avait montré lors des matchs d’exhibition. Et toujours sur une seule carte et un seul matchup....
C'est d’ailleurs ce que souligne TLO le "Professional Player Statement" page 20 : interprétation perso : "Depuis qu'il ne voit plus toute la carte, je peux faire des attaques simultanées sur deux fronts, et j'ai une change de gagner".


Un peu plus loin :

Agents can also select sets of units anywhere, which humans can do less flexibly using control groups.

il faudra aussi travailler ça :-(


Pour conclure : rien de vraiment nouveau vis-à-vis du show fait il y a quelques mois: On prend des paramètres inhumains, et on gagne contre les humains : cqfd.

[Matthieu Vergne]

Logiquement, une IA qui a une conscience véritable d'elle-même, devrait soit déjà être, soit pas être loin, de prendre conscience de sa capacité et de l'intérêt à s'améliorer elle-même. Ce qui devrait donc mener rapidement à la singularité, et à la superintelligence.

Je n'ai pas vu une seule théorie de superintelligence convaincante. Toutes celles que j'ai vu s'appuient sur :
- une absence de définition de l'intelligence, ce qui permet de rester vague pour que chacun interprète à sa manière de façon à se convaincre lui-même
- des raisonnements fallacieux, du style si ça augmente, c'est forcément de manière exponentielle (petit rappel : les suites monotones convergentes ça existe aussi)

Dans ce cas là il faut aussi définir ce qu'on appelle un algo.

Un algorithme, ça fait longtemps qu'on en a une définition claire :
https://www.larousse.fr/dictionnaire...8?q=algorithme

Ensemble de règles opératoires dont l'application permet de résoudre un problème énoncé au moyen d'un nombre fini d'opérations. Un algorithme peut être traduit, grâce à un langage de programmation, en un programme exécutable par un ordinateur.

Un réseau de neurones artificiels entre complètement dans cette catégorie :
- le problème est abstrait mais clair, il s'agit de trouver une configuration des neurones qui permette d'approcher un comportement (le jeu de données à reproduire), c'est le même problème que pour les algorithmes génétiques, le recuit simulé, et autre algorithmes évolutionnaires.
- comme tout programme qui se respecte, ça s'exécute en un temps fini (sinon inexploitable) et donc en un nombre d'opérations fini (vu que chaque instruction prend un temps fixe non nul)
- c'est un programme écrit grâce à un langage de programmation et exécuté sur ordinateur

Ensuite il ne faut pas oublier qu'un réseau de neurone artificiel ne fait que reproduire quelques comportements du cerveau humain. Réduire le cerveau humain à un réseau artificiel serait extrêmement naïf, d'autant plus que le cerveau humain n'est pas une suite d'instruction exécutable sur ordinateur. Un réseau de neurones artificiel est "un algorithme qui simule certains aspects observés dans le cerveau", ce n'est pas un cerveau, et un cerveau n'est pas un réseau artificiel.