Discussion :

[Bill Fassinou]

Cinq algorithmes d'IA font équipe pour écraser des humains au Dota 2
un jeu d'équipe connu pour être extrêmement compliqué

Nous ne pensions pas voir ce jour arriver. Nous ne pensions pas voir l'intelligence artificielle réussir à surpasser l’esprit humain et son immense capacité d'adaptation. Et pourtant, c’est arrivé. Les chercheurs de l’entreprise californienne à but non lucratif OpenAI ont réussi l’exploit d’intégrer cinq algorithmes différents dans une équipe qu’ils ont appelée « OpenAI Five », et de les faire travailler en équipe. Chaque algorithme a été doté d’un réseau de neurones lui permettant non seulement d’apprendre comment jouer, mais aussi comment coopérer et interagir avec les autres algorithmes. Après avoir créé un algorithme capable de tenir tête aux meilleurs joueurs professionnels de Dota 2 Solo, OpenAI vient de modifier son IA de base pour qu’elle prenne en compte aussi bien le travail individuel que collectif.

C’est un pas significatif dans le domaine, puisque les algorithmes travaillent généralement seuls et indépendamment les uns des autres. Les possibilités d’application pour cette avancée sont exceptionnelles. Le nouveau type d’algorithmes pourrait même coopérer avec des humains. Greg Brockman, un des fondateurs d’OpenAI, déclare qu’ils ont essayé de remplacer un des algorithmes par un humain et que celui-ci « s’était décrit comme se sentant très bien soutenu ». C’est en jouant contre diverses versions d’eux-mêmes que les algorithmes d’OpenAI Five apprennent.

Au fil du temps, ils en sont arrivés à développer des stratégies semblables à celles que des humains pourraient adopter dans le jeu. Noam Brown, chercheur à l’Université Carnegie Mellon de Pittsburgh explique que « Dota 2 est un jeu extrêmement compliqué, et battre même des amateurs est toujours impressionnant ». Il dit aussi que si l’OpenAI Five réussissait encore et toujours à battre des humains, cela serait réellement une avancée majeure pour l’industrie de l’IA. Cependant, il admet la possibilité qu’avec assez de temps, les humains puissent être en mesure de s’adapter au style de jeu de l’IA et d’en trouver les failles.

Le rythme d’entraînement auquel les algorithmes de l’OpenAI Five sont soumis est tout simplement ahurissant. Chaque jour, ils engrangent l’équivalent de 180 ans d’expérience et d’entraînement. Réussir à les coordonner parfaitement dans un jeu aussi compliqué signifierait que beaucoup d’applications de l’IA qu’on pensait utopiques sont désormais à portée de main. L’exploit des chercheurs d’OpenAI est d’autant plus exceptionnel qu’il s’agit d’un jeu pour lequel les IA ne sont pas réellement prédisposées. La multitude de choix possibles à un même moment, l’importance voire même l’indispensabilité du travail en équipe sont déjà des freins notables à l’apprentissage des IA.

Réussir à contourner ces obstacles pour former une équipe d’algorithmes IA assez bien coordonnée pour battre les meilleurs joueurs amateurs est un accomplissement totalement inédit. Il convient cependant de préciser que les algorithmes se sont entraînés sur une version limitée du jeu. Ils ne peuvent incarner que certains personnages, ne peuvent utiliser d’outils qui permettent de voir une plus grande partie de la carte ou de se rendre invisible et ne peuvent pas invoquer d’autres unités pour les aider à combattre. Les chercheurs d’OpenAI espèrent lever ces restrictions au grand tournoi de Dota 2 qui aura lieu en août et où l’OpenAI Five défiera les équipes de joueurs professionnels.


Source : MIT Technology Review

Et vous ?

Que pensez-vous de cet exploit de l'IA ?
Qu'un programme informatique surpasse l'esprit humain, quelles conséquences cela pourrait-il avoir ?
Quels pourraient être selon vous les domaines d'application de cette avancée technologique ?

Voir aussi

Des experts prédisent que l'IA va dominer les humains dans moins de 50 ans selon une étude menée par les deux universités Harvard et Yale

Une IA aurait permis de commencer à percer les mystères entourant le manuscrit de Voynich considéré comme le plus important cryptogramme non résolu

Intelligence artificielle : Facebook publie en open source ELF OpenGo, son IA qui a battu d'autres IA au jeu de Go, ainsi que des professionnels

AlphaZero : l'IA de DeepMind qui devient imbattable sur trois jeux différents en moins de 24 heures, les premiers pas vers une IA généraliste ?

USA : l'IA pourrait remplacer la moitié des employés du secteur bancaire la prochaine décennie selon des experts de l'industrie

[Matthieu76]

Bravo !

[Bill Fassinou]

OpenAI Five, l'équipe d'algorithmes d'IA d'OpenAI, écrase les champions du monde de Dota 2
et tout le monde peut jouer contre elle

Pour les startups d’intelligence artificielle dans le monde, une manière d’entraîner leurs agents d’IA et de faire évoluer très rapidement leurs algorithmes constitue à les tester sur les jeux vidéo. Des entreprises comme DeepMind en Grande-Bretagne en font le test régulièrement en confrontant leurs agents d’IA aux meilleurs joueurs de jeux de stratégie dans le monde. Le week-end passé, c’était au tour d’OpenAI de confronter son agent d’IA dénommé OpenAI Five à la meilleure équipe de Dota 2, un match dont l’IA de la start-up est sortie vainqueur.

En juillet 2016, l’entreprise britannique DeepMind, grâce à un de ses agents d’IA dénommé AlphaGo, avait réalisé la performance d’arriver en tête du classement des meilleurs joueurs du jeu de Go en battant l’un des meilleurs joueurs de Go au monde. AlphaGo, conçu pour jouer au jeu de Go avait terrassé Lee Sedol, l’un des meilleurs joueurs de Go au monde. Il y a eu également d’autres agents d’IA qui ont joué à des jeux tels que DeepBlue qui joue aux échecs ou Watson qui a concouru au jeu télévisé Jeopardy. D’après les explications de la filiale de Google, c’est cette expérience avec AlphaGo qui l’a poussé sur la voie du jeu de stratégie en temps réel (RTS), Starcraft II.

En janvier passé, AlphaStar, une IA de DeepMind, la filiale de Google, avait réussi à battre des joueurs professionnels du jeu vidéo Starcraft II. « StarCraft est un environnement de test intéressant pour la recherche actuelle en IA, car il fournit un pont utile pour la complexité du monde réel. Les compétences nécessaires à un agent pour progresser dans l'environnement et bien jouer à StarCraft pourraient finalement être transférées à des tâches réelles », avait expliqué Google DeepMind.

La vision d’OpenAI est de parvenir à créer ce qu’il appelle une intelligence artificielle générale (AGI) c’est-à-dire une intelligence artificielle capable de tenir des raisonnements abstraits, d’apporter de la créativité et de résoudre des problèmes très complexes dans plusieurs domaines (santé, sécurité, éducation, économie, etc.). En 2017, OpenAI avait déjà développé une première version de son IA qui a tenu tête à des joueurs professionnels du jeu Dota 2, mais dans des conditions modérées.

Dota 2 se joue en matchs indépendants et oppose deux équipes de cinq joueurs qui s’affrontent pour assiéger et détruire la base de l’adversaire. Le match opposant Danylo Dendi et l’IA s’est cependant déroulé en un contre un puisque l’IA est pour le moment rodée pour gérer un seul « héros ». À l’époque, l’IA ne s’est pas appuyée sur le framework d’apprentissage automatique « one-shot imitation learning » développé et utilisé par OpenAI pour enseigner à une intelligence artificielle à reproduire une tâche à partir d’une démonstration réalisée par un humain dans un environnement virtuel.

Au contraire, OpenAI avait indiqué qu’il s’agissait d’une intelligence artificielle dotée d’une plus grande adaptabilité et autonomie. « Le bot a appris à jouer au jeu tout seul en partant de rien. Il ne s’appuie ni sur la recherche dans un arbre, ni sur l’imitation. Le succès dans ce jeu requiert que les joueurs développent des capacités d’intuition et de planification », avait décrit l’entreprise. Après les premières démonstrations et de nombreux tests, OpenAI a annoncé que « la prochaine étape du projet était de créer une équipe de bots Dota 2 capable de rivaliser et collaborer avec les meilleures équipes d’humains ». Le prochain championnat devrait donc déboucher non pas sur une rencontre en 1 contre 1, mais en 5 contre 5.

Il semblerait que cela ait bien été fait par OpenAI puisque ce week-end, l’IA de l’entreprise a battu l’équipe OG qui est l’équipe championne du monde en titre pour le jeu Dota 2. Baptisé cette fois OpenAI Five, le bot d’OpenAI est le premier agent d’IA à battre des champions du monde dans un match de sport en gagnant de surcroît tous les matchs. Pour OpenAI, si des agents d’IA indépendants peuvent se comporter en tant qu’une coopérative ou collaborer explicitement avec des humains dans des cas aussi compliqués que l’environnement de Dota 2, alors il s’agit là d’une nouvelle voie vers le futur dans le développement des systèmes intelligents.

« OpenAI Five a découvert une capacité rudimentaire à être en équipe avec des humains, même si notre processus de formation est exclusivement axé sur le combat contre d'autres robots. La facilité avec laquelle nous avons transformé une IA concurrentielle en une coopérative nous fait espérer que les futurs systèmes d’IA pourront être très bénéfiques pour les humains, compte tenu des efforts de développement actifs », a déclaré l’entreprise dans un billet de blog. L’entreprise a également expliqué que le choix porté sur Dota 2 n’était pas délibéré.

Selon elle, les environnements comme celui de Dota 2 comportent des scénarios capables d’améliorer d’une manière remarquable les algorithmes d’intelligence artificielle. « On a démarré OpenAI Five afin de travailler sur un problème qui échappait aux algorithmes d'apprentissage par renforcement existants », a-t-elle indiqué. OpenAI Five considère le monde comme un ensemble de nombres qu’il doit déchiffrer par la suite. Il utilise un même code d’apprentissage polyvalent, qu’il s’agisse de l’état d’un jeu Dota (environ 20 000 numéros) ou d’une main robotique (environ 200).

Pour ce championnat, OpenAI a considérablement amélioré la vitesse de calcul de son agent d’IA, a déclaré l’entreprise dans son billet de blog. Elle a indiqué que les victoires d’OpenAI Five samedi passé, comparées à ses défaites à The International (TI) en 2018, sont dues à un changement majeur : 8 fois plus de calculs d'entraînement. Elle a également précisé qu’au total, la version actuelle d’OpenAI Five a consommé 800 petaflops/s-jours et a connu environ 45 000 ans de jeu personnel à Dota sur 10 mois en temps réel (contre environ 10 000 ans sur 1,5 mois en temps réel au The International de 2018), soit une moyenne de 250 ans d'expérience simulée par jour. La version finale d'OpenAI Five a un taux de victoire de 99,9% par rapport à la version du TI.

Pour finir, OpenAI a indiqué que la version actuelle d'OpenAI Five s'entraîne de manière continue depuis juin 2018, malgré les changements apportés à la taille du modèle et aux règles du jeu (y compris des mises à jour de correctifs de jeu assez volumineuses et des fonctionnalités récemment mises en œuvre). « Dans chaque cas, nous avons pu transférer le modèle et poursuivre la formation, ce qui représente un défi pour le RL (apprentissage par renforcement) dans d'autres domaines. À notre connaissance, il s'agit de la première fois qu'un agent RL a été formé sur une telle formation », a-t-elle indiqué.

Source : OpenAI

Et vous ?

Qu'en pensez-vous ?

Voir aussi

AlphaGo arrive en tête du classement des meilleurs joueurs de Go au monde la première fois pour un programme informatique

AlphaStar, la nouvelle IA de DeepMind, a écrasé des joueurs pro de Starcraft II, un jeu vidéo conçu pour défier l'intellect humain

OpenAI d'Elon Musk crée une IA capable de battre des humains sur Dota 2 un jeu vidéo de type arène de bataille en 3D

[jnspunk]

Vivement qu'OpenAI prenne en charge tous les héros et aussi qu'il n'y ait plus de restrictions pour les objets qui permettent de créer des illusions.
En tout cas les matchs sont impressionants, étant joueur de Dota 2 souvent j'ai un sentiment d'impuissance car on dirait qu'OG n'a aucune chance!

[LittleWhite]

Dans la première partie (sur la 20e), les humains sont étonnés du choix de l'IA d'acheter la résurrection de ses héros (processus assez couteux, qui permet de gagner qu'une trentaine de seconde). En théorie, aucun joueur humain n'agit de la sorte et préfère garder son argent, d'autant plus qu'il n'y avait pas de danger nécessitant la présence immédiate du héros.
Toutefois, quelques minutes après, on sent que l'IA prend définitivement l'avantage (avantage visible, car pour l'IA, elle avait 95 % de chances de gagner... ).

Bref, encore une fois, un résultat impressionnant pour l'IA.