Jeu de poker : l’IA de l’université Carnegie Mellon terrasse ses quatre adversaires humains

Le poker n'est pas un jeu de cartes et la CML l'a bien compris. Sans ça leur IA ne pouvait pas gagner. Le poker est avant tout un jeu de psychologie, où celui qui gagne est avant tout celui qui réussit à convaincre les autres qu'il a le meilleur jeu quelque soit ce qu'il a dans la main. Le vainqueur sera donc celui qui arrivera le mieux à cerner son adversaire et tout dépend donc de comment ils ont codé Libratus. Plus Libratus sera imprévisible, plus les humains auront de mal à cerner l'IA et donc à gagner. La clé du succès sera donc la capacité de Libratus à y aller ou pas. Si Libratus reste planquée derrière les statistiques du poker alors les joueurs humains auront leur peau sans coup férir. Après il y a aussi le cas où les scientifiques auront optimisé Libratus pour jouer face à Jason Les, Dong Kim, Daniel McAulay et Jimmy Chou. L'IA gagnera car elle les connaîtra par coeur, mais ce ne sera pas une belle victoire.

Pour résumer la victoire de Libratus dépend de sa capacité à être active, à mener le jeu ou pas. Le but des chercheurs de la CML étant avant tout de créer une aide à la décision, je pense donc que la victoire ira aux humains.

Citation:

---

Envoyé par Olivier Famien

En 2011, l’on a assisté à la victoire du programme d’intelligence artificielle conçu par IBM baptisé Watson, dans le jeu Jeopardy. L’année dernière, ce fut AlphaGo, le programme informatique développé par Google DeepMind qui battit Lee Sedol, un des meilleurs joueurs de Go au monde possédant le 9e dan, ce qui correspond au niveau le plus élevé dans ce jeu.

---

N'oublions pas Deep Blue d'IBM qui battait déjà Kasparov aux échecs en 1996.

J'aimerais savoir qui tire les cartes? :mouarf:

Citation:

---

Envoyé par NSKis

Contrairement à ce que certains affirment içi, il y a une forte part de hasard dans le pocker!!!

Pour s'en convaincre, il suffit de suivre la "carrière" des champions de la discipline à qui il arrive de gagner un gros tournoi, style "Las Vegas Pocker Truc&Machin" avec des dizaines de millions de dollars de gain pour le gagnant!!!

Si le pocker n'était pas lié au hasard, il serait du pocker comme du tennis, on verrait toujours les mêmes noms gagner les tournois... Etonnant, ce qui est vrai pour le tennis ne l'est pas pour le pocker!!! :mrgreen:

---

Si tu compte uniquement le gagnant des tournois, tu peux effectivement dire que le facteur change est important.

Mais si tu compte les gains accumulés en tournois alors là tu es en dehors de la plaque. Et au final c'est ce qui compte. Je préfère finir 10 fois dans les places payées sur 20 tournois que 1 fois même si c'est la première !!!

Et tu parle surement des tournois du grand Chelem. Parce que si tu regarde les autres, tu va constater que c'est pas toujours les mêmes qui gagnent et que parfois les grands joueurs ont des coups de mous ou se réserve pour les grands tournois :mouarf:.

Citation:

---

Envoyé par Bloon

Ce n'est pas le sujet, mais il existe des méthodes (https://fr.wikipedia.org/wiki/Martingale). C'est d'ailleurs pour cela que les casinos limitent les montants que l'on peut miser.

Bloon

---

Pour être précis il n'existe aucune méthode permettant d'améliorer son espérance de gain.
C'est bien ce qui est écrit dans ton lien ici

Citation:

---

Une martingale est destinée à optimiser la probabilité de gagner mais ne change en rien l'espérance mathématique des gains, qui reste à la défaveur du joueur.

Mathématiquement, Lester Dubins et Leonard Savage ont démontré en 1956 que la meilleure façon de jouer dans un jeu où les probabilités sont défavorables au joueur consiste à miser toujours ce qui permet d'approcher le plus rapidement le but visé. Intuitivement ce résultat semble évident : si à chaque partie on a plus de chances de perdre que de gagner, autant minimiser le nombre de parties jouées. Ce résultat signifie également qu'à moins de disposer d'une mise de départ infinie, il n'existe pas de stratégies permettant de renverser les probabilités en votre faveur dans un jeu qui vous est défavorable.

Même dans le cas d'un jeu équitable, le joueur qui a à la fois la possibilité et la volonté de miser le plus se donne plus de chances de ruiner son adversaire et donc de l'empêcher de continuer à jouer : ainsi, au prix d'une perte potentielle plus grande, il se donne aussi plus de chance de gagner. Comme dans toute martingale, cela ne modifie toutefois pas l'espérance des deux joueurs (c'est-à-dire le plus « petit joueur » a moins de chance de gagner mais, aussi paradoxal que ça paraisse, il peut gagner plus !).

---

Citation:

---

Envoyé par jpouly

Si tu compte uniquement le gagnant des tournois, tu peux effectivement dire que le facteur change est important.

Mais si tu compte les gains accumulés en tournois alors là tu es en dehors de la plaque. Et au final c'est ce qui compte. Je préfère finir 10 fois dans les places payées sur 20 tournois que 1 fois même si c'est la première !!!

Et tu parle surement des tournois du grand Chelem. Parce que si tu regarde les autres, tu va constater que c'est pas toujours les mêmes qui gagnent et que parfois les grands joueurs ont des coups de mous ou se réserve pour les grands tournois :mouarf:.

---

C'est pourtant pas la philosophie des joueurs gagnant. Ils visent uniquement le top trois ... Survivre à la bulle ne les intéresse nullement ...

Qu'on parle d'un programme qui puisse battre un humain ok, mais d'un I.A. en temps que tel, je suis sceptique. Ca serait beaucoup plus intéressant pour moi du moins d'avoir un programme multitache(conduite, jeux, peinture...) et de voir comment il s'adapte de lui même a une tache dont il ne connait rien par rapport a ce qu'il connait déjà. Voir même encore mieux, que deux programmes identiques a la base arrivent a gérer une tache identique mais de manière différente. Après c'est mon avis personnelle, je ne voit surement pas tout les finalités en terme de recherche de ces jeux ni même si un programme multitache est possible a l'heure actuel.

Citation:

---

Envoyé par RyzenOC

Le facteur chance et quand même très important, tu ne connais pas les cartes de tes adversaires, tu ne connais pas les combinaisons qu'ils peuvent faire...
C'est assez comparable à Monopoly, il y'a de la stratégie, mais la chance/hasard est un facteur non négligeable.

Je ne pense pas que des calcules/shéma statistiques ultra poussé procure un avantage décisifs.

C'est aussi un jeu de bluff, comment l'ia vas t'elle se comporter face aux réactions de ces adversaires ? si l'ia en fait abstraction ou l'interprète mal c'est un facteur favorable à l'humain pour le coup.

je reste sur ma position 50/50 (plus ou moins 10% donc max 60/40 ou 40/60)

---

Ta parenthèse est très intéressante car justement le poker est un jeu "à faible marge". Jamais un joueur ne gagnera 95% de ses parties. Un bon joueur gagnera 60% de ses parties là où un mauvais en gagnera 40%.
A propos du bluff, je crois que ça déjà été dit ici, mais on est capable de calculer le % optimal (mathématiquement) de bluff pour une situation donnée. C'est pas juste une histoire de "feeling"

Citation:

---

Envoyé par mathias.deshayes

Ta parenthèse est très intéressante car justement le poker est un jeu "à faible marge". Jamais un joueur ne gagnera 95% de ses parties. Un bon joueur gagnera 60% de ses parties là où un mauvais en gagnera 40%.
A propos du bluff, je crois que ça déjà été dit ici, mais on est capable de calculer le % optimal (mathématiquement) de bluff pour une situation donnée. C'est pas juste une histoire de "feeling"

---

Oui j'aimerais bien savoir comment l'IA va calculer la fold equity :aie:

Citation:

---

Envoyé par Olivier Famien

Il faut souligner que « battre les humains n’est pas vraiment notre objectif ; ce n’est qu’une étape sur le chemin », affirme Tuomas Sandholm, professeur d’informatique à CMU et chef de projet pour le développement du programme Claudico. Il continue en ajoutant que « ce que nous voulons faire est de créer une intelligence artificielle qui peut aider les humains à négocier ou à prendre des décisions dans des situations où ils ne peuvent pas connaître tous les faits ».

---

Une situation où ils ne peuvent pas connaître tous les faits ? Ah, parce qu'il existe des situations ou on connaît tout sur tout ? A part les situations toutes faites et donc ayant peu d'intérêt pratique, je vois pas. Aider les humains à prendre des décisions dans ce genre de situation... c'est ce qu'on fait depuis des lustres grâce aux stats et probabilités, qui permettent de combler le manque d'info d'une situation donnée sur la base de tendances. Cherchent-ils à faire une IA qui n'est rien de plus qu'un agrégat de ce qu'on fait déjà ?

Bien sur qu'ils visent à battre les humains, vu que ça leur ferait une bonne pub. S'ils cherchaient vraiment à aider l'être humain à prendre des décisions, ils évalueraient la performance d'un humain/IA seul(e) face à un couple humain + IA.

Citation:

---

Envoyé par Olivier Famien

Les joueurs professionnels devront collectivement jouer sur 20 jours 120 000 mains au Heads-Up No-Limit Texas Hold’em qui admet une mise ou une relance sans restriction maximale et partager 200 000 dollars à la fin de la compétition et selon les performances de chaque joueur. Dans le premier tournoi organisé en 2015 contre l’IA Claudico, les 80 000 mains instaurées se sont avérées insuffisantes pour les chercheurs, afin d’établir la supériorité de l’homme ou de l’ordinateur. Pour cette fois, le nombre de mains a augmenté de 50 % afin de permettre aux scientifiques de tirer des conclusions statistiques pertinentes à la fin de cette compétition.

---

En général, les soucis de résultats non significatifs se retrouvent résolus par des changement d'ordre de grandeur. Je me trompe ? +50% ça me semble être peu pour faire une différence notable. Par ailleurs, si 80k mains (20k pour chaque combinaison joueur vs. IA) ne permettent pas de fournir des résultats significatifs, j'en comprends que les résultats sont tellement proches qu'en pratique c'est du pareil au même. De là, on augmente le nombre juste pour pouvoir dire que la minuscule différence entre les deux n'est pas de l'ordre du bruit, ce qui ne change cependant rien au fait que la différence reste minime.

J'imagine bien l'hypothèse nulle être "l'IA est aussi performante que les humains", ou il suffit de montrer qu'on n'a pas exactement 50/50 pour rejeter l'hypothèse, ce qui a toutes les chances d'arriver et donc n'a aucun intérêt. De là, augmenter le nombre permet juste de dire que les chiffres sont significatifs, et non de tirer des conclusions plus utiles. Et +50% me semble être une augmentation du style "juste assez pour que nos chiffres non significatifs le deviennent" (i.e. garantir qu'on n'a pas exactement 50/50, même si c'est 50,0001/49,9999), ce que je ne saurais voir comme sérieux. J'espère que je ne me fais que des idées, mais quand en plus on lit que pour la nouvelle expérience, les joueurs humains vont devoir jouer 2 parties en même temps, ce qui me semble de toute évidence être à l'avantage de la machine, il y a de quoi se poser encore plus de questions niveau méthode.

Et si le poker n'était, finalement, qu'un jeu de loterie qui converge bel et bien vers 50/50 avec un grand nombre de parties ? Et donc que les différences de compétences dans le jeu humain sont majoritairement dues aux bluffs ? Cela n'aurait finalement rien d'étonnant si on y réfléchit bien. Pour revenir à l'idée de décider quand on a peu d'information (et qu'on n'est pas capable d'en avoir plus), la meilleure technique n'est-elle pas effectivement pile ou face ? Est-ce qu'ils ont seulement essayé de voir ce que donnait un vrai random (il n'y a pas qu'une seule façon d'en faire), pour confirmer que ce n'est pas intéressant ? Mais si le meilleur expert en poker, robuste à tous les bluffs, s'avère être (majoritairement basé sur) random, ça ne ferait pas une bonne pub.

Il y a eu pas mal de développements théoriques dans le poker depuis une dizaine d'années (grosso modo des approches basées uniquement sur les statistiques) et si ces IA sont basées dessus je ne donne pas cher de la peau des pros. Je ne m'intéresse plus trop à la question mais dans mon souvenir, si on poussait la théorie à l'extrême, tu ne jouais même pas ta main, tu prenais tes décisions uniquement en fonction des décisions prises lors des mains précédentes en tendant à converger vers les fréquences théoriques. Chose difficile à applique pour un humain mais pas pour une IA... Tout ça dans le contexte du holdem (évidemment), mais je suppose que ce sera la variante utilisée ici.

@Matthieu des situations où on connait tout sur tout ??? Echec, go etc... Différence entre jeux à connaissances complètes ou incomplètes, la base de l'IA appliquées aux jeux quoi. Dans la vie courante les systèmes utilisées par les banques ou assurances pourraient probablement être considérés à informations complètes également.

PS : sinon la lecture de ce fil confirme bien le manque de formation aux phénomènes aléatoires ;)

Citation:

---

Envoyé par Alvaten

Je ne suis pas un expert du poker mais j'ai toujours entendu que le hasard était justement en partie maîtrisable. On peux calculer des probabilités que la prochaine carte soit positive ou négative non ? Pour cela une machine sera infiniment plus performante que l'homme.

---

C'est vrai mais les probas sont vraiment triviales à calculer donc la machine n'a pas vraiment d'avantage sur cette partie.

Citation:

---

Envoyé par GPPro

@Matthieu des situations où on connait tout sur tout ??? Echec, go etc...

---

Ne pas confondre : toute l'information du plateau est disponible pour chaque joueur mais ça ne veut pas dire que tu saches tout ce qu'il y a à savoir sur la partie. En particulier, tu ne sais pas quelle stratégies l'adversaire compte favoriser parmi les nombreuses disponibles. Les joueurs font aussi parti du jeu.

Effectivement on ne peut pas prévoir l'avenir, mais dans le cadre de l'IA, dire que l'on dispose de l'information complète ne veut absolument pas dire disposer d'un oracle... (comme je l'ai dit, il s'agit d'une définition de base, de vocabulaire quoi, dans ce cadre précis cette déclaration a un sens précis)

Citation:

---

Envoyé par GPPro

Effectivement on ne peut pas prévoir l'avenir, mais dans le cadre de l'IA, dire que l'on dispose de l'information complète ne veut absolument pas dire disposer d'un oracle... (comme je l'ai dit, il s'agit d'une définition de base, de vocabulaire quoi, dans ce cadre précis cette déclaration a un sens précis)

---

Il ne s'agit pas de prévoir l'avenir, mais de savoir quelles stratégie l'adversaire essaye déjà de mettre en place, potentiellement depuis le début de la partie. Je parle de ce que l'adversaire sait déjà, pas ce que lui même ne sait pas encore.

Définition d'information complète dans le cadre des jeux...

Merci pour la théorie, moi je parle de pratique : le go est un jeu à information complète, pour autant on est incapable d'exploiter toute cette information, que ce soit l'être humain ou la machine. D'où la nécessité de supposer. Que l'information soit disponible est une chose. Qu'on soit capable de la considérer en est une autre. Dans les faits, l'information utilisée est incomplète. La théorie te dit seulement que l'information disponible est complète. Tout comme ce n'est pas parce qu'un équilibre de Nash existe que les joueurs vont s'y plier.

Citation:

---

Envoyé par GPPro

Il y a eu pas mal de développements théoriques dans le poker depuis une dizaine d'années (grosso modo des approches basées uniquement sur les statistiques) et si ces IA sont basées dessus je ne donne pas cher de la peau des pros.

---

C'est l'inverse :) si l'IA ne joue qu'en fonction des stats elle va se faire laminer par les pro qui sauront créer des situations où les stats "disent" de ne pas jouer provoquant l'abandon de l'IA à tort, et des situations inverses, où l'IA jouera parce que stat favorable mais le pro aura une meilleure main.

Citation:

---

Je ne m'intéresse plus trop à la question mais dans mon souvenir, si on poussait la théorie à l'extrême, tu ne jouais même pas ta main, tu prenais tes décisions uniquement en fonction des décisions prises lors des mains précédentes en tendant à converger vers les fréquences théoriques. Chose difficile à applique pour un humain mais pas pour une IA... Tout ça dans le contexte du holdem (évidemment), mais je suppose que ce sera la variante utilisée ici.

---

C'est le cas particulier du Heads-up limit hold'em (face à face avec des limites), autrement dit le poker le plus chiant du monde !

Citation:

---

PS : sinon la lecture de ce fil confirme bien le manque de formation aux phénomènes aléatoires ;)

---

Ainsi que la méconnaissance du poker :)

Bloon

En ce qui me concerne je suis emballé par le projet.

Imaginez le matin avant de partir au boulot, vous réglez votre IA de poker pour jouer à votre place pendant que vous êtes au taf, en indiquant le gain souhaité et les mises maximales autorisées et il se chargera d'arrondir vos fins de mois en gagnant de l'argent tout seul sur le dos des adversaires. :aie:

Citation:

---

Envoyé par Bloon

C'est l'inverse :) si l'IA ne joue qu'en fonction des stats elle va se faire laminer par les pro qui sauront créer des situations où les stats "disent" de ne pas jouer provoquant l'abandon de l'IA à tort, et des situations inverses, où l'IA jouera parce que stat favorable mais le pro aura une meilleure main.


C'est le cas particulier du Heads-up limit hold'em (face à face avec des limites), autrement dit le poker le plus chiant du monde !


Ainsi que la méconnaissance du poker :)

Bloon

---

Comme je disais, le poker a évolué, je faisais référence à ce qui est développé (entre autres) dans des livres comme Applications of no limit holdem de Janda. Dans le poker la fréquence des bluffs fait également partie de la théorie...

Effectivement la méconnaissance du poker (moderne) est frappante ;)

Citation:

---

Envoyé par Falquiero

Oui j'aimerais bien savoir comment l'IA va calculer la fold equity :aie:

---

Comme l'humain : en étudiant le jeu de son adversaire.
Et si il n'a pas assez d'informations sur l'adversaire, il utilisera la fold equity qui correspond à l'équilibre de Nash.