Discussion :

[NicoB.]

Le poker n'est pas un jeu de hasard pur comme la roulette par exemple. A la roulette quoi qu'on fasse il n'existe aucune méthode pour faire mieux que jouer au hasard.
Au poker il y a une part de hasard très présente et visible sur le court terme mais elle s'annule sur le long terme.
A l'infini tout le monde se retrouve dans les même situations mais les bons joueurs, eux, seront capables d'obtenir une meilleur EV (expected value = espérance de gain en français) en maximisant leurs gains et en minimisant leurs pertes.
Pour s'assurer qu'un joueur est vraiment supérieur à un autre il faut donc beaucoup de mains joués. Avec 120 000 mains on commence seulement à avoir un échantillon intéressant.

L'IA au poker s'est beaucoup intéressé au calcul de l'équilibre de Nash (NE).
Il est très difficile de la calculer avec les ordinateurs actuels car l'arbre de décision à parcourir est immense.
Cet NE a été calculé il y a quelques années pour le Limit Holdem qui comporte un arbre de décision bien inférieur au No Limit Holdem.
La stratégie résultante est optimale dans le sens où elle est impossible à battre, c'est une stratégie purement défensive, elle ne cherche pas à exploiter les faiblesses d'un joueur.

Une IA qui chercherait à maximiser ces profits pourrait donc dans un premier temps jouer le NE, le temps de récupérer un maximum d'information sur les faiblesses d'un adversaire.
Il exploiterait ensuite ces faiblesses de temps en temps en faisant attention à ne pas devenir exploitable à son tour.

[23JFK]

Le poker n'est pas un jeu de hasard pur comme la roulette par exemple. A la roulette quoi qu'on fasse il n'existe aucune méthode pour faire mieux que jouer au hasard.
Au poker il y a une part de hasard très présente et visible sur le court terme mais elle s'annule sur le long terme.
A l'infini tout le monde se retrouve dans les même situations mais les bons joueurs, eux, seront capables d'obtenir une meilleur EV (expected value = espérance de gain en français) en maximisant leurs gains et en minimisant leurs pertes.
Pour s'assurer qu'un joueur est vraiment supérieur à un autre il faut donc beaucoup de mains joués. Avec 120 000 mains on commence seulement à avoir un échantillon intéressant.

L'IA au poker s'est beaucoup intéressé au calcul de l'équilibre de Nash (NE).
Il est très difficile de la calculer avec les ordinateurs actuels car l'arbre de décision à parcourir est immense.
Cet NE a été calculé il y a quelques années pour le Limit Holdem qui comporte un arbre de décision bien inférieur au No Limit Holdem.
La stratégie résultante est optimale dans le sens où elle est impossible à battre, c'est une stratégie purement défensive, elle ne cherche pas à exploiter les faiblesses d'un joueur.

Une IA qui chercherait à maximiser ces profits pourrait donc dans un premier temps jouer le NE, le temps de récupérer un maximum d'information sur les faiblesses d'un adversaire.
Il exploiterait ensuite ces faiblesses de temps en temps en faisant attention à ne pas devenir exploitable à son tour.

Ouaisss... M'enfin, si le pair sort cinq fois d'affilé, la proba d'avoir un impair au prochain lancé devient intuitivement plus forte.

[Bloon]

Ouaisss... M'enfin, si le pair sort cinq fois d'affilé, la proba d'avoir un impair au prochain lancé devient intuitivement plus forte.

Cette intuition est l'ennemie du joueur Les tirages sont indépendants les uns des autres (sauf triche ou défaillance matérielle), donc même si pair sort 50 fois de suite, la 51ème fois, pair et impair ont autant de chances de sortir (18/37).

Bloon

Le poker n'est pas un jeu de hasard pur comme la roulette par exemple. A la roulette quoi qu'on fasse il n'existe aucune méthode pour faire mieux que jouer au hasard.

Ce n'est pas le sujet, mais il existe des méthodes (https://fr.wikipedia.org/wiki/Martingale). C'est d'ailleurs pour cela que les casinos limitent les montants que l'on peut miser.

Bloon

[Alvaten]

Les tirages sont indépendants les uns des autres (sauf triche ou défaillance matérielle), donc même si pair sort 50 fois de suite, la 51ème fois, pair et impair ont autant de chances de sortir (18/37).

Oui si le tirage est avec remise, sinon la proba monte bien un petit peu à chaque fois. Dans un paquet de 54 cartes il n'y a que 27 cartes paires donc à chaque fois que tu en pioche une les chances de piocher une impaire augmentent non ?

[hotcryx]

J'aimerais savoir qui tire les cartes?

[NicoB.]

Ce n'est pas le sujet, mais il existe des méthodes (https://fr.wikipedia.org/wiki/Martingale). C'est d'ailleurs pour cela que les casinos limitent les montants que l'on peut miser.

Bloon

Pour être précis il n'existe aucune méthode permettant d'améliorer son espérance de gain.
C'est bien ce qui est écrit dans ton lien ici

Une martingale est destinée à optimiser la probabilité de gagner mais ne change en rien l'espérance mathématique des gains, qui reste à la défaveur du joueur.

Mathématiquement, Lester Dubins et Leonard Savage ont démontré en 1956 que la meilleure façon de jouer dans un jeu où les probabilités sont défavorables au joueur consiste à miser toujours ce qui permet d'approcher le plus rapidement le but visé. Intuitivement ce résultat semble évident : si à chaque partie on a plus de chances de perdre que de gagner, autant minimiser le nombre de parties jouées. Ce résultat signifie également qu'à moins de disposer d'une mise de départ infinie, il n'existe pas de stratégies permettant de renverser les probabilités en votre faveur dans un jeu qui vous est défavorable.

Même dans le cas d'un jeu équitable, le joueur qui a à la fois la possibilité et la volonté de miser le plus se donne plus de chances de ruiner son adversaire et donc de l'empêcher de continuer à jouer : ainsi, au prix d'une perte potentielle plus grande, il se donne aussi plus de chance de gagner. Comme dans toute martingale, cela ne modifie toutefois pas l'espérance des deux joueurs (c'est-à-dire le plus « petit joueur » a moins de chance de gagner mais, aussi paradoxal que ça paraisse, il peut gagner plus !).

[air-dex]

Le poker n'est pas un jeu de cartes et la CML l'a bien compris. Sans ça leur IA ne pouvait pas gagner. Le poker est avant tout un jeu de psychologie, où celui qui gagne est avant tout celui qui réussit à convaincre les autres qu'il a le meilleur jeu quelque soit ce qu'il a dans la main. Le vainqueur sera donc celui qui arrivera le mieux à cerner son adversaire et tout dépend donc de comment ils ont codé Libratus. Plus Libratus sera imprévisible, plus les humains auront de mal à cerner l'IA et donc à gagner. La clé du succès sera donc la capacité de Libratus à y aller ou pas. Si Libratus reste planquée derrière les statistiques du poker alors les joueurs humains auront leur peau sans coup férir. Après il y a aussi le cas où les scientifiques auront optimisé Libratus pour jouer face à Jason Les, Dong Kim, Daniel McAulay et Jimmy Chou. L'IA gagnera car elle les connaîtra par coeur, mais ce ne sera pas une belle victoire.

Pour résumer la victoire de Libratus dépend de sa capacité à être active, à mener le jeu ou pas. Le but des chercheurs de la CML étant avant tout de créer une aide à la décision, je pense donc que la victoire ira aux humains.

En 2011, l’on a assisté à la victoire du programme d’intelligence artificielle conçu par IBM baptisé Watson, dans le jeu Jeopardy. L’année dernière, ce fut AlphaGo, le programme informatique développé par Google DeepMind qui battit Lee Sedol, un des meilleurs joueurs de Go au monde possédant le 9e dan, ce qui correspond au niveau le plus élevé dans ce jeu.

N'oublions pas Deep Blue d'IBM qui battait déjà Kasparov aux échecs en 1996.

[Matthieu Vergne]

Il faut souligner que « battre les humains n’est pas vraiment notre objectif ; ce n’est qu’une étape sur le chemin », affirme Tuomas Sandholm, professeur d’informatique à CMU et chef de projet pour le développement du programme Claudico. Il continue en ajoutant que « ce que nous voulons faire est de créer une intelligence artificielle qui peut aider les humains à négocier ou à prendre des décisions dans des situations où ils ne peuvent pas connaître tous les faits ».

Une situation où ils ne peuvent pas connaître tous les faits ? Ah, parce qu'il existe des situations ou on connaît tout sur tout ? A part les situations toutes faites et donc ayant peu d'intérêt pratique, je vois pas. Aider les humains à prendre des décisions dans ce genre de situation... c'est ce qu'on fait depuis des lustres grâce aux stats et probabilités, qui permettent de combler le manque d'info d'une situation donnée sur la base de tendances. Cherchent-ils à faire une IA qui n'est rien de plus qu'un agrégat de ce qu'on fait déjà ?

Bien sur qu'ils visent à battre les humains, vu que ça leur ferait une bonne pub. S'ils cherchaient vraiment à aider l'être humain à prendre des décisions, ils évalueraient la performance d'un humain/IA seul(e) face à un couple humain + IA.

Les joueurs professionnels devront collectivement jouer sur 20 jours 120 000 mains au Heads-Up No-Limit Texas Hold’em qui admet une mise ou une relance sans restriction maximale et partager 200 000 dollars à la fin de la compétition et selon les performances de chaque joueur. Dans le premier tournoi organisé en 2015 contre l’IA Claudico, les 80 000 mains instaurées se sont avérées insuffisantes pour les chercheurs, afin d’établir la supériorité de l’homme ou de l’ordinateur. Pour cette fois, le nombre de mains a augmenté de 50 % afin de permettre aux scientifiques de tirer des conclusions statistiques pertinentes à la fin de cette compétition.

En général, les soucis de résultats non significatifs se retrouvent résolus par des changement d'ordre de grandeur. Je me trompe ? +50% ça me semble être peu pour faire une différence notable. Par ailleurs, si 80k mains (20k pour chaque combinaison joueur vs. IA) ne permettent pas de fournir des résultats significatifs, j'en comprends que les résultats sont tellement proches qu'en pratique c'est du pareil au même. De là, on augmente le nombre juste pour pouvoir dire que la minuscule différence entre les deux n'est pas de l'ordre du bruit, ce qui ne change cependant rien au fait que la différence reste minime.

J'imagine bien l'hypothèse nulle être "l'IA est aussi performante que les humains", ou il suffit de montrer qu'on n'a pas exactement 50/50 pour rejeter l'hypothèse, ce qui a toutes les chances d'arriver et donc n'a aucun intérêt. De là, augmenter le nombre permet juste de dire que les chiffres sont significatifs, et non de tirer des conclusions plus utiles. Et +50% me semble être une augmentation du style "juste assez pour que nos chiffres non significatifs le deviennent" (i.e. garantir qu'on n'a pas exactement 50/50, même si c'est 50,0001/49,9999), ce que je ne saurais voir comme sérieux. J'espère que je ne me fais que des idées, mais quand en plus on lit que pour la nouvelle expérience, les joueurs humains vont devoir jouer 2 parties en même temps, ce qui me semble de toute évidence être à l'avantage de la machine, il y a de quoi se poser encore plus de questions niveau méthode.

Et si le poker n'était, finalement, qu'un jeu de loterie qui converge bel et bien vers 50/50 avec un grand nombre de parties ? Et donc que les différences de compétences dans le jeu humain sont majoritairement dues aux bluffs ? Cela n'aurait finalement rien d'étonnant si on y réfléchit bien. Pour revenir à l'idée de décider quand on a peu d'information (et qu'on n'est pas capable d'en avoir plus), la meilleure technique n'est-elle pas effectivement pile ou face ? Est-ce qu'ils ont seulement essayé de voir ce que donnait un vrai random (il n'y a pas qu'une seule façon d'en faire), pour confirmer que ce n'est pas intéressant ? Mais si le meilleur expert en poker, robuste à tous les bluffs, s'avère être (majoritairement basé sur) random, ça ne ferait pas une bonne pub.

[GPPro]

Il y a eu pas mal de développements théoriques dans le poker depuis une dizaine d'années (grosso modo des approches basées uniquement sur les statistiques) et si ces IA sont basées dessus je ne donne pas cher de la peau des pros. Je ne m'intéresse plus trop à la question mais dans mon souvenir, si on poussait la théorie à l'extrême, tu ne jouais même pas ta main, tu prenais tes décisions uniquement en fonction des décisions prises lors des mains précédentes en tendant à converger vers les fréquences théoriques. Chose difficile à applique pour un humain mais pas pour une IA... Tout ça dans le contexte du holdem (évidemment), mais je suppose que ce sera la variante utilisée ici.

@Matthieu des situations où on connait tout sur tout ??? Echec, go etc... Différence entre jeux à connaissances complètes ou incomplètes, la base de l'IA appliquées aux jeux quoi. Dans la vie courante les systèmes utilisées par les banques ou assurances pourraient probablement être considérés à informations complètes également.

PS : sinon la lecture de ce fil confirme bien le manque de formation aux phénomènes aléatoires

[Matthieu Vergne]

@Matthieu des situations où on connait tout sur tout ??? Echec, go etc...

Ne pas confondre : toute l'information du plateau est disponible pour chaque joueur mais ça ne veut pas dire que tu saches tout ce qu'il y a à savoir sur la partie. En particulier, tu ne sais pas quelle stratégies l'adversaire compte favoriser parmi les nombreuses disponibles. Les joueurs font aussi parti du jeu.

[GPPro]

Effectivement on ne peut pas prévoir l'avenir, mais dans le cadre de l'IA, dire que l'on dispose de l'information complète ne veut absolument pas dire disposer d'un oracle... (comme je l'ai dit, il s'agit d'une définition de base, de vocabulaire quoi, dans ce cadre précis cette déclaration a un sens précis)

[Matthieu Vergne]

Effectivement on ne peut pas prévoir l'avenir, mais dans le cadre de l'IA, dire que l'on dispose de l'information complète ne veut absolument pas dire disposer d'un oracle... (comme je l'ai dit, il s'agit d'une définition de base, de vocabulaire quoi, dans ce cadre précis cette déclaration a un sens précis)

Il ne s'agit pas de prévoir l'avenir, mais de savoir quelles stratégie l'adversaire essaye déjà de mettre en place, potentiellement depuis le début de la partie. Je parle de ce que l'adversaire sait déjà, pas ce que lui même ne sait pas encore.

[Bloon]

Il y a eu pas mal de développements théoriques dans le poker depuis une dizaine d'années (grosso modo des approches basées uniquement sur les statistiques) et si ces IA sont basées dessus je ne donne pas cher de la peau des pros.

C'est l'inverse si l'IA ne joue qu'en fonction des stats elle va se faire laminer par les pro qui sauront créer des situations où les stats "disent" de ne pas jouer provoquant l'abandon de l'IA à tort, et des situations inverses, où l'IA jouera parce que stat favorable mais le pro aura une meilleure main.

Je ne m'intéresse plus trop à la question mais dans mon souvenir, si on poussait la théorie à l'extrême, tu ne jouais même pas ta main, tu prenais tes décisions uniquement en fonction des décisions prises lors des mains précédentes en tendant à converger vers les fréquences théoriques. Chose difficile à applique pour un humain mais pas pour une IA... Tout ça dans le contexte du holdem (évidemment), mais je suppose que ce sera la variante utilisée ici.

C'est le cas particulier du Heads-up limit hold'em (face à face avec des limites), autrement dit le poker le plus chiant du monde !

PS : sinon la lecture de ce fil confirme bien le manque de formation aux phénomènes aléatoires

Ainsi que la méconnaissance du poker

Bloon

[GPPro]

C'est l'inverse si l'IA ne joue qu'en fonction des stats elle va se faire laminer par les pro qui sauront créer des situations où les stats "disent" de ne pas jouer provoquant l'abandon de l'IA à tort, et des situations inverses, où l'IA jouera parce que stat favorable mais le pro aura une meilleure main.


C'est le cas particulier du Heads-up limit hold'em (face à face avec des limites), autrement dit le poker le plus chiant du monde !


Ainsi que la méconnaissance du poker

Bloon

Comme je disais, le poker a évolué, je faisais référence à ce qui est développé (entre autres) dans des livres comme Applications of no limit holdem de Janda. Dans le poker la fréquence des bluffs fait également partie de la théorie...

Effectivement la méconnaissance du poker (moderne) est frappante

[Ryu2000]

Je me demande si l’intelligence artificielle va bluffer (par exemple, faire semblant d'hésiter en attendant le maximum de temps pour jouer au dernier moment) alors qu'il a un excellent jeu.

[Orgoff]

Pour moi le fait que l'IA aura accès à un historique des coups joués par les les 4 pro est un critère important car au poker on ne joue pas qu'en fonction des stats mais surtout selon le type de jeu de la personne en face.
Je ne pense pas que l'IA battra l'humain car ce n'est pas un jeu qui repose seulement sur la logique. Mais si c'est le cas, les chercheurs n'ont plus qu'à l'utiliser en ligne.

[marsupial]

Dans la réalité, la "tricherie", comprendre le calcul de probabilité lié au tri des cartes par mélange aléatoire existe déjà. Galéjade pour une IA pour déterminer à partir d'un échantillon, sa main, et de bluffer, au propre comme au figuré, l'humain.

IA vainqueur.

[NicoB.]

Dans la réalité, la "tricherie", comprendre le calcul de probabilité lié au tri des cartes par mélange aléatoire existe déjà. Galéjade pour une IA pour déterminer à partir d'un échantillon, sa main, et de bluffer, au propre comme au figuré, l'humain.

IA vainqueur.

Il faudrait un échantillon gigantesque pour que l'IA devine les futures cartes sortantes. Ce n'est pas le but ici.

[Bloon]

Dans la réalité, la "tricherie", comprendre le calcul de probabilité lié au tri des cartes par mélange aléatoire existe déjà. Galéjade pour une IA pour déterminer à partir d'un échantillon, sa main, et de bluffer, au propre comme au figuré, l'humain.

IA vainqueur.

C'est au black-jack qu'il est interdit de compter les cartes L'utilisation des probabilités au poker n'est pas une tricherie, il y a même des bouquins là-dessus ! Les probas d'avoir telle combinaison au départ ou d'améliorer telle combinaison sont connues et immuables. La difficulté pour l'IA sera de pondérer ces chiffres avec le contexte : en fonction des mises, relances, tapis et profils des joueurs, il faut deviner ce qui est distribué et non visible afin de prendre la meilleure décision. Et là les maths ne suffisent plus, l'humain sera plus fort !

Il faudrait un échantillon gigantesque pour que l'IA devine les futures cartes sortantes. Ce n'est pas le but ici.

Ça n'est surtout pas possible : à chaque nouveau tour on recommence avec un jeu complet mélangé totalement indépendant du tour précédent.

Bloon

[Aiekick]

tant que la machine ne bat pas les cartes on a une chance