Discussion :

[ProgrammeurDuGrenier]

Bonjour à tous,

Depuis peu je m'intéresse à l'IA et plus particulièrement aux réseaux de neurones.
J'ai compris le principe de fonctionnement des réseaux PMC et grossièrement celui des réseaux de kohonen et Hopfield, mais certaines choses m'échappent sur leur utilisation.

Situation :
Imaginons que je veuilles faire une IA pour un jeu de puissance 4 en utilisant un réseau de neurone (oui c'est pas forcément la meilleure des solutions, un algorithme min-max aurait très bien fait l'affaire, mais c'est pour l'exemple).

J'imagine que le réseau prendrait en entrée les 42 cases du plateau qui seraient des entiers (1 (sa couleur) / 0(vide) / -1(la couleur de l'adversaire))
Le reseau donnerait un sortie un chiffre dans [0, 1[ , qu'on multiplierait par 7 pour connaître l'emplacement du pion à poser.

(à ce point là, la modélisation est viable ou totalement incorrecte ?)

La principale question que je me posais est :
Comment faire apprendre au réseau si le coup qu'il vient de faire est bon (et comment le savoir d'ailleurs? c'est le réseau qui s'occupe de ça) ?
Car on ne pourra savoir qu'à la fin de la partie si on a gagné ou perdu, et on ne connaîtra pas l'influence de ce coup dans la victoire.

Et sinon, quel serait le type de réseau adapté pour une telle IA ? (ou une IA de jeu vidéo j'imagine, ce serait le même principe en plus complexe)

Merci !

[BioKore]

Bonjour,

Pour répondre à ta question, il faut comprendre comment tu comptes jouer avec le réseau, et comment tu joues toi-même.

Dans le puissance 4, tu ne fais que choisir une voie en fonction de la situation actuelle du jeux. Donc, pour ma part, je créerais 7 sorties à ton réseau correspondant aux 7 choix possibles pour insérer sa propre couleur.


Donc en entrée, tu as l'état du tableau (un peu comme une photo) et en sortie le numéro de colonne dans laquelle insérer son pion. Une sortie soft-max serait tout à fait appropriée.


Pour l'apprentissage, c'est là où c'est plus compliqué. Soit tu lui montres plusieurs jeux complets réalisés par des pros (mais je ne suis pas certain qu'il existe des "pros" en puissance 4). Soit, tu passes par un apprentissage non supervisé.


Bref, je laisse le soin à d'autres pour répondre, mais comme ça, à froid, c'est comme ça que je procéderais. D'ailleurs, je pense que c'est un bon exercice pour tester un modèle de réseau non supervisé. Je pense que je reprendrais ce jeux quand j'attaquerais ce sujet.

[ProgrammeurDuGrenier]

Merci de ta réponse, donc effectivement 7 sorties est une bien meilleure solution.
Pour l'apprentissage je pourrai enregistrer quelques parties du reseau qui joue contre lui- même et lui montrer après coup les gagnantes et perdantes, peut-etre que ça fonctionnerai.

J'implémente ça dès que j'ai le temps, je suis sur un autre projet en ce moment

[BioKore]

Oui, le faire jouer contre lui même est une bonne solution effectivement. Tu peux même, sauf erreur de ma part, faire une compétition, ou plutôt un tournoi et faire les optimisation via un algorithme génétique (en gros, tu fais de l’eugénisme). Cependant, je ne m'y connais pas du tout dans ce domaine, mais si ça peut se faire avec les réseaux de neurones (ce qui je crois est le cas), ça me parait être un bon moyen pour résoudre ce type de problématique.

Bon courage pour la suite, et n'oublie pas de poster tes résultats ici ; quelle que soit la méthode employée, je suis curieux de voir les résultats et solutions apportées, et, je ne le cache pas, pourrait peut-être même m'aider sur mes problématiques propres et idées futures.

Bon développement !