Discussion :

[oprian]

Bonjour,

Je suis en train de réaliser un agent artificiel contrôlant un tank dans un environnement 2D, grâce à un réseau de neurones.

J'aimerais avoir l'avis de personnes expérimentées dans le domaine des réseaux de neurones, notamment en ce qui concerne le format des données d'entrée du réseau, et comment interpréter les valeurs en sortie.

Pour les entrées : Est-il préférable de normaliser les valeurs ? Par exemple, pour la "santé" actuelle du tank, mieux vaut-il donner le rapport SANTE_ACTUELLE/SANTE_MAX ou bien SANTE_ACTUELLE directement ? En gros, est-ce mieux de formater toutes les entrées entre 0 et 1, plutôt que d'en avoir qui vont jusqu'à 500, tandis que d'autres peuvent varier entre -2 et 0.5 ?

Pour les sorties : La technique que j'utilise actuellement est d'avoir défini des actions scriptées, et faire exécuter au tank une de ces actions si le neurone de sortie correspondant donne une valeur supérieure ou égale à 1.0. Est-ce une bonne technique ? Mieux vaut-il considérer en valeurs de sorties des grandeurs continues comme l'angle du chassis à atteindre, l'angle de la tourelle à atteindre, de combien de mètres avancer, etc... Plutôt que des déclencheurs d'actions scriptées ?

Merci beaucoup pour vos réponses sur le sujet

PS : Pour information, ces agents artificiels sont placés dans le cadre d'une optimisation des poids par essaim particulaire, en les entrainant contre un tank totalement scripté. Si quelqu'un a déjà travaillé sur un tel concept, je serais heureux d'obtenir d'éventuels conseils ^^.

[Alp]

Je n'ai jamais bossé sur un tel projet.

Toutefois, j'ai pas mal étudié la théorie des NN (jusqu'à écrire un article dessus : http://alp.developpez.com/tutoriels/...x-de-neurones/) et tout ce que je peux te dire c'est la chose suivante.
Un réseau de neurones est un modèle qui permet soit d'approcher une fonction (une fonction qui déciderait de ce que doit faire ton tank, en l'occurence), soit de classifier des vecteurs (dont les composantes sont les informations que tu donnes en entrée au RdN) (au fond ces 2 "types" sont les mêmes mais pour la compréhension il est peut-être meilleur de les différencier).

Donc soit tu te dis que tu approches une fonction de décision et lorsque cette fonction renvoie une valeur plus grande que 1, tu déclenches tel script. Soit tu te dis que tu classes des informations et au final tu vois que cela revient au-même.

Un réseau de neurones, aussi compliqué qu'il soit, est capable d'apprendre. Toutefois, je doute que ce soit à lui de calculer l'angle de tir, la puissance & compagnie. Pour ça, des formules mathématiques suffisent.

Donc je dirais qu'à priori, gardes la modélisation actuelle, c'est à dire qu'en fonction des valeurs, tu déclenches tel ou tel script.

Au passage, il y a des méthodes qui sont peut-être plus adaptées à ce genre de choses. Regarde les techniques d'IA qui s'occupent de la prise de décision.

[oprian]

Merci pour la réponse.

En fait le sujet de mon projet est avant tout d'utiliser l'optimisation par essaim particulaire pour réaliser des agents intelligents. La technique la plus adaptée pour le cas des tanks est de leur donner un NN chacun, les faire se battre en duels un certain nombre de fois, et les poids synaptiques de leurs réseaux de neurones évolueront vers un optimum en terme d'efficacité. Les réseaux de neurones sont les plus adaptés pour cette méthode.

Je vais garder mon idée de déclencheurs de scripts, mais je pense que la deuxième solution pour les sorties demande simplement plus (ou peut-être beaucoup plus) d'entrainement.

[oprian]

Cependant j'aimerais savoir s'il est vraiment indispensable que les valeurs en entrée du réseau soient normalisées :

Pour les entrées : Est-il préférable de normaliser les valeurs ? Par exemple, pour la "santé" actuelle du tank, mieux vaut-il donner le rapport SANTE_ACTUELLE/SANTE_MAX ou bien SANTE_ACTUELLE directement ? En gros, est-ce mieux de formater toutes les entrées entre 0 et 1, plutôt que d'en avoir qui vont jusqu'à 500, tandis que d'autres peuvent varier entre -2 et 0.5 ?

Car dans le cas d'une distance à un objet, le fait de normaliser n'est peut-être pas super...

Merci