Discussion :

[Termites]

Bonjour !

J'ai récemment commencé à étudier les réseaux de neurones, et je cherche à faire un apprentissage sans exemple.

En gros, le réseau a des entrées initiales, des sorties et une fonction me permet de dire si oui ou si non les sorties aboutissent à une solution valide (sans dire explicitement pourquoi ça a ou ça n'a pas marché).

Seulement, c'est que je vois pas comment m'y prendre pour modifier les poids dans mon réseau, j'ai essayé un espèce de système de récompense (un peu foireux), du style : lorsque l'essai a raté je baisse les poids inférieur à un seuil ou je les augmente, mais forcément ça ne marche pas

Ma fonction pour vérifier est simple (c'est une simulation,le réseau est à 2 entrées, 2 sorties et une couche cachée de 3 neurones) :

Elle prend A & B comme entrée initiales (qui sont, entre autre, les entrées du réseau), et sA et sB (Valeurs de sorties du réseau) et suit cette table (table bidon pour essayer) :

A B sA sB S
0 0 1 1 1
0 1 0 1 1
1 0 1 1 1
1 1 1 1 1

(S est la valeur renvoyée par la fonction, toutes les autres combinaisons de A,B sA & sB sont fausses)

Le réseau est tout à fait capable de reproduire cette table si je lui donne les exemples.

Merci pour votre aide, en espérant que ce que je cherche est possible

[davcha]

Regarde du côté du Q-learning et des dérivés, ça peut te donner d'autres pistes.

Après, pour ton affaire, tu as une entrée, tu fais ton truc pour déterminer un score qui te dit si oui ou non la solution est viable et tu utilises ce score pour mettre à jour ton réseau.

En gros : Etat, Action -> score.

[Termites]

Merci bien, je vais regarder du côté du QLearning.
Donc si j'ai bien compris, via le QLearning je fais un système de score par rapport à des actions répondant à des états, et je me sers de ce score pour mettre à jour mon réseau ?
Mais comment je m'y prend dans ce cas pour gérer les poids de mon réseau ? Je prend le meilleur score (S,A) et je lance l'algo d'apprentissage sur A ?

[davcha]

Non. Le Q-learning est une approche différente et plus simple que les réseaux de neurones. J'ai seulement dit que tu devais t'en inspirer.

En gros, quand ton système se retrouve dans un état, tu dois avoir une fonction qui évalue si ta solution est satisfaisante ou non.
Si tu n'as pas de critère de préférence sur un genre de solution plutôt qu'un autre, alors ta fonction qui évalue est une fonction de E dans {satisfaisant, non-satisfaisant}, E étant l'ensemble des valeurs possibles que peut prendre ton état (en fait, les entrées de ton réseau de neurones).

Pour propager les poids dans ton réseau, tu fais du backprop. Cherche sur google, tu as plein de résultats en 1ère page.

[Termites]

Oui mais pour faire le backprop, il me faut la valeur désirée de la sortie, pour calculer son taux d'erreur, or là je ne l'ai pas, tout ce que je sais c'est si oui ou non la combinaison des sorties est validée, du coups j'avais pensé à superviser mon réseau via le QLearning, qui dirait quelles sorties sont OKs (sauf que du coups, ça prendrait énormément de temps..)

Ou alors il y a une autre technique ?