Discussion :

[BabyC]

Bonjour,

Je suis entrain d'essayer de comprendre l'algorithme de rétropropagation.

Cependant, en regardant sur le net, il y a deux avis différents :

Certaines personnes propage l'erreur en arrière en faisant : (http://galaxy.agh.edu.pl/~vlsi/AI/ba.../backprop.html)

erreur de la couche précédente = poids x erreur couche actuelle

Et ensuite il mettent à jours les poids avec :

nouveau poids = ancien poids + n*erreur*df(e)/de*sortie de la couche précédente

avec df(e)/de la dérivée de la fonction d'activation



Et d'autres calcul les erreurs avec : (P.39-40 http://asi.insa-rouen.fr/enseignemen...2/06-RN-BP.pdf)

erreur de la couche précédente = poids x erreur couche actuelle x df(e)/de

Et du coup pour la mise à jour des poids :

nouveau poids = ancien poids + n*erreur*sortie de la couche précédente


Cela ne revient pas au même, pourriez vous m'éclairer ?

Merci.

[Franck Dernoncourt]

Heu, dans les deux cas cela donne

nouveau poids = ancien poids + n*poids x erreur couche actuelle x df(e)/de*sortie*sortie de la couche précédente

non ?

A moins que j'ai raté quelque chose

[BabyC]

Oui mais dans le premier cas, l'erreur tiens compte de df(e)/de.

Et vue que l'erreur est rétroprogaper, df(e)/de l'est aussi.

[Franck Dernoncourt]

oops, désolé, bien vu, j'avais effectivement raté quelque chose
Je n'ai pas la formule exacte en tête et le temps de la chercher en ce moment, mais à mon avis la première formule où df(e)/de n'est utilisée que dans le calcul du nouveau poids mais pas dans le calcul de l'erreur est la bonne, étant donné que les fonctions d'activation sont propres aux neurones.

[Franck Dernoncourt]

Je suis tombé par hasard sur la réponse, mes intuitions étaient apparemment les bonnes, la formule correcte est la première que tu as donné, i.e.

erreur de la couche précédente = poids x erreur couche actuelle
nouveau poids = ancien poids + n*erreur*df(e)/de*sortie de la couche précédente

Source : http://galaxy.agh.edu.pl/~vlsi/AI/ba.../backprop.html
(En PJ une copie de la page, il faut enlever l'extension .fla)

[BabyC]

Après plusieurs recherches et plusieurs essais, je pense que la bonne relation est plutôt celle la :

erreur de la couche précédente = poids x erreur couche actuelle x df(e)/de

Car elle converge alors que l'autre converge beacoup moins bien. C'est également ce qui est dit sur :

http://fr.wikipedia.org/wiki/R%C3%A9...on_du_gradient


Qu'es ce que tu en penses ?