Discussion :

[epsilon09]

Bonjour,

Ca fait quelques jours (semaines...) que je travaille pour implémenter l'algorithme RPROP dans mon réseau de neurones (1 couche d'entrée à 1 neurone, 1 couche cachée, 1 couche de sortie à 1 neurone).

Déja, j'ai pu lire que cet algo était utilisable uniquement en mode Batch (c'est à dire, on présente toute la base d'exemple; pour chaque exemple, on ajoute les erreurs pour chacun des neurones, puis ce n'est qu'une fois arrivé à la fin de la base d'apprentissage que l'on fait la modification des poids) ... Est-ce bien correct?


Pourriez-vous alors jeter un oeil à ce pseudo-code, qui pour l'instant, c'est bete de le dire, mais ne marche pas


Pour chaque exemple dans la base d'apprentissage:

Calcul de la valeur de chacun des neurones

Calcul des erreurs pour chacuns des neurones, en partant de la fin (comme pour de la rétropropagation...), par la formule : Erreur[neurone] = Erreur[neurone] + f ' (activité[neurone]) * Somme(k) [poids[neurone -> k] * valeur_neurone[k]

On met le tout dans la matrice de dérivées de l'erreur par rapport au poids W[i, j] (il suffit donc, par exemple pour le poids W[1, 4] (poids entre le neurone 1 et le neurone 4), de multiplier l'erreur du neurone 4 (arrivée) par la valeur du neurone 1 (départ))

(On fait de même pour les biais)

Si on atteint la fin de la base d'apprentissage, on applique l'algorithme RPROP (celui de base), puis on remet à 0 toutes les valeurs des erreurs de chaque neurone

Un grand merci pour votre aide!

Eric

[Alp]

Bonjours,

As-tu lu ceci : http://alp.developpez.com/tutoriels/...x-de-neurones/ ?

En paticlier la partie sur la rétropropagation

[epsilon09]

Bonjour,

Bonjours,

As-tu lu ceci : http://alp.developpez.com/tutoriels/...x-de-neurones/ ?

En paticulier la partie sur la rétropropagation

J'imagine que tu parles de cette partie ?

Entrée : un exemple, sous la forme (vecteur_x,vecteur_y);
epsilon le taux d'apprentissage
un Perceptron MultiCouches avec q-1 couches cachées C1, ..., Cq-1,
une couche de sortie Cq.

Répéter
Prendre un exemple (vecteur_x,vecteur_y) et calculer g(vecteur_x)

Pour toute cellule de sortie i di <- si(1-si)(yi-si) finPour
Pour chaque couche de q-1 à 1
Pour chaque cellule i de la couche courante
di = oi(1-oi) * Somme [pour k appartenant aux indices des neurones
prenant en entrée la sortie du neurone i] de dk*w_ki
finPour
finPour

Pour tout poids w_ij <- w_ij + epsilon*di*x_ij finPour
finRépéter

Eneffet je l'ai bien lu, long large et travers, et il me semble bien que c'est ce que je fais, non? enfin sauf pour la mise à jour des poids qui est différente...

Dans mon pseudo-code, (j'ai oublié de le préciser), j'ai mi uniquement la formule pour les unités des couches cachées!

Et comme j'utilise une sigmoide pour chacune de mes unités, j'ai bien la dérivée qui correspond : ce que j'apelle f ' (activité[neurone]) revient bien à si(1-si) ou oi(1-oi) ...

Y'a une ptite bete de cachée c'est ca?

[Alp]

Bah il faut utiliser la mise à jour des poids comme décrite dans l'article. Tu fais différemment ?

[epsilon09]

Bah il faut utiliser la mise à jour des poids comme décrite dans l'article. Tu fais différemment ?

Oui, comme dis dans le titre, je fais ca avec l'algorithme Resilient Propagation (RPROP) (ils en parlent pas mal la dedans http://www.dcs.bbk.ac.uk/~aris/Camer...PR03_final.pdf)

Celui que tu utilises reste la rétropropagation du gradient de l'erreur non?

[Alp]

Ahhh, "RPROP" ça collait aussi avec "rétropropagation", d'où mon étonnement.

Hé bien si tu as "bêtement" appliqué la règle de modification des poids qu'ils décrivent, je ne vois pas pourquoi ça marcherait pas. Peut-être que la structure n'est pas assez bonne pour que ça converge vite ? Ou les poids de départ ? (n'oublie pas qu'il s'agit de chercher un minima local)

[epsilon09]

Ahhh, "RPROP" ça collait aussi avec "rétropropagation", d'où mon étonnement.

Ah ouai! J'avais jamais remarqué que ca marchait pour ca aussi.. intéressant

Et bien en fait, j'utilise en parallèle un autre programme de RdN (MBP : Multiple Back Propagation), qui lui marche bien. Donc en fait je l'utilise pour voir si une structure marche bien, je lui fais son apprentissage, lui prend les valeurs de tous les poids, le remet dans mon programme, et la ca marche (donc ca veut bien dire que la procédure de Calcul marche bien...)

Par contre c'est au niveau de l'apprentissage que je galère un peu plus, et je voulais voir déja si l'ordonnancement des taches était bon ? Surtout en mode Batch (qui apparament est plus adapté quand on possède une petite base d'apprentissage)

[epsilon09]

Ah oui, pour la petite info, quand je fais l'apprentissage d'une seule valeur, par exemple : Entrée = 0.5, Sortie = 0.7, l'apprentissage se fait bien, et quand je lui rentre la valeur 0.5, il me sort bien 0.7...

Par contre, dès que je mets 2 points dans la base d'apprentissage (voir plus...), et bien la il part tout de suite en sucette, quand je lui fais tracer la réponse en fonction de l'entrée, ca a toujours la forme d'une sigmoïde, dans l'intervalle d'apprentissage... bizarre non?

Ca serait pas déja arrivé à quelqu'un ce genre de problème?


Cordialement,

Eric