Discussion :

[vincent.mbg]

Bonjour à tous.

Je n'ai pas bien compris une partie de l'algorithme de rétro-propagation du gradient.
"la parti où l'on doit calculer la correction des poids pour la couche caché"

Imaginons n1cc le neurone 1 de la couche cachée et n2cs le neurone 2 de la couche de sortie sur un petit reseau :

n1cc n1cs
n2cc n2cs

pouvez vous me dire comment calculer la mise à jour des poids pour la couche cachée.

merci à tous!

[Alp]

Tu as consulté le tuto que l'on a sur les réseaux de neurones : http://alp.developpez.com/tutoriels/...x-de-neurones/ ?

Tout y est expliqué et il y a même la démonstration de la modification à apporter sur les poids

[vincent.mbg]

Bonsoir,

j'ai lu le tutoriel et je ne comprend pas la partie di=oi(1-oi)*somme de dk*w_ki

Malgré l'explication je n'est pas compris ce que représentait dk*w_ki

merci de vos réponse

[Alp]

Même pas avec le paragraphe d'explication + la démonstration ?

[vincent.mbg]

Bonjour
Désolé pour ce long mois d'absense mais j'etais en stage.
je profite de ces vacance pour me remettre sur le sujet.
J'ai tous repris à zerro J'ai creer un premier perceptron
qui reconnait les chiffres de 0 à 5 inscrit sur une grille de 5 * 6 cellules.
apprentissage par windrow_Hoff, tous marche bien !!!

Ensuite j'ai voulu faire un percepton multicouche mais je rencontre encore des difficultés pour laprentisage.

si = sorti du neurone i de la couche de sortie
yi = sorti attendue pour ce même neurone

Pour calculer di pour toute les cellule i de la couche de sorti.
(di <- si(1-si) * (yi-si)

mes cellule de sortie ayant une fonction de transfer de Heaviside elle me renvoye soie 1 soie 0
pour si = 0 : di = 0*(1-0) * (...) donc di = 0
pour si = 1 : di = 1*(1-1) * (...) donc di = 0
de se fait les poids de ma couche de sortie ne seront jamais modifiés.

De plus comme les valeurs de d seront utilisés comme facteur pour calculer di pour toute
les cellules i des couches cachées

les poids des couches cachées ne seront également pas modifiés.

Que dois je faire pour que mon réseau fonctionne ?
Merci d'avance

[Alp]

Utiliser une fonction sigmoïde pour les neurones cachés ça pourrait arranger les choses peut-être.

En effet, si tu regardes ceci , tu verras que la modification des pods se fait en utilisant la dérivée de la fonction d'activation, ce qui n'est pas possible avec Heavyside.

cf : http://alp.developpez.com/tutoriels/...-neurones/#LXI