Exercice sur un réseau neuronal feed-forward
Bonjour,
J'aimerai de l'aide pour m'expliquer un exercice sur un réseau feed-forward.
On a 3 couches (n entrées, H neurones cachés, 1 sortie), et un biais X0=1, avec comme fonction de transfert :
Code:
1
2
3
4
5
6
|
A_j = 1/2(sigma^{-2}) * somme_{i=0}^{n}(w_ji + X_i)^2
H_j = e^{-Aj}
O = somme_{j=1}^{h}(alpha_j*H_j) |
Déjà je ne comprend pas : d'habitude la fonction de transfert à lieu sur le "potentiel" des neurones (w_ji*x_i) alors que là ça n'est pas dessus ? De plus où aurait lieu ici la somme des potentiels ? Où s'ajoute le biais, apres le calcul de la fonction de transfert ?
a) Expliquer le sens des parametres {[wji], sigma_j^{-2}}
C'est bien les poids, et l'autre définit la quantité des neurones d'entrés pris en compte par le neurone j ?
b) En utilisant le principe de la rétroprogation, proposer les règles de mise à jour des paramètres alpha_j, wji, sigmaj^-2 visant à minimiser la fonction de cout quadratique classique (Y = sortie desirée) :
Code:
J = 1/nbExemple * somme_{exemples} 1/2 * (Y - O)^2
Je n'arrive pas ici, j'arrive pas à déterminer à quoi correspond la dérivée de la fonction de transfert etc.
c) on ajoute à cette fonction de cout :
Code:
lambda * somme_{j=1}^{h}sigma_j{-2}
il sert à quoi ce terme ?
Voilà merci ! Ce qui m'intéresse surtout c'est la règle de mise à jour
Misaki43
