Discussion :

[TristanL]

Bonjour,
Je viens de suivre le tutoriel sur les reseaux de neurones => http://alp.developpez.com/tutoriels/...x-de-neurones/.
Je suis actuellement en stage a l'etranger (claviers qwerty desole pour les accents) et je vais developper un reseau de neurones. J'ai une question :
- Pour utiliser l'apprentissage avec la methode de descente du gradient, peut-on avoir des valeurs pour le entrees qui soient differentes de 0 ou 1 ? J'ai pour idee d'avoir 5 entrees ayant des valeurs reelles comprises entre 0 et 4 environ. La sortie sera elle aussi reelle et comprise entre 0 et 4.
La methode de descente du gradient vous semble-t-elle appropriee ? Je ne sais pas quel algorithme utiliser pour des valeurs reelles.
Merci beaucoup par avance,
Tristan

[ToTo13]

- Pour utiliser l'apprentissage avec la methode de descente du gradient, peut-on avoir des valeurs pour le entrees qui soient differentes de 0 ou 1 ?

C'est ce qui est couramment utilisé, les valeurs entières en entrées sont très rares.
Mais peut être voulais tu parler des valeurs -1 et 1 que l'on affecte communément aux classes d'appartenance ?

[TristanL]

Autant pour moi je pensais que les valeurs étaient très souvent 0 ou 1 (1 si le neurone est activé, 0 sinon).
Ensuite si je comprends bien, avec cet algorithme on met à jour à chaque exemple n valeurs (dwi dans le tutoriel) mais pas les poids directement. Les poids ne sont modifiés qu'une seule fois, lorsque que tous les exemples ont été traités c'est bien ça ? D'où l'éventuelle nécessité de repasser la série d'exemples plusieurs fois ?

Une dernière chose, il est dit dans le tuto : "Voici donc l'algorithme d'apprentissage par descente du gradient, appliqué à un seul neurone, qu'il faudra donc répéter sur chacun des neurones."
L'algorithme ne traite-t-il pas ici tous les neurones dans cette partie de l'algo ? :
POUR 1 <= i <= n
di = dw_i + alpha*(yk - sk)*x_i
FIN POUR

Merci

[ToTo13]

Autant pour moi je pensais que les valeurs étaient très souvent 0 ou 1 (1 si le neurone est activé, 0 sinon).

Les valeurs d'entrées (première couche / input layer) sont réelles, mais la fonction située après la fusion de synapses est souvent une sigmoïde avec un seuil, ce qui fait qu'un neurone est ensuite activé ou non.

Ensuite si je comprends bien, avec cet algorithme on met à jour à chaque exemple n valeurs (dwi dans le tutoriel) mais pas les poids directement. Les poids ne sont modifiés qu'une seule fois, lorsque que tous les exemples ont été traités c'est bien ça ? D'où l'éventuelle nécessité de repasser la série d'exemples plusieurs fois ?

En fait tu repasses souvent plusieurs milliers de fois pour arriver à convergence.

Pour le reste je ne sais pas car je n'ai jamais implémenté :-(