Discussion :

[nickalden]

bonjour,
j'ai conçue un petit code de réseaux de neurones type PMC avec une fonction d'activation type sigmoïde sous Matlab, mais quand je l'ai testé avec la fonctions sinus ça ne marcher pas même avec une base de données assez grande (300 données), j'ai revue tous le code il n'y a pas d'erreurs, et je ne vois pas d'ou le problème peut venir, donc je sollicite votre aide, merci de vos réponse

[ToTo13]

j'ai revue tous le code il n'y a pas d'erreurs

Ca c'est toujours ce que l'on croit :-(

Cela peut aussi venir des paramètres d'initialisation :
- comment initialises tu les poids ?
- quel learning rate utilises tu ?
- utilises tu un momentum ?
- quelle architecture utilises tu ?

[nickalden]

pour les poids je les initialise aléatoirement entre [0,1] avec la fonction rand , le learning rate j'utilise 0.8, l'architecture est de type perceptron multicouche j'ai posé 4 neurones dans la couche cachée et un seul neurones de sortie, et non je n'utilise pas de momentum.

[ToTo13]

pour les poids je les initialise aléatoirement entre [0,1]

Essais [0, 0.1]. Un article de Yann LeCun conseillait une initialisation entre 0 et Plus/Moins 1 / Racine(nombre de poids de la couche).

Le learning rate j'utilise 0.8

Si le learning rate est "gros", il peut arriver que la première modification des poids soit trop importante.

non je n'utilise pas de momentum.

ca aide !!!

[nickalden]

j'ai lu quelques articles sur le sujet et je trouvait qu'il suggérer d'utiliser un moment mais il y aussi d'autre méthode (méthode de newton- quasi newton), pour augmenter vitesse de convergence, j'ai reprogrammer avec la méthode de quasi newton,j'ai utilisée la fonction représentée sur la photo ou J est l'erreur quadratique et j'ai aussi réglé les poids entre [0,0.1] et j'ai abaisser le learning rate.

j'ai essayé une nouvelle fois avec la fonction sinus , j'ai remarqué que la différence entre la valeur de sortie calculée et celle servant a l'apprentissage oscillé, cela veut dire que l'erreur diminuer puis augmenter, alors la j'avoue que je suis complètement perdu.

[ToTo13]

Essais peut être de faire un simple XOR en faisant tourné manuellement sur un epoch. Ca devrait te permettre de voir si tu as un bug.