[MLP] Courbe d'erreur

Salut à tous et à toutes,

j'ai un Perceptron multicouche, avec 13 neurones d'entrée, 20 neurones cachés et 1 neurone en sortie..

le réseau reçoit des descripteurs dans le but de détecter la présence d'une plaque d'immatriculation dans une image.

j'ai fais l'apprentissage avec une base de 11 000 descripteurs, un taux d'apprentissage égale à 0.7, pendant 50 000 cycles pour obtenir enfin une courbe d'erreur de cette forme (j'ai dressé la même forme avec Paint) :
http://www.monsterup.com/upload/1239575987542.jpg

Est-ce que les pics vous paraissent normaux ?

Merci d'avance..

Bonjour,

- 11 000 descripteurs :koi: ne serait ce pas plutôt les individus de ta base d'apprentissage ?

- 13 neurones en entrée => 13 descripteurs par individu. 20 neurones dans la couche cachée => nombre de neurones en entrée > nombre de neurones cachés :koi: Et la belle forme pyramidale des RdN ?
Pourquoi mettre autant de neurones dans la couche cachée ?

- pour la courbe, je ne me suis jamais vraiment intéressé au problème, mais en théorie on cesse l'apprentissage lorsque l'écart entre apprentissage et validation diverge. Donc les pics ne semblent pas vraiment normaux, mais à confirmer.

ah ok, désolé de ne pas clarifier ce point :
je travaille pour le moment sur 6 images de voitures, je parcours chaque image avec une fenêtre rectangulaire puis je calcule pour cette fenêtre 13 descripteurs..
donc pour les 6 images, j'ai obtenu 11 000 descripteurs..

la configuration que j'ai décris dans le premier message a donné une erreur égale à 0.015 ce qui est loin d'être réussi..

dois-je augmenter le nombre de cycles ? augmenter le taux d'apprentissage ?

J'ai du mal a comprendre ta demarche ...

Tu as six images que tu parcours par une fenêtre, pour laquelle tu calcul 13 descripteurs ?
Tu utilise ensuite ces descripteur pour ton apprentissage par 13 donc par fenêtre, si je comprends bien. Une fois que tu as ces fenêtres défini par des descripteurs, est ce que tu en as étiqueté ? Celles contenant des plaques et celles n'en contenant pas ?
- Ainsi tu as deux classe 0 et 1 (donc bien 1 neurone de sortie)
- 13 descripteur par fenêtre en entré OK.
- Plus de neurones en couche caché qu'en entré OK.
En ce qui concerne t'as courbe, c'est en apprentissage ou en classification ? Et encore comment fait tu ton apprentissage ? Aléatoire sur tes données, itératif ?

Personnellement ça me parait bizarre, au pire tu devrais avoir une oscillation, mais des pics comme ça ... A moins que ce ne soit l'erreur sur une classification et pas une moyenne sur le corpus ...

Salut à tous,

Citation:

---

Envoyé par Clercq

Une fois que tu as ces fenêtres défini par des descripteurs, est ce que tu en as étiqueté ? Celles contenant des plaques et celles n'en contenant pas ?

---

Oui, j'ai codé un utilitaire en java pour ça, au sein duquel je précise l'endroit de la plaque et l'utilitaire parcourt l'image et extrait des descripteurs pour chaque fenêtre et l'étiquette en même temps..

Citation:

---

Envoyé par Clercq

c'est en apprentissage ou en classification ?

---

En apprentissage..

Je pense que l'origine de mon problème vient du choix du taux d'apprentissage, j'ai changé la valeur en 0.06 et en même temps j'ai changé la méthode d'apprentissage : j'arrête lorsque l'erreur devient supérieure à l'erreur précédente..

Merci pour vos réponses..

Si ton "taux d'apprentissage" est le K que je pense, normalement s'il est trop grand tu as une divergence, c'est dire qu'aux lieu de faire une descente de gradient tu le remonte ... Si il est trop petit la convergence est faible mais il y a convergence.

Les pics peuvent a mon sens s'expliquer par le fait que la courbe d'erreur est l'erreur sur une donnée et non sur une moyenne de tout le corpus par nombre d'itération. Du coup ma question est : Que représente ta courbe d'erreur ? Une moyenne ? ... ?

La courbe d'erreur représente la moyenne d'erreur pour un seul cycle d'apprentissage..

Je pense que les pics s'expliquent par un taux d'apprentissage relativement grand..

Mais j'ai une autre question à poser : à quel point les descripteurs étiquetées peuvent être proportionnels ?
Je veux dire dans ma base d'apprentissage j'ai 30% descripteurs positifs (dont la sortie désirée est 1) et 70% descripteurs négatifs (la sortie désirée est 0).. Est-ce raisonnable ? Doivent-ils être 50% chacun ?

Je pense que la meilleur réponse se trouve dans les mathématiques ... Ton espace d'entré est de 13 !!! Tu est donc en dimension 13 ! Le premier problème a se poser est : Mon corpus est il représentatif de la population dans laquelle je me trouve ?

Pour être franc, 11000 point dans une dimension 13 ... je pense que ce n'est pas suffisant, surtout que tes images peuvent comporter n'importe quelle motif (je suppose).

Pour réduire le besoin d'une masse énorme de donnée d'apprentissage essaie d'en faire un qui contient des fenêtre difficile à discriminer, sachant que les plus simple s'apprennent plus facilement.