Discussion :

[Chatbour]

Salut à tous et à toutes,

j'ai un Perceptron multicouche, avec 13 neurones d'entrée, 20 neurones cachés et 1 neurone en sortie..

le réseau reçoit des descripteurs dans le but de détecter la présence d'une plaque d'immatriculation dans une image.

j'ai fais l'apprentissage avec une base de 11 000 descripteurs, un taux d'apprentissage égale à 0.7, pendant 50 000 cycles pour obtenir enfin une courbe d'erreur de cette forme (j'ai dressé la même forme avec Paint) :


Est-ce que les pics vous paraissent normaux ?

Merci d'avance..

[ToTo13]

Bonjour,

- 11 000 descripteurs ne serait ce pas plutôt les individus de ta base d'apprentissage ?

- 13 neurones en entrée => 13 descripteurs par individu. 20 neurones dans la couche cachée => nombre de neurones en entrée > nombre de neurones cachés Et la belle forme pyramidale des RdN ?
Pourquoi mettre autant de neurones dans la couche cachée ?

- pour la courbe, je ne me suis jamais vraiment intéressé au problème, mais en théorie on cesse l'apprentissage lorsque l'écart entre apprentissage et validation diverge. Donc les pics ne semblent pas vraiment normaux, mais à confirmer.

[Chatbour]

ah ok, désolé de ne pas clarifier ce point :
je travaille pour le moment sur 6 images de voitures, je parcours chaque image avec une fenêtre rectangulaire puis je calcule pour cette fenêtre 13 descripteurs..
donc pour les 6 images, j'ai obtenu 11 000 descripteurs..

la configuration que j'ai décris dans le premier message a donné une erreur égale à 0.015 ce qui est loin d'être réussi..

dois-je augmenter le nombre de cycles ? augmenter le taux d'apprentissage ?

[Clercq]

J'ai du mal a comprendre ta demarche ...

Tu as six images que tu parcours par une fenêtre, pour laquelle tu calcul 13 descripteurs ?
Tu utilise ensuite ces descripteur pour ton apprentissage par 13 donc par fenêtre, si je comprends bien. Une fois que tu as ces fenêtres défini par des descripteurs, est ce que tu en as étiqueté ? Celles contenant des plaques et celles n'en contenant pas ?
- Ainsi tu as deux classe 0 et 1 (donc bien 1 neurone de sortie)
- 13 descripteur par fenêtre en entré OK.
- Plus de neurones en couche caché qu'en entré OK.
En ce qui concerne t'as courbe, c'est en apprentissage ou en classification ? Et encore comment fait tu ton apprentissage ? Aléatoire sur tes données, itératif ?

Personnellement ça me parait bizarre, au pire tu devrais avoir une oscillation, mais des pics comme ça ... A moins que ce ne soit l'erreur sur une classification et pas une moyenne sur le corpus ...

[Chatbour]

Salut à tous,

Une fois que tu as ces fenêtres défini par des descripteurs, est ce que tu en as étiqueté ? Celles contenant des plaques et celles n'en contenant pas ?

Oui, j'ai codé un utilitaire en java pour ça, au sein duquel je précise l'endroit de la plaque et l'utilitaire parcourt l'image et extrait des descripteurs pour chaque fenêtre et l'étiquette en même temps..

c'est en apprentissage ou en classification ?

En apprentissage..

Je pense que l'origine de mon problème vient du choix du taux d'apprentissage, j'ai changé la valeur en 0.06 et en même temps j'ai changé la méthode d'apprentissage : j'arrête lorsque l'erreur devient supérieure à l'erreur précédente..

Merci pour vos réponses..

[Clercq]

Si ton "taux d'apprentissage" est le K que je pense, normalement s'il est trop grand tu as une divergence, c'est dire qu'aux lieu de faire une descente de gradient tu le remonte ... Si il est trop petit la convergence est faible mais il y a convergence.

Les pics peuvent a mon sens s'expliquer par le fait que la courbe d'erreur est l'erreur sur une donnée et non sur une moyenne de tout le corpus par nombre d'itération. Du coup ma question est : Que représente ta courbe d'erreur ? Une moyenne ? ... ?