Discussion :

[demoisellex]

Bonjour ,
je cherche une documentation explicant la démarche à suivre pour déterminer le nombres de couches et de neurones cachées!
Merci pour votre help

[Alexis.M]

En matière de réseaux de neurones, il n'y a pas, je pense, de recette miracle, il faut effectuer une validation croisée pour déterminer les paramètre optimaux tout en contrôlant le sur-apprentissage.

[ToTo13]

+1 avec ce qui vient d'être dit.
On privilégie en général une forme pyramidale avec un seule couche cachée, car il a été démontré que l'on peut obtenir des résultats comparable avec une seule couche (me rappelle plus du titre de l'article).
Rappelle toi surtout que ton nombre de poids doit être au maximum le tiers de ton nombre d'instances.

[davcha]

En réalité ça dépend de la dimension du problème de départ.

Si t'as un problème avec 300 entrées mais qui soit représentable en 2 dimensions, alors 2 neurones dans la couche cachée suffisent.

[Aleph69]

+1 avec ce qui vient d'être dit.
On privilégie en général une forme pyramidale avec un seule couche cachée, car il a été démontré que l'on peut obtenir des résultats comparable avec une seule couche (me rappelle plus du titre de l'article).

A ma connaissance, le nombre de neurones sur cette couche est de l'ordre de 2^d, où d est la dimension du problème, mais si tu as un autre résultat en tête je serais content que tu retrouves le titre de l'article.

[saadelazzouzi]

slt ...tn général en utilise une couche cachée et plus rarement 2..pour le nombre de noeuds dans la couche caché ..tu peux utiliser 2n+1 avec n la dimension du vecteur d'entrée ..
"
1-it was proved (Kolmogorov, (1957)) that if g is
continuous, then g has an exact representation of the type that could be implemented by a neural
network of the type in figure 1, providing that the individual neurons be allowed to compute
possibly different (not necessarily sigmoidal) transfer functions. In fact, this theory even
specifies the number of middle layer nodes, (2n+l), if n is the number of input layer nodes (i.e.
the dimension of the input vector x).
2-using the mathematical tools of functional analysis, it has
been proven that, loosely speaking, fairly general functions g can be approximated to any
desired degree of accuracy using the sigmoidal logistic function F for Fm and F in (1), and by
increasing the number of middle layer nodes (see Cybenko (1989), for example)."

[ToTo13]

A ma connaissance, le nombre de neurones sur cette couche est de l'ordre de 2^d, où d est la dimension du problème, mais si tu as un autre résultat en tête je serais content que tu retrouves le titre de l'article.

A ma connaissance au contraire un utilise plutôt une forme pyramidale : entrée > cachée > sortie. Mais je n'ai pas l'article qui prouvait cela.
C'est d'ailleurs ce qui est fait maintenant en "Deep Learning", d'où l'utilisation du "max pooling".

En mettant 2^d, tu fais juste exploser ton nombre de neurones dans la couche cachée. Comment ferais tu pour un problème de dimension 100 (qui est une taille plutôt petite) ?

[demoisellex]

Bonjour,

Voilà j'ai trouvé une autre formul (kuligowsk 1997)

2Nentrées+1<NNchachés<2(Nentrées)^1/2+Nsorties, donc il faut juste tester.

[souviron34]

Je m'immisce légèrement ici

car il a été démontré que l'on peut obtenir des résultats comparable avec une seule couche (me rappelle plus du titre de l'article).

Il est certain q'uil y a eu des résultats nouveaux depuis que j'ai bossé sur ce domaine (sniff un certain temps), mais il me semble me souvenir que une équipe de maths de Jussieu avait démontré, fin des années 80, que de toutes façons au delà de 2 couches on ne savait plus à quoi correspondaient ni les coeffs ni la signification/l'usage des neurones, de leurs liaisons, etc.. et donc les nombres aussi

(d'où d'ailleurs un des arguments majeurs contre l'idée reçue et assez répandue chez les jeunes qu'on puiisse "repoduise un cerveau" dans un futur prévisible... On en est très très très loin)