Discussion :

[Eusebius]

Une couche cachée suffit pour 99.9% des problèmes.
Pour le problème de la réduction de dimensionalité, il en faut 3 dont la centrale qui donne la projection.

C'est encore mieux que ça : le théorème de Cybenko (si on le traduit en réseaux de neurones) dit qu'on peut approcher toute fonction continue de I^n dans R (où I est un intervalle compact comme [0,1]) avec toute la précision voulue, avec une couche d'entrée à n noeuds, une couche cachée de taille finie et un neurone de sortie (modèle du perceptron multi-couche avec une sigmoïde comme fonction de seuil).

Evidemment c'est un théorème d'existence, très général, qui ne donne ni les poids, ni les biais, ni le nombre de neurones dans la couche cachée.

[Faiche]

.. les boucles ..

On va faire simple : quand il y a des cycles (on dit comme ça) c'est un réseau récurrent, et c'est plus du tout la 'base' des réseaux de neurones.

Dans la pratique, le nombre de couches, le nombre de noeuds dans chaque couche etc, tous ces critères donc, sont déterminés de manière expérimentale.

La théorie, et tous les calculs, donnent un ordre d'idée, mais la valeur exacte dépend à chaque fois fortement du problème en question.

Comme l'a fait remarquer Eusebius, on peut faire converger un réseau avec une seule couche cachée, et un nombre fini de noeuds sur cette couche, mais de la à savoir comment trouver le réseau le plus performant..

Enfin, les réseaux de neurones, c'est une appellation générale, qui regroupe un nombre impressionnant de variantes : perceptron, kohonen, rbf, ART, pour n'en citer que qquns.


Pour en finir avec les réseaux récurrents : c'est deja costaud a piger quand tu connais ton sujet, donc laisse ça de coté pour après.

[rahzym]

Bref au niveau de l'apprentissage, on couple souvent aux rdn un algorithme génétique. J'ai bossé un peu sur un algorithme génétique pour faire un programme capable de trouver un chemin entre deux points dans une zone carrée sans passer par des obstacle disposer aléatoirement...

L'apprentissage se passe en plusieurs point :

Premièrement il faut une population de base :
-dans mon programme on tire 100 trajets au hasard (des trajets divisée en 100 segment)
-pour un rdn on prend les différentes combinaisons de poids et neurones... (je n'ai jamais fait de rdn)

Ensuite 4 phase se repetent en boucle durant l'apprentissage :

1. Donner une note à l'individu (c'est la partie la plus importante de l'ag) :
-dans mon cas, j'utilisais pour juger de la qualité d'un trajet des critères suivants : longueur total du trajet, longueur au moment de la première collision avec un obstacle, y a t-il collision ou non, distance par rapport au point de sortie...

On peut prendre les critères que l'on veut... pour un rdn je dirais qu'il est meilleurs lorsqu'il fait moins d'erreur par exemple

2. Croisement des meilleur
-cette phase consiste a prendre les meilleurs individus d'une population et à les croiser entre eux... (c'est difficile de l'expliquer pour paraitre crédible)

-dans mon cas pour croiser les différent chemin c'était simple : les chemins sont divisé en 100 segments. On prend a chaque fois le point qui se trouve entre les deux ( un enfant est une moyenne des deux parent )

pour un rdn je ne sais pas comment se passe cette étape.

3. Mutation
Si on se contente du croisement on se rend compte bien vite que l'on s amuse simplement à établir des moyennes de notre population de base. La mutation introduit des individu qui on muté au hasard et qui aurons une chance d'être meilleur. Cette étape est indispensable dans l apprentissage car sinon tout est trop basé sur la population de départ.

Donc a partir de notre population de base de 100 individus :

-on garde les 10 meilleurs
-on génère 100 enfant avec les 10 parents en les croisant
-on génère 100 enfant muté
-on garde les dix meilleurs sur 200 et on recommence

Voici les base de l'apprentissage par algorithme génétique et je ne l'ai pas fait mais je sais que cette méthodes est souvent couplée aux réseaux de neurone

[SIovleff]

On va faire simple : quand il y a des cycles (on dit comme ça) c'est un réseau récurrent, et c'est plus du tout la 'base' des réseaux de neurones.

....

Pour en finir avec les réseaux récurrents : c'est deja costaud a piger quand tu connais ton sujet, donc laisse ça de coté pour après.

Les réseaux récurrents sont utilisés pour modéliser des données temporelles
(on imagine que ce qui s'est passé à l'instant t influence ce qui va se
passer à l'instant t+1).

Ca ne sert à rien pour reconnaitre des champignons !!

[Aszarsha]

Je me permet de préciser que dans l'absolue la meilleur des classifications prendrais un nombre infinie de neurone dans la couche cachée. En fait, un nombre finie devrais suffire (les autres avec un poids de 0), nombre dépendant de l'application.

Ça c'est dans l'absolue, dans le cas parfais ou l'on possède un nombre infinie d'exemple pour entrainer notre réseau. Ce qui n'est évidement pas le cas dans la réalité. Alors pourquoi est-ce que l'on ne prend pas simplement le maximum de neurones dans la couche cachée ?
Tout simplement parce que cela provoquerait un sur-apprentissage ! Notre système serait extrêmement performant sur l'ensemble d'apprentissage, mais aurais une très mauvaise capacité de généralisation. Hors c'est justement la capacité de généralisation que l'on cherche à entrainer, pas le reste !

Le nombre de neurones dans la (les) couche(s) cachée(s) est donc déterminé empiriquement[*], grâce à des tests effectué sur un ensemble de validation (différent de celui d'apprentissage donc).

[*] Il y a de la recherche active en cours pour avoir des méthodes mathématique afin déterminer/s'approcher du nombre optimal dépendamment du nombre d'exemple que l'on possède.