Discussion :

[maamar1979]

Bonjour

Je viens de me lancer dans l’implémentation d’un PMC et je ne sais comment fixer certain paramètres*:

- comment initialisé les poids des neurones, on parle souvent de valeurs aléatoires mais y’a-t-il un intervalle de valeur (par exemple [0, 1], ou [5, 20], etc.)*?
- même chose concernant la valeur des biais (w0) et du taux d’apprentissage alpha*?
- Comment calculer l'erreur quadratique si nous avons plusieur sortie (donc plusieurs erreurs pour chaque echantillon) ?
- la dernière question concerne l’architecture du réseau c'est-à-dire*le nombre de couches cachées et le nombre ne neurones dans chaque couche*?

Merci d’avance.

[Clercq]

- comment initialisé les poids des neurones, on parle souvent de valeurs aléatoires mais y’a-t-il un intervalle de valeur (par exemple [0, 1], ou [5, 20], etc.)*?

Personnellement j'initialise les poids aléatoirement dans l'intervalle [-1, 1].

- même chose concernant la valeur des biais (w0) et du taux d’apprentissage alpha*?

Le biais w0 est un poids comme les autres, initialisé a fortiori de la même manière.
En ce qui concerne le taux d'apprentissage, en générale, on l'initialise avec une valeur ni trop grande (pour éviter une divergence de l'apprentissage), ni trop petite (lenteur d'apprentissage), pour ma part entre 0.1 et 0.01. Mais ça n'a rien d'une science exact.

- Comment calculer l'erreur quadratique si nous avons plusieur sortie (donc plusieurs erreurs pour chaque echantillon) ?

En générale, on parle de MSE, "Mean Square Error", on calcul donc l'erreur moyenne obtenu avec l'ensemble des dimensions de sortie, 1/N SUM(E(N)), avec N le nombre de dimension.

- la dernière question concerne l’architecture du réseau c'est-à-dire*le nombre de couches cachées et le nombre ne neurones dans chaque couche*?

Il me semble qu'il est prouvé, qu'une seul couche cachée suffit a l'apprentissage de toutes fonctions.
En ce qui concerne le nombre de neurones, Toto13 te répondrait qu'en générale, il faut respecter une architecture pyramidale.
J'ai toujours maintenu qu'il fallait suivre la théorie de la dimension de vapnik, ce qui en fait, si on la respect dans la projection entre chaque couche mène a la même chose.

[Aleph69]

Bonjour,

Il me semble qu'il est prouvé, qu'une seul couche cachée suffit a l'apprentissage de toutes fonctions.

Je confirme, à ceci près qu'il me semble que ce n'est pas pour toute fonction mais pour toute fonction indéfiniment différentiable. Le problème est que le nombre de neurones contenus dans cette couche est borné par une puissance de deux (la puissance étant le nombre d'individus ou de variables, je ne m'en souviens jamais).

En ce qui concerne le nombre de neurones, Toto13 te répondrait qu'en générale, il faut respecter une architecture pyramidale.
J'ai toujours maintenu qu'il fallait suivre la théorie de la dimension de vapnik, ce qui en fait, si on la respect dans la projection entre chaque couche mène a la même chose.

Une autre approche possible consiste à faire de la sélection de modèle en divisant la base de donnée en une base d'apprentissage, une base de validation et une base de test, si le nombre d'exemples, éventuellement par classe, est suffisamment grand. Sinon, il faut procéder par rééchantillonnage avec un bootstrap ou une validation croisée par exemple. Divers critères peuvent être envisagés pour sélectionner la meilleure architecture. Idéalement, il faut estimer le biais et la variance mais des critères alternatifs existent dans la littérature (AIC et BIC entre autres).

[maamar1979]

Merci