Discussion :

[Juunii]

Bonjour,

Je cherche à comprendre comment déterminer le nombre de neurones cachées sur une couche cachée d'un perceptron multicouche à trois couches.

Je pensais à la dimension de Vapnik mais apparemment cette méthode est plus difficile (si vous la connaissez et savez comment le faire, ce sera avec grand plaisir).

Selon des sites sur Google, l'idéal serait de regarder l'erreur de validation croisée. Je ne comprends pas ce qu'est train ? Test ?

Par exemple, j'ai 3 vecteurs d'entrées de taille de 200 et 4 vecteurs de sortie de taille 200. Avec la méthode de validation croisée K-fold (K=10, par exemple), j'ai deux ensembles, l'un (K-1 partitions) d'apprentissage dit "train" et l'autre de test (1 partition). Si je comprends bien, l'algorithme est le suivant :

1) découper l'échantillon en K partitions
2) Pour chaque choix du nombre de neurones cachés et pour k entre 1 et K, calculer l'erreur quadratique entre les sorties de test (donc de taille 20 = 200/K=200/10) et les sorties du réseau de neurones et la stocker
3) Calculer la moyenne des erreurs pour chaque de nombres de taille de la couche intermédiaire
4) Tracer le graphe et déterminer l'erreur minimale

Question : que faire des "train" (de taille 180) ??

Merci beaucoup

[ToTo13]

C'est une simple validation croisée (https://fr.wikipedia.org/wiki/Validation_croisée) de type k-fold. Le principe d'une validation croisée et de vérifier sur des données inconnues que tout se passe bien durant l'apprentissage. Dans le cas du k-fold :
- diviser l'échantillon en K sous échantillons (K0, K1, ... Kn).
- faire l'apprentissage sur K0, K1, Kn-1 et valider sur Kn, tout en sauvegardant les erreurs.
- itérer cela pour les K sous-échantillons.
- calculer la moyenne des erreurs.
- vérifier que les erreurs lors des validations est très proche ce celles des apprentissages.

Le seul souci, c'est qu'à chaque fois tous les éléments de l'échantillons sont utilisés. Il est donc courant d'ajouter un échantillon de Test, qui ne sera utilisé QUE pour vérifier que tout s'est vraiment bien passé lors de la validation.
Donc au début, tu écartes un sous-échantillon Test. Puis tu fais ton K-fold sur les données restantes. Puis à la fin de ton k-fold, tu utilises toutes tes données du k-fold pour l'apprentissage et tu fais un test final sur l'échantillon Test. Et là encore, tu dois avoir des erreurs très proches, sinon attention aux surprises.

[Juunii]

Bonjour, Toto13

Ton message m'aide pas trop.

Je cherche à optimiser mon réseau de neurones.

Merci

[dourouc05]

Je cherche à optimiser mon réseau de neurones.

Que cherches-tu à optimiser dans ton réseau ? Pour les poids dans un réseau, c'est l'objectif de la rétropropagation de gradient. Pour la structure, c'est l'objectif de la validation croisée.

Niveau algorithmique, en fusionnant ce qui s'est dit avant :
- diviser les données en deux paquets : un gros, qui sera utilisé par la suite (TS) ; un plus petit, qui sera utilisé tout à la fin (VS) ;
- choisir une structure de réseau (nombre de neurones, de couches, liens entre les neurones) ;
- calculer l'erreur par validation croisée :
--- diviser l'ensemble des échantillons de TS en k morceaux,
--- pour tout i de 1 à k,
----- entraîner le réseau avec la structure déterminée (rétropropagation de gradient) sur tous les morceaux de données sauf le i,
----- calculer l'erreur quadratique sur les données i,
--- moyenner les erreurs obtenues pour évaluer la qualité de la structure de réseau ;
- recommencer pour une nouvelle structure (pour construire un certain nombre de structures) ;
- choisir la meilleure structure ;
- effectuer l'apprentissage avec cette structure sur tout TS ;
- vérifier la qualité du modèle obtenu en le testant sur VS (seule fois où il est utilisé). Cette erreur quadratique doit être proche de l'estimation précédente.