Nombre de neurones de la couche cachée
Bonjour,
Tout d'abord, je m'excuse si je ne suis pas sur la bonne section.
Actuellement, je travaille sur un réseau de neurones. Je code un programme afin d'afficher un PMC à trous couches. J'ai simulé des données :
- matrice d'entrée de taille 50x5, disons X, donc X de taille 50x6 avec un biais
- matrice de sortie de taille 50x3, disons Y
Ensuite, je génère les poids initiaux :
-P1 matrice des poids de la couche d'entrée vers la couche cachée
-P2 matrice des poids de la couche cachée vers la couche de sortie
La question est comment choisir le nombre de neurones de la couche cachée. Je pensais à l'AIC, critère d'information d'Akike.
Mais un problème c'est les tailles différentes de X et Y. (peut-être que je me trompe, c'est pour ça que je sollicite votre aide ;) )
Soit k le nombre de neurones de la couche cachée. On peut le déterminer tel que c'est le plus faible AIC ie :
min AIC = 2n - 2 log (estimateur)
k=entier(min AIC)
Or estimateur = (X'X)-1X'Y, ce qui est impossible, je suis bloqué. Si vous avez une autre idée je suis preneur,
Merci :)
PS : bon, je viens de lire un truc sur ce forum : il n'existe aucune loi, aucune règle pour choisir le nombre.. Mais mon chef de projet m'a dit que pour le déterminer, on utilise l'AIC. je suis curieux, merci d'avance :)