Discussion :

[gitan77]

Bonjour,

Je voudrais optimiser mon réseau de neurones (PMC à trois couches) en déterminant le nombre de neurones cachés. Pour cela, je cherche à calculer les erreurs de test, de train et de validation mais j'ai encore du mal à construire un algorithme (de validation croisée). Je travaille sous Python.

Algorithme simplifié :

1) boucle for itérations

2) boucle for CV de type K-fold : découper en deux sous-ensembles : train et test et calculer l'erreur entre Y_test et predict_rn(Y_test)

3) boucle for CV de type I-fold : en deux sous-ensembles : train1 et validation et entraîner le RN ou calculer directement predict_rn(Y_train1) et predict_rn(Y_validation) ?

4) calculer les moyennes des erreurs de validation et de train1

5) algorithme de rétropropagation ?

6) lister les erreurs

7) revenir à 1)
Merci infiniment

[dourouc05]

En fait, quelle est ta question ?

[Matthieu76]

https://en.wikipedia.org/wiki/Cross-...n_(statistics)

[dev_ggy]

Je n'ai jamais entendu parler de Cross Validation pour des réseaux de neurones. Je pense que la différence des algorithmes de Machine Learning qui est paramaitrisable, les réseaux de neurones ne le sont pas "vraiment". Mais si tu arrives à paramaitriser le nombre de neurones et le nombre de couches, tu peux essayer. Tu risques d'avoir des surprises concernant le temps de calcul, le nombre de cas différent à étudier et l'absence d'uniformité entre le nombre de neurones et le nombre de couches et la performance.

[Matthieu76]

Je pense que la différence des algorithmes de Machine Learning qui est paramétrisable, les réseaux de neurones ne le sont pas "vraiment".

Bien sûr que si les réseaux de neurones sont paramétrable (nombre de neurones, nombre de couches, choix des fonctions d'activations, learning rate, momentum, dropout, etc.. Il peut y avoir plusieurs 100e de paramètres sur les plus gros réseaux de neurones).

Mais la cross-validation n'est pas fait pour tester des paramètres (pas que), elle est surtout là pour valider de manière plus précise un model. On teste avec une validation classique puis lorsque on obtient de bon résultat avec un model, on fait une validation cross-validation pour avoir une meilleur estimations du taux de classification. En gros il ne faut faire une cross-validation seulement sur tes meilleurs models pour

[dev_ggy]

Bonjour Matthieu76,

J'avoue, je suis ignorant sur la CROSS Validation des réseaux de neurones.

L'ensemble des cours que j'ai suivis sur le sujet n'en parle pas.

As-tu de la littérature sur ce sujet ?

Merci d'avance,

[Matthieu76]

Salut ggy,

j'ai pas grand-chose à te donner, mais tu peux regarder ça :
https://stackoverflow.com/questions/...neural-network

C'est juste que je connais très bien les réseaux de neurones et je connais aussi la cross-validation du coup je visualise bien comme l'applique à un réseau de neurons.

Si tu as 1/3 de teste et 2/3 d'apprentissage au lieux d'avoir 1 seul taux de classification, avec la cross-validation tu as 3 taux de classification en changeant tes ensembles apprentissage/teste. Mais du coup il faut refaire 3 fois l'apprentissage depuis le début avec les mêmes paramètres. Après tu fais la moyenne de tes taux de classification et tu as un nouveau taux beaucoup plus représentatif de tes données.

Et par exemple si tu prends 1/100 de teste et 99/100 d'apprentissage, tu obtiens 10 taux de classification avec la cross-validation et tu es encore plus précis.

Le maximum que tu puisses faire c'est 1 exemple pour le test et le reste pour l'apprentissage et ça sur tous tes exemples par contre ça rallonge beaucoup trop ton temps d’apprentissage donc en pratique c'est infaisable.

Tu comprends mieux ? C'est claire ce que je raconte ? D'autres questions ?

[dev_ggy]

Bonjour Matthieu76,

Merci pour ta réponse, mais on s'éloigne un peu de la question initiale de Gitan77.

Pour te répondre, je connais bien la Cross Validation, cela concerne sa spécificité pour les réseaux de neurones, sur laque je m'interroge, mais aussi sur le manque de littérature sur le sujet. Pourtant il y a beaucoup de comparaison entre réseaux dans la recherche. Mais pour revenir sur le cas spécifique dans la question demander, les réseaux de neurones ne sont pas des méthodes qui s’arrêtent après une liste d’action définie comme peut l’être avec une régression ou un arbre, mais sont des méthodes empiriques. Ceci oblige de définir un critère d'arrêt pour le cross-validation. Or, on peut donc les comparer en termes de rapidité, mais les méthodes du gradient qui est lié au réseau de neurones par exemple dans la cour du collège de France. Il est mis en évidence le choix entre gain et performance. Si l'algorithme lent peut avoir de meilleure performance qu'un rapide. Dans ce cas, comment choisir un critère d’arrêt du cross-validation ?

Merci à vous deux pour cette discussion intéressante.

[Matthieu76]

Dans ce cas, comment choisir un critère d’arrêt du cross-validation ?

Oui, en gros le seul problème pour toi c'es définir le critère d’arrêt de la cross-validation ?

Rien de plus simple, on s'arrête quand le réseaux de neurones a fini d'apprendre.

Quand le réseaux de neurones a-t-il fini d'apprendre ?

Là c'est un peu plus dur à répondre car il faut que tu choisisses un critère un peu arbitrament du genre :

• Au bout de 50 itérations
• Au bout de 10 minutes
• 5 itérations après avoir obtenue 90% de classification
• Quand il y a le même taux de classification 3 fois de suite
• Etc ...

Les possibilitiés sont multiples mais donnent toutes à près le même résultat. Faut d'abord faire 1 ou 2 testes avant pour voir à peu près quand converge ton réseaux.

Je ne sais pas s'il y a un critère non-arbitraire et plus mathématique pour définir si le réseaux à converger ou pas mais ça doit exister; un truc du genre quand 90% (et encore là 90% c'est arbitraire) des neurones du réseaux on une sortie qui converge vers 0 ou 1 sur l'ensemble des données (car un neurones proche de 0 ou 1 avec une fonction d'activation sigmoïde n'apprends quasiment plus rien). Mais ça apporterait pas grand-chose de faire cela.

Ce genre de problématique du critère d’arrêt est utile pour tous les algorithmes que tu vas mixer avec un apprentissage classique du genre : algorithmie génétique, dropout, enfin bref à chaque fois que tu veux relancer en boucle ton apprentissage. Mais si tu fais plusieurs "couches" d'algo comme par exemple une backpropagation suivit, d'un dropout, le tout avec algo génétique il te faut un critère d’arrêt pour la backpropagation , un critère d’arrêt pour le droupout et un critère d’arrêt pour l' algo génétique.
D'ailleurs le problème du critère d’arrêt se pose aussi avec une validation "classique" (un seul ensemble pour l'apprentissage et un seul ensemble pour l'évaluation).

Mais je m'y intéresserai vraiment quand mon réseaux aura déjà un bon taux de classification avec une validation classique (En vrai la cross-validation n'apporte pas grand-chose si ton jeu de données est bon).

[dev_ggy]

J'ai fait quelques recherches et il existe des Frameworks pour l'optimisation de réseaux de neurones :

• AutoML de Google
• Vers Github

Merci à vous,

[Matthieu76]

Ouais mais bon, AutoML fait tout tout seul j'ai l'impression, ce n'est pas ce que je recherche. Je code ma propre librairie en C++.

[dourouc05]

Je ne sais pas s'il y a un critère non-arbitraire et plus mathématique pour définir si le réseaux à converger ou pas mais ça doit exister; un truc du genre quand 90% (et encore là 90% c'est arbitraire) des neurones du réseaux on une sortie qui converge vers 0 ou 1 sur l'ensemble des données (car un neurones proche de 0 ou 1 avec une fonction d'activation sigmoïde n'apprends quasiment plus rien). Mais ça apporterait pas grand-chose de faire cela.

La manière la plus formelle de procéder est de vérifier si le gradient (calculé sur toutes les données d'apprentissage, pas de SGD ici !) a une norme nulle (aux arrondis IEEE 754 près). Dans ce cas, il ne sera plus possible d'améliorer le modèle par rapport aux données qu'on a (en tout cas, localement : ce n'est pas une garantie d'optimalité globale). Par contre, je ne pense pas que beaucoup de gens fassent ça . (Plutôt un gradient inférieur en norme à un seuil.)

En vrai la cross-validation n'apporte pas grand-chose si ton jeu de données est bon

Qu'est-ce qu'un "bon" jeu de données ? La taille est très importante pour la validation croisée : elle n'a vraiment d'utilité que si tu as assez de données. Sinon, tu divises en 80 % d'apprentissage, 20 % de test (ou moins encore pour les tests, si tu as des milliards de points).

[Matthieu76]

La manière la plus formelle de procéder est de vérifier si le gradient a une norme nulle.

Je vois pas trop ce que ça donne dans un réseaux de neurones car avec la méthode d'apprentissage de la backpropagation "simple" le pas d'apprentissage est fixe et il y aura toujours une erreur donc je ne vois pas trop ce que tu entends par norme. Mais avec un learning rate variable c'est plus claire, il suffit d'attendre que le learning rate atteigne 0. Après il se peut que la backpropagation ne converge jamais et là faut trouver une autre condition d'arrêt.

Dans ce cas, il ne sera plus possible d'améliorer le modèle par rapport aux données qu'on a (en tout cas, localement : ce n'est pas une garantie d'optimalité globale). Par contre, je ne pense pas que beaucoup de gens fassent ça . (Plutôt un gradient inférieur en norme à un seuil.)

Qu'est-ce qu'un "bon" jeu de données ?

Je sais que c'est une question délicate et arbitraire mais je dirais qu'un bon jeu de données et un jeu de données avec un minimum de fausses données et avec une complexité pas trop élever : données séparable par un polynôme d'ordre pas trop grand. Après tout est relatif, je ne sais pas ce qu'es un "ordre grand" mais ce c'est pas le même pour moi que pour DeepMind (entreprise spécialisée en IA appartenant à Alphabet (ayant notamment réalité AlphaGo).

la validation croisée n'a vraiment d'utilité que si tu as assez de données.

Ça dépends des cas. Là part exemple je travaille sur un jeu de données avec plus 300 000 données par ans de 2000 à 2016, j'ai donc suffisamment de données mais pourtant dès que j'aurais un taux de classification satisfaisant sur 2016 en apprenant de 2000 à 2015 je ferrais une validation croisée pour être sûr que 2016 n'est pas une années "spécial" dans mon jeu de données. Mais je reste d'accord avec toi dans la majorité des cas ce n'est pas très utile. Dans mon cas la validation croisé prendra 16 fois plus de temps à calculer ce qui est énorme, c'est pour ça que je ne la ferais qu'à la toute fin.

[dourouc05]

Je vois pas trop ce que ça donne dans un réseaux de neurones car avec la méthode d'apprentissage de la backpropagation "simple" le pas d'apprentissage est fixe et il y aura toujours une erreur donc je ne vois pas trop ce que tu entends par norme. Mais avec un learning rate variable c'est plus claire, il suffit d'attendre que le learning rate atteigne 0. Après il se peut que la backpropagation ne converge jamais et là faut trouver une autre condition d'arrêt.

(Norme : https://fr.wikipedia.org/wiki/Norme_...imension_finie.)
Si ton gradient est nul, peu importe ton taux d'apprentissage, tu n'avanceras plus du tout.

[Matthieu76]

Je suis désolé mais je ne vois absolument pas où il y a une norme dans les réseaux de neurones...

[dourouc05]

Pour faire plus explicite : la rétropropagation sert à calculer un gradient pour modifier les poids. Un gradient est juste un vecteur de nombres. Quand la norme de ce gradient est suffisamment faible (grosso modo, quand toutes les composantes du gradient sont proches de zéro) — "suffisamment" dépend d'un seuil que tu dois déterminer —, alors on dit souvent que tu as convergé vers un minimum local.

[Matthieu76]

Ok mais ça sur chaque neurones du coup ? En gros on fait la moyenne de tous les gradients de tous les neurones et si le gradient est inférieur à genre 10^-9 on sait que le réseaux ne va quasiment plus bouger ? C'est hyper intéressant en faite !!!

[dourouc05]

Sur le gradient complet (celui produit au niveau du dernier neurone, celui de la sortie), oui (moyenné sur tous les échantillons plutôt que sur tous les neurones, puisque chaque neurone ne contribue qu'à quelques composantes du gradient, en général). La notion de norme explicite ton "si le gradient est inférieur à genre 10-9" .

[Matthieu76]

Je ne suis pas sur pour prendre uniquement les neurones de sortie car si un neurones de sortie a convergé, cela ne veux pas forcément dire que ceux des couches inférieur ont eux aussi convergé, si ? Ah ... peut-être, en tout cas c'est à réfléchir si je veux implémenter une fonction bool NeuralNetwork::hasConverged();. De tout façon ça ne prendrais pas plus de temps de calculer ça sur tous les neurones donc autant le faire.

Après je ne pense vraiment pas qu'il faille moyenné sur tous les échantillons... Ah quoique, je sais pas, je me dis que peut-être qu'en injectant les valeurs max et min pour les inputs avec une erreur de sortie forcé à 1 on pourrait calculer la convergence plus rapidement sans utiliser tous les données, non ? Ah réfléchir... Doit bien y avoir des articles sur ce sujet.

En tout cas je mets ce sujet dans ma backlog et j'y réfléchirais plus en détail le moment venu.