Discussion :

[hakemass]

Bonjour,

j'ai commencé d'appliquer les méthodes d'apprentissage supervisées, mais le prof nous a demandé d'utiliser la validation croisée avec K-plus proches voisins, mais je n'ai pas compris comment je peux faire ça dans mon exemple, ce que je connais sur la validation croisée(leave one out) est qu'elle divise les données en k blocs(mais la fonction dans le logiciel R prend en paramètres le nombre de voisin et non pas le nombre de blocs), je ne sais pas si c'est la partition de tout l'ensemble de données ou seulement l'ensemble qui représente l'ensemble d'apprentissage!!!
en prenant un bloc de validation, et en le déplaçant dans l'ensemble d'apprentissage (je pense!!)et après on fait la moyenne,

mes questions!
sa sert à quoi la validation?
comment je peux faire la moyenne de mes résultats (après chaque déplacement du bloc de validation)?

[ToTo13]

Alors...

la validation sert à savoir si ton modèle de classement est bon !!!
Si tu te contentes de faire apprendre à ton modèle sans valider, tu n'as aucune information sur la pertinence des connaissances du modèle.
Prend comme exemple un étudiant : tu lui donnes une leçon à apprendre et tu lui fais faire dix exercices. Si tu lui pose un examen contenant les exercices qu'il a déjà fait, aucune chance de savoir ce qu'il sait vraiment, tu sais juste ce qu'il est capable d'apprendre. En revanche, si tu fais un contrôle sur des exercices qu'il n'a jamais vu, là tu sais si ton étudiant est bon ou non.
C'est ça principe de la validation.

Pour la méthode Leave One Out, elle est basée sur le principe de validation K-Fold avec K égal au nombre d'individus. Le K-Fold consiste à séparer les individus en K groupe, d'apprendre sur K-1 groupe et de valider sur le dernier. Puis on réitère sur tous les groupes et on calcule le pourcentage des noyaux bien classés.
Donc pour le Leave One Out, tu dis à ton modèle d'apprendre sur tous les éléments sauf un et tu regardes ensuite comment il classe l'élément retiré et donc sur lequel il n'a pas appris. Tu réitères pour tous les individus et tu fais la moyenne des pourcentage de validation. Ce pourcentage moyen est la capacité de validation (prédiction de ton modèle).

Pour R je ne connais pas. Tu n'as qu'à programmer à la main le Leave One Out, c'est facile et comme ça tu contrôle toutes les étapes.

[hakemass]

la validation sert à savoir si ton modèle de classement est bon !!!

donc la validation est l'ensemble de test que j'ai, et cela rentre dans l'évaluation de la méthode mais cela ne fait pas partie de la méthode !!!
c'est juste ou pas?

C'est ça principe de la validation.

"valider" est la même chose que "tester" oui ou non?

Pour la méthode Leave One Out, elle est basée sur le principe de validation K-Fold avec K égal au nombre d'individus. Le K-Fold consiste à séparer les individus en K groupe, d'apprendre sur K-1 groupe et de valider sur le dernier. Puis on réitère sur tous les groupes et on calcule le pourcentage des noyaux bien classés.

donc la moyenne défini si la méthode est bonne ou pas, mais si je choisi le groupe d'apprentissage dont j'ai la meilleurs solution avec le test, est ce que cela veut dire que cette ensemble est représentatif de mes données et que c'est mieux d'utiliser cette ensemble pour faire l'apprentissage la prochaine fois???

Donc pour le Leave One Out, tu dis à ton modèle d'apprendre sur tous les éléments sauf un et tu regardes ensuite comment il classe l'élément retiré et donc sur lequel il n'a pas appris.

Mais mon ensemble d'apprentissage et de test est choisi d'une manière aléatoire en prenant des échantillon "sample"!!!
comment je peux contrôler que l'ensemble de test ne se mélange pas avec l'ensemble de validation ?

Merci

[ToTo13]

Oula... on dirait que tu mélanges tout Visiblement tu n'avais jamais entendu parler d'apprentissage et de validation avant.

Lorsque tu construits un modèle de classement et que tu donnes un pourcentage, tu donnes toujours le pourcentage de validation (prédiction). On ne donne jamais le pourcentage d'apprentissage car il ne veut absolument rien dire.

Ton nombre d'échantillon est tellement petit que tu dois travailler sur toutes les données pour avoir un minimum d'apprentissage; dans ton cas 20 individus (exemples, ...).
Donc pour valider en Leave One Out, tu retires un individu, tu apprends sur les individus restant et avec le modèle construit tu classes l'individu retiré du lot. Tu réitères pour tous les individus (donc dans ton cas tu as 20 itérations) et à la fin tu calcules le pourcentage de noyaux qui auront été bien classés ; donc ici tu auras un multiple de cinq pour ton pourcentage.

Pour ta question : lorsque tu testes une méthode, tu regardes effectivement sont pourcentage de validation. Donc on peut dire que c'est la même chose.
Valider une méthode c'est voir son comportement (pourcentage de validation) sur des individus qu'elle ne connaît pas.