Discussion :

[koulifanya]

Bonjour ,

J'ai fait une regression logistique, j'obtiens un modele de 9 variables avec l'aire sous la courbe de roc (c)=0.812 sur echant d'apprentissage.

Sous echant de validation, j'obtiens un modele 10 variables avec un c=0.837.
(ie le modèle sur apprentissage +1 variables)

Est il normal ? comment interpreter ce phenomene ?
c'est normal que le c roc d'apprent > c roc de validation ?

Merci

[RemiBousquet]

Tu n'es pas supposé faire un nouveau modèle sur ta base de validation, sinon ce n'est plus une base de validation !

Tu développe un modèle sur ta base de développement, et tu l'appliques à ta base de validation.
Si ton modèle est robuste, les deux courbes de roc sont proches.
Si ton modèle n'est pas robuste, celle de ta base de validation est bcp plus basse.

Quand à ton phénomène, si ta base de validation est plus petite (c'est souvent le cas), tu risques d'avoir un phénomène de sur-apprentissage plus important, et un accuracy ratio apparemment plus élevé.