IdentifiantMot de passe
Loading...
Mot de passe oublié ?Je m'inscris ! (gratuit)
Navigation

Inscrivez-vous gratuitement
pour pouvoir participer, suivre les réponses en temps réel, voter pour les messages, poser vos propres questions et recevoir la newsletter

SAS STAT Discussion :

Anomalie résultats courbe ROC


Sujet :

SAS STAT

  1. #1
    Futur Membre du Club
    Inscrit en
    Août 2012
    Messages
    5
    Détails du profil
    Informations forums :
    Inscription : Août 2012
    Messages : 5
    Points : 6
    Points
    6
    Par défaut Anomalie résultats courbe ROC
    Bonjour,

    Je suis en train de réaliser une étude de score grâce à la régression logistique. Pour afficher les performances du modèle j'ai pensé à utiliser la macro de Stéphane Tufféry tirée de son livre "Etude de cas en statistique décisionnelle". Le problème c'est que j'obtiens une aire sous la courbe ROC dans l'échantillon d'apprentissage de 0.826 alors que celle de l'échantillon de validation est de 0.856 ce qui est évidemment anormal!

    J'aimerais donc avoir votre avis sur la provenance de cette anomalie, sachant que je n'ai aucun message d'erreur lorsque je consulte le log.

    Je vous remercie d'avance.

  2. #2
    Membre habitué

    Homme Profil pro
    Consultant Support Client SAS
    Inscrit en
    Mai 2011
    Messages
    94
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Seine et Marne (Île de France)

    Informations professionnelles :
    Activité : Consultant Support Client SAS
    Secteur : High Tech - Éditeur de logiciels

    Informations forums :
    Inscription : Mai 2011
    Messages : 94
    Points : 180
    Points
    180
    Par défaut
    Bonjour,

    Ce type de résultat n'est pas commun mais il n'en est pas moins potentiellement valide. Les modèles où la statistique d'ajustement est meilleure dans l'échantillon d'apprentissage que dans le moèdle de validation se nomme modèle optimiste.

    Il est possible que vos données issues du second échantillon se reprochent plus de votre modèle, améliorant ainsi votre indice de courbe ROC.

    Toutefois, je vous invite à regarder d'autres statistiques pour voir comment elles se comportent. Créer un troisième échantillon (de test, comme nommé dans SAS Enterprise Miner) et récupérer la même statistique pour voir ce qu'il se passe.

    Cordialement,
    Jérémy

Discussions similaires

  1. Courbe roc et seuil
    Par mathis86 dans le forum SAS STAT
    Réponses: 1
    Dernier message: 25/08/2011, 18h18
  2. Courbe ROC à l'envers
    Par Mark531 dans le forum SAS STAT
    Réponses: 9
    Dernier message: 27/06/2011, 18h50
  3. Courbe ROC pour KNN
    Par cobaltsixty dans le forum R
    Réponses: 0
    Dernier message: 07/09/2010, 18h23
  4. Tracer un courbe roc
    Par elfidream dans le forum SAS STAT
    Réponses: 2
    Dernier message: 18/06/2009, 19h20
  5. Courbes ROC dans une image segmentée
    Par yasminsila dans le forum Images
    Réponses: 10
    Dernier message: 18/02/2009, 16h24

Partager

Partager
  • Envoyer la discussion sur Viadeo
  • Envoyer la discussion sur Twitter
  • Envoyer la discussion sur Google
  • Envoyer la discussion sur Facebook
  • Envoyer la discussion sur Digg
  • Envoyer la discussion sur Delicious
  • Envoyer la discussion sur MySpace
  • Envoyer la discussion sur Yahoo