1. #1
    Membre à l'essai
    Homme Profil pro
    Étudiant
    Inscrit en
    juillet 2011
    Messages
    8
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Paris (Île de France)

    Informations professionnelles :
    Activité : Étudiant

    Informations forums :
    Inscription : juillet 2011
    Messages : 8
    Points : 11
    Points
    11

    Par défaut Comment Backtester un score à dire d'experts ?

    Bonjour,

    j'aimerai avoir votre avis sur un sujet sur lequel je travaille actuellement.
    J'essaie de backtester une note finale obtenue après le forçage d'une note obtenue à partir d'un modèle statistique (modélisation avec une régression logistique).
    Dans ce cas présent, toute note calculée par le modèle (note du score) peut faire l’objet d’un forçage par l'utilisateur dès lors qu’il existe une information justifiant son intervention (c'est à dire l’existence de nouvelles informations non captées par le modèle mais qui sont importantes dans l’estimation du risque lié au client).
    A titre d'exemple un client qui obtient une note "A" par le modèle peut voir sa note dégradée au plus de 2 classes passant ainsi de "la note A à la note C" ( la note dégradée ne dépassant la note du modèle de 2 classes).

    Exemple:

    score note_modèle note_finale (après forçage)
    0.00123 A B
    0.00145 A C
    0.01256 B B
    0124561 E G
    . . .
    . . .
    . . .

    Dans un premier temps je backteste le modèle statistique en effectuant une analyse de stabilité et de performance à partir d'indicateurs comme il est recommandé par l'ACPR.

    Et ce que je veux dans un second temps, c'est de backtester la note finale obtenue après forçage (note à dire d'expert).

    Existe t-il une méthode appropriée pour backtester une note à dire d'expert?

    Peut-on calculer un GINI à partir d'une note catégorielle?

    Merci pour votre retour

  2. #2
    Membre éprouvé

    Homme Profil pro
    Data Scientist & Statisticien
    Inscrit en
    février 2009
    Messages
    398
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Oise (Picardie)

    Informations professionnelles :
    Activité : Data Scientist & Statisticien
    Secteur : High Tech - Multimédia et Internet

    Informations forums :
    Inscription : février 2009
    Messages : 398
    Points : 992
    Points
    992
    Billets dans le blog
    2

    Par défaut

    Bonjour,

    Au vu de ta problématique :

    1) Tu peux décrire le comportement des notes qui sont modifié par l'opérateur, définir quelle typologie elles ont et les comparés avec les autres non modifiés.

    2) Par contre elles ne peuvent pas être évalué de nouveau le modèle dans la mesure où les données sont exogènes pour modifier le score initial.

    Cela répond à ta demande ?
    Au plaisir de te lire.

  3. #3
    Membre à l'essai
    Homme Profil pro
    Étudiant
    Inscrit en
    juillet 2011
    Messages
    8
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Paris (Île de France)

    Informations professionnelles :
    Activité : Étudiant

    Informations forums :
    Inscription : juillet 2011
    Messages : 8
    Points : 11
    Points
    11

    Par défaut

    Merci pour ton retour,

    Je peux décrire ici les notes modifiées par l'opérateur et faire une comparaison avec celles qui ne sont pas modifiées mais cela ne m'aidera pas trop pour savoir si la
    notation que j'obtiens après modification par l'opérateur discrimine bien les clients en bons et mauvais. Pour info j'ai une note finale en grade prenant des valeurs de A à K

    Je cherche à calculer un GINI avec cette notation. Où existe t-il dans ce cas de figue une méthode pour calculer la performance du modèle?

+ Répondre à la discussion
Cette discussion est résolue.

Discussions similaires

  1. Comment tester une couche d'accès aux données
    Par ygrim dans le forum Persistance
    Réponses: 3
    Dernier message: 26/02/2008, 17h30
  2. comment tester si une fonction fait bien son travail
    Par access dans le forum Requêtes
    Réponses: 1
    Dernier message: 24/11/2003, 15h46
  3. Réponses: 10
    Dernier message: 18/11/2003, 18h01
  4. Réponses: 3
    Dernier message: 25/07/2002, 10h42

Partager

Partager
  • Envoyer la discussion sur Viadeo
  • Envoyer la discussion sur Twitter
  • Envoyer la discussion sur Google
  • Envoyer la discussion sur Facebook
  • Envoyer la discussion sur Digg
  • Envoyer la discussion sur Delicious
  • Envoyer la discussion sur MySpace
  • Envoyer la discussion sur Yahoo