Comment Backtester un score à dire d'experts ?

Bonjour,

j'aimerai avoir votre avis sur un sujet sur lequel je travaille actuellement.
J'essaie de backtester une note finale obtenue après le forçage d'une note obtenue à partir d'un modèle statistique (modélisation avec une régression logistique).
Dans ce cas présent, toute note calculée par le modèle (note du score) peut faire l’objet d’un forçage par l'utilisateur dès lors qu’il existe une information justifiant son intervention (c'est à dire l’existence de nouvelles informations non captées par le modèle mais qui sont importantes dans l’estimation du risque lié au client).
A titre d'exemple un client qui obtient une note "A" par le modèle peut voir sa note dégradée au plus de 2 classes passant ainsi de "la note A à la note C" ( la note dégradée ne dépassant la note du modèle de 2 classes).

Exemple:

score note_modèle note_finale (après forçage)
0.00123 A B
0.00145 A C
0.01256 B B
0124561 E G
. . .
. . .
. . .

Dans un premier temps je backteste le modèle statistique en effectuant une analyse de stabilité et de performance à partir d'indicateurs comme il est recommandé par l'ACPR.

Et ce que je veux dans un second temps, c'est de backtester la note finale obtenue après forçage (note à dire d'expert).

Existe t-il une méthode appropriée pour backtester une note à dire d'expert?

Peut-on calculer un GINI à partir d'une note catégorielle?

Merci pour votre retour

Bonjour,

Au vu de ta problématique :

1) Tu peux décrire le comportement des notes qui sont modifié par l'opérateur, définir quelle typologie elles ont et les comparés avec les autres non modifiés.

2) Par contre elles ne peuvent pas être évalué de nouveau le modèle dans la mesure où les données sont exogènes pour modifier le score initial.

Cela répond à ta demande ?
Au plaisir de te lire.

Merci pour ton retour,

Je peux décrire ici les notes modifiées par l'opérateur et faire une comparaison avec celles qui ne sont pas modifiées mais cela ne m'aidera pas trop pour savoir si la
notation que j'obtiens après modification par l'opérateur discrimine bien les clients en bons et mauvais. Pour info j'ai une note finale en grade prenant des valeurs de A à K

Je cherche à calculer un GINI avec cette notation. Où existe t-il dans ce cas de figue une méthode pour calculer la performance du modèle?