Version imprimable
Bonjour,
je dois faire un modèle de prédiction qui me permettrait de prédire sur une autre base de données, le benefice net annuel par client.
Mon problème est que la variable à expliquer (le bénéfice net annuel) est très peu corrélée avec les autres variables. (image ci-dessous)
Pièce jointe 367171
La couleur bleue indique la corrélation.
Je me demande si la précision de mon modèle pourrait être acceptable.
Qu'en pensez vous ?
Cordialement
Même si la corrélation avec chacune des variable est faible, peut être qu'un modèle avec l'ensemble des variables pourrait quand même permettre une prédiction acceptable (ou pas).
Pour estimer la précision des prédictions d'un modèle, il faut faire une validation croisée.
Mais commence par regarder la corrélation prédits/observés de ton modèle sans validation croisée. Si elle est déjà trop faible, à priori elle sera encore plus faible en validation croisée donc ça sert pas à grand chose d'aller plus loin.
Je vous remercie pour votre réponse.
Je ne comprends pas bien ce que vous voulez dire par la corrélation prédits/observés.
Pour moi, c'est Je fais mes prédictions sur mon jeu de données utilisé pour la prédiction et je vérifie la corrélation entre les benefices réels et ceux que j'aurai prédits sur le même portefeuille ?
Par ailleurs, y a t-il un moyen de savoir quelle loi serait la meilleure à utiliser pour mon glm ? Ayant des valeurs negatives, nulles et positives sur mon bénéfice, je compte partir sur une gaussienne mais comment savoir que je fais le bon choix ?
Merci
Le fait que prises individuellement, les variables explicatives sont très peu corrélées avec la variable à expliquer ne signifie pas systématiquement que l'ensemble ou un sous-ensemble de ces variables prises conjointement ne permettent pas de prédire la variable à expliquer. Si les variables explicatives sont très corrélées entre elles, alors il est très probable que la prédiction ne soit pas possible mais si elles ne sont pas (ou peu) corrélées entre elles, chacune apporte une information (linéaire dans le cas de la corrélation de Pearson, sinon de relation monotone) supplémentaire qui peut permettre la prédiction.
Il y a des questions préalables auxquelles répondre avant de se lancer sur une prédiction dont la dimension du problème (en nombre de ddl), la pertinence d'un modèle de type régression linéaire... En effet, si une corrélation de Pearson est faible mais si ce n'est pas le cas d'une corrélation non paramétrique, il y a de fortes chances que la relation ne soit pas linéaire. Mais même si la corrélation non paramétrique est faible, cela ne signifie pas l'absence de relation. Dans l'exemple suivant les deux variables sont très faiblement corrélées quelque soit la méthode et pourtant !
Code:
2
3
4
Bonjour,
Merci beaucoup pour vos explications très claires.
Je me pose une autre question, le résultat d'une de mes regressions linéaires donne ceci :
L'écart-type résiduel est très faible, on a donc un bon pouvoir prédictif.Code:
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
Par contre, R2 est plus de 0 que de 1, ce qui signifie qu'on a donc pas un bon pouvoir explicatif. Ou que la corrélation n'est pas linéaire ?
Est ce correct de considérer ma variable Age comme une variable explicative malgré la très faible p-value ?
Y aurait_il un autre contrôle que je pourrais faire ?
Merci beaucoup pour votre aide
Cordialement
D'abord une suggestion d'écriture qui facilité la vie pour des tests post-hoc notamment : créer une colonne x dans la data.frame lab et écrire :
En réponse à ta question, le fait que l'écart-type résiduel soit très faible ne signifie rien. En effet, on aura des écarts-type résiduels différents pour les trois analyses suivantes qui sont en réalité identiques :Code:lm( x ~ Age, data=lab)
Ce qui importe au premier chef ce sont les t-value et les R2 ajustés (R2 tenant compte du nombre de degrés de liberté). La t-value donne une idée sur la significativité de la pente mais elle croit quand le nombre d'individus augmente. On sait en effet (cela est facilement démontrable) qu'on pourra toujours trouver un effectif suffisant pour avoir un résultat significatif. Cette valeur n'a donc de sens qu'en considérant la qualité de l'ajustement. Ton résultat peut être interprété comme le fait que le modèle de régression linéaire n'explique qu'à peine 2% de la variabilité de ta mesure, le 98 autres % sont expliqués par autre chose.Code:
2
3
4
5
Un modèle qui n'a pas un bon pouvoir explicatif n'a pas non plus un bon pouvoir prédictif mais un bon pouvoir explicatif n'entraîne pas obligatoirement un bon pouvoir prédictif. Dans ce dernier cas, comme Theta l'a indiqué, seule une technique de type validation croisée peut dire si le modèle a un bon pouvoir prédictif.
Encore uen fois, je vous remercie pour vos explcations très claires, je vais donc opter pour une validation croisée.Citation:
Envoyé par faubry
Ma démarche pour construire mon modèle est (dites moi si elle correcte s'il vous plaît) :
- Je fais une analyse descriptive de ma base
- Je fais une analyse descriptive de chaque variable de ma base. Je vérifie pour chaque variable si elle est explicative ou pas (avec la regression linéaire ou test de chi2).
- Après avoir sélectionné mes variables explicatives, je mets en place mon modèle prédictif (glm).
En suivant vos explications, je vais maintenant passer à une validation croisée mais je n'ai pas compris la phrase de Theta.
Je n'ai encore rien prédit donc je ne vois pas ce que veut dire la corrélation prédits/observés.Citation:
Mais commence par regarder la corrélation prédits/observés de ton modèle sans validation croisée.
Merci par avance pour vos réponses.
1) Qu'entends-tu par?Citation:
Je fais une analyse descriptive de ma base
2) A supposer qu'un modèle linéaire soit pertinent, la technique est de choisir en premier la variable qui apporte le plus d'information, puis la suivante une fois la première inclue dans le modèle. Une telle approche évite de choisir comme variables pertinentes deux variables qui apportent approximativement la même quantité d'information mais qui sont très liées (corrélées pour un modèle linéaire) entre elles, ce qui signifie que leurs rôles dans le modèle sont redondants. Une possibilité pour faire ce choix est d'utiliser la fonction stepAIC du package MASS en partant du modèle nul et en allant vers les modèles le plus complet possible :
Cela donne une bonne indication du meilleur modèle explicatif. Pour améliorer les choses, on peut essayer bootStepAIC du package de même nom ainsi que partir aussi de modèle le plus complet vers le modèle nul :Code:
2
car les deux stratégies ne donnent pas obligatoirement le même résultat (contrairement à la fonction step).Code:
2
On peut alors chercher autour des modèles trouvés, le meilleur modèle prédictif par validation croisée.
Ce que Theta veut dire par :
c'est qu'il faut commencer par regarder la corrélation entre les données mesurées et les données prédites par le modèle à partir des variables explicatives, ce qui peut donner pour un modèle d'ajustement de régression :Citation:
Mais commence par regarder la corrélation prédits/observés de ton modèle sans validation croisée.
Mais en réalité dans ce cas, ce calcul est inutile car le R2 vaut le carré de la corrélation. Par contre, dans le cas du modèle prédictive avec validation croisée, cela a du sens puisqu'on prédit les valeurs sur des données qui n'ont pas servies à l'estimation du modèle d'ajustement.Code:
2
3
4
5
6
Merci beaucoup pour vos explications appuyés d'exemples.
C'est beaucoup plus clair pour moi maintenant en effet.
J'ai par contre une dernière question concernant la phrase ci-dessous.
Quand j'entends parlé de modèle prédictif d'un bénéfice, j'entends automatiquement glm.Citation:
Envoyé par faubry
D'après vos explications, j'ai tord.
Dans tous les cas, je suppose que je n'ai pas de moyens de savoir si le modèle linéaire est pertinent ou pas tant que je ne suis pas allé au bout de mon analyse pour pouvoir calculer les erreurs de prédiction ?
A vrai dire, en observant le résultat ci-dessous, je l'utilisais comme base pour les modèles. En gros, je piochais mes variables explicatives du résultat de l'aov.
Je précise que j'ai d'abord vérifié les hypothèses à savoir :
La normalité de la distribution de la variable à expliquer
L’égalité de la variance de la variable à expliquer
Merci pour vos explications, je me lance sur la validation croisée en utilisant les fonctions du package MASS et je reviendrai vous déranger si j'ai des questions.Code:
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
Merci par avance
En ce qui concerne la pertinence du modèle linéaire, cela dépend du problème. Par exemple, si je m'intéresse au problème de la chute d'un corps, il est certain qu'un modèle qui lie linéairement la distance parcourue au temps de parcours n'a aucun sens par contre si je m'intéresse au parcours d'une automobile sur une autoroute, ce modèle a des chances d'être plus pertinent. Donc, ce sont tes connaissances du sujet qui permette de répondre à la pertinence du modèle. Néanmoins, le R2 permet de se faire une idée de la pertinence du modèle. Le R2 ajusté peut être compris d'une certaine manière comme un indicateur de la validité du modèle en tant que modèle de prédiction même si c'est loin d'être suffisant. Si ces valeurs (R2 et R2 ajusté) sont faibles, cela signifie que le modèle est insuffisant, soit qu'il n'est pas linéaire, soit qu'il manque des variables. Mais plus il y a de variable, moins le modèle est robuste : en augmentant le nombre de variables ou le degré du polynôme, les deux indices commencent par croitre mais il arrive un moment où le R2 ajusté se met à décroître alors que le R2 croit toujours (par construction, il ne peut décroître). La décroissance du R2 ajusté peut être comprise comme le fait que l'apport marginal d'information par cette nouvelle variable ne compense pas l'accroissement de la dimension (ou complexité) du modèle.
La significativité d'un paramètre n'est pas suffisant pour conclure à son intérêt car la taille de l'échantillon joue aussi. Voir l'exemple ci-dessous :
On peut vérifier que les deux jeux sont identiques à l'échantillonnage près :Code:
2
3
4
5
6
7
Par contre, dans la seconde analyse, on constate que si le coefficient en x devient significatif, le R2 chute ainsi que le R2 ajusté bien que l'écart type résiduel diminue lui aussi. Peut-on conclure qu'avec 10 points, alors le modèle constant est pertinent, puisque le coefficient en x n'est pas significatif (tracé abline avec col=5) alors qu'avec 100, c'est le modèle linéaire ? Simplement, le tracé des prédictions par abline montre qu'aucun des deux ajustements n'a de sens.Code:
2
3
4
5
Ce n'est pas "La normalité de la distribution de la variable à expliquer" qu'il faut tester mais celle des résidus de l'analyse. Pour cela la fonction plot appliquée au résultat de l'analyse (cf. plot.lm) permet de s'en faire une idée. Quant à "L’égalité de la variance de la variable à expliquer", je ne connais pas ce concept.
NB: Je préfère lm à aov, notamment à cause d'un certain nombre de limites de cette dernière procédure. D'autre part, si dans lm ou aov, le tableau est donné (ici lab), il est inutile d'écrire dans la formule lab$xxx. Il faut simplement écrire xxx. De plus, ça soulage l'écriture et cela facilite des tests post-hoc notamment.
Merci encore une fois pour vos explications.
En me basant sur vos explications, j'en conclus que mon modèle est linéaire, je dois faire un modèle de prédiction pour le bénéfice net annuel d'un contrat AUTO.
Mes variables à expliquer sont : l'age, la marque du véhicule, le type de véhicule, la prime mensuelle, le salaire annuel, le nombres de kilomètres parcourus, ...
En faisant une régression linéaire simple, j'obtiens :
Code:
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
le R2 est d'environ 88%, comme vous l'aviez dit, en augmentant le nombre de variables , le R2 ajusté augmente.
J'ai du mal à voir la différence en soi entre ces deux résultats, j'ai du mal à voir lequel est le plus correct. Ces deux résultats me semblent tous très corrects.Code:
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
Par ailleurs, vous avez ci-dessous le détail du résultat obtenu avec StepAIC, je suppose que je dois prendre la régression avec l'AIC le plus faible ? Mais que réprésente les + et - présents à compter des variables ?
Pourquoi ai-je des none ? J'avais des valeurs NA dans mon échantillon que j'ai mis à 0? Est ce la raison ?
En me basant sur ce que vous avez dit, J'ai refait un modèle avec stepAIC, (forward et backward)
Ci dessous, le modèle linéaire forward.
Ci dessous, le modèle linéaire backwardCode:
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
Les meilleurs AIC des deux stepAIC sont à peu près egaux, autour de 2665. Cela veut il dire que les deux modèles sont bons ?Code:
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
Je ne suis pas encore passé
Merci beaucoup pour vos explications encore une fois.
Bonjour,
J'ai une autre question.
Comment interpréter les courbes des résidus ? Les documentations ne sont pas très précises sur le sujet il y en a très peu.
Pièce jointe 367825
Pièce jointe 367826
Pièce jointe 367830
Pièce jointe 367824
Je ne sais pas du tout comment interpréter ses images.
La regression est elle bonne ? Quel critère me permet à partir de l'analyse des résidus de savoir si ma régression est bonne ?
Cordialement
