Suppression de variables corrélés [Résolu]

[damien29]

Bonjour,

Je voudrais supprimer les variables les plus corrélés entre elles. Pour connaitre les corrélations j'utilise la proc corr, mais après je bloque.

Un exemple pour plus de précision:
si deux variables ont un coefficient de corrélation de 0,9 alors je voudrais en supprimer une des deux, afin d'éviter les doublons dans mon analyse.

Est ce que quelqu'un pourrait m'aider?

Merci

[MEGAMIND2]

Code :

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
Proc corr DATA=sashelp.Shoes pearson spearman
outp=pearson /*outs=spearman*/ noprint;
var Stores Sales inventory returns;
run;
 
DATA pearson(DROP=_type_ RENAME=(_name_=variable1));
SET pearson;
WHERE _TYPE_='CORR';
RUN;
 
PROC TRANSPOSE DATA=pearson name=variable2 prefix=correlation  out=pearson;
var Stores Sales inventory returns;
BY variable1 notsorted;
run;
 
DATA pearson;
SET pearson;
WHERE variable1<variable2;
abscorrelation=abs(correlation1);
run;

Il manque une étape, c'est pas si évident

[olivier.decourt]

Bonjour Damien.
Pourquoi automatiser un tel procédé ? Il n'est pas équivalent de choisir l'une ou l'autre des variables hautement corrélées : l'une peut avoir plus d'importance métier que l'autre. Généralement je fais ce genre de choses manuellement ; c'est chiant mais on contrôle ce qu'on fait.
Accessoirement, on peut avoir des corrélations très élevées alors que les variables ont peu liées, à cause d'observations atypiques. On a alors des résultats très divergents selon le type de corrélation utilisée (Spearman ou Pearson ?).
Cela dit, voici un détecteur de couples de variables très corrélées. Il est très simple de s'en sortir avec l'ODS OUTPUT et l'indispensable option RANK dans la proc CORR qui range les couples de variables par corrélation décroissante (en valeur absolue).

Code :

1
2
3
4
5
6
7
8
9
10
%LET liste = Stores Sales inventory returns ;
ODS EXCLUDE ALL ;
ODS OUTPUT pearsonCorr = work.r (KEEP=variable best2 r2 WHERE=(ABS(r2)>.9));
Proc corr DATA=sashelp.Shoes pearson rank ;
var &liste ;
WITH &liste ;
run;
ODS SELECT ALL ;
PROC PRINT NOOBS ;
RUN ;

Olivier

[damien29]

Merci pour vos codes.

J'aurais voulu automatiser le processus car je suis en train de réaliser une première analyse qui sera mise à jour 3 fois par ans. Par conséquent j'aurais voulu trouver une méthode permettant de supprimer les variables inutiles en lançant seulement la macro et non regarder en détails les coefficients de corrélations.

[Manoutz]

Bonjour Damien,

Suivant le contexte il est peut être envisageable d'automatiser. Mais je suis d'accord avec Olivier, il est important de s'adapter au contexte (et non l'inverse!). d'autant plus que si tu ne lances ton code 3 fois par an, tu peux simplement copier coller ton précédent code et faire qq modifs, ce n'est pas très long..

[MEGAMIND2]

Bon courage à toi pour l'automatisation!

[damien29]

J'ai trouvé une méthode (elle vaut ce qu'elle vaut).

Après avoir créer la matrice des corrélations, je compte pour chaque variables le nombre de fois qu'elles dépassent mon seuil de coefficient de corrélation (par exemple 0,9), cela me donne les variables les plus corrélés avec d'autres. Puis pour en avoir qu'une seule, je somme les coefficients de corrélations. Et enfin je supprime la variable qui a la plus grande somme.
Je relance ma proc corr et je réitère cette méthode.

[MEGAMIND2]

Je savais que c'etait pas possible en une seule passe