Discussion :

[hollowdeadoss]

Bonjour tout le monde,

Je lance des tests non paramétriques au préalable d'un modèle de prédiction pour faire une sélection de variables "discriminantes" (suffisamment pour être conservées tout du moins).

J'ai donc un data.frame de 190430 individus x 34 variables dont ma variable cible qui est qualitative.

Pour "tester" l'apport de chaque variable explicative continue à la prédiction de ma variable qualitative j'ai choisit le(s) test(s) de Wilcoxon-Mann-Whitney et/ou celui de Kruskal-Wallis (ce dernier me paraissait plus simple à interpréter).

Je lance donc ma commande :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

kruskal.test(X1~VarCible, data = mesdonnees)

et forcément j'ai un message d'erreur :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
Erreur dans kruskal.test.default(c(27.96, 28.44, 19.15, 32.58, 16.64, 33.78,  : 
  tous les niveaux des groupes doivent être définis

N'ayant pas très bien compris comment définir ma liste (via l'aide de la fonction kruskal.test je me suis tourné vers le test de Wilcoxon & co

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

wilcox.test(X1~VarCible, data = mesdonnees)

qui lui me donne

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
Wilcoxon rank sum test with continuity correction
 
data:  X1 by VarCible 
W = 134352148, p-value = 0.0006247
alternative hypothesis: true location shift is not equal to 0

Mais j'avoue que j'aimerai saisir le coup pour la fonction kruskal si quelqu'un a déjà vu ça (normalement ces 2 tests pour une variable cible à 2 modalités - mon cas - ) devraient être équivalents (à peu de chose près non?).

Donc si quelqu'un comprenait le coup de kruskal car l'aide me dit bien :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
## Default S3 method:
kruskal.test(x, g, ...)
 
## S3 method for class 'formula'
kruskal.test(formula, data, subset, na.action, ...)

Et dans mon cas je suis bien dans une formule (comme pour Wilcox) et on fait bien appel à des rangs (comme pour Wilcox) donc si il y a égalité de rangs logiquement si ça marche pour l'un des tests ça devrait marcher pour l'autre non?

Autre question ... y'a t'il moyen d'automatiser tout ça car parfois j'aurai plus de 100 variables à pré-traiter comme cela avant de lancer mon modèle de prédiction et 1x1 ça prend du temps

Bien cordialement,

Hollow

[arm3366]

Bonjour,
Je pense que le test de kruskal est l’équivalent de l'ANOVA mais non-paramétrique, et est utilisé lorsque la variable qualitative a plus de deux modalités.
Pour l'automatisation, il y a les fonctions de récurrences sapply, lapply, aggregate

BC

[hollowdeadoss]

Bonjour,
Je pense que le test de kruskal est l’équivalent de l'ANOVA mais non-paramétrique, et est utilisé lorsque la variable qualitative a plus de deux modalités.
Pour l'automatisation, il y a les fonctions de récurrences sapply, lapply, aggregate

BC

Normalement non le test de Kruskal s'applique aussi à un nombre k = 2 modalités.
Et effectivement c'est censé être un peu une "variante" de l'Anova mais pour des variables explicatives continues qui ne sont pas normales (ou en présence d'hétéroscédasticité).

Thx pour les fonctions d'automatisation il me semblait bien qu'il y avait du "apply quelque chose" dans cette histoire

Cordialement,

Hollow

[Sengar]

Bonjour tout le monde,

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

kruskal.test(X1~VarCible, data = mesdonnees)

et forcément j'ai un message d'erreur :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
Erreur dans kruskal.test.default(c(27.96, 28.44, 19.15, 32.58, 16.64, 33.78,  : 
  tous les niveaux des groupes doivent être définis

Mhhh... max(VarCible) ca donne quoi?
Ce serait pas l'infini des fois?

(au passage tu devrais mettre R en anglais, les erreurs sont mal traduites des fois, et c'est plus facile pour se faire aider)

[hollowdeadoss]

Mhhh... max(VarCible) ca donne quoi?
Ce serait pas l'infini des fois?

(au passage tu devrais mettre R en anglais, les erreurs sont mal traduites des fois, et c'est plus facile pour se faire aider)

Bah non ma variable cible est une variable qualitative ... soit 'OUI' soit 'NON' comme valeurs et bien en factor.

En revanche je veux bien mettre R en anglais mais je sais pas trop comment (je suis sous Eclipse ... peut être que ça complique la chose?)

Cdlt,

Hollow

[Sengar]

Bah non ma variable cible est une variable qualitative ... soit 'OUI' soit 'NON' comme valeurs et bien en factor.

En revanche je veux bien mettre R en anglais mais je sais pas trop comment (je suis sous Eclipse ... peut être que ça complique la chose?)

Le kruskal.test devrait marcher normalement c'est bizarre.
On peut avoir un table/summary des deux variables (et un levels de VarCible si c'est un facteur) car c'est dur de t'aider sans savoir ce que tu utilises?

En tout cas c'est assez probable que l'erreur soit un problème de format des données ou de valeurs non autorisées par kruskal.test car je ne vois pas pourquoi ce na marcherait pas autrement.

[hollowdeadoss]

Voilà :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
 
table(mesdonnees[1:10,c(15,5)])
           VarCible
X1 NON OUI
      16.64   1   0
      19.15   1   0
      27.96   1   0
      28.44   1   0
      30.02   1   0
      32.58   1   0
      33.78   1   0
      41.48   1   0
      47.32   1   0
      3276    1   0

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
X1       VarCible     
 Min.   :    0.40   NON:188931  
 1st Qu.:   30.02   OUI:  1499  
 Median :   62.71               
 Mean   :  250.71               
 3rd Qu.:  156.26               
 Max.   :94365.00

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
levels(mesdonnees$VarCible)
[1] "NON" "OUI"

J'avoue ne pas trop saisir non plus ... le chi2 ainsi que la p-value pourrait m'aider à rejeter ou non l'hypothèse comme quoi les rangs sont les même ou non ...

Encore merci pour votre aide

Cdlt,
Hollow

[samuel_mondy]

cela devrait fonctionner en indiquant que VarCible doit être un facteur

la formule suivante doit fonctionner

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

kruskal.test(X1~factor(VarCible), data = mesdonnees)