Discussion :

[301011]

Bonjour,

Je débute l'apprentissage de R tout juste dans le cadre d'un projet où j'ai besoin de traiter d'énormes tableau de données.

J'attache le fichier des données ci-dessous comme le fichier joint.

À partir de ces données, je dois extraire les colonnes qui satisfont les critères suivants:
– Aucun NA, et;
– Aucune donnée manquante, et;
– Aucun caractère, c.-à-d qu’on ne garde que les colonnes ayant des chiffres, et;
– Aucune constante, c.-à-d qu’on supprime toute colonne ayant une variance nulle.

Est-ce que vous pouvez m'aider de clarifier comment extraire ces colonnes comme un nouveau dataframe svp?

Merci d'avance!

RCI.xlsx

[xavier-Pierre]

bonjour

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
 
## soit df ton dataframe de départ
library(dplyr)
resultat <- df  %>% select_if(is.numeric ) %>% ## on ne garde que les colonnes numériques
select_if(function(x)!any(is.na(x))) %>% ## on ne garde que les colonnes sans NA
select_if(function(x)length(unique(x))>1) ## on enlève les colonnes avec une seule valeur

cdlt

[faubry]

La réponse de Xavier-Pierre donne le résultat escompté mais il y a moyen de faire beaucoup plus simple et plus rapide à partir des fonctions de base de R :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

 df[, unlist( lapply(df, function( x) is.numeric( x) & sum( is.na( x)) ==  0 & length( unique( x)) > 1))]

La fonction microbenchmark du package de même nom nous renseigne sur les performances des deux solutions :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
set.seed( 1) # assure un code reproductible
microbenchmark( df[,unlist( lapply( df, function( x) is.numeric( x) & sum( is.na( x)) == 0 & length( unique( x)) > 1))], { df  %>% select_if(is.numeric ) %>% select_if(function(x)!any(is.na(x))) %>% select_if(function(x)length(unique(x))>1)})Unit: >microseconds
>                                                                                                                                     expr      min        lq      mean    median        uq      max neval cld
>                                    df[, unlist(lapply(df, function(x) is.numeric(x) & sum(is.na(x)) ==      0 & length(unique(x)) > 1))]   44.904   54.9545  101.0379   67.7835   78.2605 3341.682   100  a 
> {     df %>% select_if(is.numeric) %>% select_if(function(x) !any(is.na(x))) %>%          select_if(function(x) length(unique(x)) > 1) } 3593.997 3690.6465 3968.3432 3892.2855 4156.3610 6434.041   100   b

[xavier-Pierre]

bonjour faubry ,
pour la rapidité je ne discute pas , pour la simplicité j'aurai pu écrire

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
 
resultat<-  select_if(df,function(x)is.numeric(x) &    !any(is.na(x)) &  length(unique(x))>1)

mais je trouve et j'avoue que c'est très subjectif que ce système de pipe et l'utilisation du tidyverse permet de décomposer la commande et être plus lisible
cordialement

[301011]

Bonjour,

Je vous remercie de vos réponses qui sont très utiles.

Cependant dans ce cas là, aucun paquetage R supplémentaire n’est autorisé. Est-ce que vous pouvez donc écrire des syntax qui sont basés seulement sur le paquetage originale de R svp ?

Cordialement

[xavier-Pierre]

tu prends la syntaxe de faubry

[tototode]

La réponse de Xavier-Pierre donne le résultat escompté mais il y a moyen de faire beaucoup plus simple et plus rapide à partir des fonctions de base de R :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

 df[, unlist( lapply(df, function( x) is.numeric( x) & sum( is.na( x)) ==  0 & length( unique( x)) > 1))]

La fonction microbenchmark du package de même nom nous renseigne sur les performances des deux solutions :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
set.seed( 1) # assure un code reproductible
microbenchmark( df[,unlist( lapply( df, function( x) is.numeric( x) & sum( is.na( x)) == 0 & length( unique( x)) > 1))], { df  %>% select_if(is.numeric ) %>% select_if(function(x)!any(is.na(x))) %>% select_if(function(x)length(unique(x))>1)})Unit: >microseconds
>                                                                                                                                     expr      min        lq      mean    median        uq      max neval cld
>                                    df[, unlist(lapply(df, function(x) is.numeric(x) & sum(is.na(x)) ==      0 & length(unique(x)) > 1))]   44.904   54.9545  101.0379   67.7835   78.2605 3341.682   100  a 
> {     df %>% select_if(is.numeric) %>% select_if(function(x) !any(is.na(x))) %>%          select_if(function(x) length(unique(x)) > 1) } 3593.997 3690.6465 3968.3432 3892.2855 4156.3610 6434.041   100   b

Et si c'est la vitesse que l'on recherche on peut aussi faire avec les fonctions de base :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
df[sapply(df, function(x) is.numeric(x) && length(unique(x))>1) & colSums(is.na(df))==0]
# ou encore
df[sapply(df, function(x) is.numeric(x) && length(unique(x))>1 && !any(is.na(x)))]

cdlt

[301011]

Bonjour,

J'ai déjà essayé avec les syntax ci-dessous mais ils ne marchent pas:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

df[sapply(mydata, function(x) is.numeric(x) && length(unique(x))>1) & colSums(is.na(df))==0]

Il y a une erreur :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
"Error in colSums(is.na(df)) : 'x' must be an array of at least two dimensions
In addition: Warning message: In is.na(df) : is.na() applied to non-(list or vector) of type 'closure' "

Est-ce que vous pouvez m'aider à les corriger svp ?

Merci d'avance !

[faubry]

sapply est un wrapper pour lapply, fonction de base de type .Internal, dont le code inclut une fonction supplémentaire qui simplifie le résultat en tableau (par défaut) ou autre chose si l'argument simplify est TRUE (défaut) ou une valeur comme "array", "matrix", "data.frame")

L'erreur provient du ) en trop après length( unique( x)) > 1