Discussion :

[laurilo]

Bonjour à tous,

Toujours moi et mes problèmes je reviens en force

Aujourd'hui le problème du jour est: filtrer des vaches.

Je cherche à filtrer les données des veaux nés de la première gestation d'une vache.
Pour cela, je dispose du numéro du veau, du numéro de la vache et de sa date de naissance.

J'ai imaginé qu'il aurait fallu faire une fonction "subset". Sauf que comment on utilise un subset avec des dates ? (En sachant qu'il faudra du coup prendre le veau qui a la date de naissance la plus "ancienne").

Parce que si une vache a eu 5 veaux (par exemple) comment je fais pour ne garder que son premier veau ? Et donc faire ça pour chaque vache ? En sachant que je ne peux pas donner une année (du genre tous les veaux nés en 2010) parce qu'il peut y avoir des premiers veaux dans n'importe quelle année entre 2010 et 2015.

Merci d'avance

[Theta]

Il existe des classes pour gérer les dates, utilise les fonction as.Date ou as.POSIXct (si tu as des heures/minutes/secondes).
Exemple : as.Date("01/12/13",format="%d/%m/%y")

Ensuite pour trouver le premier veau, il y a plusieurs façon de faire.
Avec la fonction by par exemple :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
df=data.frame(mere=rep(letters[1:3],3),date=runif(9)) # Création d'un jeu de données bidon, avec un nombre aléatoire à la place des dates mais ça reviens au même
df
Reduce(rbind,by(df,df$mere,function(veaux){cbind(veaux,ordre=order(veaux$date))}))

[laurilo]

La fonction met énormément de temps à se faire (ça fait 2h qu'elle est lancée...) c'est normal ?

[Theta]

Tes données font quelle taille?
Les fonctions by (ou aggregate) ne sont pas très adaptées aux gros jeux de données (> 100 000 lignes).
Mais il existe des packages qui permettent d'indexer les colonnes des dataframes et améliorent considérablement les performances.

[laurilo]

Ah oui moi j'ai environ 200 000 données

Des infos sur ce package ? A moins que je laisse mon ordi allumé une semaine ?

[Theta]

Avec le package data.table :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
 
library(data.table)
df=data.table(mere=rep(1:100000,3),date=runif(300000))
df2=df[,list(date,ordre=rank(date)),by=mere]

C'est équivalent au code posté précédement, sauf que pour 300000 lignes ça ne prend que quelques secondes.

À noter que je m'étais trompé dans mon message précédent, il faut utiliser la fonction rank et non order (je les confond toujours).

[laurilo]

Merci beaucoup, j'ai installé data.table mais par contre je ne comprends pas qu'est ce que je dois mettre dans la fonction "rep()" et "runif()"

Parce que là ça me sort un tableau tout chelou où le numéro de la mère n'est plus qu'un chiffre au lieu d'être une succession de 10 chiffres précédés de FR, la date de vêlage est en décimale au lieu d'être en format date et la dernière colonne me met le même chiffre à chaque fois...

Voici ce que ça me donne en code pour moi :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
df=data.table(NumMere=rep(1:204544,8),DateVelage=runif(204544))
df2=df[,list(DateVelage,ordre=rank(DateVelage)),by=NumMere]

Pour "rep()" j'ai mis entre 1 et le nombre de lignes du jeu de données, et pour "runif()" j'ai mis le nombre de données.

Je précise que j'ai bien mis le format "as.Date" pour le facteur DateVelage.

[Theta]

la ligne avec rep et runif c'est juste pour générer un jeu de données bidon sur lequel tester. Évidement toi tu as ton vrai jeu de données donc tu n'en as pas besoin.

[laurilo]

Ah d'accord!

Mais du coup quel tête doit avoir ma formule?

Désolé je suis un peu une assistée de R

[Theta]

Il faut que tu transformes ta data.frame en data.table avec la fonction data.table.

[laurilo]

Super ça marche ! Merci beaucoup !! Et du coup, comment je fais pour afficher mes 5 autres variables ?

Par la suite, je pourrais faire un subset à partir de cette fonction ?

[Theta]

Pour avoir les autres colonnes il te suffit de les ajouter dans la liste à côté de DateVelage.

Une data.table est une data.frame (en jargon de programmation on dit que data.table hérite de data.frame), donc tout ce qui marche sur une data.frame marche sur une data.table, y compris subset.

[laurilo]

Merci beaucoup c'est vraiment super!!