Discussion :

[popsmelove]

Bonjour,

Je cherche à optimiser le calcul de quantiles sur un univers de sociétés et de dates. Jusque là rien de bien compliqué, sauf qu'il faut que je calcule les quantiles sur les sociétés d'un même secteur d'activité.

J'ai donc une matrice qui stocke les données avec les dates en lignes et les sociétés en colonnes, matrice qu'on appellera data, et j'ai un vecteur de secteurs d'activité de la taille du nombre de sociétés et trié dans le même ordre que les colonnes de ma matrice. J'espère que je n'ai perdu personne, là :p). Bien sûr, la grandeur que l'on souhaite quantiler est variable, ça peut être le nombre d'employés, le CA, ....

Voici le code qui me permet de calculer les quantiles :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
 
 
  #Quantiles avec Secteur 
  QData <- matrix(NA,nrow(data),ncol(data))
  dimnames(QData )<- dimnames(data)
 
  sapply(1:nrow(data),function(l) {  
    sapply(DistinctSector, function(i) {
      SectorVector !=i -> k
      k[is.na(k)]<-TRUE
      datat<- data[l,]
      datat[k] <- NA 
      Rank <- rank(datat ,na.last = "keep",ties.method= "first")
      QData [l,!k] <<- qntl(Rank, breaks = seq(0, 1, by = 0.01))[!k]
      rm(Rank,datat ,k)
      gc(verbose = FALSE)
    })->u
  })->res

Mon souci est que c'est très long à calculer (car 1300 dates, et 3000 sociétés), alors connaissez-vous un moyen d'optimiser ce code ?

Merci d'avance

[tomaprice]

tu devrais transformer ton vecteur qui correspond au secteur d'activité en facteur avec as.factor() et ensuite utiliser la fonction tapply.
Sinon comme ca c'est difficile de proposer autre chose sans avoir un aperçu du jeu de données

sinon pour les quantiles il y a la fonction quantile()

[popsmelove]

Merci pour ton retour, c'est vrai que je n'ai encore jamais utilisé les factor, je vais regarder ça.

Pour le jeu de données, c'est du type :

Société A B C D E
Date
D1 10 5 20 13 14
D2 0 10 30 7 2
D3
D4

Avec le vecteur de secteur :

A secteur 1
B secteur 2
C secteur 1
D
E
.
.
.

Pour la fonction quantile, en fait je l'utilise, ma fonction qntl en hérite, j'ai juste oublié de le préciser. En plus je passe au préalable par un rank car plus de possibilités pour la gestion des NA.

Merci

[popsmelove]

J'arrive pas à comprendre comment utiliser les facteurs dans mon cas, si quelqu'un pouvait m'expliquer