Stockage de données

Version imprimable

12/03/2015, 17h53
tarekl90

Problème de RAM sur R (Rstudio) // Stockage de données

Bonjour à tous,
pour info j'utilise Rstudio v 0.98.1102 sur windows7 64bits avec 8Go de RAM

Je souhaite savoir si il existe un moyen de stocker les données (Data frame) dans un répertoire sur le disque dur pendant l'utilisation de R ?

D'après mes recherche sur le net, il semblerait que R garde les données (Data frame) sur la mémoire vive pendant l’exécution :?, ce qui pose un sérieux problème car je travail sur des tables volumineuses (10 millions de lignes) qui bouffent toute la RAM dispo, je voudrais donc savoir si c'est possible de faire en sorte que celles-ci soient stockées dans un répertoire du disque dur (comme dans la librairie work de SAS pour ceux qui l'utilisent).

Merci
13/03/2015, 11h03
Theta

Tu as quand même essayé sur la RAM? 10 millions de lignes, ça peut encore passer je pense (selon le nombre de colonnes et le type de données).

Sinon, il existe des packages qui ajoutent des classes similaires aux data frames mais utilisant le disque dur, mais je ne les ai jamais essayées, ayant accès à des serveurs de calculs avec assez de RAM pour mes gros calculs.
13/03/2015, 11h17
tarekl90

Merci pour ta réponse,
Le problème c'est que je travail sur plusieurs tables avec un nombre élevé colonnes, et mon PC bug :oops:, je vais essayer de creuser la piste des "packages qui ajoute des classes similaires aux data frames"
25/06/2015, 15h30
CarolineWeb2

Bonjour,

je serai également intéressée par une solution à cette question.
Après avoir fait un merge entre 2 dataframes.
R affiche ce message d'erreur :
"Error: cannot allocate vector of size 115.0 Mb"

J'ai vu dans un autre forum : https://stat.ethz.ch/pipermail/r-hel...ry/151380.html
Mais, je ne vois pas trop la solution...

Merci de votre aide.
Bonne journée.
25/06/2015, 16h55
juliatheric

Bonjour,

Citation:

Envoyé par tarekl90

..Je souhaite savoir si il existe un moyen de stocker les données (Data frame) dans un répertoire sur le disque dur pendant l'utilisation de R ?...

Il me semble que la bibliothèque ff correspond à ce que vous cherchez.

Par ailleurs, merci de donner ces détails :

Citation:

Envoyé par tarekl90

...pour info j'utilise Rstudio v 0.98.1102 sur windows7 64bits avec 8Go de RAM...

Ça aurait été encore mieux si vous aviez donné la version de R ; j'ai en tête quelques autres packages mais j'ignore si votre version de R pourrait les supporter. Le moyen simple d'indiquer les caractéristiques de la machine est de donner les sorties de la fonction sessionInfo.

Enfin, quel est le genre de traitements que vous appliquez à vos data frames ? Malgré la différence entre un data frame et une matrice, avez-vous envisagé d'adapter le problème à résoudre à des matrices creuses ? Pour chercher d'autres pistes, voir cette page : http://cran.r-project.org/web/views/...Computing.html.