Importer un fichier csv très lourd

Bonjour à tous,

Je suis débutante en R et je souhaite importer un fichier csv assez lourd pour en étudier les données.
J'ai déjà importé de plus petits fichiers (5 lignes*16000 colonnes) avec read.table, ça a bien marché.
Mais en essayant avec un plus gros fichier (dont je ne connais pas vraiment les nombres de ligne et colonne, probablement 20000 lignes), impossible d'y arriver avec read.table. L'erreur suivante s'affiche "Error: cannot allocate vector of size 31 Kb".

J'ai déjà consulté pas mal de site la dessus. Il est conseillé d'utiliser scan, d'étudier la mémoire avec memory limits et memory size ou encore d'étudier le tableau par bout. Mais je n'arrive avec aucune de ces techniques.

Que me conseillez-vous ?
Merci beaucoup

Clémentine

Bonjour,

Je n'ai pas de cas concret à te citer comme exemple, mais peut-être voir du côté de la fonction fread du package "data.table" ?
Ou bien encore peut-être la fonction read_table du package "readr" ?
Ou enfin envisager de stocker les données dans autre chose qu'un CSV (base de données par exemple), si cela est possible ?

HTH ! :)


Cordialement,


A.D.

Bonjour A.D.

Désolée pour ma réponse tardive. Merci beaucoup de ton aide. J'ai essayé fread sans succès mais finalement avec un scan et en étudiant le fichier par bout j'ai pu commencer un bout d'étude. Merci encore !

Bonne journée,

Clémentine