Version imprimable
Bonsoir,
Dans le cadre d'une étude stats on m'a posé la question suivante :
R peut-il lire les gros fichiers (type 1 Go de données CSV ) ?
Ici on supposera une table d'environ 2 millions de lignes pour étudier les champs vides ou non . Si vide 0 sinon 1 .
Merci de m'aiguiller ;)
Bonjour,
A pirori, je n'y vois pas de problème. J'ai déjà importé un fichier csv avec plus de 150 millions de lignes. Le tout est d'avoir un ordinateur ou un serveur performant. Le plus simple reste à essayer sur un fichier bidon.
Pour plus de rapidité à l'importation, je vous conseille d'utiliser le package fread().
Sinon, si la complexité de votre tâche repose sur le compte d'individus 0 ou 1, il vous sera sûrement possible de paralléliser les calculs pour un temps d'exécution plus faible (avec le package H20 ou foreach).
Bonne journée ! :mouarf:
Bonsoir ,
C'est très clair pour moi , je vais étudier la chose à tête reposée ;)