IdentifiantMot de passe
Loading...
Mot de passe oublié ?Je m'inscris ! (gratuit)
Navigation

Inscrivez-vous gratuitement
pour pouvoir participer, suivre les réponses en temps réel, voter pour les messages, poser vos propres questions et recevoir la newsletter

R Discussion :

Conseil pour les gros fichiers dans R (volumetrie , nombre de lignes )


Sujet :

R

  1. #1
    Inactif  

    Profil pro
    Inscrit en
    Janvier 2011
    Messages
    3 064
    Détails du profil
    Informations personnelles :
    Localisation : Belgique

    Informations forums :
    Inscription : Janvier 2011
    Messages : 3 064
    Points : 4 604
    Points
    4 604
    Par défaut Conseil pour les gros fichiers dans R (volumetrie , nombre de lignes )
    Bonsoir,

    Dans le cadre d'une étude stats on m'a posé la question suivante :

    R peut-il lire les gros fichiers (type 1 Go de données CSV ) ?

    Ici on supposera une table d'environ 2 millions de lignes pour étudier les champs vides ou non . Si vide 0 sinon 1 .

    Merci de m'aiguiller

  2. #2
    Nouveau membre du Club
    Homme Profil pro
    Data Scientist
    Inscrit en
    Juillet 2015
    Messages
    12
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Hauts de Seine (Île de France)

    Informations professionnelles :
    Activité : Data Scientist
    Secteur : Conseil

    Informations forums :
    Inscription : Juillet 2015
    Messages : 12
    Points : 39
    Points
    39
    Par défaut
    Bonjour,

    A pirori, je n'y vois pas de problème. J'ai déjà importé un fichier csv avec plus de 150 millions de lignes. Le tout est d'avoir un ordinateur ou un serveur performant. Le plus simple reste à essayer sur un fichier bidon.

    Pour plus de rapidité à l'importation, je vous conseille d'utiliser le package fread().
    Sinon, si la complexité de votre tâche repose sur le compte d'individus 0 ou 1, il vous sera sûrement possible de paralléliser les calculs pour un temps d'exécution plus faible (avec le package H20 ou foreach).

    Bonne journée !

  3. #3
    Inactif  

    Profil pro
    Inscrit en
    Janvier 2011
    Messages
    3 064
    Détails du profil
    Informations personnelles :
    Localisation : Belgique

    Informations forums :
    Inscription : Janvier 2011
    Messages : 3 064
    Points : 4 604
    Points
    4 604
    Par défaut
    Bonsoir ,

    C'est très clair pour moi , je vais étudier la chose à tête reposée

+ Répondre à la discussion
Cette discussion est résolue.

Discussions similaires

  1. [Upload] Problème pour uploader un fichier dans mon code
    Par Peuplarchiste dans le forum Langage
    Réponses: 2
    Dernier message: 27/05/2006, 10h48
  2. petit conseil pour les index
    Par fpouget dans le forum Langage SQL
    Réponses: 11
    Dernier message: 10/12/2005, 05h39
  3. Réponses: 5
    Dernier message: 25/07/2005, 11h17
  4. [VB.NET] Conseils pour types de fichiers
    Par Yomzikmu dans le forum Windows Forms
    Réponses: 3
    Dernier message: 23/02/2005, 12h06

Partager

Partager
  • Envoyer la discussion sur Viadeo
  • Envoyer la discussion sur Twitter
  • Envoyer la discussion sur Google
  • Envoyer la discussion sur Facebook
  • Envoyer la discussion sur Digg
  • Envoyer la discussion sur Delicious
  • Envoyer la discussion sur MySpace
  • Envoyer la discussion sur Yahoo