IdentifiantMot de passe
Loading...
Mot de passe oublié ?Je m'inscris ! (gratuit)
Navigation

Inscrivez-vous gratuitement
pour pouvoir participer, suivre les réponses en temps réel, voter pour les messages, poser vos propres questions et recevoir la newsletter

R Discussion :

Limites de R : taille maximale de base de données que R est en mesure de traiter


Sujet :

R

  1. #1
    Futur Membre du Club
    Homme Profil pro
    autre
    Inscrit en
    Septembre 2014
    Messages
    15
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Paris (Île de France)

    Informations professionnelles :
    Activité : autre
    Secteur : High Tech - Opérateur de télécommunications

    Informations forums :
    Inscription : Septembre 2014
    Messages : 15
    Points : 5
    Points
    5
    Par défaut Limites de R : taille maximale de base de données que R est en mesure de traiter
    Bonjour,

    J'aimerais connaître la taille maximale de base de données que R est en mesure de traiter (pour réaliser différents types de traitements statistiques).
    Par exemple, sous la forme d'une table : x milliers de lignes sur y milliers de colonnes max.

    Y a-t-il une documentation sur le sujet ?

    Merci

  2. #2
    Membre éclairé
    Homme Profil pro
    Ingénieur de recherche
    Inscrit en
    Janvier 2012
    Messages
    325
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France

    Informations professionnelles :
    Activité : Ingénieur de recherche
    Secteur : Agroalimentaire - Agriculture

    Informations forums :
    Inscription : Janvier 2012
    Messages : 325
    Points : 888
    Points
    888
    Par défaut
    La taille maximale d'un vecteur est de 2147483647, donc par exemple, pour une matrice carrée, la limite est de 46340 de côté.
    Pour une dataframe je sais pas exactement comment ça marche, je suppose que comme une dataframe est une liste de vecteurs, la limite doit être de 2147483647 lignes et 2147483647 colonnes.
    Mais la mémoire de la machine risque de poser problème avant les limites du langage.

    Il existe aussi, je crois, des packages pour traiter de plus grosses jeux de données, mais je les ait jamais utilisés.

  3. #3
    Futur Membre du Club
    Homme Profil pro
    autre
    Inscrit en
    Septembre 2014
    Messages
    15
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Paris (Île de France)

    Informations professionnelles :
    Activité : autre
    Secteur : High Tech - Opérateur de télécommunications

    Informations forums :
    Inscription : Septembre 2014
    Messages : 15
    Points : 5
    Points
    5
    Par défaut
    Merci pour ces informations

    C'est bien la taille maximum d'une table que je souhaiterais connaître...

    Autre question : les 2147483647 correspondent-ils au nombre de cellules (d'un vecteur, d'une table...) ou bien au nombre total de caractères alphanumériques présents dans la table (il peut y en avoir plus d'un dans une cellule) ?

    Je cherche une documentation qui décrive cela.

    Merci

  4. #4
    Membre averti
    Homme Profil pro
    Data Scientist
    Inscrit en
    Août 2013
    Messages
    139
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Paris (Île de France)

    Informations professionnelles :
    Activité : Data Scientist
    Secteur : Industrie

    Informations forums :
    Inscription : Août 2013
    Messages : 139
    Points : 316
    Points
    316
    Par défaut
    Je pense que tu auras besoin de package permettant de gérer au mieux de gros volume de données sous R, je ne sais pas si tu es dans un environnement "big data" hadoop et consorts mais si non tu peux voir les packages data.table (ici) ou ff (ici).

    Pour avoir déjà utilisé data.table j'ai pu diviser par 10 le temps de lecture d'un fichier csv très volumineux, en plus ces packages permettent en théorie de contourner la limite de stockage (taille de la RAM) de la table de données pour le traitement et tu gagnes en temps aussi sur la manipulation de la table (summary, etc...)

    Bon courage ! (en espérant que cela te sera utile même si cela ne répond pas vraiment à tes questions)

  5. #5
    Futur Membre du Club
    Homme Profil pro
    autre
    Inscrit en
    Septembre 2014
    Messages
    15
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Paris (Île de France)

    Informations professionnelles :
    Activité : autre
    Secteur : High Tech - Opérateur de télécommunications

    Informations forums :
    Inscription : Septembre 2014
    Messages : 15
    Points : 5
    Points
    5
    Par défaut
    Merci pour ces liens.

    Sinon pas de réponse sur les limites (théoriques) ?

Discussions similaires

  1. Réponses: 2
    Dernier message: 23/10/2014, 18h39
  2. Comment calculer la taille d'une base de données ?
    Par say dans le forum Décisions SGBD
    Réponses: 8
    Dernier message: 01/04/2011, 17h48
  3. taille de la base de donnée
    Par mic79 dans le forum PostgreSQL
    Réponses: 1
    Dernier message: 17/11/2004, 14h18
  4. [SQL SERVEUR]taille d'une base de donnée
    Par hirochirak dans le forum Autres SGBD
    Réponses: 2
    Dernier message: 08/01/2004, 13h07

Partager

Partager
  • Envoyer la discussion sur Viadeo
  • Envoyer la discussion sur Twitter
  • Envoyer la discussion sur Google
  • Envoyer la discussion sur Facebook
  • Envoyer la discussion sur Digg
  • Envoyer la discussion sur Delicious
  • Envoyer la discussion sur MySpace
  • Envoyer la discussion sur Yahoo