Bonjour,
J'aimerais connaître la taille maximale de base de données que R est en mesure de traiter (pour réaliser différents types de traitements statistiques).
Par exemple, sous la forme d'une table : x milliers de lignes sur y milliers de colonnes max.
Y a-t-il une documentation sur le sujet ?
Merci
La taille maximale d'un vecteur est de 2147483647, donc par exemple, pour une matrice carrée, la limite est de 46340 de côté.
Pour une dataframe je sais pas exactement comment ça marche, je suppose que comme une dataframe est une liste de vecteurs, la limite doit être de 2147483647 lignes et 2147483647 colonnes.
Mais la mémoire de la machine risque de poser problème avant les limites du langage.
Il existe aussi, je crois, des packages pour traiter de plus grosses jeux de données, mais je les ait jamais utilisés.
Merci pour ces informations
C'est bien la taille maximum d'une table que je souhaiterais connaître...
Autre question : les 2147483647 correspondent-ils au nombre de cellules (d'un vecteur, d'une table...) ou bien au nombre total de caractères alphanumériques présents dans la table (il peut y en avoir plus d'un dans une cellule) ?
Je cherche une documentation qui décrive cela.
Merci
Je pense que tu auras besoin de package permettant de gérer au mieux de gros volume de données sous R, je ne sais pas si tu es dans un environnement "big data" hadoop et consorts mais si non tu peux voir les packages data.table (ici) ou ff (ici).
Pour avoir déjà utilisé data.table j'ai pu diviser par 10 le temps de lecture d'un fichier csv très volumineux, en plus ces packages permettent en théorie de contourner la limite de stockage (taille de la RAM) de la table de données pour le traitement et tu gagnes en temps aussi sur la manipulation de la table (summary, etc...)
Bon courage ! (en espérant que cela te sera utile même si cela ne répond pas vraiment à tes questions)
Merci pour ces liens.
Sinon pas de réponse sur les limites (théoriques) ?