Discussion :

[jeuneprincesse]

Bonjour à tous,
j'ai une base de données de 200 GB constituée de 5 fichiers chacun de 40 GB
je veux faire une régression logistique utilisant ces données est ce possible sur R ?
est ce que c'est possible de regrouper les 5 fichiers dans une seule base ?
Merci infiniment d'avance pou tous ceux qui puissent m'aider

[dev_ggy]

Bonjour Jeuneprincesse,

Tout dépend de ta machine et si tu utilises les bons packages. Avec un ordinateur de bureau, il est peu probable que tu es des performances suffisantes pour réaliser cette étude à l'aide uniquement de la mémoire cache.

Par contre il existe dans différents langages et en particulier sous R des packages pour des régressions sur de gros volumes de données comme bigglm. Dans mon cas j’utilise des solutions alternatives à R, comme Spark(qui supporte R).

Je ne pourrais pas beaucoup t'aider plus.

Au plaisir de te lire.

[jeuneprincesse]

Bonsoir,
merci et le fait de les mettre tous dans un seul fichier est ce que c'est possible ?
ou bien je traie chaque fichier à part ?

[dev_ggy]

Bonjour,

De toutes les manières tu devras un moment agréger les données pour faire fonctionner ta régression. Il faut donc tout agrégé dans un même fichier ou dans une dataframe. Dans le cas de Spark les choses seraient différentes.

Au plaisir de te lire.

[jeuneprincesse]

Bonjour,

De toutes les manières tu devras un moment agréger les données pour faire fonctionner ta régression. Il faut donc tout agrégé dans un même fichier ou dans une dataframe. Dans le cas de Spark les choses seraient différentes.

Au plaisir de te lire.

Bonjour,
et pour la création d'un modèle prédictif quelconque comment seraient les choses
Merci infiniment d'avance