BIGGLM, GLM, SPEEDGLM données massives

Bonjour à tous,

Je viens vers vous après avoir épuisé toutes mes tentatives pour résoudre mon problème.

Je dois faire une regression logistique avec une selection de modèle (pour choisir le meilleur, le plus prédictif et le plus stable) en faisant une selection pas à pas (backward, forward, stepwise) avec minimisant le critère AIC, jusqu'au là rien d'extraordinaire.

Cependant je travaille sur des données massive (mais pas autant que ça) je dispose de 300k observation et 250 variables, si je m'y met de manière classique R a du mal avec la RAM de 4Go surtout lors de la selection de modèle.

J'ai essayé d'utiliser le BIGGLM qui est fait pour les données massive, mais cela ne marche pas, puisqu'il travaille par couches (par 5000 par exemple) il faut qu'il y est les mêmes modalités de la variable cible dans chaque couche , chose que je n'arrive pas à avoir.

Mais la GLM fait bien son travail jusqu'au la, le problème c'est lors de la selection de modèle que cela bug.

J'ai pris les piste du package parallel et doSNOW par contre je n'ai pas suffisamment de maîtrise la dessus.

Pourriez vous m'aider à pouvoir faire le stepAIC sur ces données massives svp ?


Merci

Bien à vous !

Bonjour Draculla,

Je regarderais du côté de la fonction GLM et des raisons du "bug".
Dans le cas ou j'aurais trop de données, je resterais un puis plusieurs échantillons que je pourrais comparer ensuite entrent eux.

Au plaisir de te lire.

Bonjour dev_ggy,

Merci pour la réponse rapide.

J'ai mal formulé ma phrase en mettant le mot "bug", en vrai c'est juste qu'il ne peut pas allouer le résultat d'un stepwise (problème de mémoire).

J'ai testé avec des échantillons (même de 1%) cela reste long et lent avec les 200 variables.

A priori je n'aurai pas d'autres choix que de le faire manuellement.

Merci

Bien à toi

Il est possible de faire une ACP, ACM ... pour réduire ton nombre de variables ?

J'ai pensé à le faire, mais c'est sortir la machine de guerre pour juste une selection de variables concernant mon cas.

Le but de mon stepwise est de réduire justement la nombre de variables, pour bien retravailler celles qui seront retenues.

Je pense que je vais procéder autrement; calculer le V de cramer de toutes les variables avec la variables cibles (le problème avec cette démarche c'est que je peux avoir une variable corrélée qui ne sera pas significative dans le modèle), puis je regarderai les corrélation de toutes les variables 2 à 2 cela me permettra de réduire le nombre de variables.

Merci à toi.