Version imprimable
Bonjour tout le monde,
Je travaille sur un jeu de données de 4000000 lignes et 1000000 de colonnes.
Pouvez-vous m'éclaircir un peu le processus suivi par l'Analyse des Correspondances Multiples(ACM) et me dire si je pourrai utiliser l'ACM sous R(package FactomineR) pour effectuer une réduction de dimensions d'un tel jeu de données.
Merci de me répondre :)
Bonjour Ransou,
Je ne sais pas quelle est ta problématique par rapport à ton jeu de données et pourquoi tu désires réaliser une ACM dessus.
Sache que l'ACM est assez gourmande par rapport aux nombres de dimensions (donc pour le calcul). En effet, ce qui est déterminant est le nombre de modalités que tu as, pas le nombre de variables. Par exemple, dans ton cas, si toutes tes variables ont 4 modalités, tu n'auras pas 1 millions mais 4 millions de dimensions sur les variables (sachant que le nombre limite est le minimum entre le nombre de modalités et le nombre d'individus).
Si tu peux faire tourner l'ACM, son objectif est de résumer ton information par des variables "orthogonales". Pour faire simple, elle sont totalement indépendantes. Suite à l'ACM, tu peux savoir la quantité d'information (en %) résumé par un certain nombre de variable, qui peut te permettre de travailler sur beaucoup moins, notamment pour faire une classification après.
J'espère avoir répondu à ta question
VV
Merci bien VonVelten pour votre éclaircissement.
Je sais que l'ACM permet de concentrer l'information sur les premières dimensions factorielles. En ce sens, elle "réduit" les données mais je n'arrive pas à déterminer les premières dimensions factorielles de mon jeu de données pour le faire sachant que toutes les variables sont de type qualitatif et un traitement en 1000000 colonnes est trop lourd pour la machine.
Malheureusement je ne suis pas sur que FactoMineR ne permette de traiter des jeux de données si important. Tout du moins avec un ordinateur classique.
Une hypothèse peut-être de faire une démarche semblable à l'AFM (Analyse Factorielle Multiple). En découpant le jeu de données en 10 tableaux (de 100 000 variables), puis en en ne conservant que ces données sur certains axes factoriels, ré-concaténer les résultats et refaire une ACP ? La différence serait de ne pas pondérer par les valeurs propres. Je ne sais pas si cela marcherait, il faudrait tester sur de petits jeu de données et tester les résultats.
Bonjour,
Le principe de l'ACP est de réduire la dimension de ta base de données sans perdre beaucoup d'information. Pour ce jeu de données un "Big" je ne suis pas sur que votre programme puisse tourner. Essaye le package h2o. ca pourrait etre une alternative. ou sinon prendre un échantillon aléatoire de ta base de données et essayer de voir qu'il y a quelque chose qui sort.