Discussion :

[lydiaaaaa]

Bonjour,

J'ai un jeu de données de 23000 individus *34 variables, j'ai d'abord réduit le nombre de mes variables (=12) et j'ai pris un échantillon de 7000 individus pour pouvoir faire une CAH sur R. Mon échantillon est parfaitement représentatif de la population, cependant je me pose certaines questions.
- Pourrais-je obtenir un arbre de décision similaire pour plusieurs échantillons tirés ?
- Ma taille d'échantillon est-elle "bonne" ? (j'ai pris environ 30% de mon jeu)
- Comment pourrais-je placer mes individus de tout mon jeu de données dans mes classes créées grâce à la CAH ?



Cordialement.

[Theta]

- Ça dépend entièrement de ton jeu de données : dans certains cas, il est très facile de faire des groupes, dans d'autres cas on a une certaine "continuité" (un "gradient" sur une ou plusieurs dimensions) donc on peut faire des groupes, mais ils sont un peu arbitraires, dans d'autres cas on n'arrive pas du tout à faire des groupes exploitables.
- Là encore, ça dépend de tes données et de ce que tu veux en faire.
- Avec la fonction cutree.

Sur ce genre de jeu de données, je te conseille avant tout de faire une ACP pour voir si une structure ressort.

[lydiaaaaa]

Merci de m'avoir répondu

Mon jeu de données est composé essentiellement de données quantitatives, j'ai donc d'abord fait une ACP.
J'ai pu lire, avec un volume de données assez conséquent, qu'on ne peut pas lire grand chose des graphs sur nos individus (sauf voir ceux extrêmes/atypiques). Par contre, je vois bien les corrélations entre les variables.

J'obtiens des arbres de décisions assez similaires (avec des critères de décisions similaires, mais pas les mêmes règles). Je ne sais donc pas comment généraliser tout ça. Faut-il que j'augmente (/diminue) ma taille d'échantillon? Y a-t-il un lien avec celle-ci?

[Theta]

Perso, pour ce genre de problème, je faiS la classification sur l'ensemble des données, je ne faiS des échantillons (bootstrap) que pour vérifier que les groupes sont stables.

[lydiaaaaa]

Je prends un échantillon parce que je ne peux pas faire sur R une classification sur un jeu de données aussi volumineux (pour R).
Je suis en stage et je n'ai pas une machine assez performante pour ça. (Pas assez de mémoire vive).

[Theta]

Je comprends, j'ai le même soucis, faire du R avec un OS 32 bits c'est pas top
Le plus simple ça reste de te faire prêter un ordi avec un OS 64 bits le temps de faire tourner ce script.

[ced]

Le plus simple ça reste de te faire prêter un ordi avec un OS 64 bits le temps de faire tourner ce script.

Ou de le faire tourner sur un serveur disponible...