Discussion :

[medchok]

Bonjour,

Ayant en charge un travail de classification + prédiction sur des données de grandes dimensions, je me trouve dans l'obligation de commencer par une phase de réduction de dimension sur ma (grande) matrice de départ.

Pourriez-vous, SVP, me donner la moindre indication pour récupérer un module, une toolbox MATLAB, une technique ou un algo permettant une réduction de dimension.

Vous remerciant d'avance

[phryte]

Bonjour.
Regarde : princomp

[medchok]

Un Grand Merci pour vôtre intérêt et réponse.

Il me semble que princomp correspond essentiellement à l'ACP donc valable pour des données numériques uniquement et aussi ne tenant compte que de corrélations linéaires.

Toute autre proposition sera la bienvenue.

Merci d'Avance pour Vos Réponses.

[ToTo13]

Bonsoir,

je n'ai jamais réellement fait d'état de l'art de ces méthodes, mais as tu regardé de ce qui est utilisé dans Weka ?
Dans la partie "Attribute selection" (c'est ce que tu veux), il y a les références des méthodes implémentées pour sélectionner les meilleurs attributs.

[medchok]

Merci Toto pour vôtre intervention.

Il me semble que la classe weka à laquelle vous faites référence utilise des méthodes non toujours commentées chose qui me sera utile plus tard pour combiner cette sélection de variables avec un classifieur.

Par ailleurs, je m'intéresserais plutôt aux toolbox et codes tournant sur Matlab à moins que d'avoir à ré-écrire ou transcrire certaines parties.

Toute indication de vôtre part sera toujours la bienvenue.

Merci d'Avance

[abidineb]

Bonjour
La réduction de dimension va dépendre de plusieurs concepts, c'est pas juste essayer des methodes parce que elles font partie des méthode de réduction, ça dépendra de type de ton estimateur, ton application, tes variables a prédire et beaucoup de choses, c'est un domaine très vaste et ça prend vraiment du temps.
Cordialement

[medchok]

Merci Abidineb pour vôtre intérêt et la remarque.
Je cherche justement à étudier la relation possible entre l'algo de réduction de dimension et l'estimateur / classifieur pour un nombre de variables de départ trop important >>>100.

L'exploration d'une sorte de taxonomie de telles méthodes de réduction de données me serait, alors, d'un grand apport.

Toute indication ou suggestion de vôtre part sera la bienvenue.

Vous remerciant, d'avance, pour vôtre aide et contribution.

[abidineb]

Bonjour
Donne moi la dimension de ta matrice, et quel estimateur tu veut utiliser?
Et ton type d'application bien sur?

Cordialement

[medchok]

Merci Abidineb pour vôtre intérêt,

Au fait, j'ai une matrice de 1000 (variables) x 500000 (individus). Je cherche à étudier le meilleur classifieur / prédicteur.

Ce serait, donc, bien gentil de vôtre part de m'aider à explorer ou à mieux comprendre une sorte de taxonomie des approches de réduction de dimension, s'il y lieu. En gros, je cherche en quelques sortes un ensemble de règles qui me permettraient de choisir l'outil de sélection de variables adéquat en fonction des données et de l'estimateur. Si je pourrais tomber sur des applicatifs correspondants à de telles techniques, ce serait très fort intéressant.

Tout indication ou aide de vôtre part sera la bienvenue.
Merci d'avance pour vôtre aide.

[abidineb]

Bonjour
Envois moi ton application et ton type d'estimateur ? et le type de descripteurs ou des descripteurs que tu as utilise afin que je puise de te donner l'algorithme le mieux adapte puisque j'ai essaye pas mal de methodes.
Cordialement

[medchok]

Un Grand Merci, Abidineb, pour cet intérêt et toutes ces réponses.

Ayant eu l'occasion de travailler ou d'essayer ces méthodes de réduction de dimension comme vous venez de le dire "... afin que je puise de te donner l'algorithme le mieux adapte puisque j'ai essaye pas mal de methodes.", ce serait bien sympa de vôtre part de nous donner une sorte de conclusion (de vos expériences) pour mieux nous orienter dans le choix de la méthode de réduction de dimension, surtout qu'un forum comme celui-ci devrait bien faire profiter à tous et partager les expériences.

Merci d'avance pour vôtre apport.

[abidineb]

Bonjour

Donc voila je pense que si on veut faire une bonne estimation ou régression, ça serai fort intéressant d'intervenir juste au niveau de l'extraction de caractéristiques, sans pour autant faire l'extraction après sélection, sauf dans certains cas ou on a vraiment un très très grand nombre de caractéristiques comme par exemple de la biologie, la sélection est necessaire.
Je pense que les algorithmes génétiques sont les plus efficaces et sont d'actualité.

Cordialement

[medchok]

Merci Abidineb pour vôtre aide.

"... si on veut faire une bonne estimation ou régression, ça serai fort intéressant d'intervenir juste au niveau de l'extraction de caractéristiques, sans pour autant faire l'extraction après sélection..." : est ce que, par extraction, vous entendez transformation des variables dans un autre espace comme pour l'ACP ou c'est plutôt autre chose?
"... sauf dans certains cas ou on a vraiment un très très grand nombre de caractéristiques comme par exemple de la biologie, la sélection est necessaire...", au fait c'est effectivement le cas avec un classifieur neuronal avec lequel je cherche à combiner une phase de sélection de variables.

'...Je pense que les algorithmes génétiques sont les plus efficaces et sont d'actualité..." bien entendu, mais comme la précision du résultat est importante j'aurais préféré avoir une idée sur bon nombre d'approches pour la réduction de dimension.

Merci d'avance pour vôtre apport.

[abidineb]

Bonjour
Oui, c'est tout t 'as fait ça, par exemple l'ACP mais il y a maintenant des methodes plus sophistiquées, car l'ACP a plusieurs inconvénients et elle n'est pas adaptée dans plusieurs cas.
Ahh ok, tu utilise alors les réseaux de neurone comme classifieurs, donc les algorithmes génétiques marche bien avec ce type de classifieurs.
J'ajouterais juste que les réseaux de neurones nécessitent beaucoup de paramètres, je ne voit pas comment peut on travailler avec ce genre de classifieurs, mais peut être c'est juste pour le cadre applicatif, parce que on est vraiment loin de la réalité.

Il ya les cartes SOM qui vraiment efficaces mais je n'ai jamais essayer avec les reseaux de neurones mais ça reste faisable.

Cordialement

[medchok]

Merci Abidineb,

"...par exemple l'ACP mais il y a maintenant des methodes plus sophistiquées..." telles :...? (ce serait bien gentil de donner un peu plus de détails).

"...Il ya les cartes SOM qui vraiment efficaces mais je n'ai jamais essayer avec les reseaux de neurones mais ça reste faisable..." est ce que je dois mettre ce commentaire à côté de vos Post dans la rubrique Matlab en réponse au sujet SOM pour la réduction de variables?

Merci encore

[abidineb]

Bonjour

Par exemple: l'analyse factorielle ou les MDS, je pense que t'es plus expérimenté que t'en a l'air, quel est ton problème, est ce que t'as essayé quelque chose?

Cordialement

[medchok]

Merci beaucoup pour vôtre réponse,

"... Par exemple: l'analyse factorielle ou les MDS..." vous me disiez tout à fait au début de vos réponses qu'il fallait éviter les acronymes, vous me laissiez comprendre qu'on pouvait bien en balancer à gogo (il suffit de lire celà un peu par ci, un peu par là).

"...Il ya les cartes SOM qui vraiment efficaces mais je n'ai jamais essayer avec les reseaux de neurones mais ça reste faisable..." est ce que je dois mettre ce commentaire à côté de vos Post dans la rubrique Matlab en réponse au sujet SOM pour la réduction de variables?
+
"...je pense que t'es plus expérimenté que t'en a l'air..."
==> Au fait pas trop expérimenté mais le minimum nécessaire pour que je me rende compte quand on cherche à me mener en bateau.

Je sais parfaitement que je peux bien compter sur quelqu'un qui a été formé à l'iset, n'est ce pas?

Donc, toutes vos réponses seraient les bienvenues.

Merci encore.