Discussion :

[klandah]

Bonjour,

J'ai un dataset de n données, où chaque donnée est représenté par un ensemble d'attributs que d’extrait à partir de la donnée. Généralement, les algorihmes de clustering ont besoin que les données soient de même dimensions (le même nombre d'attributs), c'est à dire, les données en entrées sont représentés par une matrice X de n*d (de "n" donnée, et chaque donnée a "d" attributs). Dans mon cas, j'ai préalablement extrait des attributs à partir de mes données, mais le nombre d'attributs extraits à partir de chaque donnée est différent (j'ai donc un dataset X où les données n'ont pas le même nombre d'attributs). Y'a il une façon quelconque de les adapter afin de les classer en utilisant des algorithmes de clustering classiques qui requiers que données en entrée soient de même dimensions (pour pouvoir calculer une distance entre eux).

Pour mieux comprendre, je précise que chaque donnée de mon dataset est une image contenant un mot manuscrit. J'extrais toujours "m" attributs à partir de chaque composante connexe (une sorte de pseudo-mots) du mot, donc si le mot contiens "c" composantes connexes, le nombre d'attributs extraits à partir de ce mot est d = m*c. Le nombre d'attributs extraits pour chaque donnée (mot) de mon dataset dépend donc de "c" (le nombre de composantes connexes que ce mot contiens) et "c" peut être différent d'un mot à un autre (même pour 2 mots de la même classe, mais bon moins souvent que 2 mots de classes différentes).

Merci d'avance,

[Aleph69]

Bonsoir,

un problème de clustering est posé dans un espace (vectoriel) et suppose donc que les données appartiennent à cet espace et soient par conséquent de même dimension. Il faut donc intervenir en amont, i.e. modifier le codage des données.

Si j'ai deux vecteurs de dimensions respectives n et m, avec n différent de m, comment puis-je les sommer? La réponse à cette question est : "la somme en question n'est pas définie" (cf la définition des espaces vectoriels si tu ne vois pas pourquoi). Il est possible qu'on te propose du bidouillage, par exemple du "padding", mais le pragmatisme ne doit pas prévaloir en sciences.

Ton problème de clustering est directement lié à ce problème de somme et adapter des algorithmes a une situation qui n'a pas lieu d'être n'est donc pas recommandée.

[klandah]

Bonsoir,

un problème de clustering est posé dans un espace (vectoriel) et suppose donc que les données appartiennent à cet espace et soient par conséquent de même dimension. Il faut donc intervenir en amont, i.e. modifier le codage des données.

Si j'ai deux vecteurs de dimensions respectives n et m, avec n différent de m, comment puis-je les sommer? La réponse à cette question est : "la somme en question n'est pas définie" (cf la définition des espaces vectoriels si tu ne vois pas pourquoi). Il est possible qu'on te propose du bidouillage, par exemple du "padding", mais le pragmatisme ne doit pas prévaloir en sciences.

Ton problème de clustering est directement lié à ce problème de somme et adapter des algorithmes a une situation qui n'a pas lieu d'être n'est donc pas recommandée.

Oui je comprends bien que les données à classer doivent normalement être de même dimensions, mais vous proposez quoi par rapport à ce que j'ai expliqué à la fin de mon premier poste ? i.e. une donnée est segmenté en "C" parties (C est souvent différent d'une donnée à une autre), et un nombre fixe "CONST" de features est extrait sur chaque partie. Et notez dans ce cas, qu'un padding des données n'est non seulement pas une bonne idée, mais ne réglera pas le problème, vu qu'il donnera lieu à une somme (ou distance ...) erroné entre deux vecteurs.
Notez que je ne peux pas vraiment changer la manière dont j'extrait ces valeurs (CONST valeurs fixes et de signification connu sont extraits sur chaque partie du mot qui représente presque une lettre) parceque c'est "la" façon de procéder dans le contexte de mots manuscrits. Notez aussi que ces données de dimensions C*CONST (C étant variable) peuvent être utilisés directement en entrée pour faire du clustering via un HMM (le modèle de markov caché tolère que le nombre de valeurs par donnée soit différent), mais bon ce n'est pas un HMM que je veux utiliser.

[pseudocode]

Il faudrait savoir si le nombre de composantes "c" est significatif, ou alors s'il est possible de fusionner/séparer arbitrairement les c*m valeurs afin d'obtenir un vecteur de taille quelconque "k".

Auquel cas, ca revient a "resampler" un signal de longueur "c" (composé de "m" canaux), afin d'obtenir un signal de longueur "k" (composé de "m" canaux). Et donc, de resampler chaque canal.

[klandah]

Il faudrait savoir si le nombre de composantes "c" est significatif, ou alors s'il est possible de fusionner/séparer arbitrairement les c*m valeurs afin d'obtenir un vecteur de taille quelconque "k".

Il est significatif, je ne peux pas fusionner/séparer arbitrairement les c*m valeurs.

Cependant, j'ai une autre question à laquelle si vous pouvez répondre, ça pourrait m'aider à régler le problème initiale:
Supposant que j'ai un dataset éparse, où chaque donnée est décrite par un vecteur de 1000 éléments, chaque élément de ce vecteur peut être soit 0 ou 1 (un vecteur contiendra plein de "zéros" et quelque "uns" éparpillés); Auriez-vous (connaitriez-vous) une fonction de distance qui sera convenable dans cette situation, pour les clusterer ?

[pseudocode]

Supposant que j'ai un dataset éparse, où chaque donnée est décrite par un vecteur de 1000 éléments, chaque élément de ce vecteur peut être soit 0 ou 1 (un vecteur contiendra plein de "zéros" et quelque "uns" éparpillés); Auriez-vous (connaitriez-vous) une fonction de distance qui sera convenable dans cette situation, pour les clusterer ?

Tout dépend de ta définition de ce qui est "proche" et "éloigné".

Sans plus d'information je dirais le "Dynamic Time Warping"...