Discussion :

[Décembre]

Salut,

Je voudrais faire une classification par K-means pour un groupe de points pour le départager en 2 ensembles, le problème c'est que quand les points sont trop proches la classification se fait mal

Y-a-t'il un moyen pour éviter ce problème?

Merci d'avace

[ToTo13]

Est ce que tu as analysé tes ensembles de points ?
Il est possible que ta frontière de décision soit extrêmement petite, voire que les k-means ne permettent pas de la déterminer correctement (si les points des deux classes sont mélangés).
En quelle dimension travailles tu ?
Est ce que chaque dimension a la même importance que les autres ?
Si oui, as tu centré / normé les données ?

Sinon, il faudrait trouver des descripteurs plus pertinents.

[Décembre]

Merci de m'avoir répondue,

Il est possible que ta frontière de décision soit extrêmement petite, voire que les k-means ne permettent pas de la déterminer correctement (si les points des deux classes sont mélangés).

Oui exactement, y-a-t'il un moyen pour contourner le problème? ou une autre méthode de classification meilleurs que les k-means?

En quelle dimension travailles tu ?

En 3D

Sinon, il faudrait trouver des descripteurs plus pertinents

pouvez-vous être plus clair s'il vous plait?

Merci

[Alexis.M]

K-means , n'est pas vraiment une méthode de classification, c'est une méthode de partitionnement non supervisée. Pour l'utiliser comme classifieur, on attribue à chaque cluster la classe majoritaire parmi les points qui en sont les plus proches. Si la frontière est un peu compliquée il est éventuellement possible d'augmenter le nombre de clusters (sans augmenter le nombre de classes), plusieurs cluster étant affectés à la même classe.

Pour des méthodes de classification proprement dites, tu peux voir du côté de méthodes telles que les k-plus proches voisins, LDA (linear discriminant analysis) ou les machines à vecteur support.

Attention cependant à la manière dont tu évalues les performances, il faudra sans doute effectuer une validation croisée.

[Décembre]

Bonsoir,

K-means , n'est pas vraiment une méthode de classification, c'est une méthode de partitionnement non supervisée. Pour l'utiliser comme classifieur, on attribue à chaque cluster la classe majoritaire parmi les points qui en sont les plus proches. Si la frontière est un peu compliquée il est éventuellement possible d'augmenter le nombre de clusters (sans augmenter le nombre de classes), plusieurs cluster étant affectés à la même classe.

Le nombre de clusters est fixe dans mon cas, je ne le contrôle pas

Attention cependant à la manière dont tu évalues les performances, il faudra sans doute effectuer une validation croisée

Comment fait-on une évaluation croisée?

merci

[ToTo13]

Oui exactement, y-a-t'il un moyen pour contourner le problème? ou une autre méthode de classification meilleurs que les k-means?

Il faut voir comment sont répartis tes points. Mais les k-means, en l'occurrence ici les 2-means va classer en fonction de deux centres et d'une métrique.
Il faut donc une méthode qui permette d'obtenir des frontières plus précises (donc évitons le linéaires) : k plus proches voisins, forêts aléatoires, réseaux de neurones, svm. Teste également la régression logistique, c'est une méthode linéaire, mais avec des tendances aux comportements non linéaires et surtout elle est très puissante pour des problèmes binaires.
Ce sont des méthodes de classement (donc supervisées), donc il faut un échantillon d'apprentissage.

En 3D

Donc facile de visualiser les données, de voir où ça pose problème et ainsi traiter le problème de manière spécifique.

pouvez-vous être plus clair s'il vous plait?

Tu as trois descripteurs pour décrire tes données, mais sont il pertinents ?

Admettons que tu souhaites décrire / différencier la population mondiale afin de savoir automatiquement si un individu est masculin ou féminin. Si tu choisis les trois critères "longueur des cheveux", "taille", "poids"... et bien... tu ne classeras rien du tout.
Par contre, si tu donnes comme descripteurs la liste des hormones ou les chromosomes, tu auras une réponse juste.
Donc ma question est : "as tu extrait des descripteurs pertinents ?".

K-means , n'est pas vraiment une méthode de classification, c'est une méthode de partitionnement non supervisée.

Juste une petite précision au niveau traduction :
- classification (eng) => classement (fr), c'est du supervisé.
- clustering (eng) => classification (fr), c'est du non supervisé.
Donc les k-means est bien une méthode de classification/partitionnement.
Les kPPV, régression logistique, SVM, etc. sont des méthodes de classement.

Comment fait-on une évaluation croisée?

Sujet super connu et largement traité. Fais donc une recherche sur ce terme, tu trouveras des notions de "k-fold", "Leave One Out", "BootStrap", etc.

Pour rejoindre l'idée d'Alexis, il ne faudra pas non plus oublier de gérer le cas des échantillons déséquilibrer.