Discussion :

[Sandrine17]

Bonjour,

Je travaille sur la classification d'un ensemble de données en différents modes de fonctionnement. Ma matrice de départ contient 3 variables (les colonnes de la matrice).
J'ai obtenu le résultat présenté dans la fig1ci-jointe. Un zoom sur cette figure montre que les données sont bien regroupées en classes. Mais le problème dans la fig1, est qu'il ya des points qui divergent et rend la classification difficile.
Je voulais bien m'affranchir de ces points. Est ce qu'il y a quelqu'un qui a rencontré un problème pareil et peut m'aider ?

Merci d'avance.

[Cheetor]

Est-ce que calculer une valeur moyenne par classe et donner une valeur de tolérance pourrait aider ? Ceci te permettrait après d'appliquer un "find" sur tes valeurs et de sortir celles qui sont trop éloignés.

[Sandrine17]

Merci Cheetor pour la proposition, mais est ce que tu peux m'expliquer je n'ai bien compris l'idée ? est ce que tu veux dire éliminer les points éloignés ?

[Cheetor]

C'est effectivement l'idée. En faisant la moyenne de tes valeurs, tu devrais tomber sur une zone de ton graphe où tu devrais avoir un maximum de valeur à proximité. Après, tu peux donner un intervalle d'erreur qui va te permettre d'éliminer tes valeurs erronées.

[Sandrine17]

Si j'ai bien compris tu veux dire que je calcule par exemple la valeur moyenne de chaque groupe obtenu ensuite j'élimine les valeurs qui sont loin de cette moyenne (la moyenne représente le centre du groupe)?
Si oui, je prèfère garder ces valeurs au lieu de les éliminer 😊

[Cheetor]

Tu peux les garder si tu veux. Par contre, si tu souhaites ne pas les afficher, il faut que tu puisses les trouver pour les exclure de l'affichage. D'où ma solution.

[Sandrine17]

Oui, je comprends ce que tu veux dire.
Je cherche une sorte de normalisation pour les exclure mais sans perdre la sensibilité de mes données ( par exple normaliser entre 0-1 les valeurs, ce qui est utilisé généralement, risque de perdre une grande variance des valeurs)

[Sandrine17]

Bonjour,
Je suis toujours à la recherche d'une méthode qui permet de rapprocher les points aberrants de chaque classe obtenue Est ce que quelqu'un parmi vous peut m'aider ?

Merci d'avance

[tbc92]

Personnellement, je n'ai pas compris le dessin de la 1ère image.
Tu as 2 graphes.
- A priori, ces 2 graphes correspondent à 2 jeux de données différents. Oui ou non ?
- Sur le graphe 2, les symboles/couleurs correspondent au résultat de la classification. C'est bien ça ?
- Mais sur le graphe 1, les symboles viennent d'où ? aucun rapport entre la position des points et les symboles.

Ceci dit, dans mes lointains souvenirs, l'ACP n'était pas adaptée pour une classification. Une ACP permet de trouver les axes les plus discriminants à partir d'un nuage en dimension élevée. (dans l'esprit, en dimension 3, on est en dimension pas très élevée). Le C de ACP signifie Composantes.
Par contre dans une CAH, le C signifie 'Classification'. Une CAH serait donc plus adaptée ?

[Flodelarab]

Bonjour

@tbc92 : Le deuxième graphe est un zoom sur le coin inférieur gauche du premier graphe.

@siwar17 : d'où vient la classification des points éloignés ?
Tu pourrais faire une homotétie.
Mais quel intérêt de trafiquer les résultats ?
Je n'ai pas compris le but, en fait.

[Sandrine17]

Bonjour

Merci Flodelarab pour l'explication.
En réponse à tbc92; 1- il s'agit exactement du mêmes données , juste j'ai représenté un zoom du graphe 1 dans graphe 2, pour montrer que ce sont les points éloignés qui sont gênants.
2- Les couleurs et symboles représentent les classes obtenues mais j'ai supprimé la classe 3 (en triangle rouge) et j'ai oublié de l'enlever de la légende..
3- Merci pour la proposition de 'CAH' ( j'ai aucune idée sur cette méthode), mais pour mon travail j'essaye d'améliorer le résultat que j'ai obtenu sans utiliser autre méthode que l'ACP

@Flodelarab: Mon but est d'améliorer la visualisation des données. Donc de chercher une solution genre normalisation des données pour rapprocher les points éloignés des nuages de points qui sont très proches.

[tbc92]

Oups... je n'avais pas vu que c'était un zoom !
Cette histoire est quand même très bizarre. Je me demande comment un outil de classification a pu mettre dans une même classe 'rouge' tous les points pour lesquels x est très proche de 0, plus 2 points avec x proche de 6, et comment cet outil a-t-il pu décider de regrouper dans une classe verte les points avec x proche de -0.5, et 2 points tout en haut à droite... Comme si x seul était pris en compte sur toute la partie gauche du dessin.

Par quel miracle, ou par quel accident, les 7 points en haut à gauche se retrouvent-ils dans 4 classes différentes ? Et idem pour les 8 points à droite ?
Dans d'autres disciplines, on parle d'over-fitting. Ici, ça y ressemble beaucoup.