Discussion :

[abidineb]

Bonsoir a tous

Je fait en ce moment de la classification des données, mais je rencontre un probleme bizarre, je m'explique:

J'ai 5 classes de données, les résultats sont globalement bons, mais
je sais que si j’élimine la dernière classe C5, j’obtiendrai de meilleurs résultats sachant que:
C1:300
C2:1000
C3:1000
C4:500
C5:4000, en nombre de données

Mais peut-on éliminer toutes les données d'une classe (C5) dans une base de données, pour améliorer les résultats de classification, sachant que cette classe n'est pas importante pour mon objectif. Mais en cas de suppression de ces données, est ce que cela n'affecte pas la base de données ou plutôt il y a une autre procédure.

Merci.

Mes salutations

[Franck Dernoncourt]

• Tu veux éliminer une classe ou bien éliminer des individus ?
• Pourquoi as-tu fixé à 5 le nombre de classes ?

[abidineb]

Bonsoir

La base de données contient déjà les classes prédéfinies.

Oui, j'ai proposé d’éliminer les individus de la classe5,
mais est ce que cette procédure est courante? c'est a dire je supprime et les individus et la classe correspondante, puisque c'est un apprentissage supervise que je fait.

Sachant que mon probleme est la classe5, elle diminue les performances.

Merci.

Cordialement.

[Franck Dernoncourt]

Je dirais que cela dépend si tes classes correspondent à quelque chose dans la réalité : le cas échéant, les individus faisant parti de la classe 5 vont être automatiquement mal classés puisque le réseau ne pourra choisir entre les classes 1, 2, 3 et 4... Par exemple si une classe correspond à une espèce animale, si tu élimines une classe alors tous les individus d'une espèce seront alors mal classés.

A contrario, typiquement en apprentissage non-supervisé, il est courant de faire varier le nombre de classes afin d'optimiser les performances (l'exemple le plus courant est la détermination du nombre de classes avant de faire tourner un K-means).

[abidineb]

Bonjour
Oui mes classes ont un sens physique.
Je vais juste bien explique ma proposition qui était de supprimer
la classe 5 et ces données correspondante (pas les classes seulement), comme si c’était une base a 4 classes. Je ne sais pas est ce je peut éliminer de cette façon les données de la classe5, sachant que cette dernière m’intéresse pas trop??????

Merci pour votre réponse.

Cordialement.

[ToTo13]

Tu as un problème que l'on nomme "Imabalanced Data Set" (déséquilibre des données dans les classes).
Tu as plus d'individus dans ta classe C5 que dans toutes les autres classes.
Donc si tu ne rééquilibre pas avant travail ou si ton classifieur ne gère pas la situation au niveau de la fonction de pondération des erreurs, alors ton apprentissage est biaisé par la classe majoritaire.

[abidineb]

Bonjour
C'est tout a fait ça. (Ensemble de données déséquilibrées)
Donc, je ne peut pas directement éliminer cette classe de la BDonnées qui n'est pas trop importante pour mon travail, c'est ça, ce que vous voulez dire???
Et pour le rééquilibrage alors, est ce que je peut faire ça de manière
aléatoire, c'est a dire j’élimine des données ou j'ajoute des donnees???

Merci beaucoup pour votre information.

Cordialement

[ToTo13]

Bonjour,

le mieux est souvent de se ramener à des problèmes à deux classes en faisant un over-sampling (sur-échantillonnage) de la classe minoritaire/traitée.
Dans ton cas, tu as 6 classes, donc :
- tu dois créer 6 classifieurs.
- pour chaque classe, tu la dupliques jusqu'à ce que la classe qui t'intéresse ait autant d'individu que toutes les autres réunies. Puis tu fais ton apprentissage.

[abidineb]

Bonjour,

Oui, c'est le principe du Multi-classes diviser le probleme en plusieurs
classificateurs bi-classes. Donc le sur-échantillonnage de la classe minoritaire/traitée est le mieux adapté à mon cas.
Donc si ma donnée est (0, 1 ,1.5) de la classe minoritaire, je la duplique plusieurs fois en ayant toujours le même point dans un graphique à trois dimensions.
Je vais essayer cette méthode, et je vous répondrai prochainement.
Un grand merci pour votre aide.

Cordialement

[ToTo13]

Bonjour,

le fait de dupliquer ne tombe jamais exactement sur le bon chiffre.
Ce qui est utile, c'est souvent de dupliquer tant qu'on le peut et ensuite de tirer les éléments restant aléatoirement.
Par exemple :
- C1 500 instances, C2+C3+C4 4200 instances
- Dupliquer C1 8 fois.
- Faire 200 tirages aléatoires dans C1 pour compléter.

[abidineb]

Bonjour,
Merci beaucoup de m'avoir fournit cette procédure de calcul .
Mais si je duplique 8fois la classe C1, j'aurai les mêmes échantillons,
sauf si vous voulez dire qu'avec la précision qu'offre MATLAB, on ne tombera jamais sur les mêmes instances exactement??????
Si c'est ça, je suis tout a fait d'accord.
Merci.
Cordialement

[ToTo13]

Non, je veux juste dire qu'il faut impérativement avoir deux échantillons de même taille lors de l'apprentissage.
Et que lorsque l'on duplique, il est bien de ne pas favoriser certains individus, sauf cas précis.

[abidineb]

Bonsoir
Oui bien sur, 2 échantillons de même dimension.
Mais je n'ai pas compris ta méthode de duplication, je pensé que c’était une simple concaténation. Y aura t-il une autre méthode??
Ex: X=[1 2 3]; Il devient X=[1 2 3; 1 2 3; 1 2 3; 1 2 3] si bien sur on a de l'autre cote une matrice de données de dimension 3*4.
Pour faire un bon apprentissage .

Merci.

Cordialement

[ToTo13]

... on duplique les individus.
Admettons que :
- C1 soit [1 2 3]
- C2 contienne 8 individus.
- on duplique une fois C1 => [1 2 3 1 2 3]
- on tire aléatoirement les deux individus manquant pour équilibrer [1 2 3 1 2 3 2 3 ] (par exemple).

Je ne vois pas le rapport avec la taille de la matrice. Là on parle d'individus.

[abidineb]

J'ai tous saisi, merci beaucoup.
Il faut juste savoir qu'on duplique les individus et leurs étiquettes.
.
Merci
Cordialement