Définition de méthode KNN (classification supervisée) et son Algorithme

Bonjour mes amis

1-Je développe un Programme pour la classification supervisée des images satellitaires et j'utilise méthode K-NN(Méthode supervisée).
Toujours je trouve dans les livres "La méthode K-NN est non paramétrique". je ne comprend pas le mot non paramétrique, je veux dire comment le K-NN non paramétrique ??

2-est-ce-qu'il y'a quelqu'un possède l'algorithme de K-NN avec une explication ??? s'il vous plait!!
j'ai l'algorithme(KNN) ci-dessous, mais je n'ai pas comprendre bien cette algorithme:

• Soit D = {(x′, c), c ∈ C} l’ensemble d’apprentissage ; "x' c'est quoi ?"
• Soit x l’exemple dont on souhaite déterminer la classe

.

Code:

---

1 2 3 4 5 6 7 8 9

Début Pour chaque ((x′, c) ∈ D) faire Calculer la distance dist(x, x′) ?? Fin Pour chaque {x′ ∈ kppv(x)} faire Compter le nombre d’occurrence de chaque classe ? Fin Attribuer à x la classe la plus fréquente; ?? Fin.

---

Merci beaucoup à vous tous..;)

- Dans ce cas, "non paramétrique" veut dire "sans paramètre". Tu n'as que le k à déterminer et c'est tout.

- {xc}' est l'ensemble des instances/individus de l'ensemble d'apprentissage, c étant la classe d'appartenance associé à x' (un des éléments).

C'est l'algorithme d'apprentissage supervisé le plus simple car le plus intuitif, mais il a l'avantage d'être non linéaire. En gros pour un élément X que tu souhaites classer, tu calcules la distances entre chacun des éléments x' et X, en sauvegardant les K plus proches éléments/voisins.

Citation:

---

Envoyé par ToTo13

- Dans ce cas, "non paramétrique" veut dire "sans paramètre". Tu n'as que le k à déterminer et c'est tout.

---

En KNN on a "K" alors il y a un paramètre même un seul !! donc comment tu dites non paramétrique?? s'il vous plait expliquer à moi :(

et pour SVM est-ce-qu'il est non paramétrique ??


Merci

Effectivement, elle a un paramètre, la valeur de K.

Je ne connais pas bien les SVM, mais il me semble que l'on peut choisir différents noyaux.

Citation:

---

Envoyé par ToTo13

Effectivement, elle a un paramètre, la valeur de K.

---

1- Donc est ce qu'il est possible de dire la méthode k-NN est paramétrique ??

2- Un auteur il a dit dans les inconvénients de K-NN: particulièrement vulnérable au fléau de la dimensionnalité.
je n'ai comprend pas la phrase rouge, S'il vous plait expliquer à moi !!!


Merci merci beaucoup Mon frère.8-)

Citation:

---

Envoyé par djwyyoucef

1- Donc est ce qu'il est possible de dire la méthode k-NN est paramétrique ??

---

Oui, mais contrairement aux autres, il y a beaucoup moins de paramètres.

Citation:

---

Envoyé par djwyyoucef

particulièrement vulnérable au fléau de la dimensionnalité.

---

Normalement, la dimension c'est le nombre de caractéristiques que tu utilises pour décrire les instances. Je ne suis pas certain de ce que cela veut dire.
En revanche, il faut impérativement centrer/normer les données, sinon certaines caractéristiques auront un impact plus important.

Je pense que c'est en rapport avec le fait qu'un descripteur large peut être assez lourd a comparer avec toutes les autres données de ton ensemble d'apprentissage (sans compter le fait que l'ensemble risque de prendre énormément de place). C'est évidemment le cas avec toutes les méthodes, mais au moins, avec les SVMs, une grosse partie de ce traitement est faite pendant la phase d'apprentissage, ce qui est moins gênant.