Discussion :

[progfou]

Bonjour tout le monde !
Je connais assez mal, pour le moment, les SVM. Ce qui m'intéresse c'est de rendre séparable linéairement un espace qui ne l'est pas aujourd'hui.
J'ai un vecteur de deux paramètres :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

P = (x, y)

Je sais qu'il faut utiliser un noyau pour transformer ce vecteur en lui ajoutant un troisième paramètre (dépendant des deux premiers), mais connaissant le noyau (gaussien) j'aimerais savoir quelle combinaison de x et y donne mon nouveau paramètre...

Un exemple :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
P=(x,y)
k(P, P')=(P.P')^2

Ici, le noyau est polynomial.
Je sais calculer mon nouveau vecteur (après développement) :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

P2=(x, y, z) = (x^2, sqrt(2)x*y, y^2)

Dans le cas où le noyau est gaussien, il a pour forme :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

k(P, P')=exp(||x-x'||^2 / sigma)

Quel est donc mon nouveau vecteur P2 ?

Merci d'avance de vos éclaircissements !

[Matthieu Brucher]

Pour autant que je me rappelle, on s'en fout de l'espace sous-jacent, le but n'est pas de travailler directement dedans, surtout que dans ton cas, il n'est pas de dimension 3, mais infinie.

[progfou]

Mmh...
Parle-t-on du même espace ?
Je considère x et y comme mes deux paramètres. P est pour moi un vecteur unique, une observation, et j'en ai des dizaines (normal ).

[Matthieu Brucher]

Ben oui, tu parles bien de l'espace dans lequel tu fais la séparation linéaire, non ? dans ce cas, je dis que c'est un espace dont la dimension dépend du noyau et que pour un noyau gaussien, la dimension est infinie.

[progfou]

Ah d'accord, je ne voyais pas ce point .
Comment mettre en oeuvre ce noyau...

[Matthieu Brucher]

En fait, les méthodes à noyaux ne calculent jamais explicitement l'espace sous-jacent, parce que ce qui est effectivement utilisé dans les calculs, c'est toujours le produit scalaire dans cet espace. Donc la seule chose à faire, c'est factoriser tes calculs pour ne faire apparaître que (x.y) et donc avec un noyau k(x, y). Et c'est la seule étape à modifier.

[progfou]

Faire apparaitre (x.y) ?
(P.P') plutôt non ?

Dans mon cas, P=(x, y) et P'=(x', y').
Du coup on a un produit scalaire x*x' + y*y'.
A partir de ce point, comment intervient le noyau ?

[Matthieu Brucher]

Oui, pardon, c'est bien P.P' qu'il faut remplacer par k(P,P')