Discussion :

[Dakeyras Khan]

Bonjour, je fait mon TIPE sur le sujet des machines à vecteurs de support, et plus précisément, sur la résolution du problème de programmation quadratique.

pour l'instant, j'ai lu 2 papers sympa, un sur la méthode du gradient conjugué et de la descente de gradient, et un autre qui présente un algo que l'auteur appel SMO (pour Sequential Minimal Optimization) ...

j'ai aussi trouvé deux autres noms d'algos, mais j'ai pas vraiment eu le temps d'investiguer : "active set" et "interior point"

ma question est, dans le cadre de mon TIPE? j'aimerai coder une SVM complète, permettant de classifier des photos en visage / non-visage , dans quel espace dois-je me placer ?
je pensais normaliser les images en 20*20 , niveau de gris, puis prendre des vecteurs de 400 composantes ... mais ça fait beaucoup non ?

ensuite, la méthode du gradient conjugué semble pas très efficace dans le cas de grosse matrices ... et j'ai cru comprendre qu'on utilisait plus la SMO , quelles sont les autres méthodes utilisées en pratique pour résoudre le problème quadratique ?


edit: tant que j'y suis ... dans le cas de données non-linéairement séparable ... je comprends pas grand chose à l'utilisation du kernel trick ... comment choisit-on le kernel ? en les testant tous et en gardant le meilleur ?
comment savoir si les données seront linéairement séparables dans le nouvel espace ?

Merci

Dakeyras

[gil_d]

400 composants c'est tres peu pour les SVM, j'ai resolu des problems a plus de 10000 composants sans problems. L'espace que tu a choisi est un bon debut, j'imagine qu'on peut trouver mieux.
La SMO et ses variantes sont les plus utilises dans ce domaine, moi j'utilise LIBSVM qui est open-source et il utilise une variante de SMO, tu peux aussi l'utiliser au moins pour avoir une bonne reference.
Le choix du kernel se fait de facon empirique, generalement on commence par un kernel lineaire puis si ca marche pas on pas a autre chose
Pour savoir si les donnees sont separable il suffit le tester le SVM sur le training set et voir si tu attaint les 100% de reussite. Il faut aussi jouer avec le parametre C (error cost) qui peut faire influencer vachement les resultats sur le testing-set.