Discussion :

[ToTo13]

Bonjour

Non, 2 car c'est une fonction quadratique, avec un calcul du gradient et du hessien, c'est instantanné.

un petit exemple ou quelques chose de plus détaillé me ferait le plus grand plaisir...

Merci par avance...

[Matthieu Brucher]

Tu as une fonction quadratique à plusieurs variables.
Par exemple f(x) = (x-2)² - ça marche avec plusieurs variables aussi, il y a pleins d'exemples sur Internet pour dériver une fonction par rapport à un vecteur ou une matrice, j'ai imprimé un de ces exemples pour mes calculs chez moi -.
Le gradient vaut f'(x) = 2(x-2).
Le hessien vaut f''(x) = 2.

On calcule la valeur en x0=0 par exemple.
f(x)=4
f'(x)=-4
f''(x)=2
On met à jour x = x0 - f'(x0) * 1/f''(x0) = 2
Et là
f(x) = 0
f'(x) = 0
f''(x) = 2

Avec une fonction quadratique, cet algorithme atteint le minimum en un seul coup.

[ToTo13]

Merci pour cet exemple.

Je teste demain cette méthode et on en reparle dessuite après.

[Matthieu Brucher]

En fait, on pourrait faire encore mieux en annulant directement le gradient, si c'est une fonction quadratique, c'est encore plus rapide.

[borisd]

Toto13, si tu y arrives, pourras-tu poster la fonction objectif quadratique ou comment tu l'as trouvée s'il-te-plait, je sèche vraiment et ça m'intéresse.
Merci d'avance.

[edit] je vois comment faire en posant des contraintes sur les variables, mais dans ce cas, les techniques idiquées par Miles ne sont plus valides telles qu'elles...

[Matthieu Brucher]

Toto13, si tu y arrives, pourras-tu poster la fonction objectif quadratique ou comment tu l'as trouvée s'il-te-plait, je sèche vraiment et ça m'intéresse.
Merci d'avance.

[edit] je vois comment faire en posant des contraintes sur les variables, mais dans ce cas, les techniques idiquées par Miles ne sont plus valides telles qu'elles...

S'il y a des contraintes, c'est sûr que la descente de Gauss Newton ne marche pas telle quelle

[ToTo13]

Bonjour,

j'ai un peu de mal avec les fonctions à plusieurs paramètres, aors prenons un exemple en 2D :

- Soit une image I (donc deux dimensions), contenant une forme F de N pixels et B = (Bx, By) son barycentre.

- On remplit la matrice d'inertie de la façon suivante :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
 
mX   mXY
mXY  mY

avec mX = Sigma(sur F, (x-Bx)²), mY = Sigma(sur F, (y-By)²) et mXY = Sigma(sur F, (x-Bx)(y-By)).

Questions :
- Sur mX et mY, j'arrive à faire les manipulations que tu m'avais donné, mais pas sur mXY, notamment le x=x0-f'/f".
- Une fois ces résultats obtenus, que fais je ???


Merci...

[borisd]

Après avoir vu le dernier post de Toto, j'ai retrouvé mes cours d'analyse des données de licence (c'était pas vraiment ma matière préférée, mais en fait c'est pas si inintéressant que ça )...
C'est peut-être ça qui me manquait pour comprendre : un plan d'inertie minimale respecterait-il par hasard la propriété qui est recherchée ? Je pense que ça marche si la somme des distances au carré des deux côtés du plan sont égales, mais si elles ne sont pas au carré, ça marche toujours ? Si c'est le cas, on pourrait calculer les deux premiers axes principaux comme pour une analyse en compsantes principales ?

[ToTo13]

Justement, c'est une analyse en composante principale....

[borisd]

C'est un résultat connu que la somme des distances des points des deux côtés du plan est égale ?

[ToTo13]

Disons plutôt que c'est la définition du plan principal...

[borisd]

Je connaissais pas ça
J'ai seulement utilisé ça pour projeter le nuage dessus, sans savoir même la définition !!

[ToTo13]

Miles....

est ce que tu pourrais m'aider sur l'exemple que j'ai marqué avant... sur l'image 2D...

Merci...

[Matthieu Brucher]

Je vais essayer d'y penser demain mais rappelle-le moi si j'oublie.

[ToTo13]

Merci....

[Matthieu Brucher]

Bonjour,

j'ai un peu de mal avec les fonctions à plusieurs paramètres, aors prenons un exemple en 2D :

- Soit une image I (donc deux dimensions), contenant une forme F de N pixels et B = (Bx, By) son barycentre.

- On remplit la matrice d'inertie de la façon suivante :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
 
mX   mXY
mXY  mY

avec mX = Sigma(sur F, (x-Bx)²), mY = Sigma(sur F, (y-By)²) et mXY = Sigma(sur F, (x-Bx)(y-By)).

Questions :
- Sur mX et mY, j'arrive à faire les manipulations que tu m'avais donné, mais pas sur mXY, notamment le x=x0-f'/f".
- Une fois ces résultats obtenus, que fais je ???


Merci...

C'est vrai qu'en y pensant, il y a plus simple dans le cas 2D. Pour obtenir le vecteur directeur de la droite principale - c'est la droite qui maximise la variance par définition -, il suffit de diagonaliser la matrice des correlation et de prendre le vecteur unitaire associé à la valeur propre la plus forte.
Sinon, si on prend une matrice N*2 des coordonnées des points, (a, b, c) l'équation de la droite D ax+by+c=0 qui est la droite que l'on recherche. Pour continuer, on ajoute une ligne de 1 à la matrice des coordonnées, de telle sorte que ce soit une matrice N*3. On en a besoin pour faire des calculs matriciels plus faciles. On appelle D le vecteur colonne des paramètres de la droite D et X la matrice des coordonnées.

Alors la matrice des projetés de la matrice des coordonnées sur la droite est P = (D'*X)*D / ||D||²
De là, on peut calculer le vecteur des points à la droite qui est donc (D-P). Ensuite, on utilise le vecteur perpendiculaire à la droite D qui peut être (a, b, 0) qu'on va appeler V. On peut prendre n'importe quel vecteur colinéaire à V.
On fait maintenant (V'*(D-P))*(V'*(D-P))' pour calculer la somme des carrés des produits scalaires entre les vecteurs à la droite et le vecteur. On pourrait simplement calculer le carré des normes des vecteurs (D-P), mais on perdrait le sens, ce qui n'est pas le cas ici.
En fait, j'ai l'impression que ce n'est pas quadratique, ce truc, donc on ne trouvera pas un minimum directement, d'autant que je pense qu'il peut y en avoir plusieurs, des minimas. Si ce n'est pas quadratique, il suffit de faire plusieurs itérations de Gauss Newton pour trouver un minimum. Le gradient s'obtient en dérivant la fonction par rapport à a, b et c -> un vecteur, et le hessien s'obtient en dérivant le gradient selon a, b et c, ce qui donne une matrice.

[ToTo13]

Bonjour,

merci pour ta réponse...

Mais j'ai rien compris.

[Matthieu Brucher]

zut