Discussion :

[MohEllayali]

Bonjour,

je suis en train de lire la publication de Lowe et j'ai quelques points obscurs, si quelqu'un pouvait les éclaircir :

On utilise des différences de convolués avec des Gaussiennes pour extraire des minima, maxima selon x, y et sigma ... mais d'un autre coté il parle d'octave, et de re-échantillonnage (re-échantilllonné c'est faire un zoom arrière ?? ) avec une interpolation bilinéaire,... mais je vois pas l'intéret ... en gros je m'embrouille entre la convolution avec des gaussiennes à différentes échelles (sigma croissant) et le zoom arrière arrièr , je ne vois pas le lien.

Apres néttoyage des outliers, ça j'ai compris.

Après il crée un histogramme ( si j'ai bien compris, pour assigner une orientation à chaque keypoint), donc si j 'ai bien compris, pour chaque keypoint, il met un masque gaussien, ( mais il dit pas de quelle largeur ), en chaque point de ce voisinage, il calcule l'orientation du gradient, cette orientation a un poid qui est fonction de l'amplitude du gradient et du masque ( mais il dit pas comment on calcule cette fonction), après il prend pour orientation le pique de l'histogramme.


ensuite il prends un descripteur de 128 composantes, mais j'ai pas compris ce que représente chaque composantes (4*4*8)

Merci de votre d'avance

[pseudocode]

A quel document et à quelle page/ligne fais-tu allusion ?

celui la --> http://citeseer.ist.psu.edu/viewdoc/...10.1.1.14.4931 ?

[paradize3]

Bonjour,

je suis en train de lire la publication de Lowe et j'ai quelques points obscurs, si quelqu'un pouvait les éclaircir :

On utilise des différences de convolués avec des Gaussiennes pour extraire des minima, maxima selon x, y et sigma ... mais d'un autre coté il parle d'octave, et de re-échantillonnage (re-échantilllonné c'est faire un zoom arrière ?? ) avec une interpolation bilinéaire,... mais je vois pas l'intéret ... en gros je m'embrouille entre la convolution avec des gaussiennes à différentes échelles (sigma croissant) et le zoom arrière arrièr , je ne vois pas le lien.

Le but c'est de détecter les points d'intérêts a différentes échelles. Intuitivement tu peux voir qu'un flou gaussien te permet d'éliminer les 'petites' features, tout en conservant les grandes (donc 'dezoomer' lorsque sigma augmente). Un résultat grosso-modo similaire pourrait être achevé en redimensionnant l'image avec une interpolation - mais cela serait moins efficace. Par contre des que l'octave est atteinte il suffit (en gros) de considérer un pixel sur deux de l'image originale! (en resume: pour dezoomer d'un facteur 1 < s < 2 (chaque estape est appelle scale), il utilise un flou gaussien, lorsque s = 2 (octave) il ne considere qu'un pixel sur deux, etc.).

Apres cette étape, chaque point d'intérêt a une position et un 'scale' s.

Apres néttoyage des outliers, ça j'ai compris.

Après il crée un histogramme ( si j'ai bien compris, pour assigner une orientation à chaque keypoint)

absolument, c'est l'étape cruciale qui permet de rendre le descripteur invariant aux rotations.

, donc si j 'ai bien compris, pour chaque
keypoint, il met un masque gaussien, ( mais il dit pas de quelle largeur ),

sigma proportionnel a s (de combien doit être indique dans le papier non?...)

en chaque point de ce voisinage, il calcule l'orientation du gradient, cette orientation a un poids qui est fonction de l'amplitude du gradient et du masque ( mais il dit pas comment on calcule cette fonction),

sigma proportionnel a s?

après il prend pour orientation le pique de l'histogramme.

ensuite il prends un descripteur de 128 composantes, mais j'ai pas compris ce que représente chaque composantes (4*4*8)

Ces composantes représentent le voisinage du point d'intérêt. Plus precisemment c'est l'ensemble des histogrammes d'orientation du voisinage de ton point d'intérêt. Chaque histogramme étant sur 8 composants, et puisque le voisinage est divise en 4x4 régions, ça te donne 8x4x4 = 128 composantes.

[MohEllayali]

Bonjour, Merci pour vos réponses, j'y vois plus claire

Le papier se trouve ici :

http://www.cs.ubc.ca/~lowe/papers/ijcv04.pdf

Le but c'est de détecter les points d'intérêts a différentes échelles. Intuitivement tu peux voir qu'un flou gaussien te permet d'éliminer les 'petites' features, tout en conservant les grandes (donc 'dezoomer' lorsque sigma augmente). Un résultat grosso-modo similaire pourrait être achevé en redimensionnant l'image avec une interpolation - mais cela serait moins efficace. Par contre des que l'octave est atteinte il suffit (en gros) de considérer un pixel sur deux de l'image originale! (en resume: pour dezoomer d'un facteur 1 < s < 2 (chaque estape est appelle scale), il utilise un flou gaussien, lorsque s = 2 (octave) il ne considere qu'un pixel sur deux, etc.).

Apres cette étape, chaque point d'intérêt a une position et un 'scale' s.

Merci, maintenant , je vois la démarche , en effet , il floue l'image

http://pegasus.cc.ucf.edu/~ja709267/...e construction

et une fois le sigma atteint 2 fois sa valeur initiale ( ici c'est le troisème carrée à partir du dessous) , il crée un nouvel octave en ré-échantillonant ( en prenant un pixel sur 2) l'image, mais ma question est quand il explore la pyramide il extrait les maxima / minima uniquement du 1er octave (auquel cas à quoi servirait un 2ème octave) , ou bien ils entasse tout les octaves les uns sur les autres, en cherchant le maxima . Mais dans ce cas là, comment fait-il ? puisque les images n'ont pas la même taille d'un octave à un autre ?

sigma proportionnel a s (de combien doit être indique dans le papier non?...)

Oui, en effet désolé

Ces composantes représentent le voisinage du point d'intérêt. Plus precisemment c'est l'ensemble des histogrammes d'orientation du voisinage de ton point d'intérêt. Chaque histogramme étant sur 8 composants, et puisque le voisinage est divise en 4x4 régions, ça te donne 8x4x4 = 128 composantes.

Tout à fait , mais ce qui me parrait bizzare , c'est la dimension paire de la fenêtre :
http://pegasus.cc.ucf.edu/~ja709267/...,19,Descriptor

le plus logique , pour que la fenêtre soit symétrique c'est qu'il soit impaires, autant de pixel à droite qu'à gauche

[paradize3]

et une fois le sigma atteint 2 fois sa valeur initiale ( ici c'est le troisème carrée à partir du dessous) , il crée un nouvel octave en ré-échantillonant ( en prenant un pixel sur 2) l'image, mais ma question est quand il explore la pyramide il extrait les maxima / minima uniquement du 1er octave (auquel cas à quoi servirait un 2ème octave) , ou bien ils entasse tout les octaves les uns sur les autres, en cherchant le maxima . Mais dans ce cas là, comment fait-il ? puisque les images n'ont pas la même taille d'un octave à un autre ?

Chaque octave est divise en N scales (disons N=5 par exemple). Dans un certain octave, pour chercher un point d'interets, tu prends 3 scales consécutifs et pour chaque pixel tu testes s'il est un extrema, si oui -> possible point d'interet.

La méthode s'applique a tous les octaves... Et je ne pense pas qu'il considère les maximas entre le dernier scale d'un octave avec le premier de l'octave suivant.

Tout à fait , mais ce qui me parrait bizzare , c'est la dimension paire de la fenêtre :
http://pegasus.cc.ucf.edu/~ja709267/...,19,Descriptor

le plus logique , pour que la fenêtre soit symétrique c'est qu'il soit impaires, autant de pixel à droite qu'à gauche

Premièrement, n'oublie pas qu'un point d'intérêt a une précision plus précise qu'un pixel. Théoriquement je ne pense pas qu'il y ait a pas de raison pour que ta fenêtre soit alignée sur un pixel, on pourrait s'en sortir avec des interpolations. Dans la pratique je pense que la fenêtre est suffisamment grande pour que ça ne cause pas de problème de l'aligner sur le pixel le plus proche du point d'intérêt (la description du point d'intérêt ne sera peut-être 'exacte', mais la localisation calculée précédemment l'est, c'est l'important).

Salutations,

Greg

[MohEllayali]

Merci beaucoup Greg, tout est claire pour moi maintenant

Salutation ,

[yoannbred]

Bonjour,
Je voudrais juste savoir si l'on est obligé de parcourir plusieurs octaves pour traiter les images ou si une seule suffit.
Si on doit en parcourir plusieurs, pourriez vous m'expliquer pourquoi? combien faut-il en parcourir? comment mettre les données en commun?
Merci d'avance pour toutes les réponses.

J'ai oublié de demander une petite chose en plus.
Si je considère k=racine(2), j'aurais s=2 donc s+3=5 images par octave. Si j'ai bien compris les octaves sont divisées en parties égales.
Ainsi si je prend sigma=1 et que comme le dit Lowe l'avant dernière image de l'octave à un sigma doublée (ici 2) alors j'aurais dans l'ordre des images avec comme indice:
2,5sigma
2sigma
1,5sigma
1sigma
0,5sigma

Merci pour les réponses...

[MohEllayali]

salut,

d'après ce que j'ai compris, plus t'as d'octave , plus t'as de features, dans la publication de Lowe, il donne un nombre optimal d'octave, mais t'es pas obligé d'utiliser le même

[yoannbred]

Merci pour ta réponse, je commencais à desepérer!

Je n'ai pas trouvé ce nombre d'octaves dans l'article de Lowe, mais après avoir surfé sur le vague du Web, j'ai compris comment marche les principes dit de "pyramide".

En ce qui concerne les valeurs de sigma, il faut commencer à une valeur jusqu'à obtenir le double. Une fois cette valeur atteinte, on "divise" l'image pas deux et on commence une nouvelle octave en reprenant la valeur initiale de sigma.

J'ai pas mal avancé dans mon code, malgrès plusieurs points obscurs, les résultats pour le moment semblent satisfaisant.

Cependant si quelqu'un à compris l'utilisation de l'expansion de Taylor et comment implémenter cette formule, je suis preneur car je m'embrouille l'esprit et j'avoue avoir des difficultés à la comprendre.

Bon j'ajoute des questions au fur et à mesure au cas ou un bonne âme passerait par là!

Pour la création des DOG, je pense qu'il faut faire la différence et ne pas prendre la valeur absolue.

Après pour la détection des extremas, je compare chaque pixel avec ses 28 voisins (8 sur le même DOG et 9 sur chacun des 2 autres DOG). Est ce que je dois faire ma comparaison en strictement positif ou strictement négatif?

Up! Bon pour ceux que sa intéresse, j'ai pas mal de réponses à mes questions et j'ai bien avancé sur l'algo SIFT, si sa peut en aider quelques uns.

See you soon!

[ArgusAzure]

Apparement SIFT ne passionne pas!

Si si, je trouve ça très intéressant

[PRomu@ld]

Bon pour ceux que sa intéresse, j'ai pas mal de réponses à mes questions et j'ai bien avancé sur l'algo SIFT, si sa peut en aider quelques uns.

Et bien tu peux nous faire une petite contribution ?

[yoannbred]

Bien sur! Pose ta question et si je le peux, je serai ravi de pouvoir y répondre.

[ArgusAzure]

Cependant si quelqu'un à compris l'utilisation de l'expansion de Taylor et comment implémenter cette formule, je suis preneur car je m'embrouille l'esprit et j'avoue avoir des difficultés à la comprendre.

Je n'ai pas trop compris non plus, mais il doit y avoir moyen de faire plus simple pour un résultat similaire.

Pour la création des DOG, je pense qu'il faut faire la différence et ne pas prendre la valeur absolue.

Je pense aussi

Après pour la détection des extremas, je compare chaque pixel avec ses 28 voisins (8 sur le même DOG et 9 sur chacun des 2 autres DOG). Est ce que je dois faire ma comparaison en strictement positif ou strictement négatif?

Ben je dirais les 2. Tu gardes le keypoint si c'est le maximum ou minimum le tous ses voisins.

[yoannbred]

Citation:
Envoyé par yoannbred Voir le message
Pour la création des DOG, je pense qu'il faut faire la différence et ne pas prendre la valeur absolue.

Je pense aussi

C'est sur!

Citation:
Envoyé par yoannbred Voir le message
Après pour la détection des extremas, je compare chaque pixel avec ses 28 voisins (8 sur le même DOG et 9 sur chacun des 2 autres DOG). Est ce que je dois faire ma comparaison en strictement positif ou strictement négatif?

Ben je dirais les 2. Tu gardes le keypoint si c'est le maximum ou minimum le tous ses voisins.

Ma question portait sur le strictement. Et la réponse est non!
Il suffit que le point ait une valeur maximum ou minimum avec celle de ses voisins, même si d'autres points ont la même valeur.

Citation:
Envoyé par yoannbred Voir le message
Cependant si quelqu'un à compris l'utilisation de l'expansion de Taylor et comment implémenter cette formule, je suis preneur car je m'embrouille l'esprit et j'avoue avoir des difficultés à la comprendre.

Je n'ai pas trop compris non plus, mais il doit y avoir moyen de faire plus simple pour un résultat similaire.

En définitif, ce n'est pas très compliqué. Ni pour le calcul de l'offset, ni pour le contraste, ni pour les réponses de bord. Il suffit de calculer la matrice suivante:
| Dxx Dxy Dxs |
| Dxy Dyy Dys |
| Dxs Dys Dss |

Le x la coordonnée horizontale, le y la verticale et le s correspondant à l'échelle ou au scale.

Pour les calculs exacts, je peux toujours vous les donner si vous voulez.

Moi ce qui me chagrine vraiment c'est de savoir comment j'applique les sigmas celon les échelles.

Pour moi on a vraiment par octave:
k^0*sigma
k^1*sigma
...
k^n*sigma

soit n le nombre d'échelle -1 par octave.

Et si je suis le résonnement mathématique de Lowe, j'atteinds ma valeur 2*sigma pour k^(n-2)*sigma.
Donc pour moi, il faut prendre cette image floutée et la diviser par deux pour obtenir l'image de base de l'octave suivante.
Un autre point obscur reste à savoir si à cette nouvelle image obtenue, on doit appliquer encore un sigma (k^0*sigma pour la base de l'octave).

Voila si quelqu'un peut m'aider... !!!!

Au fait pour le nombre d'octaves il faut le définir en fonction des dimensions de l'image et du filtre gaussien que l'on applique.

[ArgusAzure]

Ma question portait sur le strictement. Et la réponse est non!
Il suffit que le point ait une valeur maximum ou minimum avec celle de ses voisins, même si d'autres points ont la même valeur.

Pour le strictement ou non, peut importe, cela n'a pas d'importance. J'aurais même tendance à être plus strict en ne gardant un keypoint que si c'est un maximum (ou mininum) et avec assez de différence avec le second maximum (ou minimum) atteint par un de ses voisins. Quant on est en limite de seuil, on a de l'instabilité. Si tu mets des non stricts, il suffit d'un chouilla de bruit pour que ton keypoint ne soit pas retenu car un de ses voisins aura grimpé (ou descendu) de 1. Si tu mets une petite marge (du style, je ne garde un keypoint que s'il a un maximum supérieur à 110% du second maximum) certes tu auras moins de keypoints, mais ils seront plus robustes.

[yoannbred]

Bon alors j'ai compris, un point peu être égal à un ou deux autres points (keypoint possible) ou à plusieurs points (région plane, pas de variation d'intensité). Ce qu'il faut donc faire, c'est dans un premier temps, considéré ce point comme un candidat puis le virer lors des tests de contraste si on se trouve dans le second cas.

[PRomu@ld]

Je fais les tests et je te dis sa dans 20 minutes

Juste pour info tu as une implémentation simple ?

[yoannbred]

J'ai une implémentation, mais je bosse pour une entreprise sur cette algo... donc je ne peux pas divulguer mon code. Cependant je peux divulguer mon algo ... Normal c'est celui de Lowe !

[PRomu@ld]

Normal c'est celui de Lowe !

Oui, c'est évident.

Sinon, c'est pas grave pour l'implémentation. Sinon comme ça à titre d'information, ça prend combien de temps pour l'implémenter (à une époque ça m'a intéressé et ça pourrait me reprendre un de ces quatre)

[ArgusAzure]

"The University of British Columbia has applied for a patent on the SIFT algorithm in the United States. Commercial applications of this software may require a license from the University of British Columbia. "
C'est possible au usa de déposer un brevet sur un algo publié dans la presse scientifique? C'est impossible en france en tout cas.
Y aurait-il des choses qu'on nous aurait pas dit ?