Problème avec HaarTraining (createsample)

Bonjour,
j'ai regardé les tutos "Haar-training" disponibles sur le forum, mais on parle peu de la préparation des données d'apprentissage.

Voila dans le cadre de mon stage, j'essaie d'entrainer une cascade pour la détection d'un certain type d'objet(Logo).
En terme de théorie je crois avoir pigé 'Grosso Modo" la méthode Viola Jones,
la je commence a coder et je cale déja :(!!!

Mon problème se situe au niveau de la création des fichiers ".vec", Pour cela je suis obligé de créer des fichiers ".DAT" qui regroupent les informations sur la cible ( centre x,y, hauteur et largeur), est ce que cela se fait a la main (genre se dire la cible est a peu prés la, et du coup on met des valeurs approximatives...) ?
ou plus tot utiliser un .exe qui fait ca automatiquement ? si c'est le cas merci de me le dire ;) !

Merci de votre aide ;) !!

Re ^^ ! Pas de réponses lol !!!
Mais je crois avoir trouvé une petite appli..qui me permet d'extraire ma cible et construire le fichier .txt Automatiquement ;) !

ah je viens juste de voir votre question, j'aurai pu t'aider car j'ai travaillé sur la même chose que toi : la detection de logo avec Haartrainning, et j'avais fait une petite appli qui génère automatiquement le fichier xml, tu la trouvera dans ce topic : http://www.developpez.net/forums/d10...s-fichier-xml/

Salut ^^, je vous remercie de votre réponse.

J'ai déja exploré cette piste la, et j'ai trouvé votre (HaarGererator) Pas mal du tout :ccool: !!

Juste une petite divergence, sur votre application, ca crée une base de données " Potitives" a partir d'une seule image "positive" en la la mettant aléatoirement (avec ou sans distorsion) dans des images" Negatives" pour ensuite créer le fichier d'apprentissage .vec !

Moi j'essaie de faire simple lol, créer une base de données positives qui contient plus de 1000 images avec differents background pour avoir le maximum de variation, donc en gros je génére pas de fichier postif artificiel.

Pour l'instant j'ai pas encore lançé le trainning, mais si vous, vous avez déja utlisé cette approche la, ca m'intérésse vraiment de voir vos résultats ;) !

Merci encore!

les images positives sont les images qui contiennent l'objet à trouver, mon approche, c'est de créer ces images automatiquement car faire 3000 ou 4000 images positives manuellement demande des jours de travail, donc pour optimiser cette tache, je génère les images positives en calquant l'objet dessus de façon aléatoire, les images générées ont des arrières plans différentes et sont différents des images négative, avec cette méthode je génère beaucoup d'images positives et donc l'apprentissage est meilleur, je m'en sert au boulot et la détection fonctionne très très bien, rarement quand y a de fausse détection.

c'est claire que travailler avec des vrais images positives serait meilleur, mais seulement si on cherche des objets 3d "images en perspectives, ...), mon approche est surtout pour les objets 2D (recherche de sigle sur une facture par exemple).

b courage

Oui Oui je comprends, moi aussi je travaille avec des sigles 2D, et enfait j'ai a ma disposition une camèra a haute résolution, et je compte faire des découpage en faisant une video de l'objet dans des milieu différents pour ensuite extraire les frames (a vrai dire c'est la camera qui fait ca automatiquement en le temps d'acquisition dès le départ) et du coup je veux bien exploiter ca!!

Je vais essayer ça, je vais voir ce que ça donne ;) !!
Dans le cas, ou j'aurais pas de bon résultats ( il me faut un taux de reconnaissance >95%) je vois pas une autre alternative que votre approche :ccool:

Encore un petit problème.

J'ai construit ma cascade (l'apprentissage a duré 24h pour donner 15 étages) !!
Pour convertir de " Cascade" en "XML" j'essaie avec convert_cascade mais l'application marche pas !(j'ai vérifié la présence des DLL adéquates, elles sont tous la )!!!

si y'a quelqu'un qui connait une autre manière de faire cette conversion ;) !!

Merci

Bonjour,
Normalement, la commande haartrainning génère les cascade et le xml aussi, pas besoin d'une autre commande, c'est quoi la ligne de commande que tu utilises?

Salut ehkhalid !

j'ai utilisé la commande " haartraining.exe " enfin un exe en mode commande ! J'ai réussi a convertir ma cascade en XML ! j'ai tésté et la....ca me rend dingue aucun objet reconnu ! j'ai testé meme sur les images que j'ai utilisé en apprentissage !la encore rien ! j'en deduit que le problème est dans l'apprenti!!

enfait mon fichier XML est de taille de 39Ko ! alors que ceux d'intel sont de l'ordre de 500Ko !! j'ai aucune idée sur la taille de ces fichiers mais ca me parait un peu louche !

J'ai utilisé 1552 positives, et 2004 (tout en utlisant ton approche finalement ;), ) j'ai indiqué 20 étages pour le training mais, le taux de fausses alames a été satisfait au bout de 15 étages !!!

y'a forcèment un problème mais je sais pas de quel ordre :) ? si t'as une idée, merci de me répondre!

39ko c vrai que c'est petit, le mien fait 109 ko (j'avais 2000 positives je pene), je pense qu'il faut vérifier déja la partie détection, pour être sur qu'elle marche(en essayant un xm intel o autre), si c'est bon coté détection, alors c'est l'apprentissage qui pose problème, et là il faut vérifier les images positives surtout, et tester le .vec générer avant de lancer le haartrainning, si le .vec est bon alors c'est du coté haartrainning, j'ai remarqué un truc quand je travaillais sur le sujet, c'est que si tu donnes les cordonnées exactes de l'objet pendant l'apprentissage, il s’arrête très vite, mais si t'ajoute quelques pixels autour de l'objet là, ca continue et ca atteint souvent les 20 stage, l'idée est d'ajouter quelques pixels aux coordonnées que tu mets dans le fichier d'apprentissage (ajout de 4 ou 5 pixel par exemple).

Oui, j'ai passé 1 journée a marquer les photos ! vu que mon logo est de differentes formes je pouvais pas utliser ton appli pour construire mon fichier.Dat ! sachant que ton appli retourne un .Dat au meme temps que le génération des positives artificielles avec une "seule image postive (qui est l'objet a tracker contrairement a moi j'ai plusieurs formes de l'objet ) sauf si y'a un moyen de concaténer les résultats a la fin ? !

Si non je comprends pas l'idée d'ajouter des pixels pour tous les marquages ?( lol c'est vrai que ca va le faire travailler un peu plus mais bon ^^) euh juste un truck moi je crois que j'ai marqué 2 ou 3 fois en dehors de l'objectif (carréement raté) mais je me dis 3 faux marquages contre 1000 bon marquages ca devrait pas poser problème a mon avis ?t'en pense quoi ?

Juste un truc !

Comment tu fais pour vérifier le fichier .vec (vu que j'ai testé les XML intel pour le visage et yeux,ça marche impec!) ?????

Bonjour,
ca tombe bien , car vendredi j'ai modifié l'application HaarGenerator pour pouvoir utiliser non pas un fichier objet mais plusieurs (cette fois ci on spécifie un répertoire qui contient plusieurs images de l'objet), là je suis entrain de la tester et si ça marche bien je mettrai la version modifiée en ligne.

Sinon pour l'histoire des pixels, c'est une astuce que j'utilisais car dans mon cas j'avais une seul image pour l'objet, et donc l’apprentissage s’arrêtait au bout de 4 ou 5 stage avec un taux de détection catastrophique, du coup je procédais comme ça pour pour le pousser à aller jusqu’au 20ème stage, c'est vrai que dans ton cas ce n'est pas forcement utile, mais dans le cas où tes images objets se ressemblent beaucoup, ça peut t'aider a aller au 20ème stage de l'apprentissage.

pour tester le .vec, tu lances la commande
createsamples.exe -vec ton_fichier_vec.vec -w 20 -h 20

t'auras une petite fenêtre qui représente l'objet extrait en fonction des coordonnées.

Merci pour ta réponse ehkhalid !

la j'ai fais un choix de faire un seul logo ( en prenant la forme la plus globale) donc je pourrais utliser ton application, j'ai vérifié la largeur et la longueur de de mon image objectif (target) ils sont respectivement 390 40 ce qui donne un rapport de 9.1 donc la fenetre -20 -20 n'est plus valable a mon avis ?(enfin logiquement lol)

donc je pourrais l'adapter avec - 180 - 20 ?

enfait me suis trompé ton appli fait pas de distosion ni en forme ni en échelle, meme avec ca t'arrive a détectet des logos ( dans notre cas) qui change d'echelle ( exemple : un flux de webcam en changement le placement de l'objectif ?) ca me parait un peu complexe ! en lisant Viola Jones, a aucun moment ils ont parlé de descripteurs invariant en échelle ?
vu que intégrale Image est juste invariant en temps de calcul mais en échelle... ?

l'algo est invariant au changement mais pas en natif, je veux dire que ce n'est pas comme Surf ou Sift par exemple qui travail sur des descripteurs de points d'interet et donc peut importe la taille de l'image , les descripteurs sont les même, or pour le haartrainning, c'est le processus du traitement qui va chercher l'objet sur plusieurs échelles de l'image, donc cherche l'objet sur l'image, si pas trouvé, redimensionne l'image et cherche encore, et donc ça permet de trouver l'objet même si l'image est plus ou moins grande. dans mon cas je fais l'apprentissage avec la taille réelle de l'objet, mais au niveau production, vu que je travaille avec des images numérisées en 200 ou 300 dpi, le temps de traitement est important, du coup je divise la taille de l'image par 4 (en passant a 50 dpi) et là je m'en sors avec 800 ms par page, et la reconnaissance est bonne, mais si je réduit la taille d'image encore plus , alors rien n'est détectés.

oui tu optimises le temps de calculs ^^ ! Faut pas oublier qu'on travaille en " temps réel " bref!

a vrai dire je te suits pas trop sur le " Chnagement d'échelle "? je sais que la détection en cascade ajuste une fenetre de recherche a chaque itération ( avec un pas constant) donc si il arrive a trouver l'objet a la fenetre i et ensuite il le retrouvera a une autre fenetre i+& ca veut dire que les valeurs codés (descripteurs sont les memes ou du moins y'a une forte corrélation...) d'ou l'invariance a l'échelle, je me trompe ?

:mouarf: Revenons a nos moutons, la j'ai généré mon .vec ( avec une seule image Target) avec 2300 images, je lance le monstre ce soir lol !

Tout a fait c'est bien ce que tu dis, sauf que la taille de la fenêtre change pour pouvoir détecter les objets plus grand ou plus petits, c'est vrai qu'en relisant ce que j'ai écrit ca ressemble a rien hh :aie:.

dans mon programme j'utilise la commande haartrainning pour générer le xml, l’inconvénient c'est que c'est une instruction mono-thread, et il faut compter 2 j de traitement plus ou moins, j'ai vu qu'il y a aussi la commande "traincascade" qui est multicore, et donc permet d'avoir le xml en quelques heures, j'essaierai de l'utiliser dans mes prochains apprentissage.

Comment tu comptes utiliser la détection ? dans un programme c/c++ ou autre?

Bonjour ^^ !

enfait je travaille sur Visual-Studio, donc ma détection se fera en C++, lol, hier j'ai lancé le haarTraining hier vers 18h !! et la je vérifie a l'instant 9h ( 15h de processing et je vois qu'il a construit d'un seul étage ? ) j'ai réservé une mémoire vive de 512, mais en voyant touy les tutos les temps varient de quelque heure jusqu'a 2 jours ! mais pour a moi apparament c'est parti pour plusieurs jours :? . et ca me pose vraiment problème ! avec un fichier .vec de taille 16M.peut etre qu'il est un peut trop grand ?

pour toi la construction du fichier XML a duré combien de temps ?

Bonjour,
Mon premier fichier a duré 3 ou 4 jours, j’étais obligé d'avoir une machine dédiée pour ce traitement, comme je disais dans mon précédent post, il y a l'instruction "traincascade" qui d'après la documentation opencv est plus rapide (utilise tous les cœurs du processeur) mais je ne l'ai pas encore testé.

Concernant le langage de programmation, c’était juste pour soulever un problème de stabilité que j'ai rencontré (c'etait opencv 2.1), et la cause était l'utilisation des dll opencv (cv210.dll, highgui210.dll,...), sur des gros volumes j'avais parfois des crashes de ces dll, donc j'ai fini par compiler une dll qui embarques seulement le code nécessaire au fonctionnement du haartrainning, du coup j'avais plus besoin d'avoir les dll opencv, et j'avais donc mon programme en delphi qui appel cette dll, et ca fait maintenant 2 ans que c'est utilisé et 0 crash :mrgreen:.

Lol daccord ! et t'as utilisé une mémoire vive de combien pour avoir 4 jours ?

Enfait si j'arrète le process ( avec un " Ctrl-c") pour changer la mémoire que j'utilise, et je relance l'instruction, Normalement il va reprendre le stage ou il s'est arrèté non ? enfin je crois que oui ! mais je me pose juste la question par rapport a la manière d'arreter le process ?

512 de ram

Bonjour,
pour info, J'ai enfin réussi à faire fonctionner l'instruction traincascade en mode multithreadé, ça accélère vachement le traitement, j'ai lancé un apprentissage y a 30 minutes et il est déjà au 7ème stage, je mettrai à jour l'application HaarGenerator une fois les tests terminés.

Salut ^^ !

Moi je suis sur une machine puissante, donc j'en profite :) !
j'ai lancé deux apprentissages " avec des vec sans distorsions " et un autre sans, le premier est au 5ème (j'ai fais un calcul approximative, temps-mis-par-étage*nbre-etage = 6 jours ) pour le deuxième il est un peu plus rapide ;)!

j'attends les résultats !

Au passage, ehkhalid t'as déja essayé avec Camshift ??

machine puissante donc processeur multicoeurs cool, donc si tu passes par le train_cascade a la place du haartrainning tu divisera le temps de traitement par 4 théoriquement (avec un quad core), et donc tu passes de 6j à 1j et demi ^^.

je l'ai essayé mais dans un autre projet pour le tracking dans une video, mais pas pour détecter des objets dans une image, j'ai testé par contre Surf et Sift, ça n'a pas bien marché car l'objet que je cherche est très simple comme forme, et donc y a très peu de points d’intérêt et donc génère beaucoup de fausse détection.

Salut elKhalid !

Sérieux j'arrive pas a faire le lien " pratique-théorie" :

je m'explique, j'ai arrété un de mes apprentissage au 3ème étage ! donc a priori ils sont les plus descriminant mais quand je teste, j'obtients un taux minable de 0% ? je comprends plus rien !!

Re ! Ehkhalid je reviens a toi, mon apprentissage s'arrète toujours au bout de quelques étages... et ca me donne souvent un taux de reconnaissance merdique !

alors j'ai pensé a l'astuce que tu m'avais dit l'autre fois d'ajouter quelques pixels dans le fichier de description, et j'aimerais savoir si t'as fait les modifications sur tout le fichier ou juste quelques lignes ?

Bonjour Khalid,

Merci pour tous ces efforts.
Dans l'un de tes messages t'as dis que t'as généré une autre version de HaarGeneratot qui prend pas un fichier objet mais plusieurs, j'aimerai bien si tu peux le mettre en ligne. Merci d'avance Khalid.

Bonjour,
Désolé pour la réponse tardive :(, moi je l'appliquais sur toutes les images, mais je t'avoue qu'on a toujours des surprises avec le Haartrainning, on est jamais sûre que l'apprentissage va fonctionner correctement, comme tu disais le lien entre Théorie / Pratique est loin d'être évident !!!.

Citation:

---

Envoyé par Grimmjoww

Re ! Ehkhalid je reviens a toi, mon apprentissage s'arrète toujours au bout de quelques étages... et ca me donne souvent un taux de reconnaissance merdique !

alors j'ai pensé a l'astuce que tu m'avais dit l'autre fois d'ajouter quelques pixels dans le fichier de description, et j'aimerais savoir si t'as fait les modifications sur tout le fichier ou juste quelques lignes ?

---

Bonjour,
Je viens de le mettre en ligne, tu peux le télécharger sur cette adresse : http://www.herosh.com/download/10938...rator.rar.html

Dans cette version , j'ai ajouté donc la possibilité d'utiliser plusieurs images pour l'objet, j'ai aussi ajouté un mode multithreadé, qui en l'activant permet d'utiliser tous les cœurs du processeur pour accélérer le traitement, il est en version beta, si vous avez des erreurs système avec ce mode, passer en mode monothreadé. (par defaut la mode multithreadé est desactivé, il suffit de cocher la cache "multithreadé" pour l'activer).


Cordialement.

Citation:

---

Envoyé par zied_zied

Bonjour Khalid,

Merci pour tous ces efforts.
Dans l'un de tes messages t'as dis que t'as généré une autre version de HaarGeneratot qui prend pas un fichier objet mais plusieurs, j'aimerai bien si tu peux le mettre en ligne. Merci d'avance Khalid.

---

Merci beaucoup elKhalid, je vais tester ca!!
Merci Merci :)

Bonjour Khalid,

Je viens de tester le soft, j'ai mis presque 80 images négatives, ainsi que 100 images positives, 8 objets.
J'ai lancé le soft :
Process images, create, build xml file, (j'ai pas fait show car il va prendre beaucoup de temps pour les fermés manuellement)
j'ai mis 20 nombres d'étages, mais il s’arrête directement avec ce réponse :

Number of features used : 125199

Parent node: NULL

*** 1 cluster ***
POS: 92 92 1.000000
Invalid background description file

Bonjour,
Les images positives tu les as généré bien avec le Soft?, tu peux m'envoyer stp les fichiers Negatives.dat et Positives.dat qui se trouve dans le répertoire Tools, à priori d'après le message d'erreur c'est que les fichiers de description sont mal formatés

voilà, je viens de t'envoyer ca par mail.
mais me parait que les fichiers .dat sont bonnes.

Citation:

---

Envoyé par ehkhalid

Bonjour,
Je viens de le mettre en ligne, tu peux le télécharger sur cette adresse : http://www.herosh.com/download/10938...rator.rar.html

Dans cette version , j'ai ajouté donc la possibilité d'utiliser plusieurs images pour l'objet, j'ai aussi ajouté un mode multithreadé, qui en l'activant permet d'utiliser tous les cœurs du processeur pour accélérer le traitement, il est en version beta, si vous avez des erreurs système avec ce mode, passer en mode monothreadé. (par defaut la mode multithreadé est desactivé, il suffit de cocher la cache "multithreadé" pour l'activer).


Cordialement.

---

bonsoir
j ' essayer de construire une fichier xml pour détecter des objets en 2roues comme bike mais il est très lent votre application se bloque a l'étage 3 svp est que tu peut m'aider c'est très urgent en plus votre application pour ce lien "not found" pourquoi? est que tu peut le ré-publier?