Faire un module de Motion Capture

Salut
Je savais pas si je devais poster ça ici ou dans traitement d'image ou encore même algorithme.
J'expose le but de mon application je veux à partir d'un (1 seul) flux vidéo venant d'une WebCam et d'un squelette de base avec plein de contrainte (angle max et min sur les coudes, ...) récupérer les mouvements d'une personne bougeant devant la caméra. Avec plein de balle de ping pong sur les articulations rempli de bande réfléchissantes et je fais un rétro-éclairage derrière la Cam. J'ai essayé les exemples fourni avec mais le tracking passe du visage à la balle de ping pong et des fois ça change de balle.
Et bien le problème est que je veux récupérer les positions 2D (X, Y) du capteur 1, 2, ..., N.
Ca peut sembler trivial pour les experts de OpenCV mais pas pour moi. Pour l'instant dans OpenCV j'arrive à récupérer le flux vidéo de ma WebCam lol.
Merci pour toute les aides.

Je vois que le message ne passionne pas alors je vais essayé de préciser la question.
Comment faire une tracking colorimétrique d'un flux Vidéo d'un WebCam avec plusieurs objet à tracker. J'ai réussi en regardant l'exemple fourni avec OpenCV mais ça marche juste avec un seul objet.
Les miens sont en l'occurrence orange.

Au passage si quelqu'un à un exemple pour soustraire le l'arrière plan ça m'aiderais bien. Je m'explique j'ai une caméra fixe. Je voudrais virer tout le monde de "plateau de tournage" dire à OpenCV ceci est mon arrière plan il prend ça en considération et il effacera l'arrière plan et quand quelque chose bougera on verra juste ce qui est mobile. J'espère avoir été assez clair.

Merci