Discussion :

[touffa]

bonjour, j'ai un problème et j'ai besoin de votre aide. Mon projet de mastère est de réaliser un clavier virtuel commandé par les bouts des doigts qui fonctionne comme le clavier classique. j'ai réussi de détecter les bouts des doigts en utilisant opencv c++ et mnt j'ai besoin d'une solution comment activer les touches de clavier pour écrire sur n'importe quel document ouvert en utilisant la position des doigts sur le clavier virtuel (imprimé sur une feuille) en utilisant la webcam.
merci d'avance

[Neckara]

Pour simuler l'appuie sur une touche de clavier, c'est un bête programme de "détournement de clavier" dont on peut retrouver très facilement les sources sur internet.


Par contre, je n'ai pas tout à fait compris, avez-vous réussi en fonction de la position des doigts détecter s'il y a ou non l'appuie d'une touche et savoir quelle(s) touche(s) est(sont) concernée(s) ?

Avec une simple webcam, on obtient juste une image 2D et je vois mal comment, à partir d'une telle image on peut extrapoler un espace 3D (avoir 2 webcam serait plus simple).
Je serais curieux de voir la manière dont vous allez vous y prendre.

[touffa]

oui c'est vrai ce que tu dis, pour le moment j'ai travailler avec une simple webcam (2D) sans résoudre le problème 3D et le contact avec le clavier. je travaille étape par étape mais si tu as idée je serais très contente

[Neckara]

Si on connaissais précisément la position de chaque touches et la distance des doigts à la caméra on pourrait en déduire si les doigts appuient ou non sur le clavier?

Sinon, c'est un clavier virtuel, sommes-nous obligé de le considérer comme un clavier physique ?

Plutôt que de regarder si on appuie ou non par rapport à la position des doigts, on pourrait regarder un mouvement (un mouvement pour 'cliquer', un mouvement pour 'relacher' la touche) ? Dans ce cas là, si la caméra est bien placée, on a plus de soucis dû à la profondeur ?

[Kaamui]

Si on connaissais précisément la position de chaque touches et la distance des doigts à la caméra on pourrait en déduire si les doigts appuient ou non sur le clavier?

Sinon, c'est un clavier virtuel, sommes-nous obligé de le considérer comme un clavier physique ?

Plutôt que de regarder si on appuie ou non par rapport à la position des doigts, on pourrait regarder un mouvement (un mouvement pour 'cliquer', un mouvement pour 'relacher' la touche) ? Dans ce cas là, si la caméra est bien placée, on a plus de soucis dû à la profondeur ?

c'est a peu près ce qui est fait sur la Kinect : la main axée sur la lettre et un mouvement vers le haut permet d'obtenir cette même lettre dans le champ de texte