IHM réalité augmentée

Bonjour à tous,

Je suis à la recherche de solutions pour coder une IHM (surtout une façon de naviguer) pour des lunettes connectés.

En effet, je bosse dans une entreprise qui développe du soft pour ce genre de device et nous aimerions mettre en place une navigation main libre uniquement basé sur le déplacement de la tête.
Mes lunettes sont équipé d'un accéléromètre et d'un gyroscope.

Le principe de fonctionnement est le suivant, je filme la scène à l'aide de la caméra embarqué que je projette sur une SurfaceView qui sert d'arrière plan à mon menu.

Je pensais créer un genre de "calque" transparent qui contient mes boutons de fonctionnalités. Ce calque apparaîtrait lors de l'appui sur un bouton dédié du trackpad de mes lunettes. Un second bouton me permettrait de faire apparaître un curseur central au milieu de l'écran et une fois apparu je pourrais le déplacer à l'aide des divers sensors pour aller sélectionner les boutons fonctions qui eux seront fixe.

1ere question : Pensez vous que ce soit une bonne idée .? Robuste, etc..?
2eme question : J'ai déjà le code pour l'arrière plan et le calque de bouton mais je sèche un peu pour le curseur, je pense pas qu'android soit fait pour développer ce genre de fonction du coup auriez vous des idées, bout de code qui me permettrait de simuler un curseur ?

NB : je travaille sous Android Studio et mes lunettes tournent sous Android 4.0


Un grand merci, de m'avoir lu et un autre merci pour vos possibles réponses,

Bonne journée, codez bien !