Récupérer composants d'une GUI

Bonjour à tous,

je voudrais savoir s'il était possible depuis une application, récupérer des informations sur les composants de la GUI d'une autre application.

En clair si je lance une application X (comme firefox), est-ce que je pourrais récupérer la position de chacun des boutons qui y sont présents depuis mon programme Y (l'onglet firefox, les boutons de réduction, agrandissement, fermeture et tous les autres..) sachant que Y éventuellement ne fait que lancer X.

Merci beaucoup, je ne trouve pas réponse à ma question sur google, mais j'ai peut-être les mauvais mot-clés.

jav974

Dans cette réponse, j'assume que tu programmes sous Win32.
Comme souvent en informatique, la réponse est "ça dépend".

Si ton application utilises des contrôles systèmes, alors le système de fenêtres a connaissance de la position de chaque "widget", et il maintient ça dans un arbre. Il existe plusieurs fonctions Win32 qui te permettent de te balader dans cet arbre, notamment GetNextWindow() et FindWindow(). Chaque fois que tu obtiens un handle vers une fenêtre, tu peux par exemple connaitre sa position en appelant GetWindowRect().

Toutefois, de nombreuses applications n'utilisent pas le système pour dessiner leurs controles. C'est notamment le cas des applications GTK, et, à ma connaissance, des applications Qt (mais je n'ai pas vérifié). Je serais pas étonné que FireFox fasse aussi partie des applications qui dessinent elles même leurs boutons. Dans cette situation, il n'y a pas de solution miracle : le système n'est pas au courant qu'une certaine fenêtre contient un bouton. Il faudra trouver une autre solution.

Il existe un outil génial nommé Spy++ (qui à ma connaissance est fourni avec le PlatformSDK) qui te permet d'examiner l'arborescence des fenêtres. Cet outil n'est pas magique : ce qu'il fait, tu peux le faire aussi dans une de tes applications.

J'ai connu un projet de recherche en interfaces qui détectait la position des boutons en lisant les pixels à l'écran. Leur objectif était de créer une fonctionalité de "rattrapage de clic pas loin", entre autre.

Je reconnais que ce n'est probablement pas ce que tu cherches, mais c'est une illustration du "ça dépend" :mrgreen:

Merci pour ces réponses. En effet le "ça dépend" est très contraignant dans mon cas puisque je comptais faire tourner mon appli sur linux/windows .

J'avais aussi pensé à une solution du style récupérer une capture d'écran du programme lancé pour démarrer la détection graphique de bouton dans l'image. Mais au delà même de faire qqc de fonctionnel dans tous les cas, récupérer graphiquement tout élément intéractif d'un programme, ça va pas être de la tarte.

jav974

La plus part du temps, ce genre de besoin vient de l'envie de commander un programme depuis un autre.

Et toujours la plus part du temps, il suffit de se pencher sur les options en ligne de commande.

Effectivement c'est exactement ce que je cherche à faire, cependant les options de commande ne sont pas une option.

Ce que je cherche à effectuer, c'est un système de pose de calque ( région semi-transparente ) sur un élément de la GUI inter-actif (un bouton, un lien ou autre) afin de permettre à mon appli X (le lanceur) d'utiliser le programme de manière transparente (un casque EEG ou un systeme EyeTracking permettra de naviguer de calque en calque) sans avoir besoin de souris ni de clavier.

Dans ce cas là, je pencherai plus vers un contrôleur d'"input device".

Il "suffit" de créer un driver pour le casque EEG qui génèrerait des événements souris ou clavier.