screen scraping en java

Bonjour à tous,
Je cherche à apprendre à faire du screen scraping en java. Pas du web scraping (mon ami google m'a innondé de web scraping, mais je n'ai rien vu pour du screen scraping)...
En gros, j'ai un logiciel sur mon écran, et j'aimerais pouvoir tenir un historique des boutons sur lesquels j'ai cliqué, de l'information que j'ai reçue en réponse,etc. Je vois comment passer les données à un tableau SQL pour tenir tout ça, mais récupérer lesdites données, je sais pas !
Quelqu'un connaîtrait un cours ou tutoriel pour apprendre à faire ça ?
Merci d'avance :)

quel logiciel?

Le but, c'est surtout d'apprendre à récupérer les données de mon écran.
Pour le projet là, je voulais faire avec un logiciel de poker. Ceci dit, j'aimerais pouvoir le faire avec n'importe quoi, que ce soit un jeu vidéo ou autre.

A la limite, avec des boutons de l'API Windows, et des informations qui changent dans une fenêtre dessinée par API Windows, on aurait encore pu croire quelque chose. (Mais en utilisant des techniques difficiles et certainement pas avec Java)

Mais avec des jeux vidéos, tu dois forcément te douter qu'il n'existe pas de fonctions pour faire ça. Ce sont des dessins sur l'écran, il ne peut pas y avoir d'identification des "boutons cliqués" ni de "l'information obtenue".

Si encore on partait d'un programme précis, on pourrait essayer de bricoler à coups de screenshots en signalant au "screen scrapper" où sont les boutons et où et quand apparaissent les informations obtenues. Ce serait une gageure mais il y aurait des trucs à tenter.

Mais pour n'importe quel programme en plus, là il ne te reste plus que le deep learning et des décennies d'accumulation de données d'apprentissage. Et utiliser autre chose que Java, parce que Java ne peut pas inspecter l'écran d'un autre programme ni les clics faits sur un autre programme.

merde, je ne pensais pas que ce serait si compliqué :?

"Mais pour n'importe quel programme en plus" ah oui, là je me suis mal exprimé. En gros, je voulais dire "savoir le faire" pour n'importe quel programme, autrement dit si j'ai un programme je fais tout ça sur mesure à la main.

Du coup, pour montrer précisément ce que je voudrais savoir faire (qui existe déjà) :
Pièce jointe 622882
Ici, on voit assez facilement ce qui a été ajouté (les lettres/chiffres en blanc sur fond noir):
A gauche, le "5,7s" qui veut dire que le joueur a mis 5.7s à agir ; le "Or", qui décrit son action (de mettre 2BB), et pour l'autre joueur pareil, son action et le temps qu'il a mis à la faire. En bas, le "odds : 22%" qui est obtenu en récupérant la taille de sa mise, du pot et ce qu'il me reste à mettre pour égaler cette mise. J'aimerais faire en gros un programme qui fait pareil.

Du coup, c'est possible en java ça ? Si non, quel langage pourrait le faire ?

Comme dit précédemment pour n'importe quel programme, ca n'a pas de sens, certains programmes offrent des possibilités, par exemple joignable via un socket, qui exposent une API, qui sauvegardent leur actions dans une persistance lisible, qui utilisent des librairies dynamiques remplaçables...

Au pire des cas tu peux lire les informations a l'écran, avec openCV par exemple il y a un binding java je crois, sinon JNI/JNA ou plus récemment la JEP 424 pour taper dans la lib.
Tu peux aussi lire les infos du clavier/souris via la lib JNA sous windows seulement via l'API win32, partiellement disponible.
Une fois lue, il te faudra interpréter l'information pour d'abord identifier le contenu et ensuite son impact sur l'état de l'application visée.

Inutile de dire que c'est un boulot énorme pour un résultat des plus incertains et éphémère.

En général ce genre de mods ne lisent pas l'écran, mais cherchent des bricolages pour extraire du programme quel est l'état du jeu.

Par exemple les compagnons Hearthstone, super pratiques, ont l'air assez magiques à savoir comme ça quelles cartes ont été jouées et piochées. Mais bon la magie, c'est que Hearthstone loggue toutes les cartes jouées et piochées dans un fichier. Le compagnon se contente de lire ce fichier de logs.

Souvent c'est plus compliqué, genre il faut insérer un détournement de certains appels dynamiques de fonctions du programme original. Mais à ma connaissance rarement une histoire d'analyse de l'écran.

Concernant l'emploi de Java, impossible ça n'existe pas en informatique. Mais utiliser Java pour ça c'est se compliquer la vie. Il faut utiliser des technologies qui sont à l'aise pour s'imposer aux autres programmes (insérer des détournements de leurs appels dynamiques, et dessiner sur leurs écrans), et en général c'est du C et une bonne compréhension des mécanismes internes de Windows.

Hmmm.
Merci mille fois de vos réponses.
Du coup, j'ai bien l'impression que c'est assez largement au dessus de mes compétences, je crois qu'on va laisser tomber pour l'instant lol.