Discussion :

[castiellll]

Bonsoir à tous,
Mon groupe et moi travaillons sur un petit prog de simulation de comportement humain, en gros une IA qui manipule des progs.
Alors, mon problème est que je voudrais détecter une image dans un screen (une autre image).
Pour faire plus simple, imaginez que vous prenez le screen de votre écran actuel et que vous demandiez au code de détecter le bouton SGBD du site et qu'il renvoie ses coordonnées (x,y) (pour après utiliser mouseMove, mousePresse et mouseRealsed pour cliquer.
Merci d'avance pour votre aide.

Bonne soirée.
castiel

[joel.drigo]

Salut,

Quelle est la question exactement ?

• Comment prendre un screen shot de l'écran en Java ?
  

  Code :

  Sélectionner tout - Visualiser dans une fenêtre à part

  1
  2
  Rectangle screenRect = new Rectangle(Toolkit.getDefaultToolkit().getScreenSize());
  BufferedImage capture = new Robot().createScreenCapture(screenRect);

• Comment retrouver une image dans une autre avec comparaison exacte (tous les pixels doivent être les mêmes) :
  Tu peux faire des comparaisons pixel à pixel par la méthode getRGB(x,y) de BufferedImage, en parcourant tous les pixels des 2 images (le screen shot et l'image du bouton à chercher). On peut également accèder au raster de la BufferedImage (getRaster()) et faire des comparaison de tableaux. Si les 2 images ont le même modèle de couleurs, on peut directement utiliser Arrays.equals().
• Si c'est pour faire de la reconnaissance d'image, sans avoir l'image à chercher, c'est déjà beaucoup plus complexe. On pourrait procéder par une passe d'OCR (ce qui permettrait de trouver le texte du bouton dans l'écran), et ensuite faire une étude heuristique du contexte graphique des textes détectés par l'OCR, pour déterminer qu'on est bien dans un bouton, et le bon bouton (des fois qu'il y en aurait plusieurs). Mais on est plus vraiment dans le contexte de la programmation Java, mais plutôt dans l'algorithmique. Pour l'OCR, on peut trouver des bibliothèques (comme Java OCR), mais pour le reste, je ne pense pas qu'il y en ait de toute faite.
  Une alternative, beaucoup plus simple, serait d'utiliser les fonctions systèmes pour analyser l'UI, tant qu'elle utilise direcement les composants standards de l'environnement graphique. On peut accèder à ces éléments d'UI (analyser l'UI pour en trouver ses composants) en Java en utilisant la bibliothèque JNA, qui te permettra également d'envoyer les évenements souris vers les boutons (sur Windows, en passant par les fonctions de User32...).

[castiellll]

bonsoir,
merci d'avoir pris le temps de répondre à mon problème.
j'essaye d'éviter au max la comparaison pixel par pixel car il y a beaucoup de boutons et plusieurs phases d'analyse (évolution temporelle), au niveau complexité j'aurais un code pourris si je fais ça.
par-contre j'aimerai bien avoir plus d'info sur la méthode des raster?

[joel.drigo]

• BufferedImage.getRaster() permet de récupréeer le raster de l'image (le modèle bitmap de l'image)
• Raster.getPixels(x,y,w,h, intarray) permet de récupérer un tableau de composantes de couleurs (donc il faut connaitre le nombre de composantes, qui dépend du modèle de couleurs).
• Arrays.equals() permet de comparer 2 tableaux

Mais il te faudra de toute manière faire un parcours de l'écran.

Mais de toute manière, la plus grande difficulté pour cette méthode est d'avoir une image du bouton à chercher (qui dépend de la configuration de l'environnement : couleurs, polices, taille de police, etc...). Ça me semble illusoire de le faire dans le cas général (sauf le faire pour une configuration fixe standard). La solution par JNA me semble la plus générale.

[castiellll]

D'accord merci :-)
je n'ai pas trop le choix, car je pourrais très bien aller voir dans la ram et retirer les donner que je veux sauf que le but est de simuler un humain donc je dois reconnaitre les boutons et cliquer dessus.
j'ai pensé à un Perceptron multi-couche mais pareil la phase d'apprentissage me couterait trop chere en complexité.
Merci quand même pour votre aide :-)
Bonne journée.
castiel

[joel.drigo]

C'est une IA avec reconnaissance optique que tu dois faire ? Ou simplement donner "l'impression de", genre langage de macro ? Dans le second cas, JNA est ce qu'il te faut. Dans le premier, avec la comparaison d'images bitmap, en fixant des conditions comme le thème de l'environnement graphique fixé, et des images de boutons fixées d'avance, et en "simulant" l'apprentissage par capture d'écran aux préalable, tu auras un ersatz de simulation assez rigide, mais pas d'IA (pas d'apprentissage, pas d'adaptation...). L'OCR pourrait être un intermédiaire. C'est sûr que tout ça dépend de l'objectif et des moyens pour l'atteindre.