Analyser une image/simuler clic sur une fenetre externe

Hello, j'aurai une requête un peu spéciale.
Pour simplifier j'ai un programme d'alerte, sur une page web, qui peut afficher de temps en temps une alerte, sous la forme d'une boite de dialogue contenant un formulaire. Je n'ai pas accès au code de ceci, et comme c'est du RAP pas de code html à analyser. Je n'ai que l''image'.

Mon but est d'avoir un programme java, que je lance apres avoir mis cette page web au premier plan, qui va tous les x secondes analyser l'image, puis en fonction simuler un clic dans le programme.

Je connais bien java, mais je n'ai jamais fait de programme java devant interagir de cette manière.

Quelque question:
-comment puis-je simuler un clic de souris sur l'écran en dehors d'une fenetre java classique? Ne serait-ce que dire clic à 25,25 ça me suffirait.

-mon gros comment analyser ce qui s'affiche? Naivement je pense à faire une capture d'ecran avec java, puis pixel par pixel regarder à partir d'une liste d'image prédéfinie si l'une s'y trouve. Mais comment gérer les problemes de couleurs qui peuvent légèrement varier, ou de taille?

si quelqu'un a des idées ou peut m'indiquer les classes/librairie java me permettant de faire ça, ça m'aiderait beaucoup!
Merci!

Salut,

Citation:

---

Envoyé par deathness

Je n'ai pas accès au code de ceci, et comme c'est du RAP pas de code html à analyser. Je n'ai que l''image'.

---

Comment ça ? Si tu regardes le source de ta page Web dans ton navigateur, tu ne vois vraiment qu'une image(c'est-à-dire que le content type est image/xxx) ? J'en doute. Qu'il n'y ait pas de fichier html côté serveur, ne veut pas dire que ce n'est pas du html qui est généré dynamiquement.

Ensuite, je regarderais personnellement ce qu'on peut faire avec Selenium, plutôt que d'essayer de quelque chose type analyse d'image, et simulation de clic, bidouille hasardeuse et complexe. Ou encore utiliser htmlunit pour le faire de façon invisible et automatique (peut-être même que ce n'est même pas nécessaire et qu'un simple post suffit, suite à une analyse de chaine de caractères).

Non une analyse du code html ne donnera rien, tout se passe à l'intérieur de l'appli, il n'y a pas de changement d'url, de requete post, etc.
Certes ça fait bidouille mais ça répondra parfaitement à mon besoin : je n'ai pas besoin de plus, les images ne bougeront pas et sont a des emplacements fixes.
selenium n'a pas besoin d'avoir du code html pour marcher?

Citation:

---

Envoyé par deathness

Non une analyse du code html ne donnera rien, tout se passe à l'intérieur de l'appli

---

Tu en est vraiment sûr ? Tu as pris la peine de regarder au moins ? C'est du Eclipse RAP ?

Citation:

---

Envoyé par deathness

, il n'y a pas de changement d'url,

---

ça n'a rien à voir avec le fait qu'il n'y ait pas de code html. S'il y a des composants interactifs dans l'application (des champs, des liens, etc), il y a de forte chances que cela soit du html/css, à moins d'un système à la vnc.

J'ai analysé tout le code source de la page, sans trouver aucun élément en lien avec l'appli.
De mémoire, c'était une des raisons du choix de l'appli, le fait que le code soit caché.
Je ne cherche donc pas de manière de ce coté là, l'autre solution me convient bien mieux de plus pour d'autre raison que je n'ai pas détaillé.

Citation:

---

Envoyé par deathness

J'ai analysé tout le code source de la page, sans trouver aucun élément en lien avec l'appli.

---

Ça ne réponde pas à la question "Est-ce que c'est du Eclipse RAP". Le source de la page peut être du html statique, avec un javascript qui génére dynamiquement la page réellement affichée (ce qui est le cas avec du Eclipse RAP). On le voit non pas avec "Afficher le source", mais avec "Outils de développement", ou quelque soit le nom que ça a dans ton navigateur.

Après, si tu veux absolument faire de l'analyse d'image, fais-le. Pour le clic, en revanche, s'il n'y a pas de bouton dans la page, j'ai dû mal à voir comment il pourrait fonctionner s'il ne correspond pas à une requête. En tout cas, Selenium permet de manipuler le DOM, ça oui, mais je ne sais absolument pas s'il y a moyen de simuler un clic n'importe où dans la page. La classe Robot de Java te permettra de faire un clic n'importe où dans l'écran, par ailleurs,

Je m'en suis finalement sorti avec la classe Robot.
Screenshot de l'ecran, récupération de l'image, comparaison avec une banque d'image et clic ou je veux.
Le tout marche plutôt bien.