Discussion :

[qi130]

Bonjour à tous,

Tout est dans l'intitulé !
Je précise cependant que l'image à chercher est fixe : il ne s'agit de shooter automatiquement des aliens apparaissant sur l'écran

Ainsi, si je capture la partie centrale du raccourci vers Rad studio (RX en blanc sur fond rouge), comment exploiter l'image capturée pour positionner le curseur sur le raccourci (par ex avec mouse_event) ?

A vous lire, et belle fête du travail .

[pprem]

Bonsoir

Tu veux le faire avec la VCL ou FMX ?

[qi130]

Tu veux le faire avec la VCL ou FMX ?

Avec la VCL de préférence, je ne me suis jamais frotté à FMX

[pprem]

Dans ce cas tu peux directement utiliser l'API de Windows.

L'image à capturer est dans ton application ou tu veux des portions d'un écran physique ?

Tu parles de positionner la souris quelque part, ça se fait avec des messages Windows. Tu trouveras sans doute l'inspiration sur https://docs.microsoft.com/en-us/win...v/wm-mousemove et les pages connexes.

[Andnotor]

Non, non ! C'est bien avec Mouse_Event (ou SendInput) qu'on déplace la souris.

Les coordonnées se calculent en mickey, ce qui correspond à 65535 divisé par la taille de l'écran.

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

Mouse_Event(MOUSEEVENTF_ABSOLUTE or MOUSEEVENTF_MOVE, Round(X *65535 /Screen.Width), Round(Y *65535 /Screen.Height), 0, 0);

[qi130]

L'image à capturer est dans ton application ou tu veux des portions d'un écran physique ?

Je souhaite pouvoir choisir la portion d'image à rechercher.
J'imagine en fait une petite appli permettant de sélectionner le bout d'image parmi plusieurs captures; ça c'est simple, et je suppose que l'appli doit disposer de cette capture peut-être via un Timage?

Mon souci est de localiser cette image dans l'écran.

[tourlourou]

Le but est de simuler un clic sur une icône reconnue sur le bureau de Windows ?

[qi130]

Le but est de simuler un clic sur une icône reconnue sur le bureau de Windows ?

On peut voir les choses comme ça, effectivement. Mais la difficulté n'est pas le clic.

[Jipété]

Bonjour,

aparté HS, désolé,

Les coordonnées se calculent en mickey, ce qui correspond à 65535 divisé par la taille de l'écran.

C'est quoi, cette unité "mickey" ? Impossible de googler ce mot même en rajoutant coordonnées sans tomber sur la célèbre souris pendant des centaines de milliers de pages...

Merci,

[foetus]

C'est quoi, cette unité "mickey" ?

Il faut suivre les liens

If MOUSEEVENTF_ABSOLUTE value is specified, dx and dy contain normalized absolute coordinates between 0 and 65,535. The event procedure maps these coordinates onto the display surface. Coordinate (0,0) maps onto the upper-left corner of the display surface, (65535,65535) maps onto the lower-right corner.

If the MOUSEEVENTF_ABSOLUTE value is not specified, dx and dy specify relative motions from when the last mouse event was generated (the last reported position). Positive values mean the mouse moved right (or down); negative values mean the mouse moved left (or up).

@Andnotor propose une simple règle de 3 entre les coordonnées absolues de la souris (de 0 à 65535) et la taille de l'écran

[Jipété]

Il faut suivre les liens

Et comme bien souvent cela ne m'est pas venu à l'idée, vu la tournure des phrases...
Bref,

A mickey is the amount that a mouse has to move for it to report that it has moved.

Je connaissais la notion, mais pas que ce mot était utilisé pour mesurer cette quantité.
Merci,

[tourlourou]

Je remarque qu'on n'a pas du tout répondu à la question initiale : comment retrouver une petite image dans une grande !
J'imagine que l'échelle n'est pas forcément la même, ni les couleurs (peut-être si réglage gamma, par exemple, ou transparence différente).

[Charly910]

Bonjour,

peut être en s'inspirant des méthodes de reconnaissance d'images : par un scanline ligne par ligne d'une copie de l'écran, en recherchant une ligne caractéristique de la petite image (par exemple celle qui a la plus grande grande étendue de couleurs des pixels)

Mais le traitement risque d'être long et si on trouve une correspondance, il faut encore investiguer pour vérifier que l'on retrouve bien le reste de la petite image.

Bref pas facile !!

A+
Charly

[Charly910]

Bonjour,

bon, voilà une petite application qui détecte la présence d'une petite image dans une image plus grande.

avec 2 jeux d'essais pour la grande image et la petite image :

G1.bmp et P1.bmp de tailles réduites pour un résultat très rapide

Grandeimage.bmp (portion de mon écran) et petiteimage.bmp (icône DX10) qui fonctionne mais comme je le présentais le traitement est très très long !!

(pour réduire le temps de traitement, on peut réduire la zone de la grande image à scanner)

Je ne pense pas que cela puisse répondre à ta demande et je ne sais pas comment les logiciels de reconnaissance d'image font pour si être rapide ?

ScanImage.zip

Ce petit logiciel peut être perfectionné car j'ai fait selon mes faibles moyens (peut être que Tourlourou le "roi du pixel" aura des idées )

A+
Charly

[tourlourou]

Joli ! Et pas que la plage de Palombaggia...

Je ne vois pas pour l'instant comment aller plus vite. [EDIT] et puis, roi du pixel ne signifie pas roi de la vélocité

[Jipété]

Joli ! Et pas que la plage de Palombaggia...

Quoi !? Tu connais ? Moi aussi ! Mais il y a looooongtemps...

Je ne vois pas pour l'instant comment aller plus vite.

En effet.
J'ai à une époque bricolé un système de comparaison de .bmp et j'ai fait la même chose : scanline.

On doit pouvoir gagner quelques nanosecondes en éliminant certains calculs (suggestion d'efg) genre for i := 0 to bmp.Width - 1 do va devenir

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
bmpWidth : integer;
bmpWidth := bmp.Width;
for i := 0 to bmpWidth - 1 do ...

J'avais lu que ce genre d'accès (bmp.Width) nécessitait 3 appels système contre 1 seul pour bmpWidth.

Et faut penser à inliner le maximum de petites fonctions souvent appelées.

[Charly910]

Palombaggia ! superbe ! Profites en bien ...

A+
Charly

[Cirec]

...
Je ne vois pas pour l'instant comment aller plus vite. [EDIT] et puis, roi du pixel ne signifie pas roi de la vélocité

Bonjour,

je vous propose une version beaucoup plus rapide pour ne pas dire instantanée
Recherche Image.zip
le code est très simple et se passe de commentaires mais si vous avez besoin de précisions n'hésitez pas.

2 versions de recherche sont proposées, une simple et une complète qui compare la totalité du Bmp à rechercher.
Comme il n'y a quasi pas de différence de temps d'exécution entre les deux autant utiliser la complète
j'ai également ajouté deux images à rechercher pour tester.


Cordialement,
@+

[Andnotor]

@Cirec

C'est pas mal mais pas 100%.

La version simple est à oublier. Chercher une seule ligne est un peu léger.
La version complète est mieux mais souffre de quelques imperfections.

Tu cherches la première ligne, ok ! Mais si l'image ne correspond pas, le traitement ne se poursuit pas. Seul un fragment de l'image de fond est traité.
De plus, il faudrait être sûr qu'elle présente suffisamment de différences avec l'image de fond. Une ligne bleue sur un grand fond bleu, ça va mouliner ! (il n'y aura pas forcément d'image de fond sur le bureau de qi130)
Prendre la ligne au centre de l'image recherchée me semblerait plus pertinent.

Lorsque tu trouves cette première ligne, seule la portion d'image directement en dessous doit être comparée et non toute la largeur de l'image de fond.
Exemple, l'image de gauche est trouvée dans celle de droite :


Pas besoin de passer par des chaînes pour faire la comparaison. Utilise directement CompareMem :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
var
  Found            :boolean;
  B1, B2           :TBitmap;
  P1, P2, P11, P21 :PByte;
  BpS              :integer;
  X1, Y1, Y2       :integer;
 
begin
  Found := FALSE;
  B1    := Image1.Picture.Bitmap;
  B2    := Image2.Picture.Bitmap;
  P2    := B2.ScanLine[0];
  BpS   := BytesPerScanline(B1.Width, 24, 32);
 
  for y1 := 0 to B1.Height -B2.Height -1 do
  begin
    P1 := B1.ScanLine[y1];
 
    for x1 := 0 to B1.Width -B2.Width -1 do
    begin
      if CompareMem(P1, P2, B2.Width *3) then
      begin
        P11 := P1;
 
        for y2 := 1 to B2.Height -1 do
        begin
          P21 := B2.ScanLine[y2];
          Dec(P11, BpS);
 
          Found := CompareMem(P11, P21, B2.Width *3);
          if not Found then Break;
        end;
 
        if Found then
        begin
          Image1.Canvas.Rectangle(TRect.Create(Point(x1, y1), B2.Width -1, B2.Height -1));
          ShowMessage('Trouvé');
          Exit;
        end;
      end;
 
      Inc(P1, 3);
    end;
  end;
 
  ShowMessage('Pas trouvé !');
end;

[tourlourou]

Bravo à tous deux ! Chapeau bas...

NB : je pense que le -1 aux indices y1 et x1 ampute l'exhaustivité de la recherche