IdentifiantMot de passe
Loading...
Mot de passe oublié ?Je m'inscris ! (gratuit)
Navigation

Inscrivez-vous gratuitement
pour pouvoir participer, suivre les réponses en temps réel, voter pour les messages, poser vos propres questions et recevoir la newsletter

Traitement d'images Discussion :

Identification et reconnaissance de texte/image dans une autre image


Sujet :

Traitement d'images

  1. #1
    Membre habitué
    Homme Profil pro
    Étudiant
    Inscrit en
    octobre 2009
    Messages
    169
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France

    Informations professionnelles :
    Activité : Étudiant

    Informations forums :
    Inscription : octobre 2009
    Messages : 169
    Points : 171
    Points
    171
    Par défaut Identification et reconnaissance de texte/image dans une autre image
    Bonjour,

    Je pose le problème ici car je recherche plus une solution théorique pour mon problème que du code(ou un algo écrit de A-Z).

    Depuis quelque temps je joue à un jeu appelé The division qui est une sorte de FPS-RPG possédant pas mal d'équipement différent. Le problème est que la gestion de l'inventaire in-game est désastreuse, on ne peut pas rechercher des objets par nom ou par "famille".

    Ce que je compte faire, c'est un programme au dessus du jeu qui quand on l'active parcours notre équipement et l'enregistre en base.

    Suite à cela, il y aurait une petite fenêtre toute simple ou l'on pourrait voir de façon ergonomique notre équipement et faire des recherches textuels..

    Voici un screenshot(tiré d'internet) de l'inventaire que je veux parser :
    Nom : lone-star-backpack.jpg
Affichages : 911
Taille : 551,5 Ko

    Vous allez me dire que ça semble difficile pour le peu que cela puisse apporter... et vous avez raison
    Mais c'est un sujet qui m’intéresse et je pense qu'il y a plusieurs façon de faire possible :

    A) Lire la mémoire(RAM) du jeu pour essayer de trouver l'inventaire mais cela me semble difficile, indigeste et pas super "légal".

    B) Générer des petites images qui ressemble à l'encadré rouge pour tous les items du jeu (assez facile, fond de couleur unie, avec un texte simple)(On les génère que une fois avec un programme indépendant, ce sont nos échantillons) et faire ce que l'on appelle du template matching : le programme prend un screenshot du jeu et on recherche toutes les images générées dans celui-ci. Donc si il y a 1000 objets, on recherche 1000 petites images dans le screenshot.

    => C'est la solution que j'ai choisie hier soir pour un premier algo sans prise de tête, c'est du brutforce pur et dur mais ça marche. Je vous enverrai le temps que cela prend pour faire 1000 comparaison ce soir, mais de tête ça sera un peu trop long :'( Pour information j'ai utilisé la libraire openCV avec la fonction matchTemplate => http://docs.opencv.org/2.4/doc/tutor..._matching.html

    C) Faire une recherche sur la couleur dominante (le orange) et essayer de retracer toute la ligne de l'objet.. extraire l'image et faire de l'OCR dessus
    Je ne sais pas encore comment je vais m'y prendre pour cette solution mais c'est celle qui me parait le plus adapté, le plus rapide et le moins gourmand en ressource.

    Edit : D) On peut aussi inspecter le réseau pour récupérer l'inventaire vu que c'est un jeu multijoueur. Normalement il est envoyé tôt ou tard et n'est pas sauvegardé dans un fichier en local.. mais après avoir testé avec wireshark, je n'ai aucune idée de la structure des paquets, donc c'est peine perdue pour déchiffrer le contenu

    Auriez vous d'autres idées ? Comment feriez vous ?

    Je n'ai jamais effectué de reconnaissance d'images ou de reconnaissance de texte donc je suis un peu néophyte.. Mais j'aimerais vraiment comprendre comment faire.
    Pour ceux que ça interesse et dans un registre similaire il y a :https://github.com/HearthSim/Hearthstone-Deck-Tracker

    Un logiciel qui analyse le jeu et ajouter de overlay. Je n'ai pas eu le temps d'analyser le code encore..

    Merci à vous de m'avoir lu jusqu'ici

  2. #2
    Modérateur
    Avatar de ToTo13
    Homme Profil pro
    Chercheur en informatique
    Inscrit en
    janvier 2006
    Messages
    5 791
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Âge : 42
    Localisation : Etats-Unis

    Informations professionnelles :
    Activité : Chercheur en informatique
    Secteur : Santé

    Informations forums :
    Inscription : janvier 2006
    Messages : 5 791
    Points : 9 857
    Points
    9 857
    Par défaut
    Est ce que tu as essayé de tout simplement faire tourner un OCR sur tes images ? Il y a de fortes chances que les textes soit automatiquement détectés. Tu pourrais ensuite faire du "text matching".
    Consignes aux jeunes padawans : une image vaut 1000 mots !
    - Dans ton message respecter tu dois : les règles de rédaction et du forum, prévisualiser, relire et corriger TOUTES les FAUTES (frappes, sms, d'aurteaugrafe, mettre les ACCENTS et les BALISES) => ECRIRE clairement et en Français tu DOIS.
    - Le côté obscur je sens dans le MP => Tous tes MPs je détruirai et la réponse tu n'auras si en privé tu veux que je t'enseigne.(Lis donc ceci)
    - ton poste tu dois marquer quand la bonne réponse tu as obtenu.

  3. #3
    Membre expérimenté
    Profil pro
    chercheur
    Inscrit en
    avril 2004
    Messages
    828
    Détails du profil
    Informations personnelles :
    Localisation : France, Essonne (Île de France)

    Informations professionnelles :
    Activité : chercheur

    Informations forums :
    Inscription : avril 2004
    Messages : 828
    Points : 1 380
    Points
    1 380
    Par défaut
    Au lieu de rechercher 1000 images une par une, recherche l'image du premier caractère (L P S T) puis affine éventuellement avec le 2e...
    Ce qui s'énonce clairement se conçoit bien ( Le hautbois)

  4. #4
    Membre habitué
    Homme Profil pro
    Étudiant
    Inscrit en
    octobre 2009
    Messages
    169
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France

    Informations professionnelles :
    Activité : Étudiant

    Informations forums :
    Inscription : octobre 2009
    Messages : 169
    Points : 171
    Points
    171
    Par défaut
    Merci pour vos réponses

    Le problème est que je dois forcément sélectionner le texte sur le fond orange. En effet, j'ai un programme qui appuie bêtement sur la touche bas, fait une capture du jeu puis vient l'analyse de l'image pour retrouver l'item surligné en orange.

    Et ceci dans le but d'avoir tous les objets de l'utilisateur...

    La solution que j'ai actuellement implementé est la suivante : je cherche tous les pixel s'approchant de la couleur orange, je sélectionne la plus grande surface et je fais mon OCR dessus.. Donc j'en suis bien à 2 opérations lourdes par capture d'écran => extraction du plan orange puis lecture OCR.

  5. #5
    Membre éprouvé

    Homme Profil pro
    Data Ingénieur & Scientist
    Inscrit en
    février 2009
    Messages
    492
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Oise (Picardie)

    Informations professionnelles :
    Activité : Data Ingénieur & Scientist
    Secteur : High Tech - Multimédia et Internet

    Informations forums :
    Inscription : février 2009
    Messages : 492
    Points : 1 197
    Points
    1 197
    Billets dans le blog
    2
    Par défaut
    Bonjour à tous,

    Pour avoir essayé des OCR Open Source sur les images de Scènce les résultats sont extrêmement médiocres.

    Il existe dans la librairie OpenCV des outils pour détecter les zones de textes pour ensuite passer un OCR.

    Une fois la zone de texte identifié, il est nécessaire de faire des traitements sur l'image pour gagner en gain de performance sur le traitement d’OCR.

    Au plaisir,

Discussions similaires

  1. Cacher une image dans une autre image
    Par MrFlavZz dans le forum Général JavaScript
    Réponses: 0
    Dernier message: 13/04/2017, 12h57
  2. Pygame : insérer une image dans une autre image
    Par Fr33dope dans le forum Programmation multimédia/Jeux
    Réponses: 4
    Dernier message: 13/03/2017, 17h29
  3. Mettre des images pardessus une autre image dans mon site
    Par PoppyGuy dans le forum Balisage (X)HTML et validation W3C
    Réponses: 38
    Dernier message: 30/09/2016, 12h01
  4. Dessiner une portion d'image dans une autre image
    Par Harry_polin dans le forum Windows Presentation Foundation
    Réponses: 4
    Dernier message: 24/11/2009, 13h19
  5. Réponses: 2
    Dernier message: 28/07/2009, 16h09

Partager

Partager
  • Envoyer la discussion sur Viadeo
  • Envoyer la discussion sur Twitter
  • Envoyer la discussion sur Google
  • Envoyer la discussion sur Facebook
  • Envoyer la discussion sur Digg
  • Envoyer la discussion sur Delicious
  • Envoyer la discussion sur MySpace
  • Envoyer la discussion sur Yahoo