+ Répondre à la discussion Actualité déjà publiée
  1. #1
    Rédacteur/Modérateur

    Homme Profil pro
    Rédacteur technique
    Inscrit en
    mars 2017
    Messages
    270
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : Madagascar

    Informations professionnelles :
    Activité : Rédacteur technique
    Secteur : High Tech - Multimédia et Internet

    Informations forums :
    Inscription : mars 2017
    Messages : 270
    Points : 19 087
    Points
    19 087

    Par défaut Pix2code peut générer un code à partir de la capture d'écran d'une interface graphique

    Pix2code peut générer un code à partir de la capture d'écran d'une interface graphique
    Pour les plateformes iOS, Android et Web

    Les langages informatiques utilisés pour implémenter les différentes interfaces graphiques (GUI) sont spécifiques à chaque plateforme. De ce fait, lorsqu’il faut porter un logiciel sur une plateforme différente, le développeur est parfois obligé de répéter inlassablement le « même travail » en adéquation avec les contraintes imposées par chaque langage. Un certain nombre d'outils tentent cependant de résoudre ce problème, et c'est le cas de Pix2code.

    Une entreprise danoise a récemment annoncé avoir réussi à développer un réseau neuronal capable de se servir de la capture d’écran d’un site Web pour générer le code nécessaire à sa reproduction. Cette start-up basée à Copenhague porte le nom d’UIzard. Elle travaille sur un projet dont l’objectif est de diminuer le temps nécessaire à la création d’un logiciel.

    Pix2code est la solution développée par cette entreprise, et elle est capable de générer un code à partir de la capture d'écran d'une interface graphique. À partir d’une seule image source, Pix2code peut générer des codes ciblant trois plateformes différentes (iOS, Android et le Web) avec plus de 77 % de précision. Cette solution est une nouvelle approche basée sur les réseaux neuronaux conventionnels et récurrents. Le processus qui lui permet de réaliser cette prouesse peut être comparé au processus qui permet de produire des descriptions textuelles à partir d’une image figée comme une photographie. Ce processus doit surmonter trois contraintes ou sous-problèmes.

    D’abord, il y a le problème de la vision de l’ordinateur par rapport à la compréhension qu’il a de la scène présentée sur l’image (dans ce cas une capture d’écran) parce qu’il faut déduire les éléments présents, leur identité, leur position et leur signification. Ensuite, il y a le problème de la modélisation du langage par rapport à la compréhension du texte (dans ce cas, c’est le code informatique) parce qu’il faut générer des échantillons syntaxiques et sémantiquement corrects.

    Enfin, le dernier défi à relever est d’utiliser les solutions aux deux sous-problèmes précédents en exploitant les variables latentes déduites de la compréhension de la scène pour générer les descriptions textuelles correspondantes (c’est-à-dire un code informatique plutôt que du texte anglais) des objets représentés par ces variables.


    Source : UIzard, Documentation PDF

    Et vous ?

    Qu'en pensez-vous ?

    Voir Aussi

    Google Brain travaille sur des réseaux neuronaux capables d'implémenter leurs propres formes de chiffrement, la stéganographie est la prochaine étape

    DeepMind rend Sonnet open source, sa bibliothèque de réseau neuronal orientée objet facilite la création de réseaux neuronaux complexes
    Contribuez au club : Corrections, suggestions, critiques, ... : Contactez le service news et Rédigez des actualités

  2. #2
    Membre averti
    Profil pro
    Intégrateur Système (orienté SQA)
    Inscrit en
    octobre 2010
    Messages
    70
    Détails du profil
    Informations personnelles :
    Localisation : Canada

    Informations professionnelles :
    Activité : Intégrateur Système (orienté SQA)
    Secteur : High Tech - Produits et services télécom et Internet

    Informations forums :
    Inscription : octobre 2010
    Messages : 70
    Points : 319
    Points
    319

    Par défaut

    Les langages informatiques utilisés pour implémenter les différentes interfaces graphiques (GUI) sont spécifiques à chaque plateforme.
    Heu, je ne suis pas expert en développement sur mobile mais il existe bien des solutions qui sont compatibles sur plusieurs plateformes (en tête j'ai Xamarin)? J'aurai plus tendance à utiliser une solution compatible multi-plateforme que d'avoir la même interface auto-généré mais avec du code différent en dessous (ne serais que pour la correction de bug).

    Par contre d'un point de vue purement scientifique, je trouve cela très encourageant en terme de compréhension par la machine d'une image et sa "mise en pensé" via le code. Cela pourrait être intéressant dans des domaines comme la gestion de la circulation.

  3. #3
    Membre actif

    Homme Profil pro
    Directeur de projet
    Inscrit en
    juillet 2003
    Messages
    77
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Âge : 36
    Localisation : France, Bouches du Rhône (Provence Alpes Côte d'Azur)

    Informations professionnelles :
    Activité : Directeur de projet
    Secteur : Transports

    Informations forums :
    Inscription : juillet 2003
    Messages : 77
    Points : 262
    Points
    262

    Par défaut

    Sur le papier ca a l'air révolutionnaire, quand on voit la démo c'est moins impressionnant et quand on réfléchit quelques minutes on se rend compte que c'est impossible à partir d'une capture, par exemple est ce que ce texte est un lien ? cliquable ?
    La vidéo est très sommaire par rapport à l'innovation vantée dans l'article

Discussions similaires

  1. Réaliser une capture d'écran
    Par izeba dans le forum Imagerie
    Réponses: 9
    Dernier message: 25/05/2007, 16h02
  2. [FAQ] [OpenGL] "Comment faire une capture d'écran ?"
    Par damienlann dans le forum Contribuez
    Réponses: 1
    Dernier message: 07/06/2006, 17h22
  3. [VB.NET] Redimensionner Bitmap d'une capture d'écran
    Par HULK dans le forum Windows Forms
    Réponses: 2
    Dernier message: 17/01/2006, 11h31
  4. Réponses: 10
    Dernier message: 10/10/2003, 14h25

Partager

Partager
  • Envoyer la discussion sur Viadeo
  • Envoyer la discussion sur Twitter
  • Envoyer la discussion sur Google
  • Envoyer la discussion sur Facebook
  • Envoyer la discussion sur Digg
  • Envoyer la discussion sur Delicious
  • Envoyer la discussion sur MySpace
  • Envoyer la discussion sur Yahoo