Pix2code peut générer un code à partir de la capture d'écran d'une interface graphique
Pix2code peut générer un code à partir de la capture d'écran d'une interface graphique
Pour les plateformes iOS, Android et Web
Les langages informatiques utilisés pour implémenter les différentes interfaces graphiques (GUI) sont spécifiques à chaque plateforme. De ce fait, lorsqu’il faut porter un logiciel sur une plateforme différente, le développeur est parfois obligé de répéter inlassablement le « même travail » en adéquation avec les contraintes imposées par chaque langage. Un certain nombre d'outils tentent cependant de résoudre ce problème, et c'est le cas de Pix2code.
Une entreprise danoise a récemment annoncé avoir réussi à développer un réseau neuronal capable de se servir de la capture d’écran d’un site Web pour générer le code nécessaire à sa reproduction. Cette start-up basée à Copenhague porte le nom d’UIzard. Elle travaille sur un projet dont l’objectif est de diminuer le temps nécessaire à la création d’un logiciel.
Pix2code est la solution développée par cette entreprise, et elle est capable de générer un code à partir de la capture d'écran d'une interface graphique. À partir d’une seule image source, Pix2code peut générer des codes ciblant trois plateformes différentes (iOS, Android et le Web) avec plus de 77 % de précision. Cette solution est une nouvelle approche basée sur les réseaux neuronaux conventionnels et récurrents. Le processus qui lui permet de réaliser cette prouesse peut être comparé au processus qui permet de produire des descriptions textuelles à partir d’une image figée comme une photographie. Ce processus doit surmonter trois contraintes ou sous-problèmes.
D’abord, il y a le problème de la vision de l’ordinateur par rapport à la compréhension qu’il a de la scène présentée sur l’image (dans ce cas une capture d’écran) parce qu’il faut déduire les éléments présents, leur identité, leur position et leur signification. Ensuite, il y a le problème de la modélisation du langage par rapport à la compréhension du texte (dans ce cas, c’est le code informatique) parce qu’il faut générer des échantillons syntaxiques et sémantiquement corrects.
Enfin, le dernier défi à relever est d’utiliser les solutions aux deux sous-problèmes précédents en exploitant les variables latentes déduites de la compréhension de la scène pour générer les descriptions textuelles correspondantes (c’est-à-dire un code informatique plutôt que du texte anglais) des objets représentés par ces variables.
Source : UIzard, Documentation PDF
Et vous ?
:fleche: Qu'en pensez-vous ?
Voir Aussi
:fleche: Google Brain travaille sur des réseaux neuronaux capables d'implémenter leurs propres formes de chiffrement, la stéganographie est la prochaine étape
:fleche: DeepMind rend Sonnet open source, sa bibliothèque de réseau neuronal orientée objet facilite la création de réseaux neuronaux complexes
