Discussion :

[Nancy Rey]

Copier et coller des images du monde réel dans le virtuel se fait grâce à un téléphone équipé d'« AR cut and paste »,
une app en développement qui inverse le concept de réalité augmentée

De manière générale, la réalité augmentée permet de faire entrer le virtuel dans l'environnement de travail réel. Elle est une technologie qui permet d'intégrer des éléments virtuels (en 3D) en temps réel au sein d'un environnement réel. Le principe est de combiner le virtuel et le réel et donner l'illusion d'une intégration parfaite à l'utilisateur. Si on imagine le chemin inverse, c'est-à-dire, insérer des images d'objets réels au sein d'un environnement virtuel, alors on entre en plein dans les travaux relatifs à un outil dénommé "AR cut and paste"

L'outil s'appuie sur un autre dédié à la détection d'objets - BASNet. C'est grâce à ce dernier qu'il est possible de prendre un objet en photo, d'en détecter les contours et de supprimer l'arrière-plan.

Le transfert de l'image sans arrière-plan du smartphone vers l'environnement virtuel pour sa part s'appuie sur un stratagème monté autour d'OpenCV SIFT. Celui-ci permet entre autres de détecter les coordonnées de la zone d'écran sur laquelle l'opérateur veut déposer l'objet sans arrière-plan. Illustration avec le code source Python :

Code Python :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
 
import screenpoint
import cv2
 
# Load input images.
screen = cv2.imread('example/screen.png', 0)
view = cv2.imread('example/view.jpg', 0)
 
# Project centroid.
x, y, img_debug = screenpoint.project(view, screen, True)
 
# Write debug image.
cv2.imwrite('example/match_debug.png', img_debug)

L'outil est encore en développement comme le souligne le développeur Cyril Diagne en précisant qu'il s'agit d'un prototype de recherche. Les temps de latence actuels sont de 2 s pour le couper et 4 s pour le coller. Toutefois, la tête derrière l'outil ajoute qu'il est possible de les réduire. À date, Photoshop est le seul logiciel pris en charge et là aussi des extensions sont prévues pour le futur.

Sources : GitHub, BASNet

Et vous ?

Que pensez-vous de cet outil ?
Quelles sont les utilisations que vous entrevoyez ?
Qu'apporte-t-il par rapport à l'existant ?

Voir aussi :

Les entreprises recherchent surtout les ingénieurs expérimentés en Go et en réalité augmentée / virtuelle,alors que les ingénieurs préfèrent surtout JS et Python, d'après un rapport

Android : Google se lance dans la réalité augmentée sur mobile avec son projet ARCore, pour faire concurrence à Apple et son ARKit

Microsoft veut apporter la réalité augmentée aux PC Windows 10 en 2017, l'expérience Windows Holographic sera disponible dans une mise à jour

Le casque de réalité augmentée Magic Leap One disponible à 2295 dollars, pour un tel prix, est-ce une révolution ou juste un produit ordinaire ?

[tlt]

Plutôt cool je trouve. Par contre est-ce que ce ne sera restreint qu'aux smartphones qui supportent officiellement l'AR comme avec ARCore (Android) et ARKit (iOS) ?

[Matthieu Vergne]

Le principe est de combiner le virtuel et le réel et donner l'illusion d'une intégration parfaite à l'utilisateur. Si on imagine le chemin inverse, c'est-à-dire, insérer des images d'objets réels au sein d'un environnement virtuel, alors on entre en plein dans les travaux relatifs à un outil dénommé "AR cut and paste"

On entre surtout dans ce qu'on a toujours fait avant d'avoir la notion d'AR : prendre des photos (appareil photo), découper les contours (Photoshop, Gimp, etc.), et les intégrer dans des sites web. Il y a en revanche 2 points forts :
- arriver à identifier les coordonnées de placement de la photo sur le site depuis le téléphone.
- mettre en place toute la chaîne d'automatisation pour avoir une expérience complète en quelques clics sur le téléphone.

Donc rien de révolutionnaire, mais c'est effectivement cool de simplifier tout ça, surtout que je vois bien le potentiel mercantile.

[Ryu2000]

Ça me rappelle ça : Supprimez le fond d'une image (c'est un algorithme qui enlève automatiquement ce qui est en arrière plan), mais là c'est encore plus impressionnant.