Réalité augmentée sous Debian avec une camera IP

Version imprimable

Bonjour,

je cherche à développer une application de réalité augmentée qui tourne avec une camera IP. Je développe sous Debian.

Après avoir fait pas mal de recherches sur Internet, je suis tombé sur une solution que je voudrais tester : ARToolkit. J'en suis arrivé à l'étape des exemples mais au moment de lancer le videoTest, cela ne fonctionne pas. J'obtiens les messages suivants :
Code:

1 2 3 4 5 6 alan@alan:~/ARToolKit/bin$ export ARTOOLKIT_CONFIG="rtspsrc location=rtsp://192.168.10.63/axis-media/media.amp?resolution=640x360 ! rtpmp4vdepay ! decodebin ! ffmpegcolorspace ! capsfilter caps=video/x-raw-rgb,bpp=24,width=640,height=360 ! identity name=artoolkit ! fakesink sync=0" alan@alan:~/ARToolKit/bin$ ./videoTest Using config string from environment [rtspsrc location=rtsp://192.168.10.63/axis-media/media.amp?resolution=640x360 ! rtpmp4vdepay ! decodebin ! ffmpegcolorspace ! capsfilter caps=video/x-raw-rgb,bpp=24,width=640,height=360 ! identity name=artoolkit ! fakesink sync=0]. libARvideo: GStreamer 0.10.28 libARvideo: GStreamer pipeline is PAUSED! Image size (x,y) = (1768710505,1769234810)
Après ça, ça freeze jusqu'à un Ctrl-c.

La ligne de retour Image size (x,y) = (1768710505,1769234810) ne semble pas normale.

J'ai configuré la chaine ARTOOLKIT_CONFIG à l'aide de la doc.

Cette même chaîne passée à gstreamer me donne :
Code:

1 2 3 4 5 6 7 8 9 10 11 12 13 14 alan@alan:~/ARToolKit/bin$ gst-launch rtspsrc location=rtsp://192.168.10.63/axis-media/media.amp?resolution=640x360 ! rtpmp4vdepay ! decodebin ! ffmpegcolorspace ! capsfilter caps=video/x-raw-rgb,bpp=24,width=640,height=360 ! identity name=artoolkit ! fakesink Définition du pipeline à PAUSED... Le pipeline est actif et n'a pas besoin de phase PREROLL... Passage du pipeline à la phase PLAYING... New clock: GstSystemClock ERREUR*: de l'élément /GstPipeline:pipeline0/GstRTSPSrc:rtspsrc0/GstUDPSrc:udpsrc4*: Erreur interne de flux de données. Information de débogage supplémentaire*: gstbasesrc.c(2507): gst_base_src_loop (): /GstPipeline:pipeline0/GstRTSPSrc:rtspsrc0/GstUDPSrc:udpsrc4: streaming task paused, reason not-linked (-1) Execution ended after 339255039 ns. Définition du pipeline à PAUSED... Définition du pipeline à READY (prêt)... Définition du pipeline à NULL... Libération du pipeline...
Est-ce que quelqu'un aurait une idée pour me remettre sur le droit chemin ?

Je rajoute que je suis sous gnome et que Compiz est lancé, ça peut peut être avoir une incidence. La version de mon kernel est 2.6.32-3-amd64. Les drivers propriétaires NVIDIA sont installés pour ma carte graphique.

J'ai aussi essayé le ./simpleTest fourni par ARToolkit avec le flux en mp4 de la manière suivante :
Code:

1 2 3 4 5 6 7 8 9 10 11 12 13 alan@alan:~/ARToolKit/bin$ ./simpleTest Using config string from environment [rtspsrc location="rtsp://192.168.10.63/axis-media/media.amp?videocodec=h264&resolution=640x360" ! rtph264depay byte-stream=false ! capsfilter caps="video/x-h264,width=640,height=360,framerate=(fraction)25/1" ! ffmux_mp4 ! identity name=artoolkit ! fakesink]. libARvideo: GStreamer 0.10.28 libARvideo: GStreamer pipeline is PAUSED! Image size (x,y) = (1768710505,1769234810) *** Camera Parameter *** -------------------------------------- SIZE = 1768710505, 1769234810 Distortion factor = 880209837,253906 728211278,230469 0,000000 1,012757 1937156607,83349 0,00000 874682616,92578 0,00000 0,00000 2006641260,48436 667411854,62109 0,00000 0,00000 0,00000 1,00000 0,00000 --------------------------------------
Et toujours un freeze après ça, rien ne s'affiche.

En espérant que celui puisse aider un peu à trouver ce qui ne fonctionne pas...

Nouvelle tentative ce matin avec le mode verbose de gst-launch pour essayer d'en savoir un peu plus. J'ai aussi mis une résolution de 320x240 qui est la résolution utilisée par le test ./graphicsTest qui fonctionne car il m'affiche la fenêtre avec la cafetière.

La commande Gstreamer est donc la suivante :

Code:

gst-launch -v rtspsrc location="rtsp://192.168.10.63/axis-media/media.amp?resolution=320x240" ! rtpmp4vdepay ! decodebin ! ffmpegcolorspace ! capsfilter caps="video/x-raw-rgb,bpp=24,width=320,height=240" ! identity name="artoolkit" ! fakesink sync=0

Et le retour est :

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
Définition du pipeline à PAUSED...
/GstPipeline:pipeline0/GstRTSPSrc:rtspsrc0/GstRtpBin:rtpbin0: latency = 2000
/GstPipeline:pipeline0/GstRTSPSrc:rtspsrc0/GstUDPSrc:udpsrc1: timeout = 5000000
/GstPipeline:pipeline0/GstRTSPSrc:rtspsrc0/GstUDPSrc:udpsrc4: timeout = 5000000
Le pipeline est actif et n'a pas besoin de phase PREROLL...
Passage du pipeline à la phase PLAYING...
New clock: GstSystemClock
/GstPipeline:pipeline0/GstRTSPSrc:rtspsrc0/GstUDPSrc:udpsrc1: timeout = 0
/GstPipeline:pipeline0/GstRTSPSrc:rtspsrc0/GstUDPSrc:udpsrc4: timeout = 0
/GstPipeline:pipeline0/GstRTSPSrc:rtspsrc0.GstGhostPad:recv_rtp_src_0_106139473_96: caps = application/x-rtp, media=(string)video, payload=(int)96, clock-rate=(int)90000, encoding-name=(string)H264, packetization-mode=(string)1, profile-level-id=(string)420033, sprop-parameter-sets=(string)\"Z0IAM+KQKDPz4C3AQEB4eJEV\\,aM48gA\\=\\=\", a-framerate=(string)2147483647.0, clock-base=(guint)844827517, seqnum-base=(guint)4768, npt-start=(guint64)0, play-speed=(double)1, play-scale=(double)1
/GstPipeline:pipeline0/GstRTSPSrc:rtspsrc0.GstGhostPad:recv_rtp_src_0_106139473_96.GstProxyPad:proxypad8: caps = application/x-rtp, media=(string)video, payload=(int)96, clock-rate=(int)90000, encoding-name=(string)H264, packetization-mode=(string)1, profile-level-id=(string)420033, sprop-parameter-sets=(string)\"Z0IAM+KQKDPz4C3AQEB4eJEV\\,aM48gA\\=\\=\", a-framerate=(string)2147483647.0, clock-base=(guint)844827517, seqnum-base=(guint)4768, npt-start=(guint64)0, play-speed=(double)1, play-scale=(double)1
/GstPipeline:pipeline0/GstRTSPSrc:rtspsrc0/GstRtpBin:rtpbin0.GstGhostPad:recv_rtp_src_0_106139473_96.GstProxyPad:proxypad7: caps = application/x-rtp, media=(string)video, payload=(int)96, clock-rate=(int)90000, encoding-name=(string)H264, packetization-mode=(string)1, profile-level-id=(string)420033, sprop-parameter-sets=(string)\"Z0IAM+KQKDPz4C3AQEB4eJEV\\,aM48gA\\=\\=\", a-framerate=(string)2147483647.0, clock-base=(guint)844827517, seqnum-base=(guint)4768, npt-start=(guint64)0, play-speed=(double)1, play-scale=(double)1
/GstPipeline:pipeline0/GstRTSPSrc:rtspsrc0.GstGhostPad:recv_rtp_src_1_3131727327_97: caps = application/x-rtp, media=(string)audio, payload=(int)97, clock-rate=(int)16000, encoding-name=(string)MPEG4-GENERIC, encoding-params=(string)1, profile-level-id=(string)15, mode=(string)AAC-hbr, config=(string)1408, sizelength=(string)13, indexlength=(string)3, indexdeltalength=(string)3, profile=(string)1, bitrate=(string)32000, clock-base=(guint)513587548, seqnum-base=(guint)56970, npt-start=(guint64)0, play-speed=(double)1, play-scale=(double)1
/GstPipeline:pipeline0/GstRTSPSrc:rtspsrc0.GstGhostPad:recv_rtp_src_1_3131727327_97.GstProxyPad:proxypad10: caps = application/x-rtp, media=(string)audio, payload=(int)97, clock-rate=(int)16000, encoding-name=(string)MPEG4-GENERIC, encoding-params=(string)1, profile-level-id=(string)15, mode=(string)AAC-hbr, config=(string)1408, sizelength=(string)13, indexlength=(string)3, indexdeltalength=(string)3, profile=(string)1, bitrate=(string)32000, clock-base=(guint)513587548, seqnum-base=(guint)56970, npt-start=(guint64)0, play-speed=(double)1, play-scale=(double)1
/GstPipeline:pipeline0/GstRTSPSrc:rtspsrc0/GstRtpBin:rtpbin0.GstGhostPad:recv_rtp_src_1_3131727327_97.GstProxyPad:proxypad9: caps = application/x-rtp, media=(string)audio, payload=(int)97, clock-rate=(int)16000, encoding-name=(string)MPEG4-GENERIC, encoding-params=(string)1, profile-level-id=(string)15, mode=(string)AAC-hbr, config=(string)1408, sizelength=(string)13, indexlength=(string)3, indexdeltalength=(string)3, profile=(string)1, bitrate=(string)32000, clock-base=(guint)513587548, seqnum-base=(guint)56970, npt-start=(guint64)0, play-speed=(double)1, play-scale=(double)1
ERREUR*: de l'élément /GstPipeline:pipeline0/GstRTSPSrc:rtspsrc0/GstUDPSrc:udpsrc4*: Erreur interne de flux de données.
Information de débogage supplémentaire*:
gstbasesrc.c(2507): gst_base_src_loop (): /GstPipeline:pipeline0/GstRTSPSrc:rtspsrc0/GstUDPSrc:udpsrc4:
streaming task paused, reason not-linked (-1)
Execution ended after 236857515 ns.
Définition du pipeline à PAUSED...
Définition du pipeline à READY (prêt)...
/GstPipeline:pipeline0/GstRTSPSrc:rtspsrc0.GstGhostPad:recv_rtp_src_1_3131727327_97: caps = NULL
/GstPipeline:pipeline0/GstRTSPSrc:rtspsrc0.GstGhostPad:recv_rtp_src_0_106139473_96: caps = NULL
/GstPipeline:pipeline0/GstRTSPSrc:rtspsrc0/GstRtpBin:rtpbin0.GstGhostPad:recv_rtp_src_1_3131727327_97: caps = NULL
/GstPipeline:pipeline0/GstRTSPSrc:rtspsrc0/GstRtpBin:rtpbin0.GstGhostPad:recv_rtp_src_0_106139473_96: caps = NULL
/GstPipeline:pipeline0/GstRTSPSrc:rtspsrc0/GstRtpBin:rtpbin0/GstRtpPtDemux:rtpptdemux1.GstPad:src_97: caps = NULL
/GstPipeline:pipeline0/GstRTSPSrc:rtspsrc0/GstRtpBin:rtpbin0/GstRtpPtDemux:rtpptdemux0.GstPad:src_96: caps = NULL
Définition du pipeline à NULL...
Libération du pipeline...

Je me demande si la résolution y est pour quelque chose car le 320x240 n'est pas une résolution optimisée pour cette Axis. Elle diffuse bien du 320x240 sous vlc quand je lui passe le flux réseau "rtsp://192.168.10.63/axis-media/media.amp?resolution=320x240" mais elle retaille son flux d'origine qui est en 16:9 (le plus approchant étant le 320x180).

Toujours pas d'idée ? Même pas un début pour m'aider à isoler le problème ?

Après avoir relu la doc d'ARToolkit, j'ai lu que dans l'exemple le flux d'entrée est rtsp://somertspstreamingserver:554/live.sdp. J'ai donc tenté de diffuser le flux de la caméra en local via VLC à l'aide de la commande suivante :

Code:

cvlc -vv --no-rtsp-tcp rtsp://192.168.10.63/axis-media/media.amp?resolution=320x180 --rtsp-caching=1000 --no-sout-audio --sout '#rtp{dst=127.0.0.1 ,port=1234,sdp=rtsp://127.0.0.1:8080/test.sdp}}'

Le flux est désormais accessible à l'adresse rtsp://127.0.0.1:8080/test.sdp pour coller un peu plus à l'exemple de la doc. Il est accessible en lançant un client (un autre vlc) pour le visualiser.

Mais le gst-launch me donne toujours des erreurs :

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
alan@alan:~/ARToolKit/bin$ gst-launch -v rtspsrc location="rtsp://127.0.0.1:8080/test.sdp" ! rtpmp4vdepay ! decodebin ! ffmpegcolorspace ! capsfilter caps="video/x-raw-rgb,bpp=24" ! identity name="artoolkit" ! fakesink sync=0
Définition du pipeline à PAUSED...
/GstPipeline:pipeline0/GstRTSPSrc:rtspsrc0/GstRtpBin:rtpbin0: latency = 2000
/GstPipeline:pipeline0/GstRTSPSrc:rtspsrc0/GstUDPSrc:udpsrc1: timeout = 5000000
Le pipeline est actif et n'a pas besoin de phase PREROLL...
Passage du pipeline à la phase PLAYING...
New clock: GstSystemClock
/GstPipeline:pipeline0/GstRTSPSrc:rtspsrc0/GstUDPSrc:udpsrc1: timeout = 0
/GstPipeline:pipeline0/GstRTSPSrc:rtspsrc0.GstGhostPad:recv_rtp_src_0_941236251_96: caps = application/x-rtp, media=(string)video, payload=(int)96, clock-rate=(int)90000, encoding-name=(string)H264, packetization-mode=(string)1, profile-level-id=(string)420033, sprop-parameter-sets=(string)\"Z0IAM+KQKDPz4C3AQEB4eJEV\\,aM48gA\\=\\=\", a-tool=(string)\"vlc\\ 1.0.5\", a-recvonly=(string)\"\", a-type=(string)broadcast, a-charset=(string)UTF-8, clock-base=(guint)811865427, seqnum-base=(guint)65306, npt-start=(guint64)0, play-speed=(double)1, play-scale=(double)1
/GstPipeline:pipeline0/GstRTSPSrc:rtspsrc0.GstGhostPad:recv_rtp_src_0_941236251_96.GstProxyPad:proxypad5: caps = application/x-rtp, media=(string)video, payload=(int)96, clock-rate=(int)90000, encoding-name=(string)H264, packetization-mode=(string)1, profile-level-id=(string)420033, sprop-parameter-sets=(string)\"Z0IAM+KQKDPz4C3AQEB4eJEV\\,aM48gA\\=\\=\", a-tool=(string)\"vlc\\ 1.0.5\", a-recvonly=(string)\"\", a-type=(string)broadcast, a-charset=(string)UTF-8, clock-base=(guint)811865427, seqnum-base=(guint)65306, npt-start=(guint64)0, play-speed=(double)1, play-scale=(double)1
/GstPipeline:pipeline0/GstRTSPSrc:rtspsrc0/GstRtpBin:rtpbin0.GstGhostPad:recv_rtp_src_0_941236251_96.GstProxyPad:proxypad4: caps = application/x-rtp, media=(string)video, payload=(int)96, clock-rate=(int)90000, encoding-name=(string)H264, packetization-mode=(string)1, profile-level-id=(string)420033, sprop-parameter-sets=(string)\"Z0IAM+KQKDPz4C3AQEB4eJEV\\,aM48gA\\=\\=\", a-tool=(string)\"vlc\\ 1.0.5\", a-recvonly=(string)\"\", a-type=(string)broadcast, a-charset=(string)UTF-8, clock-base=(guint)811865427, seqnum-base=(guint)65306, npt-start=(guint64)0, play-speed=(double)1, play-scale=(double)1
ERREUR*: de l'élément /GstPipeline:pipeline0/GstRTSPSrc:rtspsrc0/GstUDPSrc:udpsrc1*: Erreur interne de flux de données.
Information de débogage supplémentaire*:
gstbasesrc.c(2507): gst_base_src_loop (): /GstPipeline:pipeline0/GstRTSPSrc:rtspsrc0/GstUDPSrc:udpsrc1:
streaming task paused, reason not-linked (-1)
Execution ended after 398172900 ns.
Définition du pipeline à PAUSED...
Définition du pipeline à READY (prêt)...
/GstPipeline:pipeline0/GstRTSPSrc:rtspsrc0.GstGhostPad:recv_rtp_src_0_941236251_96: caps = NULL
/GstPipeline:pipeline0/GstRTSPSrc:rtspsrc0/GstRtpBin:rtpbin0.GstGhostPad:recv_rtp_src_0_941236251_96: caps = NULL
/GstPipeline:pipeline0/GstRTSPSrc:rtspsrc0/GstRtpBin:rtpbin0/GstRtpPtDemux:rtpptdemux0.GstPad:src_96: caps = NULL
Définition du pipeline à NULL...
Libération du pipeline...

Vu que je n'avance pas beaucoup avec ARToolkit peut-être avez vous une autre solution pour faire de la réalité augmentée avec une caméra IP sous Linux ? Toute proposition sera la bienvenue.

Un petit up car je n'ai toujours pas trouvé de solution.

Je n'ai plus de problèmes quand je lance la commande suivante via gstreamer :

Code:

gst-launch rtspsrc location=rtsp://192.168.10.101/axis-media/media.amp latency=0 ! decodebin ! ffmpegcolorspace ! videoscale ! capsfilter caps=video/x-raw-yuv,width=320,height=180 ! autovideosink

La vidéo s'affiche bien, jusqu'ici pas de soucis.

Mais quand j'initialise la variable d'ARToolkit :

Code:

export ARTOOLKIT_CONFIG="rtspsrc location=rtsp://192.168.10.101/axis-media/media.amp latency=0 ! decodebin ! ffmpegcolorspace ! videoscale ! capsfilter caps=video/x-raw-yuv,width=320,height=180 ! identity name=artoolkit ! fakesink"

et que je relance le ARToolKit/bin/simpleTest la sortie est :
Code:

1 2 3 4 5 6 7 8 9 10 11 12 Using config string from environment [rtspsrc location=rtsp://192.168.10.101/axis-media/media.amp latency=0 ! decodebin ! ffmpegcolorspace ! videoscale ! capsfilter caps=video/x-raw-yuv,width=320,height=180 ! identity name=artoolkit ! fakesink]. libARvideo: GStreamer 0.10.28 libARvideo: GStreamer pipeline is PAUSED! Image size (x,y) = (1768710505,1769234810) *** Camera Parameter *** -------------------------------------- SIZE = 1768710505, 1769234810 Distortion factor = 880209837,253906 728211278,230469 0,000000 1,012757 1937156607,83349 0,00000 874682616,92578 0,00000 0,00000 2006641260,48436 667411854,62109 0,00000 0,00000 0,00000 1,00000 0,00000 --------------------------------------
Toujours avec un size délirant et rien ne s'affiche. Je vais chercher du côté des encodages pour voir si la sortie de la caméra IP est compatible avec l'entrée d'ARToolkit. En attendant si quelqu'un a des idées je suis preneur.

02/04/2010, 14h20
kariatis

As tu essayé de changer le paramètre latency à 100 ou 200 ?
Je me rappele avoir eu un problème de ce genre avec une caméra Axis.

Le fil de discussion gstreamer est une très bonne source d'info :

Send gstreamer-devel mailing list submissions to
gstreamer-devel@lists.sourceforge.net
To subscribe or unsubscribe via the World Wide Web, visit
https://lists.sourceforge.net/lists/...streamer-devel
02/04/2010, 15h40
pingos

Citation:

As tu essayé de changer le paramètre latency à 100 ou 200 ?

Avec latency=0, latency=100, latency=200 ou même sans le paramètre latency ça donne la même chose, c'est à dire rien.

Citation:

Je me rappele avoir eu un problème de ce genre avec une caméra Axis.

Tu m'intéresses ! Si jamais tu retrouves la solution je suis preneur. Ou même les sources de ce que tu as utilisé à l'époque. Est-ce que tu as utilisé cette caméra avec ARToolkit ou dans un autre environnement ?

Citation:

Le fil de discussion gstreamer est une très bonne source d'info

Ok je me suis inscrit je vais fouiller pendant le week end (et heureusement qu'il est long car les archives ont l'air d'être bien chargées).
04/05/2010, 11h32
pingos

Bon j'avance un peu avec ARToolkit.
Mon probème venait du fait que j'utilsais la version 2.72.1 proposée par le site http://www.hitl.washington.edu/artoolkit/. Mais le protocole rtsp n'est supporté qu'à partir de la version 2.72.2. Il faut donc récupérer la dernière version via le svn :

Code:

svn co https://artoolkit.svn.sourceforge.net/svnroot/artoolkit/trunk/artoolkit ARToolkit

Du coup, les différents tests fonctionnent avec la ligne de config suivante :

Code:

export ARTOOLKIT_CONFIG="rtspsrc location=rtsp://192.168.10.63/axis-media/media.amp latency=0 ! decodebin ! ffmpegcolorspace ! capsfilter caps=video/x-raw-rgb,bpp=24 ! identity name=artoolkit ! fakesink sync=0"