Conversion YUV vers RGB

Version imprimable

03/10/2016, 10h01
Mrpantalon

1 pièce(s) jointe(s)

Conversion YUV vers RGB

Bonjour,
J'essaye actuellement de récupéré le flus rtsp de ma camera IP, j'utilise donc vlc-qt pour récupéré mes frames jusque la aucun problème.
Seulement je n'arrive pas a convertir mes frames YUV en RGB a l'aide d'openCV, j'opère la conversion de cette façons:

Code:

cv::Mat mat({frame->width, frame->height}, CV_YUV2BGR, frame->frameBuffer.data(), cv::Mat::AUTO_STEP);

Ensuite si j'essaye d'affiché le flux j'obtient

Pièce jointe 221740
Si j'essaye de sauvegardé une frame en fichier jpeg j'obtient l'assertion suivante:

Code:

OpenCV Error: error: (-215) Assertion failed (image.channels() == 1 || image.channels() == 3 || image.channels() == 4) in imwrite_

PS: image.channels() me retourne 11.
Merci d'avance de votre aide.
03/10/2016, 10h15
skeud

Je vais posé une question conne, mais es-tu sur que ton format de sortie est YUV? d'après la doc que tu as mis c'est du mjpeg, donc la sortie ne serait pas en YUV non?
03/10/2016, 10h22
Mrpantalon

1 pièce(s) jointe(s)

Merci d'avoir répondu,
J'utilise la class VlcVideoStream de vlc-qt et d'après la doc

Citation:

VlcVideoStream sets proper callbacks to get YUV frames from libVLC. This class should be subclassed and implement frameUpdated to specify what to do with the frame.

je suppose que je reçois bien du YUV ? ~~Est il possible de vérifié cela avec vlc directement ?~~
Vlc me sort:

Pièce jointe 221746

Rien avoir mais on peut redimensionné les image attaché directement sur developpez.com ?
03/10/2016, 10h36
skeud

Effectviement il semble que VLC te balance du fluix yuv, mais pourquoi passer par vlc? Pourquoi tu ne lis pas directement le flux sortant de ta caméra et que tu l'affiche dans Qt? Si j'ai bien compris, ta caméra te donne un stream en http, il te suffirait de le lire et de l'afficher dans un renderer non? :).

Ensuite si tu veux réellement convertir, il vaut mieux utiliser ffmpeg par exemple. Opencv, je ne suis pas sur que ça soit vraiment adapté pour la vidéo :/.
03/10/2016, 10h40
Mrpantalon

J'utilise vlc pour lire mon flux rtsp et opencv pour incrusté différent textes dynamiques et enregistré le flux dans un fichier, j'utilise vlc pour la facilité mais il est vrais que je peut me pencher sur ffmpeg,
pour le flux http j'ai différentes cameras qui fournissent toute un flux rtsp (et pas forcement un http) donc je préfère passé par le rtsp.
03/10/2016, 11h05
skeud

De ce que j'ai vu sur internet, ffmpeg permet de lire un flux rtsp et donc de pouvoir le stocker, ensuite tu peux utiliser opencv pour incruster ton texte et enregistrer le flux sortant. Je pense que ça sera plus adapté que vlc pour ce que tu veux faire. Sinon essaye de voir du coté de vlc si il n'y a pas des exemple de ce que tu veux faire :).

Perso j'ai pas trouvé grand chose, et j'ai pas l'impression que vlc-qt dispose de beaucoup de ressource sur internet pour la manipulation des flux, mais plutôt pour l'affichage directe dans qt :/.

EDIT:
D'après ton screenshot c'est bien du ~~mjpeg~~ (MPEG-4 comme me l'a fait remarqué dragonjoker59) qui sort, donc ffmpeg me semble tout indiqué. Ensuite si tu as plusieurs type de flux à gérer, vlc semble le mieux car il permet de tout mettre au même format. Il faudrait regarder pour la matrice de conversion ce qu'elle te donne et comparer avec l'article wiki sur le YUV pour voir si la matrice est la même. De ce que j'ai vu, il y a plusieurs manière d’encoder le YUV, donc peut-etre que ton paramètre indiquant le type de flux n'est pas le bon :).

EDIT2:
En relisant ton code, tu utilise CV_YUV2BGR, ça ne serait pas CV_YUV2RGB que tu voudrais?
Essaye aussi avec l'enum CV_YUV2RGB_I420 ou CV_YUV420p2RGB, ça correspondrait peut-etre plus à ton encodage que le simple enum :).
03/10/2016, 11h35
Mrpantalon

Citation:

En relisant ton code, tu utilise CV_YUV2BGR, ça ne serait pas CV_YUV2RGB que tu voudrais?
Essaye aussi avec l'enum CV_YUV2RGB_I420 ou CV_YUV420p2RGB, ça correspondrait peut-etre plus à ton encodage que le simple enum

J'ai essayé toute les valeurs de l'enum (CV_YUV2BGR_XXX et CV_YUV2RGB_XXX) cela donne exactement le même résultat.

Citation:

D'après ton screenshot c'est bien du mjpeg qui sort, donc ffmpeg me semble tout indiqué. Ensuite si tu as plusieurs type de flux à gérer, vlc semble le mieux car il permet de tout mettre au même format. Il faudrait regarder pour la matrice de conversion ce qu'elle te donne et comparer avec l'article wiki sur le YUV pour voir si la matrice est la même. De ce que j'ai vu, il y a plusieurs manière d’encoder le YUV, donc peut-etre que ton paramètre indiquant le type de flux n'est pas le bon

La camera est configuré pour sortir du h264, je pense que je vais voir du coté de ffmpeg et voir si je peut convertir directement du coté de ffmpeg si ce n'est pas concluant j'essayerais d'utilisé l'option Transcode de vlc.
03/10/2016, 11h41
skeud

Sinon essaye d'enregistrer le flux sortant de ta camera dans un fichier mjpeg. Le flux sortant de vlc dans un yuv et compare les deux en le lisant avec vlc player, tu pourras déjà voir si vlc arrive à se lire lui même. J'ai cru voir des bugs sur opencv concernant la conversion yuv->rgb, mais j'ai pas creusé pour voir si ils étaient corriger.

Néanmoins, ça te donne pas mal de piste à découvrir déjà :). Tiens nous au courant ;).
03/10/2016, 11h46
dragonjoker59

Citation:

Envoyé par skeud

D'après ton screenshot c'est bien du mjpeg qui sort, donc ffmpeg me semble tout indiqué. Ensuite si tu as plusieurs type de flux à gérer, vlc semble le mieux car il permet de tout mettre au même format. Il faudrait regarder pour la matrice de conversion ce qu'elle te donne et comparer avec l'article wiki sur le YUV pour voir si la matrice est la même. De ce que j'ai vu, il y a plusieurs manière d’encoder le YUV, donc peut-etre que ton paramètre indiquant le type de flux n'est pas le bon :).

Le MPEG-4 n'est pas du MJPEG hein, là le format est du H264, et on utilise généralement du YUV420 pour stocker les frames avant encodage.
Il faut donc bien voir si CV_YUV2[RGB/BGR] est bien ce dont tu as besoin, CV_YUV420p2RGB me semble plus approprié.
03/10/2016, 11h49
Mrpantalon

Citation:

Envoyé par dragonjoker59

Le MPEG-4 n'est pas du MJPEG hein, là le format est du H264, et on utilise généralement du YUV420 pour stocker les frames avant encodage.
Il faut donc bien voir si CV_YUV2[RGB/BGR] est bien ce dont tu as besoin, CV_YUV420p2RGB me semble plus approprié.

J'ai essayé CV_YUV420p2[RGB/BGR] et le problème reste le même.

PS: tes tutoriels sur opengl sont géniaux :D
03/10/2016, 11h56
dragonjoker59

C'est une image en niveaux de gris, ou en couleurs?
A la vue de ton résultat, on dirait une image en niveaux de gris, du coup, il est possible qu'elle ne soit pas stockée en YUV et que la tentative de décompression donne ce résultat.
En tout cas, si c'était du MJPEG tu n'aurais pas cet output, je pense, mais un beau plantage lors de la tentative d'affichage.

EDIT:

Mes tutoriels ne sont que des traductions, mais je trouve les originaux géniaux.
03/10/2016, 12h07
Mrpantalon

Citation:

Envoyé par dragonjoker59

C'est une image en niveaux de gris, ou en couleurs?
A la vue de ton résultat, on dirait une image en niveaux de gris, du coup, il est possible qu'elle ne soit pas stockée en YUV et que la tentative de décompression donne ce résultat.
En tout cas, si c'était du MJPEG tu n'aurais pas cet output, je pense, mais un beau plantage lors de la tentative d'affichage.

EDIT:

Mes tutoriels ne sont que des traductions, mais je trouve les originaux géniaux.

C'est une vidéo couleur que VLC et vlc-qt (mais pas ffplay :weird:) affiche sans problème lorsque que je ne touche pas aux frames.
Le fait que le flux est en NTSC peut t'il joué ?

Je sais pas si cela peut aidé mais ffmpeg me sort:

Code:

1
2
3
4
5
6
7
8
9
10
 
ffmpeg -i rtsp://192.168.1.106:554/main
[rtsp @ 0x7f8408003400] Could not find codec parameters for stream 0 (Video: h264, none): unspecified size
Consider increasing the value for the 'analyzeduration' and 'probesize' options
Input #0, rtsp, from 'rtsp://192.168.1.106:554/main':
  Metadata:
    title           : Media Presentation
  Duration: N/A, bitrate: N/A
    Stream #0:0: Video: h264, none, 90k tbr, 90k tbn, 180k tbc
    Stream #0:1: Data: none

EDIT
Bon mes tests avec ffmpeg ne sont pas vraiment concluant
voici mon code d'essai:

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
 
const auto stream_path = "rtsp://192.168.1.106/main";
 
av_register_all();
avformat_network_init();
 
AVFormatContext* formatContext = avformat_alloc_context();
AVDictionary *opts = nullptr;
av_dict_set(&opts, "rtsp_transport", "udp", 0);
 
if (!avformat_open_input(&formatContext, stream_path, nullptr, &opts))
	return -1;
 
if (avformat_find_stream_info(formatContext, nullptr) < 0)
	return -1;

et la je tombe dans une boucle infinie dans avformat_find_stream_info