Sujet d'étude : intégration d'une vidéo à une IHM

Version imprimable

28/02/2019, 10h13
Clemschan

Sujet d'étude : intégration d'une vidéo à une IHM

Bonjour à tous !

Voilà j'explique un peu mon souci, je suis actuellement étudiant et dans le cadre d'un projet, on me demande de réussir à créer via Qt une interface IHM capable de récupérer la vidéo d'une IP Camera et de la stream en direct sur l'IHM. Mon souci : je suis en dernière année d'ingénierie mécanique... autant vous dire que le développement et moi .... ça fait 36 !

Qu'à cela ne tienne, j'ai commencé en faisant plusieurs tuto, et j'ai réussi à créer l'IHM permettant d'utiliser quelques boutons. Le souci intervient pour la partie vidéo, je n'ai absolument aucune idée de comment partir et/ou comment fragmenter cette partie de projet, et malgré de recherche je n'ai pas trouvé de tuto me permettant d'y arriver. Voilà quand même ma vision de ce que je dois effectuer, vous me direz rapidement si je suis dans le faux ou non :
- Etablir la connexion avec la source envoyant la vidéo
- Savoir récupérer un flux d'information via Qt
- Ouvrir ce flux sous format H.264

Je me répète encore je suis totalement novice en développement, j'essaye de m'intéresser à la doc Qt mais j'ai beaucoup de mal à y avancer et malgré mes recherche je ne trouve rien sur le "streaming" vidéo.

Voilà ! Merci beaucoup d'avance :D

J'update ma situation, j'ai essayé d'intégrer Gstreamer et voilà ce que j'ai pu avoir :

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
#include <iostream>
#include <QCoreApplication>
#include <QGlib/Error>
#include <QGlib/Connect>
#include <QGst/Init>
#include <QGst/Bus>
#include <QGst/Pipeline>
#include <QGst/Parse>
#include <QGst/Message>
#include <QGst/Utils/ApplicationSink>
#include <QGst/Utils/ApplicationSource>
 
 
class MySink : public QGst::Utils::ApplicationSink
{
public:
    MySink(QGst::Utils::ApplicationSource *src)
        : QGst::Utils::ApplicationSink(), m_src(src) {}
protected:
    virtual void eos()
    {
        m_src->endOfStream();
    }
    virtual QGst::FlowReturn newSample()
    {
        QGst::SamplePtr sample = pullSample();
        m_src->pushBuffer(sample->buffer());
        return QGst::FlowOk;
    }
private:
    QGst::Utils::ApplicationSource *m_src;
};
class Player : public QCoreApplication
{
public:
    Player(int argc, char **argv);
    ~Player();
private:
    void onBusMessage(const QGst::MessagePtr & message);
private:
    QGst::Utils::ApplicationSource m_src;
    MySink m_sink;
    QGst::PipelinePtr pipeline1;
    QGst::PipelinePtr pipeline2;
};
Player::Player(int argc, char **argv)
    : QCoreApplication(argc, argv), m_sink(&m_src)
{
    QGst::init(&argc, &argv);
    if (argc <= 1) {
        std::cerr << "Usage: " << argv[0] << " <audio_file>" << std::endl;
        std::exit(1);
    }
    const char *caps = "audio/x-raw, format=(string)S16LE, channels=(int)1,"
                       " rate=(int)44100, layout=(string)interleaved";
    /* source pipeline */
    QString pipe1Descr = QString("filesrc location=rtsp://admin:pwd@169.254.162.xx/axis-media/media.amp\"%1\" ! "
                                 "decodebin ! "
                                 "audioconvert ! "
                                 "audioresample ! "
                                 "appsink name=\"mysink\" caps=\"%2\"").arg(argv[1], caps);
    pipeline1 = QGst::Parse::launch(pipe1Descr).dynamicCast<QGst::Pipeline>();
    m_sink.setElement(pipeline1->getElementByName("mysink"));
    QGlib::connect(pipeline1->bus(), "message::error", this, &Player::onBusMessage);
    pipeline1->bus()->addSignalWatch();
    /* sink pipeline */
    QString pipe2Descr = QString("appsrc name=\"mysrc\" caps=\"%1\" is-live=true format=3 ! "
                                 "autoaudiosink").arg(caps);
    pipeline2 = QGst::Parse::launch(pipe2Descr).dynamicCast<QGst::Pipeline>();
    m_src.setElement(pipeline2->getElementByName("mysrc"));
    QGlib::connect(pipeline2->bus(), "message", this, &Player::onBusMessage);
    pipeline2->bus()->addSignalWatch();
    /* start playing */
    pipeline1->setState(QGst::StatePlaying);
    pipeline2->setState(QGst::StatePlaying);
}
Player::~Player()
{
    pipeline1->setState(QGst::StateNull);
    pipeline2->setState(QGst::StateNull);
}
void Player::onBusMessage(const QGst::MessagePtr & message)
{
    switch (message->type()) {
    case QGst::MessageEos:
        quit();
        break;
    case QGst::MessageError:
        qCritical() << message.staticCast<QGst::ErrorMessage>()->error();
        break;
    default:
        break;
    }
}
int main(int argc, char **argv)
{
    Player p(argc, argv);
    return p.exec();
}

Mais mes erreur sont toutes concernant QtGst :
/Bureau/Qt Clement/QtGsttest/player.cpp:16: erreur : undefined reference to QGst::Ui::VideoWidget::VideoWidget(QWidget*, QFlags<Qt::WindowType>)' /Bureau/Qt Clement/QtGsttest/player.cpp:16: erreur : undefined reference toQGst::Ui::VideoWidget::~VideoWidget()'
/Bureau/Qt Clement/build-QtGsttest-Desktop-Debug/player.o:-1: In function Player::~Player()': /Bureau/Qt Clement/QtGsttest/player.cpp:25: erreur : undefined reference toQGst::Element::setState(QGst::State)'

etc...

j'ai la même chose pour chaque ligne intégrant "QGst::..."

à l'aide svp :D

18/03/2019, 13h31
dourouc05

:salut:

Qu'as-tu modifié dans ton fichier .pro ? Il faut aussi inclure les fichiers .lib/.a de QGst (https://doc.qt.io/qt-5/qmake-project...ther-libraries). Maintenant, le QGst que j'ai trouvé n'est plus maintenu… Sinon, tu as https://doc.qt.io/qt-5/videooverview.html.

Merci Dourouc de la réponse ! Normalement j'ai bien tout inclus dans mon .pro

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
QT       += core gui
 
greaterThan(QT_MAJOR_VERSION, 4): QT += widgets
 
TARGET = testQtNetwork
TEMPLATE = app
 
 
SOURCES += main.cpp\
        mafenetre.cpp \
 
HEADERS  += mafenetre.h \
 
 
QT += network
QT += widgets
 
CONFIG += pkgconfig
 
 
 
 
 
INCLUDEPATH += "/usr/include/Qt5GStreamer"

Qu'est ce que ça voudrait dire pour moi que ce n'est plus maintenu ?

18/03/2019, 16h24
dourouc05

Citation:

Envoyé par Clemschan

Normalement j'ai bien tout inclus dans mon .pro

Justement, non : tu ne fais rien avec la variables LIBS.

Citation:

Envoyé par Clemschan

Qu'est ce que ça voudrait dire pour moi que ce n'est plus maintenu ?

Que ça pourrait ne plus fonctionner avec une version "future" de Qt (à partir de 2014), principalement. Si tu as un problème quelconque qui doit être corrigé dans la bibliothèque, il n'y aura personne pour le résoudre à ta place.
18/03/2019, 16h34
Clemschan

Arf ... je suis un nooby en Qt et en dev orienté objet, qu'arait-il fallu que je fasse dans mon .pro pour être bon ?

Ah ! Du coup tu me conseille de partir sur une version plus ancienne de Qt ?
18/03/2019, 16h52
Clemschan

Ok je suis désolé je viens de voir la suite de la première ligne >< j'étais sur mon portable et je n'ai pas pensé à scroll vers la droite, je vais essayer d'include les lib et je redis si ça marche :) (Encore désolé du message pour rien ^)
18/03/2019, 17h17
Clemschan

Bon je reviens au sujet des Glib du coup, j'avoue que malgré les exemple que j'ai pu voir sur le net je suis un peu perdu. J'ai un dossier Glib dans mon repertoire Qt5Gstreamer, j'aurais endance à vouloir utiliser celles qui sont à l'intérieur mais ma "commande n'est pas reconnue" ...

Mettons que dans ce dossier je veuille utiliser une lib qui s'appelle error.h, je met :

Code:

LIBS += /usr/include/Qt5GStreamer/Glib/ -error

On est d'accord là dessus ?
18/03/2019, 17h55
dourouc05

Citation:

Envoyé par Clemschan

On est d'accord là dessus ?

Nope :P.

Une bibliothèque externe, c'est exactement comme ton code : des fichiers d'en-tête (.h) et des fichiers de code (.cpp). Certaines bibliothèques n'ont que des fichiers d'en-tête, c'est notamment le cas d'une bonne partie de Boost : dans ce cas, tu inclus le fichier d'en-tête (#include), ça marche, fini journée. Par contre, s'il faut du code à compiler (l'immense majorité des bibliothèques), c'est-à-dire si le fichier .h ne contient pas tout, il faut dire au compilateur où se trouve le code. Pour éviter de recompiler trente-six mille fois le code des bibliothèques, tu ne dis pas au compilateur où se trouvent les fichiers CPP : tu dis que tu vas utiliser une bibliothèque externe (DLL sous Windows), décrite dans un format approprié pour le compilateur (fichiers de liaison : .lib pour Visual C++, .a pour MinGW/GCC). Pour éviter une prolifération des DLL, tu peux y mettre plusieurs fichiers d'implémentation (tout comme ton exécutable se compose de plusieurs fichiers).

Plus en pratique : le module Qt Widgets. Tu as une série de classes avec des fichiers d'en-tête et de code : QWidget, QPaintDevice, etc. L'implémentation de toutes ces classes se trouve dans Qt5Widgets.dll. Le compilateur, de son côté, a besoin d'une spécification des classes (les fichiers d'en-tête) et d'une liste des fonctions disponibles dans cette DLL (.lib/.a). Jusqu'à présent, tu as indiqué le chemin des fichiers d'en-tête, pas des fichiers de liaison : c'est à ça que sert l'option LIBS.

Ensuite, pour la syntaxe, on va rester sur du Linux (je suppose que c'est ce que tu utilises). Avec -L, tu spécifies un dossier où les fichiers .a se situent ; avec -l, tu dis au compilateur (éditeur de liens, en fait, pour être précis) quel fichier il faut utiliser (-liberty pour libiberty.a, par exemple).
19/03/2019, 09h41
Clemschan

Merci beaucoup pour toutes ces réponses ! :D L'explication était très claire !
Bon du coup j'ai essayé de regarder sur la documentation Qt et Gstreamer mais je n'ai pas vu à quelles librairies il faut que je fasse appel. Donc comment est-ce que je peux savoir ce dont j'ai besoin et donc ce qu'il faut que je mette dans mon .pro ?
19/03/2019, 13h56
dourouc05

Apparemment, il y a des solutions plus simples, mais je n'ai jamais testé quelque chose de similaire : https://gstreamer.freedesktop.org/da...tegration.html
19/03/2019, 15h21
Clemschan

Ah niice, je ne sais pas comment il a pu m'échapper ce site là >< désolé... Merci beaucoup !

Bon je vais essayer de continuer en ce sens, tous mes Gst fonctionnent mais mon programme n'affiche rien, je crois que je n'ai que l'audio et pas la vidéo ><

Starting /home/Bureau/Qt Clement/build-solomain-Desktop-Debug/solomain...
Usage: /home/Bureau/Qt Clement/build-solomain-Desktop-Debug/solomain <audio_file>
/home/Bureau/Qt Clement/build-solomain-Desktop-Debug/solomain exited with code 1