Discussion :

[buzzkaido]

Bonjour a tous et bonne année !

Je recherche une bibliotheque de lecture vidéo pour du C++.

En gros, il me faudrait pouvoir :
- lire des fichiers issus de DVD (.vob je crois) ou qualité équivalente (c'est pour un vidéoprojecteur)
- controler de façon tres precise la vitesse de lecture (j'ai besoin de synchroniser la vidéo sur des evenements)
- "mixer" plusieurs sources videos (par exemple, si je peux lire 3 sources videos dans des buffers en RAM, je peux faire le mix moi-meme avant d'envoyer à l'ecran)


J'ai vu Phonon (j'aime bien Qt) mais je crois pas que l'on puisse controler la vitesse de lecture, ni lire dans un buffer en RAM.

Sinon OpenCV, mais je suis pas sûr que ça colle...

Des idées ? des pistes ?

Merci !

[zais_ethael]

Tu n'as pas précisé la plateforme . Ben oui, ça compte beaucoup pour de la lecture vidéo. Si tu parles de Qt et d'OpenCV je supposerais que tu préfèrerais quelque chose de plus ou moins portable.

Il y a quelques années on était tous un peu ennuyé sur le forum quand quelqu'un nous demandait une API de lecture de vidéo portable. Mais aujourd'hui il semblerait que le support de GStreamer (API multimédia de Gnome) sous Windows se soit nettement amélioré. Alors si tu as envie d'essayer la combinaison des deux, je suis sur que beaucoup d'utilisateurs de developpez.com seraient ravis d'avoir un feedback sur le sujet, ou encore mieux: un tuto

En dehors de ça, j'ai bien peur que la décompression et les traitements vidéos ne soient deux choses bien différentes, alors n'espère pas trop trouver une API qui fasse les deux (enfin, qui les fasse bien, pas comme OpenCV...). Qui plus est, une API de traitements vidéos généraliste peut s'avérer être une tache complexe car assez liée à l'API de lecture (interfaces utilisées par les images par exemple, synchronisations,...) et de la plateforme (affichage). Il y a fort à parier que tu doives inventer pas mal de choses par toi même de ce coté la. Mais bon, si ça peut te rassurer, ce que tu veux faire n'a pas l'air abominablement compliqué non plus. En admettant que tu puisses implémenter par toi même une lecture avec synchronisation correcte (pas simple mais faisable), l'implémentation des autres fonctionnalités dont tu as besoin devrait couler de source.

[buzzkaido]

Oups... pour la plateforme, le mieux c'est du portable... bien sûr....

Mais la plateforme de base c'est du Windows XP

Je vais chercher pour GStreamer.

Je sais bien qu'il n'y a rien d'affreusement compliqué dans ce que je souhaite faire, mon principal soucis est d'eviter de developper :

- la decompression vidéo à partir d'un format DVD ou DV (ou mieux : HDV ou encore mieux : utiliser des codes externes)

- pouvoir recuperer les frames en memoire au fr et à mesure de la decompression afin de (par exemple) decompresser en permanence un buffer avec une dizaine de secondes d'avance (temps adapté en fonction du système, du codec, des key-frames...) afin de les mixer avec d'autres et de les sortir à une vitesse précises.


Je vois ça comme ça : decompresser sur chaque vidéo en entrée un buffer en mémoire, le plus rapidement possible, puis lire ce buffer à la bonne vitesse, et decompresser le buffer suivant avant d'atteindre la fin du buffer en cours de lecture.

Qu'en penses-tu ?

OpenCV ou GStream permettrait-il de decompresser plusieurs fichiers en meme temps, "par morceaux" ?

Merci !

[zais_ethael]

Je n'ai jamais fait un tel programme, donc je ne saurais te parler d'après mon expérience. Néanmoins je me suis pas mal intéressé à la compression vidéo fut un temps, et comme tout programmeur j'ai un minimum cogité sur ce qu'il pouvait se passer derrière . Si je peux te donner des conseils:

- Il est tout à fait évident que tu ne peux pas décompresser toi même du mpg2, ni même n'importe quel autre format populaire (comme si on avait que ça à faire). Il te faut donc impérativement une API de décompression. Dans les biblios multimédia j'ai déjà cité GStreamer (que je t'encourage à tester au vu des dernières améliorations), mais il y a aussi Directshow (windows only). Il faut aussi citer ffmpeg, qui n'est pas une biblio multimédia comme les précédentes, elle vient se placer un niveau au dessous et est probablement plus difficile à prendre en main. Le principe d'une biblio multimédia est qu'il suffit de lui dire "lis ça" et tout se fait tout seul, on se fiche de savoir dans quel format est encodé telle ou telle vidéo, tout comme on se fiche de la synchro, de l'affichage, etc... Bref c'est un player sans interface graphique, ce qui est très pratique si tu fais un programme sensé avaler n'importe quelle vidéo qu'un utilisateur voudrait lui donner. Qui plus est ça permet de laisser à l'utilisateur le fardeau d'installer les codecs nécessaire, ce qui met à l'abris de problèmes légaux (voir plus loin). Un api comme ffmpeg ne s'occupe que de la compression/décompression, à toi de gérer tout le reste.

- A ma connaissance, OpenCV est effectivement capable de lire quelques formats vidéos. Mais c'est un peu de la blague, ça reste limité à de l'avi non compressé (le disque dur lâchera dés que la résolution dépassera les 320*240) ou des listes de jpeg (ha ha). C'est peut-être bien pour du traitement d'image, mais pour de la lecture vidéo on repassera. Si tu es expérimenté avec cette api, il y a peut-être moyen de l'interfacer avec autre chose.

- Si tu as le choix dans le format de comression n'utilise pas du mpg2, et cela pour plusieurs raisons: Ce format est complètement dépassé par les formats modernes. Contrairement à ce que tu penses un .vob ce n'est pas juste une vidéo (d'ailleurs tu pleureras avant de réussir à en jouer un). Et finalement, comme pratiquement tous les autres formats de compression, il est soumis à un brevet. Si tu as la possibilité de choisir, il pourrait être intéressant d'envisager du Theora. Néanmoins, cela ne te dispensera pas de t'informer correctement sur le sujet. Aussi étrange que ça puisse paraitre, même si il s'agit d'un projet open-source qui ne rapporte pas un rond on peut venir te réclamer de l'argent parce que tu as publié un programme capable de lire ce qu'il ne faut pas (surtout si tu as le malheur d'être canadien).

- Une fois la couche décompression en place, reste la lecture et les altérations sur les images. Et à ce niveau là j'ai vu bien assez de programmes, même très sérieux, foirer lamentablement pour en conclure que ça n'était pas simple, surtout si on rajoute du son dans l'affaire. Je te conseillerais de t'attaquer à cette partie le plus vite possible, il est très décevant d'investir une grande quantité de travail dans un projet pour se rendre compte que l'on bloque sur un problème qu'on pensait mineur.

Ha oui, pour savoir si GStreamer/Directshow est capable de lire plusieurs vidéos le mieux est d'aller te documenter directement à la source (hé hé). C'est une bonne question car toutes les apis du genre n'en sont pas capables, mais pour GStreamer je serais tout de même surpris vu qu'elle est assez récente.

[poukill]

ffmeg est pas mal du tout, prend en charge tout un tas de format, mais est un poil compliqué c'est sûr.
Avec un pote programmeur, on a commencé à créer un wrapper C++ pour ffmpeg. J'aimerai bien poussé un peu plus loin et en faire une lib, mais c'est pas pour demain.
En ce qui concerne les format DVD j'y connais rien, alors je passe la main.

[zais_ethael]

Le problème c'est qu'un fichier .vob c'est un fichier dvd, pas un fichier mpg2.
Un fichier .vob c'est un nombre quelconque de tracks, un track pouvant être composé de ce qui suit :
- un stream vidéo mpg1 ou mpg2, avec parfois des scènes qui différent de la trame originale ce qui fait plusieurs versions du film
- plusieurs streams audio ac3/riff/mp2/wav
- plusieurs streams de sous-titres (qui sont en fait des images de petite taille en 4 couleurs généralement)
- des informations de chapitrage
- des informations de pan/scan
- des informations sur les menus, sur les boutons de la télécommande qui peuvent être utilisés, sur les effets produits par l'appui sur un bouton...
- plein d'autres trucs que j'aurais oublié

Bref c'est tout un challenge en soi de concevoir un programme capable de lire des dvds, même avec les apis appropriées. Un fichier avec juste du mpg2 ça porte typiquement l'extension .mpg2 (tout simplement), mais comme dit plus haut c'est un format qui ne présente pas un grand interet.

[moldavi]

En gros, il me faudrait pouvoir :

- lire des fichiers issus de DVD (.vob je crois) ou qualité équivalente (c'est pour un vidéoprojecteur)

Sous windows XP, les codecs DVD ne sont pas fournis. La première chose consiste à trouver un codec. Il y a des gratuits et des payants. Le seul moyen de savoir le ou lesquelles conviennent, c'est de les tester avec les formats DVD que tu utiliseras. Mais est-ce que ce format sera vraiment utilisé tel quel (sous-titre, choix audio, choix de langue, menu, etc...). Dans le cas contraire, un réencodage préalable (audio et video uniquement sera préférable). D'ailleurs, quel est l'exigence de qualité (je me doute excellente pour un affichage sur video-projecteur).

D'ailleurs je ne comprends pas les messages qui disent que le format mpeg2 ne présente pas d'intérêt. Parce que je peux citer plein de contexte où ce format est celui qui représente à l'heure actuelle, le meilleur compromis qualité/performance sur un PC (avec un affichage en 1024/768 par exemple).

- controler de façon tres precise la vitesse de lecture (j'ai besoin de synchroniser la vidéo sur des evenements)

Toutes les API savent le faire. Sauf si bien sûr tu souhaites contrôler à la nanoseconde près, c'est impossible. Mais il faut savoir que pour des questions de performance et d'architecture, un stream video se contrôle avec un delta de retard qui existera toujours à cause de l'aspect threadé (architecture) et à cause des délais de réponse du matériel (performance).

- "mixer" plusieurs sources videos (par exemple, si je peux lire 3 sources videos dans des buffers en RAM, je peux faire le mix moi-meme avant d'envoyer à l'ecran)

Si tu parles de mixage en temps réel, tu ne pourras pas faire un logiciel portable ou alors avec des performances médiocres pour certain. Déjà que même à l'heure de la HD, les PC et les cartes graphiques sont justes à la hauteur pour un flux vidéo, si tu souhaites mixer plusieurs flux en temps réel dans un format style mpeg2, tu devras utiliser les capacités accélératrices des cartes graphiques. Sous XP, ce sera la VMR9 (non portable). Il existe une possibilité logicielle de mixer en temps réel, honnêtement, pour du mpeg2, j'ai vite oublié.

Dans le cas du mixage temps réel, j'espère que ton projet n'est pas trop urgent...

[buzzkaido]

Merci pour tout ça !

je réponds en vrac à tout le monde :

- heureusement, je ne suis pas canadien :-)
- le projet n'est pas urgent
- lire du DVD n'a finalement plus vraiment d'interet : je doit principalement lire des vidéos issues de caméscopes : format DV (ou HDV dans le futur) mais si je peux utliser des codecs externes, c'est parfait (lecture de Divx...)


Est-ce que quelqu'un connait Phonon ? L'API multimédia de Qt ? Y'aurais moyen de controler la vitesse de lecture avec ?

Merci !

[zais_ethael]

D'ailleurs je ne comprends pas les messages qui disent que le format mpeg2 ne présente pas d'intérêt. Parce que je peux citer plein de contexte où ce format est celui qui représente à l'heure actuelle, le meilleur compromis qualité/performance sur un PC (avec un affichage en 1024/768 par exemple).

Il est erroné d'évaluer la qualité d'un format d'encodage à l'utilisation qu'on en fait. Beaucoup de gens croient à tort que parce que les vidéos de plus belle qualité qu'ils possèdent (sur dvd originaux) sont en mpg2 et les plus médiocres (des bêtes divx) sont en mpg4 alors le mpg2 est meilleurs que le mpg4. Mais ça n'a rien à voir, il ne faut pas comparer l'utilisation et les performances.
La qualité d'un codec s'évalue à son taux de compression, c'est à dire le rapport qualité/taille du fichier produit à réglages optimaux (il est ridicule de faire, comme j'ai déjà pu le voir, un comparatif mpg2/mpg4 avec les réglages par défaut des encodeurs, ils ne sont pas du tout conçus pour la même utilisation).

En gros oui, le mpg2 est un format complètement dépassé, ce n'est pas pour rien qu'on le remplace de plus en plus par du mpg4-avc (blue-ray, tnt, la plupart des offres télévision via internet,...), vu qu'il s'agit à l'heure actuelle du meilleur format sur le marché. Le seul avantage du mpg2 par rapport au mpg4 est qu'il est plus rapide, ce qui le rend plus abordable pour de l'encodage en streaming (ça ne veut pas dire pour autant qu'il est adapté à cet usage, il existe d'autres formats prévus à cet effet ce qui fait que je ne recommanderais ni l'un ni l'autre).

Si tu parles de mixage en temps réel, tu ne pourras pas faire un logiciel portable ou alors avec des performances médiocres pour certain. Déjà que même à l'heure de la HD, les PC et les cartes graphiques sont justes à la hauteur pour un flux vidéo, si tu souhaites mixer plusieurs flux en temps réel dans un format style mpeg2, tu devras utiliser les capacités accélératrices des cartes graphiques. Sous XP, ce sera la VMR9 (non portable). Il existe une possibilité logicielle de mixer en temps réel, honnêtement, pour du mpeg2, j'ai vite oublié.

Je peux me tromper, mais le VMR9 c'est juste un renderer parmis d'autres sous winXP non? Il est là pour simplifier l'affichage mais n'a rien à voir avec des altérations sur les images. Alors oui, je suis d'accord avec toi sur le fait que la synchro dans la vidéo ce n'est pas simple, mais beaucoup de programmes de montage y arrivent très bien. Après la méthode d'affichage, même si c'est galère je te l'accorde, on s'en fout un peu. D'ailleurs que ce soit sous windows ou linux la plupart des players proposent 4 ou 5 méthodes différentes pour cela, alors autant prévoir dés le début un système style plugins. Qui plus est je ne vois pas trop ce que la méthode de compression vient faire la dedans, il faudra bien décompresser le tout de toute façon (quoi qu'il y a de quoi s'amuser avec les différents formats d'images non-compressées).

[moldavi]

Bonjour zais_ethael.

En gros oui, le mpg2 est un format complètement dépassé, ce n'est pas pour rien qu'on le remplace de plus en plus par du mpg4-avc (blue-ray, tnt, la plupart des offres télévision via internet,...)

Je t'invite à lire cet article :

http://fr.wikipedia.org/wiki/Disque_Blu-ray

Les disques BD-RE (et par extension les disques BD-R) ne supportent actuellement pas de codecs autres que le MPEG-2

Quelque chose me dit que le mpeg2 n'est pas complètement dépassé (d'un point de vue technologique pur, oui évidemment)... Même si on pourrait penser qu'à terme ce format disparaitra. Mais ce serait comme dire que le format HD va faire disparaitre tous les autres formats et ça je n'y crois pas. Tant qu'il y aura des lecteurs DVD et des gens pour acheter des DVD, ce format existera (un exemple parmi d'autres). J'ai souvent remarqué qu'en informatique, la mort annoncée de certaines technologies tardent toujours à venir. Ce qui est important, je pense c'est d'utiliser un format vidéo qui réponds à certains besoins/exigences et le format HD ne répondra jamais à tous les besoins/exigences (sauf peut-être avec les processeurs quantiques et de la fibre optique à 1To/s).

Alors oui, je suis d'accord avec toi sur le fait que la synchro dans la vidéo ce n'est pas simple, mais beaucoup de programmes de montage y arrivent très bien.

Les logiciels de montage ne permettent pas de faire du temps réel efficace. Tout au plus on a un aperçu qui donne une idée, mais c'est bien après la compression de la vidéo du projet que l'on se rend compte des problèmes. D'où ma question à buzzkaido. Veut-il mixer avant la diffusion (montage) ou pendant (temps réel) ?

La VMR9 permet de mixer jusqu'à 16 flux video en temps réel, mais selon la machine, je dirais que 4 flux mpeg2 est une limite pour du matériel à peu près récent. Par contre je pense que pour un format comme le mpeg4-avc, un mixage de deux flux est impossible (les machines sur lesquelles j'ai vu tourné du HD, étaient à 80-90% d'utilisation processeur, pas des bêtes de courses mais pas des antiquités non plus). Peut-être deux flux avec un dual-core 2GHz, une fsb 1333, 2 Go de ram et une carte graphique style geforce 8800 GT (tout ça sur XP, car sur Vista les performances en vidéo seraient meilleures avec l'EVR).

- lire du DVD n'a finalement plus vraiment d'interet : je doit principalement lire des vidéos issues de caméscopes : format DV (ou HDV dans le futur) mais si je peux utliser des codecs externes, c'est parfait (lecture de Divx

Juste pour signaler que le format utilisé a parfois certains avantages et certaines limitations. Certains formats vidéo ne permettent pas le retour en arrière par exemple, d'autres ne permettent pas de contrôler la cadence d'affichage des images, d'autres mettent plusieurs secondes à se recaler après une avance rapide (son et/ou image bloqué), etc... Ne connaissant pas bien ce format, je t'invite à faire des tests avec des players classiques pour voir le comportement de celui-ci.

[zais_ethael]

Je t'invite à lire cet article :

http://fr.wikipedia.org/wiki/Disque_Blu-ray

Ben justement, lis le mieux ton article. Je peux notamment citer les passages:

Le format BD-ROM spécifie trois codecs pour la vidéo : MPEG-2 (le standard actuellement utilisé pour les DVD), le codec H.264/MPEG-4 AVC, et le codec VC-1 basé sur le codec Microsoft Windows Media 9. Le premier codec autorise seulement deux heures de contenu en haute définition sur un disque Blu-ray simple couche, mais avec les autres codecs un disque simple couche peut contenir environ quatre heures. Le MPEG-2 haute définition a un taux de transfert d’environ 25 Mbit/s, alors que les deux autres ont un taux de transfert d’environ 15 Mbit/s pour la vidéo et 3 Mbit/s pour l’audio.

La nécessité d’une si grande capacité n’est a priori pas totalement justifiée, notamment par le fait qu’un simple DVD peut contenir un film en haute définition pourvu qu’il soit encodé en H.264 (ou un format de même génération). En effet, le choix d’un meilleur encodage que le MPEG-2 (utilisé sur les DVD video) permet d’augmenter la quantité d’informations stockées dans un même volume de données.

Il ne faut pas mélanger les contraintes des appareils bon marché comme des lecteurs dvd/blue ray ou encore des démodulateurs tnt/sat/voip (qui, à ma connaissance, utilisent exclusivement des puces dédiées) avec ce qu'il est possible de réaliser avec un ordinateur. Aujourd'hui les encodages mpeg2 sont réalisés uniquement pour lecture sur dvd ou autre système qui ne gère que ça. Pour une lecture sur ordinateur on utilise plus que du mpeg4 (asp pour pouvoir quand même le lire sur lecteur divx, mais on voit aussi de plus en plus d'avc). Reste le mp3, ça c'est un codec qui a beaucoup de mal à crever

Pour en revenir à ton programme buzzkaido: Phonon? Jamais entendu parler. Mais au vu de la description que je vois ici ça a l'air pas mal, j'aime beaucoup le principe de la sur-couche qui peut s'interfacer avec ce qui existe sur la plateforme.

[koala01]

Salut,

Peut être pourrais tu t'intéresser un peu à ce qui est fait par le projet VLC

Le lecteur qu'ils arrivent à fournir permet en effet la lecture de l'ensemble des fichiers audio et video, sans nécessiter l'adjonction de codec particulier.

Peut être les informations que tu trouvera sur le site seront-elles en mesure de te donner une idée des bibliothèques à utiliser et du moyen de les faire cohabiter

Evidemment, ce n'est qu'une proposition parmi d'autres

[zais_ethael]

Le lecteur qu'ils arrivent à fournir permet en effet la lecture de l'ensemble des fichiers audio et video, sans nécessiter l'adjonction de codec particulier.

C'est ce que permet aussi ffmpeg. L'ennui c'est que c'est plus un problème qu'un avantage. Une biblio multimédia où l'utilisateur peut (et doit) installer ses propres codecs est moins tout en un, moins user-friendly, mais ça règle le problème légal inhérent à l'utilisation de 99% des codecs du marché.
Pour les utilisateurs qui s'y connaissent mieux c'est aussi plus pratique: on a la possibilité d'installer le codec que l'on veut, à la version désirée, de le paramétrer à loisir, etc...

[poukill]

VLC utilise ffmeg...

[zais_ethael]

VLC utilise ffmeg...

Et ça change... quoi?

[poukill]

Absolument rien.
Tu dis en parlant de VLC:

C'est ce que permet aussi ffmpeg

Bah j'ai eu envie de dire normal, puisque VLC l'utilise.

Sinon oui, ça prouve aussi juste qu'on peut faire pas mal de chose avec ffmeg.

[camboui]

VLC et ffmpeg utilisent à la base la même bibliothèque il me semble, elle est open source et s'appelle libcoreavc ou quelque chose comme ça.

[zais_ethael]

Il y a a quelques biblios en fait, celle qui je crois s'occupe des codecs en eux même est libavcodec. Je crois aussi que tout cela fait partie du même projet que ffmpeg, mais c'est parfois difficile à dire avec l'organisation des projets open source

[camboui]

Dans le même genre que ffmpeg il y a aussi mencoder je pense.
Les deux sont basés sur la même lib.
En fait je crois qu'il n'existe qu'une seule lib open source et gratuite (libavcodec, etc), tous les projets vidéo libres sont basés dessus (et probablement bien des payants aussi).

[vikki]

Salut,
Si tu cherche à pouvoir lire simplement (presque) tous les formats video en c/c++, télécharge les sources ffmpeg et regarde le fichier ffplay.c. Il s'agit d'un exemple de player video basé sur ffmpeg et la SDL. Il gère la video, le son et les sous titres. En l'adaptant à ton cas, ca te donnera une bonne base de depart.