Discussion :

[Idelways]

Google invente un algorithme pour le redimensionnement des vidéos
Capable de s'adapter automatiquement aux différents formats d'écrans


Des chercheurs Google ont développé en collaboration avec Georgia Tech un algorithme permettant de redimensionner les vidéos et de les adapter aux différents formats d'écran (4:3, 16:9...) sans rognage, ni étirement, ni bandes noires (Letterboxing)

L'algorithme identifie les éléments réellement important sur l'image : figures, visages et objets structurés (comme un immeuble) et préserve le ratio de ces derniers.

En revanche, les surfaces non-saillante comme le ciel, l'eau ou un arrière-plan flou hors mise-au-point sont écrasées ou étirées sans changer l'apparence globale et sans que le spectateur ne constate un changement radical.

Selon Google, l'algorithme inclut une fonctionnalité de maintien de la continuité temporelle de la vidéo au même titre que le maintien de la structure spatiale.

Ce lissage « spatio-temporel » peut être automatique ou guidée par la sélection de l'utilisateur ou, troisième possibilité, traité image-par-image. Il pourrait donc même être utilisé éventuellement pour les vidéos en streaming.

Une vidéo assez impressionnante illustre le fonctionnement de cet algorithme :

L'algorithme en est encore au stade expérimental. Mais bientôt utilisable par les développeurs ?

Source : le site du projet

Et vous ?

Que pensez-vous de cette technique : bluffante ou ordinaire ?
Pensez-vous qu'elle a un avenir ?

En collaboration avec Gordon Fowler

[mabdylon]

J'ai vu ça dans un tuto Gimp il y a quelques mois, le redimensionnement liquide :

« Liquid rescale » est une implémentation de l’algorithme « Seam Carving« . Un algorithme de redimensionnement d’image écrit par Shai Avidan et Ariel Shamir (ce sont eux les bons !!!), qui va privilégier la déformation de zones dites de moindre importance. L’importance d’un pixel est détecté par la mesure de son contraste par rapport aux pixels voisin. Nous avons la possibilité d’aider le plugin en repérant, grâce à un masque, les zones de grande importance qu’il faudra éviter de déformer.

Source : http://www.jopa.fr/index.php/2010/07/10/liquid-rescale/

Après le vrai tour de force c'est de faire ça en temps réel sur du streaming à mon avis... Enfin sans mettre 1 serveur dédié par stream on s'entend :p

[gmatta]

Yes, ça pourrait être sympa pour la TV (TNT, chaîne par ADSL,...) !

Après il faut prendre en compte les droits d'auteur car pour moi ça reste de la modification d'une oeuvre, et donc pas forcément autorisé...

Quelqu'un pourrait m'éclairer sur ce point juridique ?

[dolu02]

Ca a l'air bien fait, mais je ne vois pas trop l'intérêt, en tout cas pour tout ce qui est videos de divertissement.

Maintenant si il y a des cas où ça apporte réellement qqchose (recherche, militaire ou autre), alors oui.
Mais pour du youtube, ou TV, des bandes noires n'ont jamais fait de mal à personne.

[abriotde]

Mais pour du youtube, ou TV, des bandes noires n'ont jamais fait de mal à personne.

Si c'est toujours désagréable de perdre une partie de l'écran quand celui ci est déjà réduit. (téléphone portable... ). Sans parler de l'intérêt de l'algorythme d'un point de vue extraction de donnée importante. Et là on touche au moteur de recherche, à la synthèse de documents, à la compression, aux effets artistique sur les images, à reconnaissance d'image .... bref tout ce qui touche à "comprendre" ce que représente une image, faire un lien avec un texte, en avoir une représentation mental. On en est toutefois pas encore là mais on s'en approche.

[sinasquax]

Comme le premier commentaire le dit, c'est du seam carving inventé par Shai Avidan et Ariel Shamir qui est à la base un traitement sur image.

Et d'ailleurs ils ont aussi porté leur projet pour la vidéo :

http://www.faculty.idc.ac.il/arik/site/seam-video.asp

[amaury pouly]

Effectivement, c'est basé sur un algorithme bien connu. Toutefois, il y a quand même deux choses intéressantes à noter:

• L'algorithme est basé sur une fonction d'énergie que l'on peut modifier pour changer le résultat; trouver une bonne fonction d'énergie représente une part importante du travail et chacune à ses défauts/qualité
• L'algorithme optimal pour une image utilise de la programmation dynamique et est très lent, aussi la partie optimisation est crucial pour que cet algorithme soit utilisable. Le faire tourner en temps réel est un vrai défi mais peut-être que çà peut aussi s'optimiser avec un GPU.

[GCSX_]

Comme le premier commentaire le dit, c'est du seam carving inventé par Shai Avidan et Ariel Shamir qui est à la base un traitement sur image.

Autrement dit, Google et Georgia Tech n'ont rien inventés. Ils se sont contenté d'implémenter.