Discussion :

[Mathis Lucas]

Sora : OpenAI lance un modèle d'IA qui serait capable de créer une vidéo avec des scènes réalistes et imaginatives à partir d'instructions textuelles
mais la durée est limitée à 60 secondes

OpenAI a dévoilé jeudi un nouveau grand modèle de langage capable de générer des vidéos à partir de textes. Le nouvel outil d'IA, appelé Sora d'après mot japonais signifiant "ciel", est capable de générer des séquences réalistes d'une durée maximale de 60 secondes qui respectent les instructions de l'utilisateur en ce qui concerne le sujet et le style. OpenAI a ajouté que le modèle est capable de créer une vidéo à partir d'une image fixe ou d'ajouter de nouveaux éléments à des séquences existantes. Sora se place comme un nouveau rival du modèle d'IA Lumiere de Google qui est également capable de créer un contenu vidéo à partir de textes ou d'images.

Après la génération de texte et d'images, OpenAI se lance sur le marché de la génération de vidéo avec Sora. Selon le laboratoire d'IA de San Francisco, il s'agit d'une étape importante, car cela permet à l'IA de comprendre et de simuler le monde physique en mouvement. « Nous apprenons à l'IA à comprendre et à simuler le monde physique en mouvement, dans le but de former des modèles qui aident les gens à résoudre des problèmes nécessitant une interaction avec le monde réel », affirme OpenAI dans un billet de blogue. Sora intervient plus d'un an après le lancement canon de son chatbot d'IA ChatGPT (GPT-3.5).

Selon le billet de blogue d'OpenAI, Sora génère des vidéos avec un réalisme inédit et des détails précis. « Sora est capable de créer des scènes complexes avec plusieurs personnages, des types de mouvements spécifiques et des détails précis sur le sujet et l'arrière-plan. Le modèle peut comprendre comment les objets existent dans le monde physique, ainsi qu'interpréter avec précision les accessoires et générer des personnages convaincants qui expriment des émotions vibrantes », indique le billet de blogue. OpenAI a déclaré que pour l'instant, Sora ne peut générer que des séquences vidéo qui durent au plus une minute.

Introducing Sora, our text-to-video model.

Sora can create videos of up to 60 seconds featuring highly detailed scenes, complex camera motion, and multiple characters with vibrant emotions. https://t.co/7j2JN27M3W

Prompt: “Beautiful, snowy… pic.twitter.com/ruTEWn87vf

— OpenAI (@OpenAI) February 15, 2024

Une vidéo parmi plusieurs exemples présentés par OpenAI est basée sur l'invite : « une bande-annonce de film présentant les aventures d'un homme de l'espace de 30 ans portant un casque de moto en laine tricotée rouge, ciel bleu, désert de sel, style cinématographique, filmé sur pellicule 35 mm, couleurs vives ». Sora peut aussi générer une vidéo à partir d'une image fixe, ainsi que remplir les images manquantes d'une vidéo existante ou l'étendre. Les autres démonstrations d'OpenAI comprennent une scène aérienne de la Californie pendant la ruée vers l'or, une vidéo qui met en scène une chute de neige à Tokyo, etc.

Nombre d'entre elles présentent des signes révélateurs de l'IA - comme un sol qui bouge de manière suspecte dans une vidéo d'un musée - et OpenAI indique que "le modèle peut avoir du mal à simuler avec précision la physique d'une scène complexe". Cela dit, les résultats sont dans l'ensemble assez impressionnants. « Pour moi, il semble évident qu'OpenAI est en avance sur tout le monde dans tous les modèles d'IA existants : image, texte, vidéo, audio, etc. Ils n'ont tout simplement pas encore publié leurs meilleurs produits. Ils n'ont tout simplement pas encore publié leurs meilleurs produits », affirme un critique.

Selon les critiques, Sora peut révolutionner des domaines comme l'animation 3D, le cinéma, et plus encore. « La capture de mouvements fonctionne bien parce qu'il s'agit de mouvements réels, mais chaque fois que l'on essaie d'animer des humains et des animaux, même dans des films en images de synthèse à gros budget, c'est toujours manifestement faux au bout du compte. Il y a tellement de choses subtiles qui se produisent en matière d'accélération et de décélération de toutes les différentes parties d'un organisme, qu'aucun animateur n'y parvient jamais à 100 % », a fait remarquer un critique. Ce dernier ajoute :

« Aucun algorithme d'animation ne parvient à rendre les choses vraiment crédibles, mais seulement à les rendre moins mauvaises. Mais les vidéos générés par Sora semblent rendre les choses tout à fait crédibles, tant pour les humains que pour les animaux. C'est incroyable. Et bien entendu, il ne faut pas oublier qu'il s'agit d'espaces 3D tout à fait crédibles, avec une permanence de l'objet apparemment totale. Contrairement à d'autres efforts que j'ai vus et qui consistent essentiellement à animer brièvement une scène en 2D pour lui donner une vague apparence de 3D ». D'autres attendent les améliorations futures.

Sora n'est actuellement accessible qu'aux "red teamers" qui évaluent le modèle en fonction des dommages et des dangers potentiels. Les experts vont "tester" le produit, c'est-à-dire vérifier s'il est susceptible de contourner les garde-fous d'OpenAI, qui interdisent "la violence extrême, le contenu sexuel, l'imagerie haineuse, l'image d'une célébrité ou la propriété intellectuelle d'autrui". OpenAI offre également un accès à certains artistes visuels, concepteurs et cinéastes afin de recueillir leurs commentaires. L'entreprise reconnaît que le modèle d'IA actuel peut ne pas simuler correctement la physique d'une scène complexe.

https://t.co/uCuhUPv51N pic.twitter.com/nej4TIwgaP

— Sam Altman (@sama) February 15, 2024

Il pourrait également ne pas interpréter correctement certains cas de cause à effet. Les vidéos portent un filigrane indiquant qu'elles ont été réalisées par l'IA. Cette approche vise à empêcher les abus potentiels, comme la création de deepfakes visant à tromper les internautes ou un public cible. Au début du mois, OpenAI a ajouté des filigranes à son outil de conversion de texte en image DALL-E 3, mais précise qu'ils peuvent être facilement supprimés. À l'instar de ses autres produits d'IA, OpenAI devrait faire face aux conséquences des fausses vidéos photoréalistes créées par l'IA qui seront prises pour des vraies.

Il y a quelques années, les générateurs d'images tels que Midjourney étaient à la pointe de la capacité des modèles à transformer les mots en images. Mais récemment, la vidéo a commencé à s'améliorer à un rythme remarquable : des entreprises comme Runway et Pika ont présenté leurs propres modèles de génération de vidéo, et le modèle Lumiere de Google semble être l'un des principaux concurrents d'OpenAI dans ce domaine également. Similaire à Sora, le modèle Lumiere offre aux utilisateurs des outils de conversion de texte en vidéo et leur permet également de créer des vidéos à partir d'une simple image fixe.

OpenAI n'a pas révélé la quantité d'images utilisées pour entraîner Sora ni l'origine des vidéos d'entraînement, se contentant d'indiquer que le corpus contenait des vidéos à la fois accessibles au public et sous licence de détenteurs de droits d'auteur. L'entreprise a été poursuivie à plusieurs reprises pour violation présumée des droits d'auteur lors de l'entraînement de ses outils d'IA générative, qui digèrent des quantités gargantuesques de matériel récupéré sur Internet et imitent les images ou le texte contenus dans ces ensembles de données.

Par ailleurs, OpenAI se prépare à lancer GPT-5, la prochaine génération de son grand modèle de langage GPT (Generative Pre-trained Transformer). Selon le PDG Sam Altman, GPT-5 sera plus intelligent, plus rapide, plus polyvalent et meilleur dans toutes les tâches que GPT-4. Il a déclaré que GPT-5 sera un modèle d'IA multimodal beaucoup plus avancé qui sera doté d'une capacité de raisonnement qui lui permettra de réaliser des tâches plus complexes.

Source : OpenAI

Et vous ?

Quel est votre avis sur le sujet ?
Que pensez-vous du modèle d'IA de génération de vidéo Sora d'OpenAI ?
Quelle est votre appréciation des exemples de vidéos générées par le modèle Sora ?
Quels pourraient être les impacts de Sora et de ses rivaux sur l'industrie du cinéma et de l'animation ?
Quels pourraient être leurs impacts sur les travailleurs de cette industrie ? Vont-ils être massivement remplacés par l'IA ?

Voir aussi

Meta annonce Make-A-Video, qui génère de la vidéo à partir de texte, via une description textuelle ou d'une image existante, Make-A-Video peut rendre une vidéo à la demande

DALL-E 3 est maintenant disponible dans ChatGPT Plus et Enterprise, permettant aux abonnés payants de ChatGPT d'utiliser le générateur d'images

« GPT-5 sera plus intelligent, plus rapide, plus polyvalent et meilleur dans toutes les tâches que GPT-4 », affirme Sam Altman qui appelle une nouvelle fois à une réglementation mondiale sur l'IA

[Stéphane le calme]

Tyler Perry suspend l'expansion de son studio de 800 millions de dollars après avoir vu Sora d'OpenAI,
« Dans un avenir proche, de nombreux emplois vont être perdus », a prévenu le créateur des Madea

Le célèbre acteur et réalisateur américain Tyler Perry a décidé de mettre en pause son ambitieux projet d’agrandissement de son studio à Atlanta, qui devait ajouter 12 plateaux de tournage à la propriété de 330 acres (environ 1,33 km²). La raison de ce revirement ? La découverte de Sora, le nouveau modèle d’OpenAI qui permet de créer des vidéos à partir de textes.

La semaine dernière, OpenAI a dévoilé Sora, un modèle de conversion de texte en vidéo. À partir d'un texte, il crée une courte vidéo, d'une durée maximale d'une minute. Selon l'entreprise, Sora peut générer des scènes complexes avec plusieurs personnages qui se déplacent et interagissent avec le monde dépeint de manière cohérente. Elle précise que le modèle peut comprendre comment les objets existent dans le monde physique, ainsi qu'interpréter avec précision les accessoires et générer des personnages convaincants qui expriment des émotions vibrantes. Le super laboratoire a tweeté des exemples de sa production.

Introducing Sora, our text-to-video model.

Sora can create videos of up to 60 seconds featuring highly detailed scenes, complex camera motion, and multiple characters with vibrant emotions. https://t.co/7j2JN27M3W

Prompt: “Beautiful, snowy… pic.twitter.com/ruTEWn87vf

— OpenAI (@OpenAI) February 15, 2024

Une présentation qui fait déjà réfléchir : un réalisateur envisage de revoir un de ses investissements

En tant que chef d'entreprise, Perry voit l'opportunité de ces développements, mais en tant qu'employeur, acteur et cinéaste, il souhaite également tirer la sonnette d'alarme. Lors d'une interview réalisée entre deux tournages, Perry a expliqué ses inquiétudes quant à l'impact de la technologie sur le travail et a expliqué pourquoi il souhaite que l'industrie s'unisse pour s'attaquer à l'IA : « Il doit y avoir une sorte de réglementation afin de nous protéger. Sinon, je ne vois pas comment nous pourrons survivre ».

Perry a reconnu que Sora était un « changement de jeu majeur » qui pourrait permettre aux cinéastes de produire des films et des pilotes à une fraction du coût, mais il s’est dit également très inquiet de l’impact de la technologie sur l’emploi et l’industrie. « Je suis très, très préoccupé par le fait que dans un avenir proche, beaucoup d’emplois vont être perdus », a-t-il affirmé, appelant à une régulation et à une concertation pour protéger les acteurs, les techniciens, les monteurs et tous les métiers du cinéma.

Perry a avoué qu’il avait déjà utilisé l’IA dans deux projets récents qui seront annoncés prochainement : « Cela m’a évité de passer des heures en maquillage. En post-production et sur le plateau, j’ai pu utiliser cette technologie d’IA pour éviter d’avoir à subir des heures de vieillissement ». Le créateur de Madea a précisé que, « comme tous les autres studios de la ville », il essayait « de tout comprendre ». « J’ai l’impression que tout le monde dans l’industrie court à cent à l’heure pour essayer de rattraper le retard, pour essayer de mettre en place des garde-fous et des ceintures de sécurité pour maintenir les moyens de subsistance à flot », a-t-il conclu.

Ci-dessous, un extrait de son interview.

Après avoir vu Sora, que pensez-vous de la rapidité avec laquelle la technologie de l'IA évolue et de l'impact qu'elle pourrait avoir sur le divertissement à court terme ?

J'ai suivi l'IA de très près et j'ai observé les progrès de très près. J'étais en train de planifier, depuis quatre ans, une expansion de 800 millions de dollars au studio, ce qui aurait permis d'augmenter considérablement le backlot et d'ajouter 12 scènes sonores supplémentaires. Tout cela est actuellement et indéfiniment suspendu à cause de Sora et de ce que je vois. J'ai eu vent de son arrivée l'année dernière, mais je n'en avais aucune idée jusqu'à ce que j'assiste récemment aux démonstrations de ce qu'il est capable de faire. Je suis choqué.

Qu'est-ce qui vous a particulièrement choqué dans ses capacités ?

Je n'aurais plus à me déplacer. Si je voulais être dans la neige au Colorado, c'est du texte. Si je voulais écrire une scène sur la lune, c'est du texte, et cette IA peut le générer en un rien de temps. Si je voulais avoir deux personnes dans le salon dans les montagnes, je n'aurais pas besoin de construire un décor dans les montagnes, je n'aurais pas besoin d'installer un décor sur mon terrain. Je peux m'asseoir dans un bureau et faire cela avec un ordinateur, ce qui me choque.

Je m'inquiète beaucoup pour tous les gens qui travaillent dans ce secteur. En regardant cela, j'ai immédiatement commencé à penser à tous les acteurs de l'industrie qui seraient concernés, y compris les acteurs, les machinistes, les électriciens, les transporteurs, les preneurs de son et les monteurs.

Utilisez-vous actuellement l'IA dans l'une ou l'autre de vos productions et/ou prévoyez-vous de le faire dans un avenir proche ?

Je viens d'utiliser l'IA dans deux films qui seront bientôt annoncés. Cela m'a empêché de me maquiller pendant des heures. En post-production et sur le plateau, j'ai pu utiliser cette technologie d'IA pour éviter d'avoir à passer des heures à me maquiller.

En tant que propriétaire de studio, ressentez-vous une quelconque pression pour utiliser l'IA à ce stade ?

Non. Je ne ressens absolument aucune pression pour l'utiliser, mais j'étudie les avantages et ce qu'elle apporte à la table. Cependant, je peux me concentrer sur les résultats de mon studio, qui continue à se porter extrêmement bien, et éviter la conversation, ou nous pouvons nous lancer et avoir la conversation de front pour nous assurer que nous protégeons toutes les personnes qui vont arriver. J'ai donc deux points de vue sur la question. En ce qui me concerne, je pense à mon entreprise et à ses résultats, mais je me préoccupe aussi beaucoup de toutes les personnes que j'ai formées et que j'ai conduit dans ce secteur. Je m'inquiète de ce qui va leur arriver.

Comment pensez-vous que cette convergence entre le développement rapide de l'IA et la contraction actuelle du secteur va évoluer ?

Je pense que cela va changer la donne, car si vous pouvez dépenser une fraction du coût d'un projet pilote qui aurait coûté 15, 20 ou même 35 millions de dollars pour HBO, il va de soi que ces entreprises opteront pour des coûts moindres. Je suis donc très, très préoccupée par le fait que, dans un avenir proche, de nombreux emplois vont être perdus. Je le pense vraiment, vraiment très fort.

OpenAI reconnaît les limites de son outil, qui va sans doute évoluer avec le temps

« Le modèle actuel présente des faiblesses », a déclaré OpenAI dans un billet de blog. « Il peut avoir du mal à simuler avec précision la physique d'une scène complexe et peut ne pas comprendre des cas spécifiques de cause à effet. Par exemple, une personne peut prendre une bouchée d'un biscuit, mais après, le biscuit peut ne pas avoir de trace de morsure ».

Le modèle a également des difficultés avec les détails spatiaux (par exemple, distinguer la gauche de la droite) et n'est pas très à l'aise avec les descriptions qui décrivent des changements dans le temps.

Par conséquent, Sora est proposé aux "red teamers" qui testeront le modèle pour déterminer s'il est nuisible, ainsi qu'à divers artistes visuels afin d'obtenir un retour d'information sur la manière dont le modèle pourrait être utile dans le cadre de leur travail.

Selon OpenAI, une fois Sora intégré dans un produit public, « notre classificateur de texte vérifiera et rejettera les invites de saisie de texte qui sont en violation de nos politiques d'utilisation, comme celles qui demandent une violence extrême, un contenu sexuel, une imagerie haineuse, l'image d'une célébrité ou la propriété intellectuelle d'autrui ».

Pour Jeffrey Katzenberg, le fondateur de DreamWorks, l'intelligence artificielle générative réduira le coût des films d'animation de 90 %, la technologie étant appelée à perturber gravement le secteur des médias et du divertissement :

« Si l'on se place dans une perspective historique, on constate que nous sommes passés d'un stylo, d'un pinceau, d'une presse d'imprimerie, d'un appareil photo, d'une caméra de cinéma ; ce sont des choses qui ont élargi la créativité et toutes sortes de récits de manière extraordinaire, et nous avons vu comment cela a continué à évoluer », a déclaré Katzenberg. « L'évolution a été fulgurante au cours des dix dernières années. Je pense que si l'on considère l'impact qu'a eu l'introduction de la technologie numérique sur les médias au cours des dix dernières années, ce qui se passera dans les dix prochaines années sera dix fois plus important, littéralement, par un facteur supérieur ».

Certaines critiques ont déjà été formulées.

Un internaute explique par exemple : « la capture de mouvements fonctionne bien parce qu'il s'agit de mouvements réels, mais chaque fois que l'on essaie d'animer des humains et des animaux, même dans des films en images de synthèse à gros budget, c'est toujours manifestement faux au bout du compte. Il y a tellement de choses subtiles qui se produisent en matière d'accélération et de décélération de toutes les différentes parties d'un organisme, qu'aucun animateur n'y parvient jamais à 100 % ».

Et de continuer en disant : « Aucun algorithme d'animation ne parvient à rendre les choses vraiment crédibles, mais seulement à les rendre moins mauvaises. Mais les vidéos générés par Sora semblent rendre les choses tout à fait crédibles, tant pour les humains que pour les animaux. C'est incroyable. Et bien entendu, il ne faut pas oublier qu'il s'agit d'espaces 3D tout à fait crédibles, avec une permanence de l'objet apparemment totale. Contrairement à d'autres efforts que j'ai vus et qui consistent essentiellement à animer brièvement une scène en 2D pour lui donner une vague apparence de 3D ». D'autres attendent les améliorations futures ».

L'IA générative, une menace pour l'industrie cinématographique ?

En août 2023, la grève des scénaristes et des acteurs d’Hollywood, qui durait déjà depuis plus de 100 jours, a mis en lumière un enjeu majeur pour l’industrie du divertissement : l’impact de l’intelligence artificielle générative sur la création de contenu.

« Les entreprises des secteurs du divertissement, de la technologie et des produits de consommation sont à l'avant-garde des plans visant à augmenter les dépenses génératives en IA », a déclaré Lucidworks, une société de recherche et d'analyse qui a commandé le rapport.

96 % des cadres impliqués dans les décisions en matière d'IA accordent la priorité aux investissements génératifs en IA, ce qui signifie que la plupart des entreprises dans le monde investissent. La Chine arrive en tête avec 100 % des entreprises déclarant investir dans l'IA générative, tandis que 94 % des entreprises britanniques et 95 % des entreprises françaises disent la même chose. 98 % des entreprises indiennes investissent également des ressources dans l'IA générative, tandis que 92 % des entreprises américaines affirment qu'elles le font également.

(Ces données sont basées sur ce que Lucidworks dit être la plus grande étude mondiale sur l'IA générative dans les entreprises, impliquant 6 000 répondants à l'enquête dans des entreprises de plus de 100 employés qui sont impliquées dans les décisions sur les investissements en IA.)

« L'IA générative impose des changements massifs au commerce mondial, présentant des opportunités et des défis sans précédent, et à une vitesse vertigineuse », indique le rapport Lucidworks. « Cette nouvelle technologie peut générer du contenu, des images et même des environnements virtuels entiers de manière autonome, perturbant ainsi diverses industries ».

Ce changement massif à une vitesse vertigineuse, bien sûr, est ce qui inquiète la plupart des gens. L'intelligence artificielle s'améliore si rapidement, y compris la génération vidéo complète à partir d'invites textuelles, qu'un film complet pourrait être généré à partir d'invites en quelques années seulement.

Un auteur a prédit que 90% du contenu hollywoodien pourrait être au moins en partie généré par l'IA d'ici 2025.

Sur la base des investissements que font les médias et les sociétés de divertissement, cela pourrait être possible. Selon le rapport, les entreprises de produits de consommation, les entreprises technologiques et les entreprises de construction et immobilières investissent à des niveaux similaires.

Source : HR

Et vous ?

Que pensez-vous de l’utilisation de l’IA par Tyler Perry dans ses projets cinématographiques ?
Quels sont les avantages et les inconvénients de Sora, le modèle d’OpenAI qui permet de créer des vidéos à partir de textes ?
Comment l’industrie du cinéma peut-elle s’adapter à l’émergence de l’IA et protéger les emplois et les droits des créateurs ?
Avez-vous déjà vu ou utilisé Sora ou une autre technologie d’IA similaire ? Si oui, quelle a été votre expérience ?
Quel impact potentiel pourrait avoir l’IA dans le domaine de l’art et de la culture ?

[TotoParis]

BOYCOTT !

[Patrick Ruiz]

"Air Head", un court-métrage créé par le studio Shy Kids à l’aide de l’intelligence artificielle Sora d’OpenAI est disponible
IA : menace ou atout pour l’industrie cinématographique ?

Intelligence artificielle : menace ou atout pour l’industrie cinématographique ? Jeffrey Katzenberg, fondateur de DreamWorks, préfère parler de perturbations de la filière des médias et du divertissement et prédit que l’intelligence artificielle réduira le coût des films d’animation de 90 % en créant au passage des pertes d’emplois. La disponibilité de plusieurs courts-métrages dont celui intitulé "Air Head" vient raviver les questionnements en lien avec l’adoption de l’intelligence artificielle dans ce domaine en mettant en avant les possibilités offertes par l’IA Sora d’OpenAI.

Sora est un modèle d’intelligence artificielle qui permet de créer des vidéos avec des scènes réalistes et imaginatives à partir d’instructions textuelles. Le réalisateur Tyler Perry en dresse un éventail des capacités lorsqu’il déclare : « Je n'aurais plus à me déplacer. Si je voulais être dans la neige au Colorado, c'est du texte équivalent que je fournis. Si je voulais écrire une scène sur la lune, c'est du texte, et cette intelligence artificielle peut le générer en un rien de temps. Si je voulais avoir deux personnes dans le salon dans les montagnes, je n'aurais pas besoin de construire un décor dans les montagnes, je n'aurais pas besoin d'installer un décor sur mon terrain. Je peux m'asseoir dans un bureau et faire cela avec un ordinateur. » Illustration avec une série de courts-métrages dont celui intitulé "Air Head", créé par le studio Shy Kids.

« Sora est le plus puissant lorsqu'il ne s'agit pas de reproduire l'ancien, mais de donner vie à des idées nouvelles et impossibles que nous n'aurions jamais eu l'occasion de voir autrement », indique OpenAI.

6/ AI is coming for Hollywood.

OpenAI has started giving access to filmmakers and producers.

'air head' is one of the first short films made using Sora.pic.twitter.com/txkOpcXnD2

— Barsee 🐶 (@heyBarsee) March 27, 2024

« Même si Sora est très doué pour créer des objets qui semblent réels, ce qui nous enthousiasme, c'est sa capacité à créer des objets totalement surréalistes », souligne le studio Shy Kids.

3. “Beyond our reality” by Don Allen Stevenson III pic.twitter.com/A4xaifVPMi

— Alvaro Cintas (@dr_cintas) March 25, 2024

Avant la disponibilité d’outils comme Sora, il fallait 5 ans à 500 artistes pour réaliser un film d’animation de classe mondiale. Le fondateur de Dreamworks est d’avis qu’il ne faudra même pas 10 % de ce temps pour obtenir le même résultat avec un outil comme Sora à disposition. L’implication immédiate est celle d’une mise au rebut d’une grande partie des travailleurs humains de la filière. C’est d’ailleurs ce que confirme Tyler Perry lorsqu’il déclare : « je m'inquiète beaucoup pour tous les gens qui travaillent dans ce secteur. En regardant cela, j'ai immédiatement commencé à penser à tous les acteurs de l'industrie qui seraient concernés, y compris les acteurs, les machinistes, les électriciens, les transporteurs, les preneurs de son et les monteurs. » Tyler Perry a suspendu l'expansion de son studio de 800 millions de dollars après avoir vu Sora d'OpenAI à l’œuvre.

Sora AI (minus sound)

Elephant made of leaves, this is wild literally pic.twitter.com/CjpkZZPDqY

— Andy ττ (@bittingthembits) March 25, 2024

OpenAI met en avant les faiblesses actuelles de son modèle d’intelligence artificielle de génération de vidéos à partir d’instructions textuelles

« Le modèle actuel présente des faiblesses », a déclaré OpenAI dans un billet de blog. « Il peut avoir du mal à simuler avec précision la physique d'une scène complexe et peut ne pas comprendre des cas spécifiques de cause à effet. Par exemple, une personne peut prendre une bouchée d'un biscuit, mais après, le biscuit peut ne pas avoir de trace de morsure ».

Le modèle a également des difficultés avec les détails spatiaux (par exemple, distinguer la gauche de la droite) et n'est pas très à l'aise avec les descriptions qui décrivent des changements dans le temps.

Par conséquent, Sora est proposé aux "red teamers" qui continuent à tester le modèle pour déterminer s'il est nuisible, ainsi qu'à divers artistes visuels afin d'obtenir un retour d'information sur la manière dont le modèle pourrait être utile dans le cadre de leur travail.

Selon OpenAI, une fois Sora intégré dans un produit public, « notre classificateur de texte vérifiera et rejettera les invites de saisie de texte qui sont en violation de nos politiques d'utilisation, comme celles qui demandent une violence extrême, un contenu sexuel, une imagerie haineuse, l'image d'une célébrité ou la propriété intellectuelle d'autrui ».

Certaines critiques ont déjà été formulées.

Un internaute explique par exemple : « la capture de mouvements fonctionne bien parce qu'il s'agit de mouvements réels, mais chaque fois que l'on essaie d'animer des humains et des animaux, même dans des films en images de synthèse à gros budget, c'est toujours manifestement faux au bout du compte. Il y a tellement de choses subtiles qui se produisent en matière d'accélération et de décélération de toutes les différentes parties d'un organisme, qu'aucun animateur n'y parvient jamais à 100 % ».

Et de continuer en disant : « Aucun algorithme d'animation ne parvient à rendre les choses vraiment crédibles, mais seulement à les rendre moins mauvaises. Mais les vidéos générés par Sora semblent rendre les choses tout à fait crédibles, tant pour les humains que pour les animaux. C'est incroyable. Et bien entendu, il ne faut pas oublier qu'il s'agit d'espaces 3D tout à fait crédibles, avec une permanence de l'objet apparemment totale. Contrairement à d'autres efforts que j'ai vus et qui consistent essentiellement à animer brièvement une scène en 2D pour lui donner une vague apparence de 3D ». D'autres attendent les améliorations futures ».

C’est la raison pour laquelle certains internautes sont d’avis que Sora ne remplacera pas les humains.

Néanmoins, les évolutions en cours dans la filière laissent penser que la mise au rebut des travailleurs humains ira croissant avec le temps.

Et vous ?

Que pensez-vous de l’utilisation de l’IA par les studios dans leurs projets cinématographiques ?
Quels sont les avantages et les inconvénients de Sora, le modèle d’OpenAI qui permet de créer des vidéos à partir de textes ?
Comment l’industrie du cinéma peut-elle s’adapter à l’émergence de l’IA et protéger les emplois et les droits des créateurs ?
Avez-vous déjà vu ou utilisé Sora ou une autre technologie d’IA similaire ? Si oui, quelle a été votre expérience ?
Quel impact potentiel pourrait avoir l’IA dans le domaine de l’art et de la culture ?

[Stéphane le calme]

Sam Altman tente de convaincre Hollywood que Sora, l'outil de génération vidéo d'OpenAI, ne détruira pas l'industrie du cinéma.
Mais des critiques tentent déjà de dénoncer une forme d'hypocrisie de l'entreprise

Sam Altman, personnalité éminente à la tête d’OpenAI, s’efforce de convaincre Hollywood que Sora, l’outil de génération vidéo avant-gardiste de la société, n’entraînera pas la fin de la production cinématographique traditionnelle, mais plutôt son amélioration. Sora, qui n’est pas encore disponible au grand public, peut créer des vidéos réalistes d’une durée maximale d’une minute à partir de consignes textuelles. Ces vidéos peuvent inclure des « scènes complexes avec plusieurs personnages, des types de mouvements spécifiques et des détails précis ».

OpenAI a lancé une offensive de charme à Hollywood, en organisant des réunions avec les principaux studios, notamment Paramount, Universal et Warner Bros Discovery, afin de présenter sa technologie de génération vidéo Sora et de dissiper les craintes que le modèle d'intelligence artificielle ne nuise à l'industrie cinématographique.

Le directeur général Sam Altman et le directeur de l'exploitation Brad Lightcap ont fait des présentations aux cadres des géants de l'industrie cinématographique, ont déclaré plusieurs personnes ayant connaissance des réunions, qui ont eu lieu ces derniers jours.

Altman et Lightcap ont présenté Sora, un nouveau modèle d'IA générative capable de créer des vidéos détaillées à partir de simples messages écrits.

Cette technologie a attiré l'attention d'Hollywood après la publication par OpenAI, le mois dernier, d'une sélection de vidéos produites par le modèle. Ces vidéos sont rapidement devenues virales en ligne et ont suscité un débat sur l'impact potentiel du modèle sur les industries créatives.

Introducing Sora, our text-to-video model.

Sora can create videos of up to 60 seconds featuring highly detailed scenes, complex camera motion, and multiple characters with vibrant emotions. https://t.co/7j2JN27M3W

Prompt: “Beautiful, snowy… pic.twitter.com/ruTEWn87vf

— OpenAI (@OpenAI) February 15, 2024

« Sora suscite un énorme enthousiasme », a déclaré Claire Enders, analyste des médias. « On a l'impression qu'il va révolutionner la réalisation des films, faire baisser les coûts de production et réduire fortement la demande d'images générées par ordinateur ».

Les personnes impliquées dans les réunions ont déclaré qu'OpenAI cherchait à obtenir l'avis des patrons de cinéma sur la manière dont Sora devrait être déployé. Certaines personnes ayant assisté aux démonstrations ont déclaré qu'elles voyaient comment Sora ou des produits d'IA similaires pouvaient faire gagner du temps et de l'argent à la production, mais ont ajouté que la technologie avait besoin d'être développée davantage.

Des voix s'élèvent contre OpenAI

Mais les utilisateurs de X se sont empressés de souligner la narration contrôlée d'OpenAI. « Artistwashing : lorsque vous sollicitez des commentaires positifs sur votre modèle d'IA générative auprès d'une poignée de créateurs, tout en vous entraînant sur le travail des gens sans permission/paiement », a écrit Ed Newton-Rex, PDG de l'organisation à but non lucratif Fairly Trained, qui s'occupe de l'approvisionnement en données d'IA éthiques.

En d'autres termes, si OpenAI se prépare à affronter Hollywood, l'entreprise ferait mieux de se préparer à un drame cinématographique.

Artistwashing: when you solicit positive comments about your generative AI model from a handful of creators, while training on people's work without permission/payment. https://t.co/YarexRGEu2

— Ed Newton-Rex (@ednewtonrex) March 25, 2024

Les démarches d'OpenAI auprès des studios interviennent à un moment délicat pour Hollywood

L'année dernière, les grèves qui ont duré des mois se sont terminées par l'obtention, par la Writers Guild of America et la Screen Actors Guild, de protections révolutionnaires contre l'IA dans leurs contrats. Cette année, des négociations contractuelles sont en cours avec l'International Alliance of Theatrical Stage Employees, et l'IA devrait à nouveau être un sujet épineux.

En début de semaine, OpenAI a publié de nouvelles vidéos de Sora générées par un certain nombre d'artistes visuels et de réalisateurs, y compris des courts-métrages, ainsi que leurs impressions sur la technologie. Le modèle vise à concurrencer plusieurs services de conversion de texte en vidéo proposés par des start-ups, notamment Runway, Pika et Stability AI. Ces autres services proposent déjà des utilisations commerciales du contenu.

A glimpse of our early work with artists and filmmakers to see how Sora can help bring ideas into reality: https://t.co/kIowcqry0d

— OpenAI (@OpenAI) March 25, 2024

Cependant, Sora n'a pas été largement diffusé. OpenAI s'est abstenue d'annoncer une date de lancement ou les circonstances dans lesquelles il sera disponible. Une personne au fait de sa stratégie a déclaré que l'entreprise était en train de décider comment commercialiser la technologie. Une autre personne a déclaré qu'il restait des mesures de sécurité à prendre avant que l'entreprise n'envisage d'intégrer Sora dans un produit.

OpenAI travaille également à l'amélioration du système

Actuellement, Sora ne peut réaliser que des vidéos d'une durée inférieure à une minute, et ses créations ont des limites, comme le verre qui rebondit sur le sol au lieu de se briser ou l'ajout de membres supplémentaires aux personnes et aux animaux.

Certains studios semblent disposés à utiliser Sora dans la réalisation de films ou la production télévisuelle à l'avenir, mais la question des licences et des partenariats n'a pas encore été abordée, ont déclaré des personnes impliquées dans les discussions.

« Il n'y a pas eu de réunions avec OpenAI au sujet de partenariats », a déclaré un dirigeant de studio. « Ils ont fait des démonstrations, tout comme Apple a fait des démonstrations du Vision Pro [casque de réalité mixte]. Ils essaient de susciter un enthousiasme chez les gens ».

OpenAI a présenté le modèle en avant-première « de manière très contrôlée » aux « industries susceptibles d'être touchées en premier », a déclaré une personne proche d'OpenAI.

Le cinéaste Tyler Perry a exprimé ses inquiétudes quant à l’impact de l’IA sur les industries créatives

En tant que chef d'entreprise, Perry voit l'opportunité de ces développements, mais en tant qu'employeur, acteur et cinéaste, il souhaite également tirer la sonnette d'alarme. Lors d'une interview réalisée entre deux tournages, Perry a expliqué ses inquiétudes quant à l'impact de la technologie sur le travail et a expliqué pourquoi il souhaite que l'industrie s'unisse pour s'attaquer à l'IA : « Il doit y avoir une sorte de réglementation afin de nous protéger. Sinon, je ne vois pas comment nous pourrons survivre ».

Perry a reconnu que Sora était un « changement de jeu majeur » qui pourrait permettre aux cinéastes de produire des films et des pilotes à une fraction du coût, mais il s’est dit également très inquiet de l’impact de la technologie sur l’emploi et l’industrie. « Je suis très, très préoccupé par le fait que dans un avenir proche, beaucoup d’emplois vont être perdus », a-t-il affirmé, appelant à une régulation et à une concertation pour protéger les acteurs, les techniciens, les monteurs et tous les métiers du cinéma.

Perry a avoué qu’il avait déjà utilisé l’IA dans deux projets récents qui seront annoncés prochainement : « Cela m’a évité de passer des heures en maquillage. En post-production et sur le plateau, j’ai pu utiliser cette technologie d’IA pour éviter d’avoir à subir des heures de vieillissement ». Le créateur de Madea a précisé que, « comme tous les autres studios de la ville », il essayait « de tout comprendre ». « J’ai l’impression que tout le monde dans l’industrie court à cent à l’heure pour essayer de rattraper le retard, pour essayer de mettre en place des garde-fous et des ceintures de sécurité pour maintenir les moyens de subsistance à flot », a-t-il conclu.

Ci-dessous, un extrait de son interview.

Après avoir vu Sora, que pensez-vous de la rapidité avec laquelle la technologie de l'IA évolue et de l'impact qu'elle pourrait avoir sur le divertissement à court terme ?

J'ai suivi l'IA de très près et j'ai observé les progrès de très près. J'étais en train de planifier, depuis quatre ans, une expansion de 800 millions de dollars au studio, ce qui aurait permis d'augmenter considérablement le backlot et d'ajouter 12 scènes sonores supplémentaires. Tout cela est actuellement et indéfiniment suspendu à cause de Sora et de ce que je vois. J'ai eu vent de son arrivée l'année dernière, mais je n'en avais aucune idée jusqu'à ce que j'assiste récemment aux démonstrations de ce qu'il est capable de faire. Je suis choqué.

Qu'est-ce qui vous a particulièrement choqué dans ses capacités ?

Je n'aurais plus à me déplacer. Si je voulais être dans la neige au Colorado, c'est du texte. Si je voulais écrire une scène sur la lune, c'est du texte, et cette IA peut le générer en un rien de temps. Si je voulais avoir deux personnes dans le salon dans les montagnes, je n'aurais pas besoin de construire un décor dans les montagnes, je n'aurais pas besoin d'installer un décor sur mon terrain. Je peux m'asseoir dans un bureau et faire cela avec un ordinateur, ce qui me choque.

Je m'inquiète beaucoup pour tous les gens qui travaillent dans ce secteur. En regardant cela, j'ai immédiatement commencé à penser à tous les acteurs de l'industrie qui seraient concernés, y compris les acteurs, les machinistes, les électriciens, les transporteurs, les preneurs de son et les monteurs.

Utilisez-vous actuellement l'IA dans l'une ou l'autre de vos productions et/ou prévoyez-vous de le faire dans un avenir proche ?

Je viens d'utiliser l'IA dans deux films qui seront bientôt annoncés. Cela m'a empêché de me maquiller pendant des heures. En post-production et sur le plateau, j'ai pu utiliser cette technologie d'IA pour éviter d'avoir à passer des heures à me maquiller.

En tant que propriétaire de studio, ressentez-vous une quelconque pression pour utiliser l'IA à ce stade ?

Non. Je ne ressens absolument aucune pression pour l'utiliser, mais j'étudie les avantages et ce qu'elle apporte à la table. Cependant, je peux me concentrer sur les résultats de mon studio, qui continue à se porter extrêmement bien, et éviter la conversation, ou nous pouvons nous lancer et avoir la conversation de front pour nous assurer que nous protégeons toutes les personnes qui vont arriver. J'ai donc deux points de vue sur la question. En ce qui me concerne, je pense à mon entreprise et à ses résultats, mais je me préoccupe aussi beaucoup de toutes les personnes que j'ai formées et que j'ai conduit dans ce secteur. Je m'inquiète de ce qui va leur arriver.

Comment pensez-vous que cette convergence entre le développement rapide de l'IA et la contraction actuelle du secteur va évoluer ?

Je pense que cela va changer la donne, car si vous pouvez dépenser une fraction du coût d'un projet pilote qui aurait coûté 15, 20 ou même 35 millions de dollars pour HBO, il va de soi que ces entreprises opteront pour des coûts moindres. Je suis donc très, très préoccupée par le fait que, dans un avenir proche, de nombreux emplois vont être perdus. Je le pense vraiment, vraiment très fort.

Conclusion

Malgré les promesses des technologies de l'IA, le sujet reste controversé à Hollywood. Alors que de nombreux cinéastes et studios exploitent déjà l'IA à divers stades de la production, des inquiétudes ont été exprimées quant à l'impact potentiel sur l'emploi dans tous les secteurs de la création. L'année dernière, des scénaristes et des acteurs ont organisé des grèves pour réclamer des garanties contre l'utilisation de la technologie de l'IA, ce qui a permis de négocier des protections au sein de l'industrie. En outre, les sociétés de médias hésitent à accorder à l'OpenAI l'accès à leur contenu sans compensation adéquate. Des discussions seraient en cours avec de grandes chaînes comme CNN, Fox et Time Magazine.

L'incursion d'OpenAI à Hollywood intervient dans un contexte de concurrence accrue dans le domaine de l'IA. Les géants de la technologie Meta Platforms Inc. et Google (Alphabet Inc.) ont déjà dévoilé des projets de recherche sur la conversion de texte en vidéo, tandis qu'un nombre croissant de startups d'IA bien financées, dont Runway AI Inc., Pika et Stability AI, se disputent également la domination du marché.

Runway AI Inc. a annoncé que son service de conversion de texte en vidéo Gen-2 était déjà largement utilisé par des millions d'utilisateurs, notamment des professionnels des studios de production et d'animation. Parallèlement, les monteurs de films utilisent la technologie de Runway pour créer un contenu visuel attrayant, en l'intégrant de manière transparente aux séquences existantes afin d'améliorer la narration.

OpenAI a précisé que Sora est actuellement au stade de la recherche et de la prévisualisation, et que les prix restent à déterminer.

Sources : OpenAI, Bloomberg

Et vous ?

Que pensez-vous des propos d'Ed Newton-Rex qui déclare à propos d'OpenAI : « Artistwashing : lorsque vous sollicitez des commentaires positifs sur votre modèle d'IA générative auprès d'une poignée de créateurs, tout en vous entraînant sur le travail des gens sans permission/paiement » ?
L’IA peut-elle révolutionner la créativité cinématographique ?
Quelles sont les implications de l’utilisation de l’IA en général et de Sora en particulier dans le cinéma ?
Comment les cinéastes traditionnels peuvent-ils collaborer avec l’IA ?
Quels sont les avantages et les inconvénients de l’automatisation dans la production cinématographique ?
Quelles sont les limites de l’IA dans le cinéma ?