De la synthèse vidéo au montage de la bande son, tout est fait par l'IA : la bande-annonce du premier film de science-fiction sur l'IA "Genesis" a fait ses débuts de manière choquante

Source : Cœur de la machine

Auteur : Du Wei, Zewen

Au cours des deux derniers jours, une bande-annonce de film de science-fiction "Trailer: Genesis" ("Genesis"), qui dure moins d'une minute, est devenue populaire sur les réseaux sociaux.

Sauter pour regarder‌

C'est très science-fiction ? De plus "sci-fi", c'est que de la synthèse d'images et de vidéos, de la musique au montage, tout est fait par l'IA.

Le producteur Nicolas Neubert énumère les outils d'IA correspondants, où Midjourney traite les images, Runway traite les vidéos, Pixabay traite la musique et CapCut édite les vidéos.

Midjourney est un artefact de dessin d'IA familier, et il a été mis à jour vers la version 5.2. Runway est un outil de production vidéo basé sur l'IA, et Gen-2 est actuellement disponible pour un essai gratuit. L'outil d'édition CapCut est gratuit pour tout le monde, mais vous pouvez également choisir d'éditer dans Adobe Premier ou Final Cut Pro.

Twitter @iamneubert

Il est entendu que Neubert a passé 7 heures, Midjourney a généré 316 invites, agrandi 128 images, Runway a généré 310 vidéos et une vidéo avec du texte. Un total de 44 vidéos ont été utilisées dans la bande-annonce.

Aujourd'hui, Neubert a même écrit un long article, détaillant le processus de production de "Genesis", y compris le processus spécifique et comment utiliser les outils d'IA ci-dessus. Jetons un coup d'œil à eux un par un.

Concernant l'idée du film, il a dit que l'idée de son thème dystopique venait de plusieurs films qu'il avait regardés, et il a écrit une histoire basée sur eux.

La première étape de la production officielle consiste à construire le monde et l'histoire.

Pour le scénario de Genesis de la bande-annonce, Neubert a voulu créer la tension étape par étape. Les 3 phases suivantes sont donc définies :

1. Mise en scène
2. Introduction de menaces
3. Point culminant du CTA

Plus précisément, Neubert a travaillé sur la première ébauche de la copie de la bande-annonce, qui comprenait "Partagez tout, vivez les conséquences et appelez l'humanité à l'action".

Ayant ainsi défini le ton général, il procède à la génération de scènes autour de ces thèmes. Neubert a fait défiler des tonnes de clips humains et de science-fiction sur les thèmes des environnements, de la technologie militaire et du combat, et en a glané une histoire.

Aussi pour ajouter de la profondeur, il a ajouté des plans de trois enfants avec des amulettes brillantes, faisant allusion à une histoire plus profonde.

La deuxième étape consiste à générer des images consécutives dans Midjourney.

Portez une attention particulière à l'astuce () ici. Neubert a affiné les repères de stabilisation qu'il avait obtenus dans les messages précédents pour créer un modèle afin qu'il puisse le réutiliser pour chaque plan de la bande-annonce. Le modèle est le suivant :

___________, Star Wars, stylisé comme des scènes de foule détaillées, naturalisme terreux, bleu sarcelle et jaune, frostpunk, scènes d'intérieur, cinestill 50d—ar 21 :9—style d'origine

Pour chaque scène, il remplissait les blancs avec la scène souhaitée, en s'assurant que les autres jetons maintenaient une continuité maximale de thème, de couleur et d'éclairage.

De plus, l'utilisation de la fonctionnalité de changements forts (Strong iations) facilite la création de différentes scènes tout en conservant la palette de couleurs précédente. Une scène d'une guerrière peut être transformée en scène d'un citoyen normal, d'un cyber-pirate ou d'un combat sans générer de nouvelles invites.

La troisième étape consiste à générer l'image animée dans Runway.

Neubert a trouvé que cette étape était la plus facile. Sur le setup, il essaie toujours d'activer le mode Upscaled. Cependant, ce mode a souvent des problèmes avec les visages, donc pour les portraits, il utilise généralement une qualité standard.

Il convient de noter qu'au lieu d'utiliser une combinaison d'invites de texte et d'invites d'image, il a fait glisser et déposé une image et l'a régénérée jusqu'à ce qu'il obtienne le résultat dont il était satisfait.

La dernière étape est la post-édition dans CapCut.

Alors que Midjourney et Runway génèrent une sortie, Neubert commence par placer des scènes clés dont il sait qu'elles joueront un grand rôle. En ce qui concerne la bande-annonce, il pense que les plans extérieurs seront l'ouverture.

Ensuite, commencez à planifier le texte. Il est possible qu'il n'y ait pas de clips dans la timeline lorsque le texte est positionné en fonction de la musique. En moins d'une heure, il a compilé le contenu selon la chronologie et fixé l'emplacement. C'est idéal pour générer des images où vous avez besoin d'un point fixe supplémentaire pour tenir compte des scènes manquantes.

Les étapes spécifiques deviennent très simples, générez des clips → tirez-les dans CapCut → placez-les sur la chronologie et reconstituez lentement l'histoire. Il a également assorti les couleurs de 2 ou 3 packages de montage pour les faire ressembler davantage à de grands décors de films.

La seule compétence requise pour utiliser CapCut est la synchronisation du tempo des clips. Lorsque "BWAAA" apparaît dans la musique, il essaie toujours de connecter l'action dans le clip ou d'aligner les clips qui suivent. Cela rend toute la séquence plus immersive.

De plus, Neubert a réfléchi à la manière d'incorporer beaucoup de mouvement dans le clip. Ici, il utilise deux astuces pour ajouter du mouvement.

Première astuce : Runway prend une image et calcule les parties à animer en fonction du modèle. Il a inversé cette idée en essayant de produire des images dans Midjourney suggérant un mouvement. Cela signifie que le flou de mouvement peut être ajouté aux séquences ou que des images fixes de têtes mobiles ou de personnes peuvent être capturées.

Deuxième astuce : Lorsque vous analysez la vidéo Runway, vous constaterez que dans le clip de 4 secondes, la scène change souvent beaucoup. Ainsi, dans la scène de la bande-annonce, il n'a utilisé la coupe complète de 4 secondes que deux fois. Tous les autres clips durent de 0,5 à 2 secondes et accélèrent les clips d'un facteur de 1,5 à 3. La raison en est qu'en tant que spectateur, vous ne voyez qu'un court clip et percevez donc plus de mouvement dans la scène, en faisant essentiellement avancer rapidement cette partie.

Après quelques opérations, ce que nous avons finalement présenté à tout le monde est la bande-annonce choquante de "Genesis" au début. La bande-annonce a également reçu des critiques élogieuses, certains affirmant que c'était la meilleure vidéo de génération de piste qu'ils avaient vue jusqu'à présent.

En fait, après que Runway Gen-2 soit disponible pour un essai gratuit, de nombreux internautes ont ouvert leur esprit et l'ont combiné avec Midjourney pour créer avec audace.

Midjourney+Runway : une combinaison magique d'outils de création d'IA

Voici quelques cas d'utilisation d'autres générations à partager avec vous.

La compréhension par Runway des détails des mouvements du personnage est également relativement précise. Dans la vidéo de l'internaute Shencheng, on peut voir que les détails des yeux des personnages rendent la vidéo dynamique plus vivante, et on peut également dire qu'elle ajoute un peu de "compétences d'acteur".

source:

Après le déplacement de l'image, les mouvements de l'homme et du cheval dans la nuit sont très naturels, et il y a plus de place pour l'imagination des personnages et même les actions de suivi.

source:

La combinaison de Midjourney et Runway semble invincible et peut donner un bon sens de l'histoire dans les actions clés des personnages.

Twitter : @ai_insight1

Il existe également des variantes plus riches et plus créatives pour générer des résultats.

Twitter @kkuldar

Twitter : @Akashi30eth

Certains internautes utilisent également une série d'outils d'intelligence artificielle pour générer des clips vidéo, mais les résultats semblent insatisfaisants.

L'utilisateur de Twitter @nickfloats utilise ChatGPT pour écrire des scripts, Midjourney pour générer des images, Runway pour générer des vidéos, Triniti pour générer de la musique, Eleven Labs AI pour dupliquer, et les clips sont simplement assemblés sans autres ajustements.

Script écrit par ChatGPT

Les internautes ont enregistré l'ensemble du processus de leur propre production et voulaient voir combien de temps il faudrait pour utiliser l'IA pour faire de courtes publicités.

Cet internaute a commenté les résultats de ce court métrage comme "La pub craint". Dans cette publicité, les mouvements des personnages sont raides, la relation logique de l'image n'est pas forte et il est difficile de mettre en évidence le thème à exprimer dans son ensemble. La coopération de l'IA ne semble pas avoir de surprises, mais plus de "frayeurs".

Comparé à "Genesis", ce court métrage commercial est deux fois moins long, mais il prend très peu de temps. L'une des plus grandes différences réside dans les détails de l'implication humaine. Il manque des thèmes soigneusement étudiés, des ajustements cohérents et une attention aux détails.

Si seule l'IA est autorisée à participer, ou seulement à produire des œuvres basées sur la génération d'IA, il n'est évidemment pas possible de produire des résultats de haute qualité. C'est leur application et leur ajustement par l'homme qui semblent révéler la véritable valeur de ces outils.