Від синтезу відео до редагування звукової доріжки, все зроблено штучним інтелектом: шокуюче дебютував трейлер першого науково-фантастичного фільму штучного інтелекту «Генезис»

Джерело: Heart of the Machine

Автор: Du Wei, Zewen

За останні два дні в соцмережах став популярним трейлер науково-фантастичного фільму «Трейлер: Генезис» («Генезис») тривалістю менше хвилини.

Перейти до перегляду‌

Це дуже науково-фантастичне? Більше «наукової фантастики» полягає в тому, що від синтезу зображень і відео, музики до редагування, все робить ШІ.

Продюсер Ніколас Нойбер перераховує відповідні інструменти ШІ, де Midjourney обробляє зображення, Runway обробляє відео, Pixabay обробляє музику, а CapCut редагує відео.

Midjourney — знайомий артефакт малювання AI, оновлений до версії 5.2. Runway — це інструмент для створення відео на основі штучного інтелекту, а Gen-2 наразі доступний для безкоштовної пробної версії. Інструмент редагування CapCut є безкоштовним для всіх, але ви також можете вибрати редагування в Adobe Premier або Final Cut Pro.

Твіттер @iamneubert

Відомо, що Neubert витратив 7 годин, Midjourney згенерував 316 підказок, збільшив 128 зображень, Runway згенерував 310 відео та відео з текстом.Всього в трейлері використано 44 відео.

Сьогодні Нойберт навіть написав велику статтю, в якій детально описує процес виробництва «Genesis», включаючи конкретний процес і те, як використовувати вищезазначені інструменти ШІ. Давайте розглянемо їх по черзі.

Стосовно ідеї фільму він сказав, що ідея його антиутопічної теми виникла з кількох фільмів, які він дивився, і написав на їх основі історію.

Першим кроком в офіційному виробництві є створення світу та історії.

Для сюжетної лінії Genesis у трейлері Нойберт хотів нарощувати напругу крок за кроком. Таким чином, визначено наступні 3 фази:

1. Оформлення сцени
2. Представлення загроз
3. Кульмінація в CTA

Зокрема, Нойберт працював над першим варіантом копії трейлера, який включав «Поділіться всім, переживіть наслідки та закликайте людство до дії».

Визначивши таким чином загальний тон, він приступив до створення сцен навколо цих тем. Нойберт прокрутив безліч людських і науково-фантастичних кліпів на теми навколишнього середовища, військових технологій і бойових дій, і зібрав історію з усіх.

Крім того, щоб додати трохи глибини, він додав кадри трьох дітей із сяючими амулетами, натякаючи на глибшу сюжетну лінію.

Другий крок — створення послідовних зображень у Midjourney.

Зверніть особливу увагу на hint() тут. Нойберт удосконалив сигнали стабілізації, які він отримав у попередніх публікаціях, щоб створити шаблон, щоб він міг повторно використовувати його для кожного кадру в трейлері. Шаблон виглядає наступним чином:

____________, «Зоряні війни», стилізовані як детальні масові сцени, землистий натуралізм, блакитно-жовтий, фростпанк, інтер’єрні сцени, cinestill 50d—ar 21 :9—оригінальний стиль

Для кожної сцени він заповнював пропуски своєю бажаною сценою, переконавшись, що інші жетони зберігають максимальну безперервність теми, кольору та освітлення.

Крім того, використання функції сильних змін (Strong iations) полегшує створення різних сцен із збереженням попередньої палітри кольорів. Сцену жінки-воїна можна перетворити на сцену звичайної громадянки, кіберхакера чи бійки без створення нових підказок.

Третій крок — створення анімованого зображення в Runway.

Нойберт вважав цей крок найпростішим. Під час налаштування він завжди намагається активувати розширений режим. Однак у цьому режимі часто виникають проблеми з обличчями, тому для портретних знімків він зазвичай використовує стандартну якість.

Варто зазначити, що замість використання комбінації текстових підказок і підказок із зображеннями він перетягував зображення та генерував його, доки не отримав результат, який його влаштовував.

Останній крок — постредагування в CapCut.

Поки Midjourney і Runway створюють результати, Нойберт починає з розміщення ключових сцен, які, як він знає, відіграватимуть велику роль. Що стосується трейлера, він вважає, що відкриттям стануть зовнішні кадри.

Потім приступайте до планування тексту. Можливо, на часовій шкалі немає кліпів, коли текст розташований відповідно до музики. Менш ніж за годину він склав вміст відповідно до хронології та зафіксував місце. Це чудово підходить для створення зображень, де потрібна додаткова фіксована точка, щоб порахувати, які сцени ще відсутні.

Конкретні кроки стають дуже простими: створіть кліпи → перетягніть їх у CapCut → розмістіть на часовій шкалі та повільно збирайте історію. Він також підібрав 2 або 3 пакети редагування за кольором, щоб зробити їх більш схожими на декорації великого фільму.

Єдина навичка, необхідна для використання CapCut, — це синхронізація темпу кліпів. Коли в музиці з’являється «BWAAA», він завжди намагається пов’язати дію в кліпі або вибудувати наступні кліпи. Це робить всю послідовність більш захоплюючою.

Крім того, Нойберт думав, як включити багато руху в кліп. Тут він використовує два прийоми, щоб додати руху.

Перший трюк: Runway робить зображення та обчислює, які частини потрібно анімувати на основі моделі. Він перепроектував цю ідею, намагаючись виводити зображення в Midjourney, які передбачали рух. Це означає, що до відеоматеріалів можна додати розмиття в русі або зняти нерухомі зображення рухомих голів або людей.

Друга порада: аналізуючи відео Runway, ви побачите, що в 4-секундному ролику сцена часто сильно змінюється. Тож у сцені трейлера він лише двічі використав повну 4-секундну частину. Всі інші кліпи мають тривалість 0,5-2 секунди і прискорюють ролики в 1,5-3 рази. Причиною цього є те, що як глядач ви бачите лише короткий ролик і, отже, сприймаєте більше руху в сцені, по суті, швидко перемотуючи цю частину вперед.

Після деяких операцій ми нарешті представили всім шокуючий трейлер «Genesis» на початку. Трейлер також отримав схвальні відгуки, дехто сказав, що це найкраще відео про покоління злітно-посадкової смуги, яке вони бачили досі.

Фактично, після того, як Runway Gen-2 була доступна для безкоштовного пробного використання, багато користувачів мережі відкрили свої думки та поєднали його з Midjourney, щоб сміливо творити.

Midjourney+Runway: чарівна комбінація інструментів для створення AI

Ось деякі випадки використання інших поколінь, якими можна поділитися з вами.

Runway сприймає деталі рухів персонажа також відносно точно. На відео користувача мережі Shencheng видно, що деталі очей героїв роблять динамічне відео більш яскравим, а також, можна сказати, додають трохи «акторської майстерності».

джерело:

Після того, як картина рухається, рухи людини та коня вночі дуже природні, і є більше простору для уяви персонажів і навіть подальших дій.

джерело:

Поєднання Midjourney і Runway виглядає непереможним і може відобразити належне відчуття історії в ключових діях персонажів.

Твіттер: @ai_insight1

Є також деякі варіації, які є багатшими та креативнішими у створенні результатів.

Твіттер @kkuldar

Твіттер: @Akashi30eth

Деякі користувачі мережі також використовують низку інструментів штучного інтелекту для створення відеокліпів, але результати, здається, незадовільні.

Користувач Twitter @nickfloats використовує ChatGPT для написання сценаріїв, Midjourney для створення зображень, Runway для створення відео, Triniti для створення музики, Eleven Labs AI для дубляжу, а кліпи просто зшиваються без інших коригувань.

Сценарій, написаний ChatGPT

Користувачі мережі записували весь процес власного виробництва та хотіли побачити, скільки часу знадобиться для створення коротких рекламних роликів за допомогою ШІ.

Цей користувач мережі прокоментував результати цього короткометражного фільму як «Реклама відстой». У цій рекламі рухи героїв скуті, логічний взаємозв’язок картини слабкий, і важко виділити тему, яку потрібно висловити в цілому. Співпраця ШІ начебто не викликає сюрпризів, а більше «лякає».

У порівнянні з «Генезисом» цей короткометражний рекламний фільм вдвічі менший, але займає дуже мало часу. Одна з найбільших відмінностей полягає в деталях участі людини. У ньому бракує ретельно продуманих тем, узгоджених коригувань і уваги до деталей.

Якщо тільки штучному інтелекту дозволено брати участь або лише створювати роботи, засновані на генерації штучного інтелекту, очевидно, неможливо отримати високоякісні результати. Справжню цінність цих інструментів, здається, розкриває саме їх застосування та налаштування людьми.