От синтеза видео до редактирования саундтрека — все делает ИИ: трейлер первого научно-фантастического фильма с ИИ «Генезис» шокирующе дебютировал

Источник: Сердце машины

Автор: Ду Вэй, Зевень

За последние два дня в социальных сетях стал популярным трейлер научно-фантастического фильма «Трейлер: Генезис» («Genesis»), который длится менее минуты.

Перейти к просмотру‌

Это очень научно-фантастично? Что еще более «научно-фантастическое», так это то, что от синтеза изображений и видео, музыки до редактирования — все делается искусственным интеллектом.

Продюсер Николя Нойберт перечисляет соответствующие инструменты ИИ, где Midjourney обрабатывает изображения, Runway обрабатывает видео, Pixabay обрабатывает музыку, а CapCut редактирует видео.

Midjourney — знакомый артефакт рисования ИИ, обновленный до версии 5.2. Runway — это инструмент для создания видео на основе искусственного интеллекта, и Gen-2 в настоящее время доступен для бесплатной пробной версии. Инструмент редактирования CapCut является бесплатным для всех, но вы также можете редактировать в Adobe Premier или Final Cut Pro.

Твиттер @iamneubert

Понятно, что Нойберт потратил 7 часов, Midjourney сгенерировал 316 подсказок, увеличил 128 изображений, Runway сгенерировал 310 видео и видео с текстом.Всего в трейлере было использовано 44 видео.

Сегодня Нойберт даже написал длинную статью, подробно описывающую процесс производства «Genesis», в том числе конкретный процесс и то, как использовать вышеупомянутые инструменты ИИ. Давайте посмотрим на них один за другим.

Что касается идеи фильма, он сказал, что идея его антиутопической темы возникла из нескольких просмотренных им фильмов, и он написал на их основе рассказ.

Первый шаг в официальном производстве — создание мира и истории.

В сюжетной линии трейлера Genesis Нойберт хотел нагнетать напряжение шаг за шагом. Таким образом, определены следующие 3 фазы:

1. Настройка сцены
2. Представляем угрозы
3. Кульминация в СТА

В частности, Нойберт работал над первым наброском копии трейлера, который включал «Поделись всем, переживи последствия и призови человечество к действию».

Определив таким образом общий тон, он приступил к созданию сцен на эти темы. Нойберт просмотрел множество человеческих и научно-фантастических клипов на темы окружающей среды, военных технологий и боевых действий и почерпнул из них историю.

Также, чтобы добавить глубины, он добавил кадры трех детей со светящимися амулетами, намекая на более глубокую сюжетную линию.

Второй шаг — создание последовательных изображений в Midjourney.

Обратите особое внимание на подсказку() здесь. Нойберт усовершенствовал сигналы стабилизации, которые он получил в предыдущих сообщениях, чтобы создать шаблон, чтобы он мог повторно использовать его для каждого кадра в трейлере. Шаблон выглядит следующим образом:

___________, Звездные войны, стилизованные под детализированные массовые сцены, землистый натурализм, бирюзовый и желтый, фростпанк, интерьерные сцены, кинематографический кадр 50d—ar 21 :9 — оригинальный стиль

Для каждой сцены он заполнял пробелы своей желаемой сценой, следя за тем, чтобы другие жетоны сохраняли максимальную непрерывность темы, цвета и освещения.

Кроме того, использование функции сильных изменений (Strongiations) упрощает создание различных сцен с сохранением предыдущей цветовой палитры. Сцена с женщиной-воином может быть преобразована в сцену с обычным гражданином, кибер-хакером или дракой без создания новых подсказок.

Третий шаг — создание анимированного изображения в Runway.

Нойберт нашел этот шаг самым простым. При настройке он всегда пытается активировать режим Upscaled. Однако в этом режиме часто возникают проблемы с лицами, поэтому для портретных снимков он обычно использует стандартное качество.

Стоит отметить, что вместо того, чтобы использовать комбинацию текстовых и графических подсказок, он перетаскивал изображение и регенерировал его, пока не получил результат, который его удовлетворил.

Последний шаг — постредактирование в CapCut.

В то время как Midjourney и Runway генерируют результат, Нойберт начинает с размещения ключевых сцен, которые, как он знает, сыграют большую роль. Что касается трейлера, он думает, что кадры снаружи будут первыми.

Затем приступайте к планированию текста. Возможно, что на таймлайне нет клипов, когда текст расположен по музыке. Менее чем за час он скомпилировал контент согласно таймлайну и зафиксировал локацию. Это отлично подходит для создания изображений, где вам нужна дополнительная фиксированная точка, чтобы учесть, какие сцены все еще отсутствуют.

Конкретные шаги становятся очень простыми: создавайте клипы → загружайте их в CapCut → размещайте их на временной шкале и медленно собирайте историю. Он также покрасил 2 или 3 монтажных пакета, чтобы они больше походили на большие съемочные площадки.

Единственный навык, необходимый для использования CapCut, — это синхронизация клипов по темпу. Когда в музыке появляется «BWAAA», он всегда пытается связать действие внутри клипа или выстроить в ряд последующие клипы. Это делает всю последовательность более захватывающей.

Кроме того, Нойберт думал, как включить в клип много движения. Здесь он использует две уловки, чтобы добавить движения.

Первый трюк: Runway берет изображение и вычисляет, какие части должны быть анимированы на основе модели. Он реконструировал эту идею, пытаясь вывести изображения в Midjourney, которые предполагали движение. Это означает, что к отснятому материалу можно добавить размытие в движении или можно захватить неподвижные изображения движущихся голов или людей.

Второй совет: когда вы проанализируете видео «Подиум», вы обнаружите, что в 4-секундном клипе сцена часто сильно меняется. Таким образом, в сцене из трейлера он использовал полный 4-секундный монтаж только дважды. Все остальные клипы имеют продолжительность 0,5-2 секунды и ускоряют клипы в 1,5-3 раза. Причина этого в том, что как зритель вы видите только короткий клип и, следовательно, воспринимаете больше движения в сцене, по сути, перематывая эту часть вперед.

После некоторых операций мы, наконец, представили всем шокирующий трейлер «Генезис» в начале. Трейлер также получил восторженные отзывы, некоторые заявили, что это лучшее видео о создании подиумов, которое они когда-либо видели.

На самом деле, после того, как Runway Gen-2 стала доступна для бесплатной пробной версии, многие пользователи сети открыли свой разум и объединили ее с Midjourney, чтобы смело творить.

Midjourney+Runway: волшебное сочетание инструментов для создания ИИ

Вот несколько примеров использования других поколений, которыми я хочу поделиться с вами.

Понимание Подиумом деталей движений персонажа также относительно точное. В ролике нетизен Шенчэн видно, что детали глаз персонажей делают динамичное видео более ярким, а также можно сказать добавляют немного «актерского мастерства».

источник:

После того, как картина движется, движения человека и лошади в ночи очень естественны, и появляется больше простора для воображения персонажей и даже последующих действий.

источник:

Сочетание Midjourney и Runway выглядит непобедимо, и оно может передать правильное ощущение истории в ключевых действиях персонажей.

Твиттер: @ai_insight1

Есть также некоторые варианты, которые более богаты и более креативны в получении результатов.

Твиттер @kkuldar

Твиттер: @Akashi30eth

Некоторые пользователи сети также используют ряд инструментов искусственного интеллекта для создания видеоклипов, но результаты кажутся неудовлетворительными.

Пользователь Twitter @nickfloats использует ChatGPT для написания сценариев, Midjourney для создания изображений, Runway для создания видео, Triniti для создания музыки, Eleven Labs AI для дублирования, а клипы просто сшиваются вместе без каких-либо других настроек.

Скрипт написан ChatGPT

Пользователи сети записали весь процесс собственного производства и хотели посмотреть, сколько времени потребуется, чтобы использовать ИИ для создания коротких рекламных роликов.

Этот пользователь сети прокомментировал результаты этого короткометражного фильма как «Реклама отстой». В этой рекламе движения персонажей скованны, логическая связь картины не сильна, трудно выделить тему, которую нужно выразить в целом. Сотрудничество ИИ, похоже, не удивляет, а скорее «пугает».

По сравнению с «Генезисом» этот короткометражный коммерческий фильм вдвое короче, но занимает совсем немного времени. Одно из самых больших различий заключается в деталях участия человека. Ему не хватает тщательно продуманных тем, последовательных корректировок и внимания к деталям.

Если разрешено участвовать только ИИ или только производить работы, основанные на генерации ИИ, то, очевидно, невозможно получить высококачественные результаты. Их применение и корректировка людьми, кажется, раскрывают истинную ценность этих инструментов.