從視頻合成到配樂剪輯，全由AI操刀完成：首部AI科幻電影《創世紀》預告片震撼登場

來源：機器之心

作者：杜偉、澤文

最近兩天，一則時長不到一分鐘的科幻電影預告片《Trailer: Genesis》（《創世紀》）在社交媒體上火了起來。

跳轉觀看‌

是不是很科幻呢？更「科幻」的是，從圖像視頻合成、音樂到剪輯，所有一切都是由AI 完成的。

製作者Nicolas Neubert 列出了對應的AI 工具，其中Midjourney 處理圖像、Runway 處理視頻、Pixabay 處理音樂、CapCut 剪輯視頻。

Midjourney 是大家熟悉的AI 繪圖神器，目前已經更新到了5.2 版本。 Runway 是基於AI 的視頻製作生成工具，目前Gen-2 已經開啟免費試用。 CapCut 剪輯工具對所有人免費，不過也可以選擇在Adobe Premier 或Final Cut Pro 中剪輯。

推特@iamneubert

據了解，Neubert 花了7 個小時，Midjourney 生成了316 條提示、放大了128 張圖像，Runway 生成了310 個視頻，還有一個帶有文本的視頻，預告片中共使用了44 個視頻。

今天，Neubert 更是撰寫了一篇長文，詳細介紹了《創世紀》的製作過程，包含了具體流程、如何使用上述AI 工具。我們一一來看。

關於電影想法，他表示自己反烏托邦主題的想法來自自己看過的幾部電影，並以它們為基礎編寫了一個故事。

正式製作的第一步是構建世界和故事。

對於預告片《創世紀》的故事情節，Neubert 想一步步地增強緊張感。因此定義了以下3 個階段：

1. 設置場景
2. 引入威脅
3. CTA 中的高潮

具體地講，Neubert 先製作預告片的第一個文案草稿，包括「分享一切、承擔後果然後呼籲人類採取行動」。

這樣定義了整體基調後，他開始圍繞這些主題生成相應的場景。 Neubert 滾動了大量有關環境、軍事科技、戰鬥主題的人類和科幻剪輯，然後從中收集到一個故事。

同時為了增加一些深度，他添加了三個帶有發光護身符的孩子的鏡頭，暗示了更深層次的故事情節。

第二步是在Midjourney 中生成連續的圖像。

這裡要特別注意提示（）。 Neubert 對自己在以往帖子中獲得的穩定提示進行了優化，創建了一個模板，這樣在預告片的每個鏡頭中都能重複使用它。模板如下：

___________，星球大戰、風格為精細的人群場景、樸實的自然主義、青色和黃色、寒霜朋克、室內場景、cinestill 50d—ar 21:9— 原始風格

對於每個場景，他都會用自己想要的場景來填補空白，確保其他tokens 最大限度地保持主題、顏色和照明的連貫性。

此外利用強變化（Strong iations）功能，使得更容易創建不同的場景，同時保留之前的調色板。女戰士的場景可以轉變為普通公民、網絡黑客或戰鬥的場景，無需生成新的提示。

第三步是在Runway 中生成動畫圖像。

Neubert 發現這一步是最簡單的。在設置上，他總是嘗試激活放大（Upscaled）模式。不過該模式常常遇到面部問題，所以針對人物鏡頭，他通常使用標準質量。

值得注意的是，他沒有使用文字提示與圖像提示相結合的方式，而是拖放一張圖像並重新生成它，直到得到自己滿意的結果。

最後一步是在CapCut 後期剪輯。

在Midjourney 和Runway 生成輸出的同時，Neubert 首先放置自己知道將發揮重要作用的關鍵場景。就預告片而言，他認為外景鏡頭將成為開場。

接著開始計劃文本。當根據音樂來定位文本時，時間軸中沒有任何剪輯，這是有可能的。他在不到一個小時的時間裡就按照時間線編好了內容並定了位。這對生成圖像很有幫助，你需要一個額外的固定點來考慮仍然缺少了哪些場景。

具體的步驟變得很簡單，生成剪輯→ 將它們拉入CapCut → 放置在時間軸上，然後慢慢拼湊故事。他還對2 到3 個編輯包進行了顏色匹配，讓它們看起來更像宏大的電影場景。

使用CapCut 唯一需要的技巧是對剪輯進行節拍的同步。當音樂中出現「BWAAA」時，他總是嘗試連接剪輯內的動作或者排列後面的剪輯。這會令整個序列更有身臨其境的感覺。

此外Neubert 還考慮瞭如何在剪輯中加入大量的動作。這裡他使用了兩個技巧來增加動作。

第一個技巧：Runway 會接收一張圖像，然後根據模型計算哪些部分應該進行動畫處理。他對這個思路進行了逆向工程，嘗試在Midjourney 中輸出暗示運動的圖像。這意味著可以在鏡頭中加入運動模糊或者可以捕捉移動頭部或人物的靜止圖像。

第二個技巧：當你分析Runway 視頻時會發現在4 秒剪輯中，場景經常發生很大的變化。因此在預告片場景中，他只使用了完整的4 秒剪輯兩次。所有其他剪輯的長度均為0.5-2 秒，並將剪輯的速度提高了1.5- 3 倍。這樣做的原因是，作為觀看者，你只能看到時間很短的剪輯，因而會在場景中感知到更多運動，本質上是快進了該部分。

一番操作下來，最終呈現出給大家的就是開頭的那個震撼的《創世紀》預告片。該預告片也得到盛讚，有人表示，這是自己至今為止看過的最好的Runway 生成視頻。

其實，在Runway Gen-2 可以免費試用後，不少網友大開腦洞，將它與Midjourney 結合起來，大膽創作。

Midjourney+Runway：神奇的AI 創作工具組合

這裡與大家分享一些其他的生成用例。

Runway 對與人物動作細節的把握也是較為準確的。在網友申城的視頻中可以看到，人物眼睛的細節讓動態視頻更加傳神，也可以說了平添了幾分「演技」。

來源：

圖片動起來之後，人與馬在夜色中的動作十分自然，對於人物，甚至後續動作的想像空間也有了更大留白。

來源：

Midjourney 與Runway 的組合看起來很是無敵，在人物關鍵動作上能刻畫出適當的故事感。

推特：@ai_insight1

還有一些變化更加豐富，也更具創意的生成結果。

推特@kkuldar

推特：@Akashi30eth

也有網友利用一系列AI 工俱生成視頻短片，可是結果似乎不盡人意。

推特用戶@nickfloats 使用ChatGPT 撰寫腳本、Midjourney 生成圖像、Runway 生成視頻、Triniti 生成音樂、Eleven Labs AI 配音，剪輯就將其簡單的拼接在一起，不做其他調整。

ChatGPT 撰寫的腳本

網友記錄了自己製作的全過程，想看看全程使用AI 製作廣告短片需要多久。

這名網友對這個短片成果的評價是「The ad sucks」。這廣告中，人物的動作僵硬，畫面的邏輯關係不強，整體也很難凸顯出想要表達的主題。 AI 的通力合作似乎並沒有出現驚喜，反而是「驚嚇」更多一些。

與《創世紀》相比，這個廣告短片時長是它的一半，但是用時極少。其中最大的差異就是人類參與的細節。它沒有仔細斟酌後的主題、追求連貫的不斷調整以及對細節的高要求。

如果只讓AI 來參與，或是只根據AI 的生成來產出作品，顯然還不能夠由高質量的成果。人類對它們的應用和調整似乎才能體現這些工具的真正價值。