とてもSF的ですか？さらに「SF」なのは、画像とビデオの合成、音楽から編集まで、すべてが AI によって行われるということです。
プロデューサーの Nicolas Neubert は、対応する AI ツールを列挙しています。Midjourney は画像を処理し、Runway はビデオを処理し、Pixabay は音楽を処理し、CapCut はビデオを編集します。
Midjourney はおなじみの AI 描画アーティファクトで、バージョン 5.2 に更新されました。 Runway は AI ベースのビデオ制作ツールで、Gen-2 は現在無料トライアルで利用できます。 CapCut 編集ツールは誰でも無料で利用できますが、Adobe Premier または Final Cut Pro で編集することを選択することもできます。
This page may contain third-party content, which is provided for information purposes only (not representations/warranties) and should not be considered as an endorsement of its views by Gate, nor as financial or professional advice. See Disclaimer for details.
映像合成からサウンドトラック編集まですべてAIが行う：初のAISF映画『ジェネシス』予告編が衝撃初公開
出典: ハート・オブ・ザ・マシン
著者: Du Wei、Zewen
ここ2日間で、1分にも満たないSF映画の予告編「予告編：ジェネシス」（以下、「ジェネシス」）がソーシャルメディア上で人気を博した。
ジャンプして視聴
とてもSF的ですか？さらに「SF」なのは、画像とビデオの合成、音楽から編集まで、すべてが AI によって行われるということです。
プロデューサーの Nicolas Neubert は、対応する AI ツールを列挙しています。Midjourney は画像を処理し、Runway はビデオを処理し、Pixabay は音楽を処理し、CapCut はビデオを編集します。
Midjourney はおなじみの AI 描画アーティファクトで、バージョン 5.2 に更新されました。 Runway は AI ベースのビデオ制作ツールで、Gen-2 は現在無料トライアルで利用できます。 CapCut 編集ツールは誰でも無料で利用できますが、Adobe Premier または Final Cut Pro で編集することを選択することもできます。
Neubert は 7 時間を費やし、Midjourney は 316 個のプロンプト、拡大画像 128 枚、Runway は 310 個のビデオ、テキスト付きビデオを生成し、合計 44 個のビデオが予告編で使用されたことがわかります。
今日、Neubert は、具体的なプロセスと上記の AI ツールの使用方法を含む、「Genesis」の制作プロセスを詳細に説明する長い記事を書きました。一つずつ見ていきましょう。
正式な制作の最初のステップは、世界とストーリーを構築することです。
予告編のジェネシスのストーリーラインでは、ノイベルトは段階的に緊張感を高めたいと考えていました。したがって、次の 3 つのフェーズが定義されます。
具体的には、ノイバートは「Share It All、Live the Consequences、Call Humanity to Action」を含む予告編のコピーの初稿に取り組みました。
このように全体的なトーンを定義した後、彼はこれらのテーマに沿ったシーンを生成し始めました。ノイベルトは、環境、軍事技術、戦闘をテーマにした大量のヒューマン クリップや SF クリップをスクロールし、それらすべてからストーリーを収集しました。
また、深みを加えるために、光るお守りを持った 3 人の子供のショットを追加し、より深いストーリー展開をほのめかしました。
ここでは、hint() に特に注意してください。 Neubert は、以前の投稿で得た安定化のヒントを改良してテンプレートを作成し、トレーラーのすべてのショットでそれを再利用できるようにしました。テンプレートは次のとおりです。
シーンごとに、彼は希望のシーンで空白を埋め、他のトークンがテーマ、色、照明の連続性を最大限に維持していることを確認しました。
さらに、強力な変更 (Strong iations) 機能を使用すると、以前のカラー パレットを保持したまま、別のシーンを簡単に作成できます。新たなプロンプトを生成することなく、女性戦士のシーンを一般市民、サイバーハッカー、または戦闘のシーンに変換できます。
Neubert 氏は、この手順が最も簡単であると感じました。セットアップでは、彼は常にアップスケール モードを有効にしようとします。ただし、このモードでは顔に問題が発生することが多いため、ポートレート撮影では標準品質を使用することが多いです。
テキスト プロンプトと画像プロンプトを組み合わせて使用する代わりに、画像をドラッグ アンド ドロップし、満足のいく結果が得られるまで画像を再生成したことは注目に値します。
最後のステップは、CapCut での事後編集です。
Midjourney と Runway が出力を生成する一方で、Neubert は、大きな役割を果たすことがわかっている重要なシーンを配置することから始めます。予告編を見る限り、屋外のショットがオープニングになるだろうと彼は考えている。
それからテキストの計画を立て始めます。テキストが音楽に合わせて配置されている場合、タイムラインにクリップが存在しない可能性があります。 1 時間以内にタイムラインに従ってコンテンツを編集し、場所を修正しました。これは、どのシーンがまだ欠けているかを考慮して追加の固定点が必要な画像を生成する場合に最適です。
具体的な手順は非常にシンプルで、クリップを生成→CapCutに取り込み→タイムラインに配置し、ゆっくりとストーリーをつなぎ合わせていきます。また、2 つまたは 3 つの編集パッケージの色を調整して、壮大な映画のセットのように見せました。
CapCut を使用するために必要な唯一のスキルは、クリップのテンポ同期です。音楽の中に「BWAAA」が出てくると、彼は常にクリップ内のアクションを接続したり、その後に続くクリップを並べたりしようとしています。これにより、シーケンス全体がより没入感のあるものになります。
さらに、Neubert はクリップに多くのモーションを組み込む方法を検討しました。ここでは、動きを加えるために 2 つのトリックを使用しています。
2 番目のヒント: Runway ビデオを分析すると、4 秒のクリップでシーンが大きく変わることがよくあることがわかります。つまり、予告編のシーンでは、4 秒のカットを 2 回しか使用しませんでした。他のすべてのクリップの長さは 0.5 ～ 2 秒で、クリップの速度は 1.5 ～ 3 倍になります。その理由は、視聴者は短いクリップしか見ないため、シーン内のより多くの動きを認識し、基本的にその部分を早送りすることになるためです。
いくつかの操作を経て、最終的に皆さんにお届けしたのは、冒頭の衝撃的な『ジェネシス』予告編です。予告編も絶賛され、これまで見た中で最高の滑走路生成ビデオだったという人もいます。
Midjourney+Runway: AI 作成ツールの魔法の組み合わせ
ここでは、他の世代のユースケースをいくつか紹介します。
Runway はキャラクターの動きの詳細も比較的正確に把握しています。ネチズンShenchengのビデオでは、キャラクターの目の詳細がダイナミックなビデオをより鮮やかにしていることがわかり、少しの「演技スキル」を追加しているとも言えます。
絵が動いた後、夜の人間と馬の動きは非常に自然で、登場人物やその後のアクションについても想像力の余地が広がります。
ミッドジャーニーとランウェイの組み合わせは無敵に見え、キャラクターの重要な行動に適切なストーリー感覚を表現できます。
結果を生成する際に、より豊かで創造的なバリエーションもいくつかあります。
一部のネットユーザーは一連の AI ツールを使用してビデオクリップを生成していますが、その結果は満足のいくものではないようです。
Twitter ユーザーの @nickfloats は、ChatGPT を使用してスクリプトを作成し、Midjourney を使用して画像を生成し、Runway を使用してビデオを生成し、Triniti を使用して音楽を生成し、イレブン ラボ AI を使用してダビングし、クリップは他の調整を行わずに単純につなぎ合わせられます。
ネチズンは自分たちの制作過程全体を録画し、AIを使って短いコマーシャルを作るのにどれくらいの時間がかかるかを知りたがった。
「ジェネシス」と比べると、この短編コマーシャルフィルムは長さは半分ですが、所要時間は非常に短いです。最大の違いの 1 つは、人間の関与の詳細にあります。慎重に検討されたテーマ、一貫した調整、細部への配慮が欠けています。
AIのみが参加したり、AIの生成に基づいて作品を制作したりするだけでは、当然ながら質の高い成果物を生み出すことはできません。これらのツールの真の価値は、人間による適用と調整によって明らかになるようです。