Dari sintesis video hingga pengeditan soundtrack, semuanya dilakukan oleh AI: Trailer film sci-fi AI pertama "Genesis" memulai debutnya secara mengejutkan

Sumber: Jantung Mesin

Pengarang: Du Wei, Zewen

Dalam dua hari terakhir, trailer film sci-fi "Trailer: Genesis" ("Genesis") yang berdurasi kurang dari satu menit menjadi populer di media sosial.

Lompat untuk menonton‌

Apakah ini sangat sci-fi? Terlebih lagi "sci-fi" adalah ** dari sintesis gambar dan video, musik hingga pengeditan, semuanya dilakukan oleh AI **.

Produser Nicolas Neubert mencantumkan alat AI yang sesuai, di mana Midjourney memproses gambar, Runway memproses video, Pixabay memproses musik, dan CapCut mengedit video.

Midjourney adalah artefak gambar AI yang familiar, dan telah diperbarui ke versi 5.2. Runway adalah alat produksi video berbasis AI, dan Gen-2 saat ini tersedia untuk uji coba gratis. Alat pengeditan CapCut gratis untuk semua orang, tetapi Anda juga dapat memilih untuk mengedit di Adobe Premier atau Final Cut Pro.

Twitter @iamneubert

Dapat dipahami bahwa Neubert menghabiskan 7 jam, Midjourney menghasilkan 316 prompt, memperbesar 128 gambar, Runway menghasilkan 310 video, dan video dengan teks. Sebanyak 44 video digunakan dalam trailer.

Hari ini, Neubert bahkan menulis artikel panjang, merinci proses produksi "Genesis", termasuk proses spesifik dan cara menggunakan alat AI di atas. Mari kita lihat satu per satu.

Mengenai ide film tersebut, ia mengatakan bahwa ide tema dystopiannya berasal dari beberapa film yang pernah ia tonton, dan ia menulis cerita berdasarkan film tersebut.

Langkah pertama dalam produksi resmi adalah membangun dunia dan cerita.

Untuk alur cerita Genesis trailer, Neubert ingin membangun ketegangan selangkah demi selangkah. Oleh karena itu, 3 fase berikut didefinisikan:

1. Mengatur pemandangan
2. Memperkenalkan Ancaman
3. Klimaks di CTA

Secara khusus, Neubert mengerjakan draf pertama dari salinan trailer, yang mencakup "Bagikan Semuanya, Jalani Konsekuensinya, dan Ajak Kemanusiaan untuk Bertindak".

Setelah menentukan nada keseluruhan, dia mulai membuat adegan di sekitar tema ini. Neubert menelusuri berton-ton klip manusia dan fiksi ilmiah tentang tema lingkungan, teknologi militer, dan pertempuran, dan mengumpulkan cerita dari semuanya.

Juga untuk menambah kedalaman, dia menambahkan bidikan tiga anak dengan jimat bercahaya, mengisyaratkan alur cerita yang lebih dalam.

Langkah kedua adalah membuat gambar berurutan di Midjourney.

Berikan perhatian khusus pada petunjuk () di sini. Neubert menyempurnakan isyarat stabilisasi yang dia dapatkan di postingan sebelumnya untuk membuat template sehingga dia dapat menggunakannya kembali untuk setiap bidikan di trailer. Templatnya adalah sebagai berikut:

___________, Star Wars, ditata sebagai adegan kerumunan mendetail, naturalisme bersahaja, teal dan kuning, frostpunk, adegan interior, cinestill 50d—ar 21 :9—gaya asli

Untuk setiap adegan, dia akan mengisi bagian yang kosong dengan adegan yang diinginkannya, memastikan bahwa token lainnya menjaga kesinambungan tema, warna, dan pencahayaan secara maksimal.

Selain itu, penggunaan fitur perubahan kuat (Strong iations) membuatnya lebih mudah untuk membuat pemandangan yang berbeda dengan tetap mempertahankan palet warna sebelumnya. Adegan pejuang wanita dapat diubah menjadi adegan warga negara biasa, peretas dunia maya, atau perkelahian tanpa menghasilkan petunjuk baru.

Langkah ketiga adalah membuat gambar animasi di Runway.

Neubert menemukan langkah ini sebagai yang termudah. Di setup, dia selalu mencoba untuk mengaktifkan mode Upscaled. Namun mode ini sering bermasalah dengan wajah, sehingga untuk bidikan potret biasanya menggunakan kualitas standar.

Perlu dicatat bahwa alih-alih menggunakan kombinasi petunjuk teks dan petunjuk gambar, dia menyeret dan melepaskan gambar dan membuatnya kembali sampai dia mendapatkan hasil yang memuaskan.

Langkah terakhir adalah pasca-pengeditan di CapCut.

Sementara Midjourney dan Runway menghasilkan keluaran, Neubert memulai dengan menempatkan adegan kunci yang dia tahu akan memainkan peran besar. Sejauh trailer berjalan, menurutnya bidikan eksterior akan menjadi pembuka.

Kemudian mulailah merencanakan teks. Ada kemungkinan tidak ada klip di garis waktu saat teks diposisikan sesuai dengan musik. Dalam waktu kurang dari satu jam, dia menyusun konten sesuai dengan garis waktu dan memperbaiki lokasinya. Ini bagus untuk menghasilkan gambar di mana Anda memerlukan titik tetap tambahan untuk memperhitungkan adegan mana yang masih hilang.

Langkah-langkah spesifik menjadi sangat sederhana, buat klip → tarik ke dalam CapCut → tempatkan di garis waktu, dan perlahan kumpulkan cerita. Dia juga mencocokkan 2 atau 3 paket edit agar terlihat lebih seperti set film besar.

Satu-satunya keterampilan yang diperlukan untuk menggunakan CapCut adalah menyinkronkan klip dengan tempo. Saat "BWAAA" muncul di musik, dia selalu berusaha menghubungkan aksi di dalam klip atau menyusun klip berikutnya. Ini membuat seluruh urutan terasa lebih imersif.

Selain itu, Neubert mempertimbangkan cara memasukkan banyak gerakan ke dalam klip. Di sini dia menggunakan dua trik untuk menambah gerakan.

Trik pertama: Runway mengambil gambar dan menghitung bagian mana yang harus dianimasikan berdasarkan model. Dia merekayasa ulang ide ini, mencoba menampilkan gambar di Midjourney yang menyarankan gerakan. Ini berarti motion blur dapat ditambahkan ke footage atau gambar diam dari kepala bergerak atau orang dapat ditangkap.

Kiat kedua: Saat Anda menganalisis video Runway, Anda akan menemukan bahwa dalam klip 4 detik, adegannya sering berubah drastis. Jadi dalam adegan trailer, dia hanya menggunakan potongan 4 detik penuh sebanyak dua kali. Semua klip lainnya berdurasi 0,5-2 detik dan mempercepat klip dengan faktor 1,5-3. Alasannya adalah, sebagai penonton, Anda hanya melihat klip pendek dan karena itu merasakan lebih banyak gerakan dalam adegan, yang pada dasarnya mempercepat bagian itu.

Setelah beberapa operasi, yang akhirnya kami sajikan kepada semua orang adalah trailer "Genesis" yang mengejutkan di awal. Trailer tersebut juga mendapat sambutan hangat, dengan beberapa mengatakan itu adalah video generasi landasan pacu terbaik yang pernah mereka lihat sejauh ini.

Bahkan, setelah Runway Gen-2 tersedia untuk uji coba gratis, banyak netizen yang membuka pikiran dan menggabungkannya dengan Midjourney untuk berkreasi dengan berani.

Midjourney+Runway: Kombinasi ajaib alat pembuat AI

Berikut adalah beberapa kasus penggunaan generasi lainnya untuk dibagikan kepada Anda.

Genggaman Runway terhadap detail pergerakan karakter juga relatif akurat. Dalam video netizen Shencheng terlihat detail mata para karakter membuat video dinamis lebih hidup, dan bisa juga dikatakan menambah sedikit "kemampuan akting".

sumber:

Setelah gambar bergerak, gerakan pria dan kuda di malam hari sangat alami, dan ada lebih banyak ruang untuk imajinasi karakter dan bahkan tindakan lanjutan.

sumber:

Perpaduan antara Midjourney dan Runway terlihat tak terkalahkan, dan dapat menggambarkan sense of story yang tepat dalam aksi-aksi utama para karakter.

Twitter: @ai_insight1

Ada juga beberapa variasi yang lebih kaya dan lebih kreatif dalam menghasilkan hasil.

Twitter @kkuldar

Twitter: @Akashi30eth

Beberapa netizen juga menggunakan sederet alat AI untuk menghasilkan klip video, namun hasilnya nampaknya kurang memuaskan.

Pengguna Twitter @nickfloats menggunakan ChatGPT untuk menulis skrip, Midjourney untuk menghasilkan gambar, Runway untuk menghasilkan video, Triniti untuk menghasilkan musik, Eleven Labs AI untuk menjuluki, dan klip-klip tersebut digabungkan dengan mudah tanpa penyesuaian lainnya.

Skrip ditulis oleh ChatGPT

Netizen merekam seluruh proses produksi mereka sendiri, dan ingin melihat berapa lama waktu yang dibutuhkan untuk menggunakan AI untuk membuat iklan pendek.

Netizen ini mengomentari hasil film pendek ini sebagai "Iklannya menyebalkan". Dalam iklan ini, gerak tokoh-tokohnya kaku, hubungan logis gambarnya tidak kuat, dan sulit menonjolkan tema untuk diungkapkan secara keseluruhan. Kerja sama AI sepertinya tidak mengejutkan, tetapi lebih "menakutkan".

Dibandingkan dengan "Genesis", film komersial pendek ini hanya setengahnya, tetapi membutuhkan waktu yang sangat sedikit. Salah satu perbedaan terbesar adalah detail keterlibatan manusia. Itu tidak memiliki tema yang dipertimbangkan dengan cermat, penyesuaian yang koheren, dan perhatian terhadap detail.

Jika hanya AI yang diperbolehkan untuk berpartisipasi, atau hanya menghasilkan karya berdasarkan generasi AI, jelas tidak mungkin menghasilkan hasil yang berkualitas tinggi. Penerapan dan penyesuaiannya oleh manusialah yang tampaknya mengungkapkan nilai sebenarnya dari alat-alat ini.