Video sentezinden film müziği düzenlemeye kadar her şey yapay zeka tarafından yapılır: İlk yapay zeka bilim kurgu filmi "Genesis"in fragmanı şok edici bir şekilde çıkış yaptı

Kaynak: Makinenin Kalbi

Yazar: Du Wei, Zewen

Geçtiğimiz iki gün içinde, bir dakikadan kısa bir bilim kurgu filmi olan "Trailer: Genesis" ("Genesis") fragmanı sosyal medyada popüler oldu.

İzlemek için atlayın‌

Çok bilimkurgu mu? Dahası "bilimkurgu", görüntü ve video sentezinden, müzik düzenlemeye kadar her şeyin AI tarafından yapılmasıdır.

Yapımcı Nicolas Neubert ilgili AI araçlarını listeler; burada Midjourney görüntüleri işler, Runway videoları işler, Pixabay müziği işler ve CapCut videoları düzenler.

Midjourney, tanıdık bir yapay zeka çizim ürünüdür ve 5.2 sürümüne güncellenmiştir. Runway, AI tabanlı bir video prodüksiyon aracıdır ve Gen-2 şu anda ücretsiz deneme için mevcuttur. CapCut düzenleme aracı herkes için ücretsizdir ancak Adobe Premier veya Final Cut Pro'da düzenleme yapmayı da seçebilirsiniz.

Twitter @iamneubert

Neubert'in 7 saat harcadığı, Midjourney'in 316 bilgi istemi, büyütülmüş 128 resim, Runway'in 310 video ve metin içeren bir video oluşturduğu anlaşıldı.Fragmanda toplam 44 video kullanıldı.

Bugün Neubert, belirli süreç ve yukarıdaki yapay zeka araçlarının nasıl kullanılacağı da dahil olmak üzere "Genesis"in üretim sürecini detaylandıran uzun bir makale yazdı. Onlara birer birer göz atalım.

Filmin fikrine gelince, distopik teması fikrinin izlediği birkaç filmden geldiğini ve bunlardan yola çıkarak bir hikaye yazdığını söyledi.

Resmi yapımdaki ilk adım, dünyayı ve hikayeyi inşa etmektir.

Fragmanın Genesis hikayesi için Neubert gerilimi adım adım artırmak istedi. Bu nedenle aşağıdaki 3 aşama tanımlanmıştır:

1. Sahneyi ayarlamak
2. Tehditlerin Tanıtılması
3. CTA'da Doruk

Neubert özellikle, "Share It All, Live the Consequences ve Call Humanity to Action" içeren fragman kopyasının ilk taslağı üzerinde çalıştı.

Genel tonu bu şekilde tanımladıktan sonra, bu temalar etrafında sahneler oluşturmaya devam etti. Neubert, çevre, askeri teknoloji ve savaş temaları üzerine tonlarca insan ve bilimkurgu klibi arasında gezindi ve hepsinden bir hikaye çıkardı.

Ayrıca biraz derinlik katmak için, daha derin bir hikayeye işaret eden, parlayan tılsımlı üç çocuğun fotoğraflarını ekledi.

İkinci adım, Midjourney'de ardışık görüntüler oluşturmaktır.

Buradaki ipucuna () özellikle dikkat edin. Neubert, fragmandaki her çekimde yeniden kullanabilmek için bir şablon oluşturmak üzere önceki gönderilerde aldığı sabitleme ipuçlarını geliştirdi. Şablon aşağıdaki gibidir:

___________, Star Wars, ayrıntılı kalabalık sahneleri, dünyevi natüralizm, turkuaz ve sarı, frostpunk, iç mekan sahneleri, cinestill 50d—ar 21 olarak tasarlandı :9—orijinal tarz

Her sahne için, diğer belirteçlerin tema, renk ve ışıklandırmada maksimum sürekliliği koruduğundan emin olarak boşlukları istediği sahneyle doldururdu.

Ayrıca, güçlü değişiklikler (Güçlü değişiklikler) özelliğinin kullanılması, önceki renk paletini korurken farklı sahneler oluşturmayı kolaylaştırır. Bir kadın savaşçının sahnesi, normal bir vatandaşın, bir siber korsanın veya yeni istemler üretmeden bir kavganın sahnesine dönüştürülebilir.

Üçüncü adım, Runway'de animasyonlu görüntüyü oluşturmaktır.

Neubert bu adımı en kolayı olarak gördü. Kurulumda, her zaman Yükseltilmiş modu etkinleştirmeye çalışır. Bununla birlikte, bu mod genellikle yüzlerle ilgili sorunlar yaşar, bu nedenle portre çekimleri için genellikle standart kaliteyi kullanır.

Metin istemleri ve görüntü istemlerinin bir kombinasyonunu kullanmak yerine, bir görüntüyü sürükleyip bıraktığını ve tatmin olduğu sonucu elde edene kadar yeniden oluşturduğunu belirtmekte fayda var.

Son adım, CapCut'ta son düzenlemedir.

Midjourney ve Runway çıktı üretirken, Neubert büyük bir rol oynayacağını bildiği kilit sahneleri yerleştirerek başlıyor. Fragmana gelince, dış çekimlerin açılış olacağını düşünüyor.

Ardından metni planlamaya başlayın. Metin müziğe göre konumlandırıldığında zaman çizelgesinde klip olmaması mümkündür. Bir saatten az bir sürede içeriği zaman çizelgesine göre derledi ve konumu düzeltti. Bu, hangi sahnelerin hala eksik olduğunu hesaba katmak için fazladan bir sabit noktaya ihtiyaç duyduğunuz görüntüler oluşturmak için harikadır.

Belirli adımlar çok basit hale gelir, klipler oluşturun → bunları CapCut'a çekin → zaman çizelgesine yerleştirin ve hikayeyi yavaşça bir araya getirin. Ayrıca 2 veya 3 kurgu paketini daha büyük film setlerine benzetmek için renk eşleştirmesi yaptı.

CapCut'u kullanmak için gereken tek beceri, kliplerin tempo senkronizasyonunu yapmaktır. Müzikte "BWAAA" söz konusu olduğunda, her zaman klibin içindeki aksiyonu bağlamaya veya takip eden klipleri sıralamaya çalışıyor. Bu, tüm sekansın daha sürükleyici hissettirmesini sağlar.

Ayrıca Neubert, klibe çok fazla hareket katmayı düşündü. Burada hareket eklemek için iki numara kullanıyor.

Birinci hile: Runway bir görüntü alır ve modele göre hangi bölümlerin canlandırılacağını hesaplar. Midjourney'de hareketi öneren görüntüler çıkarmaya çalışarak bu fikrin tersine mühendislik yaptı. Bu, çekime hareket bulanıklığının eklenebileceği veya hareket eden kafaların veya insanların durağan görüntülerinin yakalanabileceği anlamına gelir.

İkinci ipucu: Runway videosunu incelediğinizde, 4 saniyelik klipte sahnenin genellikle büyük ölçüde değiştiğini göreceksiniz. Bu yüzden fragman sahnesinde tam 4 saniyelik kesimi yalnızca iki kez kullandı. Diğer tüm klipler 0,5-2 saniye uzunluğundadır ve klipleri 1,5-3 kat hızlandırır. Bunun nedeni, izleyici olarak yalnızca kısa bir klip görmeniz ve bu nedenle sahnede daha fazla hareket algılamanız, esasen o kısmı hızlı ileri sarmanızdır.

Bazı işlemlerden sonra nihayet herkese sunduğumuz şey, başlangıçtaki şok edici "Genesis" fragmanı. Fragman ayrıca övgü dolu eleştiriler aldı ve bazıları bunun şimdiye kadar gördükleri en iyi pist oluşturma videosu olduğunu söyledi.

Aslında, Runway Gen-2 ücretsiz deneme için hazır olduktan sonra, birçok netizen fikirlerini açtı ve cesurca yaratmak için onu Midjourney ile birleştirdi.

Midjourney+Runway: AI oluşturma araçlarının büyülü bir kombinasyonu

İşte sizinle paylaşmak için bazı diğer nesil kullanım durumları.

Runway'in karakterin hareketlerinin ayrıntılarını kavraması da nispeten doğrudur. Netizen Shencheng'in videosunda, karakterlerin gözlerindeki detayların dinamik videoyu daha canlı hale getirdiği görülebiliyor ve biraz da "oyunculuk becerisi" kattığı da söylenebilir.

kaynak:

Resim hareket ettikten sonra, adamın ve atın gece hareketleri çok doğal ve karakterlerin hayal gücüne ve hatta devam eden eylemlere daha fazla yer var.

kaynak:

Midjourney ve Runway'in kombinasyonu yenilmez görünüyor ve karakterlerin temel eylemlerinde uygun bir hikaye duygusunu canlandırabilir.

Twitter: @ai_insight1

Sonuç üretmede daha zengin ve daha yaratıcı olan bazı varyasyonlar da vardır.

Twitter @kkuldar

Twitter: @Akashi30eth

Bazı netizenler ayrıca video klipler oluşturmak için bir dizi AI aracı kullanıyor, ancak sonuçlar tatmin edici görünmüyor.

Twitter kullanıcısı @nickfloats, komut dosyaları yazmak için ChatGPT'yi, görüntüler oluşturmak için Midjourney'i, videolar oluşturmak için Runway'i, müzik oluşturmak için Triniti'yi, dublaj yapmak için Eleven Labs AI'yi kullanıyor ve klipler başka ayarlamalar yapılmadan basitçe bir araya getiriliyor.

Komut dosyası ChatGPT tarafından yazılmıştır

Netizenler kendi yapımlarının tüm sürecini kaydettiler ve kısa reklamlar yapmak için AI kullanmanın ne kadar süreceğini görmek istediler.

Bu netizen, bu kısa filmin sonuçlarını "Reklam berbat" olarak yorumladı. Bu reklamda karakterlerin hareketleri sert, resmin mantıksal ilişkisi güçlü değil ve bir bütün olarak ifade edilecek temayı öne çıkarmak zor. AI işbirliğinin sürprizleri yok, daha çok "korkuları" var gibi görünüyor.

"Genesis" ile karşılaştırıldığında, bu kısa reklam filmi yarı yarıya uzun ama çok az zaman alıyor. En büyük farklılıklardan biri, insan katılımının ayrıntılarındadır. Dikkatlice düşünülmüş temalardan, tutarlı ayarlamalardan ve ayrıntılara dikkatten yoksundur.

Yalnızca yapay zekanın katılmasına veya yalnızca yapay zekanın üretilmesine dayalı işler üretmesine izin verilirse, yüksek kaliteli sonuçlar üretmek açıkça mümkün değildir. Bu araçların gerçek değerini ortaya çıkaran, insanlar tarafından uygulanmaları ve ayarlanmasıdır.