Neden Üretken Video Sistemleri Tam Uzun Metrajlı Filmler Yapamaz?

Üretken AI video’nun ortaya çıkışı ve ilerlemesi, birçok casual gözlemcinin, makine öğreniminin, film endüstrisinin bildiğimiz şeklini öldüreceğini öngörmesine neden oldu – bunun yerine, tek yaratıcılar, yerel veya bulut tabanlı GPU sistemlerinde, Hollywood tarzı blockbuster’lar yaratabilecekler.

Bu mümkün mü? Eğer mümkün ise, birçok kişi tarafından düşünüldüğü gibi, yakın mı?

Bireylerin, tanıdığımız şekilde, tutarlı karakterler, anlatı sürekliliği ve total fotogerçekçilik ile filmler yaratabileceği, oldukça mümkün – ve belki de kaçınılmaz.

Ancak, üretken video sistemlerinin, özellikle Latent Diffusion Models tabanlı sistemlerin, temel nedenlerle bunu yapamayacağı beberapa neden var.

Bu son nokta önemli, çünkü şu anda, bu kategori her popüler metin-ve-video (T2) ve görüntü-ve-video (I2V) sistemini içeriyor, Minimax, Kling, Sora, Imagen, Luma, Amazon Video Generator, Runway ML, Kaiber (ve, gördüğümüz kadarıyla, Adobe Firefly’nin beklenen video işlevselliği) dahil; diğerleri arasında.

Burada, gerçek auteur tam uzun metrajlı gen-AI yapımları, bireyler tarafından yaratılan, tutarlı karakterler, sinematografi ve görsel efektler ile Hollywood’un güncel durumuna eşdeğer olan yapımlar düşünüyoruz.

1: Doğru Bir İzleme Çekintisi Alamazsınız

Anlatı tutarlılığı, bu engellerin en büyüğü. Gerçek şu ki, mevcut hiçbir video üretim sistemi真正 bir ‘izleme’ çekintisi yapamaz*.

Bu, denoising diffusion model temelinde bu sistemlerin, rastgele gürültüye dayanması ve bu temel ilkenin, aynı içeriği iki kez yorumlamaya (yani, farklı açılardan veya önceki çekimi geliştirerek, önceki çekimle tutarlılık sağlayan bir izleme çekintisi oluşturarak) elverişli olmaması nedeniyle.

Metin.prompt’ları kullanıldığında, yalnız veya yüklenebilir ‘tohum’ görüntüleri (multimodal girdi) ile birlikte, prompt’tan türetilen token’lar, eğitilmiş latent spaceden anlamsal olarak uygun içeriği ortaya çıkarır.

Ancak, ‘rastgele gürültü’ faktörü tarafından daha da engellenen, aynı şeyi iki kez asla yapmaz.

Bu, videodaki kişilerin kimliklerinin değişmesine, nesnelerin ve ortamların ilk çekimle eşleşmemesine neden olur.

Bu nedenledir ki, olağanüstü görselleri ve Hollywood düzeyinde çıktıları gösteren viral klipler, genellikle tek çekimler veya sistemlerin yeteneklerini gösteren bir ‘gösteri montajı’dır, her çekim farklı karakterler ve ortamları içerir.

Marco van Hylckama Vlieg’den üretken AI montajından alıntılar – kaynak: https://www.linkedin.com/posts/marcovhv_thanks-to-generative-ai-we-are-all-filmmakers-activity-7240024800906076160-nEXZ/

Bu koleksiyonlardaki ad hoc video üretimleri (ticari sistemlerin durumunda belki de samimiyetsiz) temel sistemin devamlı ve tutarlı anlatılar yaratabileceği izlenimini verir.

Burada kullanılan analoji, bir film fragmanıdır, filmdeki bir veya iki dakika süren görüntüleri içerir, ancak izleyiciye tüm filmin var olduğu izlenimini verir.

Şu anda, sadece still görüntüler üreten sistemler, narrative tutarlılığı sunabilir. Bunlar, NVIDIA’nın ConsiStory ve bilimsel literatürdeki çeşitli projeleri içerir, örneğin TheaterGen, DreamStory ve StoryDiffusion.

Son modellerden ‘statik’ narrative tutarlılığı örnekleri: Kaynaklar: https://research.nvidia.com/labs/par/consistory/ ve https://arxiv.org/pdf/2405.01434

Teoride, böyle bir sistemi (hiçbiri gerçekten tutarlı değil) kullanarak, bir dizi görüntü-ve-video çekimi oluşturabilir ve bunları bir diziye bağlayabilirsiniz.

Şu anda, bu yaklaşım, inandırıcı bir izleme çekintisi üretmez; ve zaten, auteur hayalinden, bir karmaşıklık katmanı ekleyerek uzaklaştık.

Ek olarak, Low Rank Adaptation (LoRA) modellerini, karakterler, nesneler veya ortamlar için özel olarak eğitilmiş, çekimler arasında tutarlılığı korumak için kullanabiliriz.

Ancak, bir karakterin yeni bir kostümde görünmesini istiyorsanız, genellikle karakteri bu şekilde giydirilmiş olarak temsil eden tamamen yeni bir LoRA eğitmeniz gerekir (her ne kadar ‘kırmızı elbise’ gibi alt kavramlar, uygun görüntülerle birlikte bireysel LoRA’lara eğitilebilse de, her zaman kolay çalış不 değildir).

Bu, önemli bir karmaşıklık ekler, hatta bir film açılış sahnesinde, bir kişinin yataktan çıkması, bir sabahlık giymesi, esnemesi, yatak odası penceresine bakması ve dişlerini fırçalamak için banyoya gitmesi gibi bir sahne, yaklaşık 4-8 çekim içerir; bu, geleneksel film yapım prosedürleriyle bir sabah içinde çekilebilir; ancak şu anda üretken AI’nin durumu, haftalarca çalışma, çoklu eğitilmiş LoRA’lar (veya diğer yardımcı sistemler) ve önemli bir post-üretimi temsil eder.

Alternatif olarak, video-ve-video kullanılabilir, burada sıradan veya CGI görüntüleri, metin-prompt’ları aracılığıyla alternatif yorumlara dönüştürülür. Runway böyle bir sistemi sunar, örneğin.

CGI (sol) Blender’dan, metin destekli bir Runway video-ve-video deneyinde Mathieu Visnjevec tarafından yorumlandı – Kaynak: https://www.linkedin.com/feed/update/urn:li:activity:7240525965309726721/

İki sorun vardır: zaten temel çekimi yaratıyorsunuz, bu nedenle zaten filmi iki kez yapıyorsunuz, hatta sentetik bir sistem gibi UnReal’in MetaHuman kullanıyorsanız bile.

Eğer CGI modeller (yukarıdaki klipte olduğu gibi) oluşturur ve bunları video-ve-görüntü dönüşümünde kullanırsanız, çekimler arasında tutarlılıkları güvence altına alamazsınız.

Bu, video difüzyon modellerinin ‘büyük resmi’ görememesi, yalnızca önceki çerçeveden veya bazı durumlarda yakın bir gelecek çerçevesinden yeni bir çerçeve oluşturması ve bazı durumlarda bir satranç oyununa benzer şekilde, ‘on hamle önce’ düşünemez ve ‘on hamle önce’ hatırlayamaz.

İkinci olarak, bir difüzyon modeli, çekimler arasında tutarlı bir görünüm korumakta hala zorlanacaktır, karakter, ortam ve aydınlatma stili için多lu LoRA’lar dahil edilse bile, yukarıda belirtilen nedenlerle.

2: Bir Çekimi Kolayca Düzenleyemezsiniz

Eğer bir karakteri, eski usul CGI yöntemleriyle bir sokağa yürürken gösterirseniz ve çekimin bir yönünü değiştirmek istiyorsanız, modeli ayarlayabilir ve yeniden renderleyebilirsiniz.

Eğer gerçek bir çekimse, sadece sıfırlar ve değişikliklerle yeniden çekersiniz.

Ancak, eğer bir gen-AI video çekimi üretir ve onu seversiniz, ancak bir yönünü değiştirmek istiyorsanız, bunu ancak 30-40 yıl önce geliştirilen zahmetli post-üretim yöntemleriyle gerçekleştirebilirsiniz: CGI, rotoskopi, modelleme ve matting – hepsi emek yoğun ve pahalı, zaman alan prosedürler.

Difüzyon modellerinin çalışması, bir metin-prompt’ının (hatta multimodal bir prompt’ta, tam bir kaynak tohuma görüntü sağlarsanız) yalnızca bir yönünü değiştirmek, çoklu yönleri değiştirecektir, bu da bir ‘whack-a-mole’ oyununa neden olur.

3: Fizik Yasalarına Güvenemezsiniz

Geleneksel CGI yöntemleri, sıvı dinamiği, gaz hareketi, ters kinematik (insan hareketinin doğru modellemesi), kumaş dinamiği, patlamalar ve çeşitli diğer gerçek dünya fenomenlerini simüle edebilen algoritmik fizik tabanlı modeller sunar.

Ancak, difüzyon tabanlı yöntemler, kısa hafızalara sahiptir ve ayrıca hareket önceliği (eğitim veri kümesinde bulunan eylemler örnekleri) açısından sınırlı bir yelpazeye sahiptirler.

OpenAI’nin Sora üretken sistemi için daha önceki bir açık sayfasında, şirket bu konuda sınırlamalara sahip olduğunu kabul etti (ancak bu metin daha sonra kaldırıldı):

‘[Sora] karmaşık bir sahnenin fiziklerini simüle etmekte zorlanabilir ve belirli neden-sonuç örneklerini anlamayabilir (örneğin, bir karakter bir kurabiye ısırdığında, kurabiyede bir iz oluşmayabilir).

‘Model, ayrıca, bir prompt’ta belirtilen uzaysal ayrıntıları ayırt etmekte zorlanabilir, soldan sağa ayırt edemeyebilir veya zaman içinde gelişen olayların kesin tanımlarını mücadele edebilir.’

Pratik olarak, çeşitli API tabanlı üretken video sistemlerinin kullanımı, benzer sınırlamaları ortaya koyar. Ancak, patlamalar gibi bazı ortak fiziksel fenomenler, eğitim veri kümelerinde daha iyi temsil edilmektedir.

Bazı hareket önceliği gömme, ya modelin içine eğitilir ya da bir kaynak videosundan beslenir, tamamlanması biraz zaman alır (örneğin, bir kişinin karmaşık ve tekrarlamayan bir dans dizisi gerçekleştirmesi) ve yine, difüzyon modelinin dikkatinin kısa penceresi, hareket bitene kadar içeriği (yüz kimliği, kostüm ayrıntıları vb.) değiştirecektir. Ancak, LoRA’lar bunu bir ölçüde hafifletebilir.

Post-Prodüksiyonda Düzeltme

Tek bir kullanıcı tarafından AI video üretiminin saf bir şekilde yapılmasıyla ilgili diğer eksiklikler, hızlı hareketleri gösterme konusundaki zorluğu ve genel olarak daha önemli bir sorun olan zamansal tutarlılığı elde etme sorunudur.

Ayrıca, belirli yüz performansları yaratmak, üretken video ile neredeyse tamamen şans işi ve diyalog için lip-sync de öyle.

Her iki durumda da, LivePortrait ve AnimateDiff gibi yardımcı sistemlerin kullanımı, VFX topluluğunda popülerlik kazanmaktadır, çünkü bu, en azından geniş yüz ifadelerini ve lip-sync’i mevcut üretilen çıktıya aktarmayı sağlar.

Bir örnek ifadesi aktarımı (alt solda sürüş video) Generative Z TunisiaGenerative tarafından LivePortrait ile uygulanmaktadır. Video https://www.linkedin.com/posts/genz-tunisia_digitalcreation-liveportrait-aianimation-activity-7240776811737972736-uxiB/? adresinde daha iyi kalitede bulunabilir

Dahası, ComfyUI gibi Stable Diffusion GUI ve profesyonel kompozit ve manipülasyon uygulaması Nuke gibi çeşitli karmaşık çözümler, AI VFX uygulamalarına, yüz ifadesi ve tutum üzerinde daha büyük kontrol sağlar.

VFX profesyoneli Francisco Contreras, ComfyUI’de yüz animasyonunu ‘işkence’ olarak tanımlasa da, böyle bir prosedür geliştirmiştir, bu da lip fonemleri ve diğer yüz/head betimleme yönlerini dayatmayı sağlar.

Stable Diffusion, Nuke güçlendirilmiş bir ComfyUI iş akışıyla, VFX profesyoneli Francisco Contreras’a yüz yönleri üzerinde alışılmadık bir kontrol sağladı. Tam video, daha iyi bir çözünürlükte https://www.linkedin.com/feed/update/urn:li:activity:7243056650012495872/ adresinde bulunabilir

SONUÇ

Hiçbiri, gerçekçi diyalog, lip-sync, performanslar, ortamlar ve süreklilik ile tutarlı ve fotogerçekçi, tam uzun metrajlı blockbuster tarzı filmler üretebilecek tek bir kullanıcının olasılığı için umut verici değil.

Dahası, burada tanımlanan engeller, en azından difüzyon tabanlı üretken video modelleri ile ilgili olarak, ‘her an’ çözülebilecek gibi görünmüyor, forum yorumları ve medya ilgisine rağmen. Tanımlanan kısıtlamalar, mimarinin kendisine ait gibi görünüyor.

AI sentez araştırması gibi, tüm bilimsel araştırmalarda, parlak fikirler periyodik olarak potansiyelleriyle bizi etkiler, ancak daha fazla araştırma onların temel sınırlamalarını ortaya koyar.

Üretken/sentez alanında, bu zaten Generative Adversarial Networks (GANs) ve Neural Radiance Fields (NeRF) ile oldu, bunlar sonunda çok zorlu bir şekilde ticari sistemlere dönüştürüldü, bu hedefe yönelik yıllarca akademik araştırma rağmen. Bu teknolojiler şimdi genellikle alternatif mimarilerde yardımcı bileşenler olarak ortaya çıkıyor.

Üretken video sistemlerinin, gerçekten anlatı tutarlı ve fotogerçekçi film üreticilerine dönüştürülebileceği ya da tüm işin sadece başka bir alchemic pursuit olup olmadığı, önümüzdeki 12 ay içinde ortaya çıkmalıdır.

Belki de tamamen yeni bir yaklaşıma ihtiyacımız var; ya da belki de Gaussian Splatting (GSplat), 1990’ların başında geliştirilen ve yakın zamanda popülerlik kazanan görüntü sentez alanında bir alternatif olabilir.

GSplat’in 34 yıl önce ortaya çıkması ve şimdi öne çıkması mümkün ise, NeRF, GAN’lar ve hatta latent difüzyon modelleri – henüz günlerini görmemiş olabilir.

* Kaiber’in AI Storyboard özelliği bu işlevselliği sunar, ancak gördüğüm sonuçlar üretim kalitesinde değildir.

Martin Anderson, metaphysic.ai’de bilimsel araştırma içeriği eski başkanıdır. İlk olarak 23 Eylül 2024 Pazartesi günü yayınlandı.