Mengapa Sistem Video Generatif Tidak Dapat Membuat Film yang Lengkap?

Munculnya dan kemajuan video generatif AI telah memicu banyak pengamat untuk meramalkan bahwa pembelajaran mesin akan membunuh industri film seperti yang kita kenal sekarang – sebagai gantinya, kreator tunggal akan dapat membuat film blockbuster gaya Hollywood di rumah, baik di sistem GPU lokal maupun berbasis awan.

Apakah ini memungkinkan? Bahkan jika memungkinkan, apakah itu segera, seperti yang banyak orang percayai?

Bahwa individu akan dapat membuat film, dalam bentuk yang kita kenal, dengan karakter konsisten, kontinuitas naratif, dan fotorealisme total, sangat memungkinkan – dan mungkin bahkan tak terhindarkan.

Namun, ada beberapa alasan mendasar mengapa hal ini tidak mungkin terjadi dengan sistem video berbasis Model Difusi Laten.

Fakta terakhir ini penting karena, saat ini, kategori tersebut mencakup setiap sistem teks-ke-video (T2) dan gambar-ke-video (I2V) populer yang tersedia, termasuk Minimax, Kling, Sora, Imagen, Luma, Amazon Video Generator, Runway ML, Kaiber (dan, sejauh yang dapat kita ketahui, fitur video pending Adobe Firefly); di antara banyak lainnya.

Di sini, kita mempertimbangkan prospek produksi gen-AI penuh panjang yang sebenarnya, dibuat oleh individu, dengan karakter konsisten, sinematografi, dan efek visual setidaknya sebanding dengan keadaan saat ini di Hollywood.

Mari kita lihat beberapa hambatan praktis terbesar untuk tantangan yang terlibat.

1: Anda Tidak Dapat Mendapatkan Tembakan Lanjutan yang Akurat

Ketidakkonsistenan naratif adalah hambatan terbesar dari ini. Fakta bahwa tidak ada sistem generasi video yang saat ini tersedia dapat membuat tembakan ‘lanjutan’ yang benar-benar akurat*.

Ini karena model difusi denoising di jantung sistem ini bergantung pada noise acak, dan prinsip inti ini tidak dapat menafsirkan kembali konten yang sama dua kali (yaitu, dari sudut yang berbeda, atau dengan mengembangkan tembakan sebelumnya menjadi tembakan lanjutan yang mempertahankan konsistensi dengan tembakan sebelumnya).

Di mana prompt teks digunakan, sendiri atau bersama dengan gambar ‘seed’ yang diunggah (input multimodal), token yang dihasilkan dari prompt akan menghasilkan konten yang semantically sesuai dari ruang laten terlatih model.

Namun, lebih terhambat oleh faktor ‘noise acak’, itu akan tidak pernah melakukan hal yang sama dua kali.

Ini berarti bahwa identitas orang dalam video cenderung bergeser, dan objek dan lingkungan tidak akan cocok dengan tembakan awal.

Ini adalah alasan mengapa klip viral yang menampilkan visual luar biasa dan output gaya Hollywood cenderung menjadi satu tembakan, atau ‘montase showcase’ dari kemampuan sistem, di mana setiap tembakan menampilkan karakter dan lingkungan yang berbeda.

Excerpts dari montase AI generatif dari Marco van Hylckama Vlieg – sumber: https://www.linkedin.com/posts/marcovhv_thanks-to-generative-ai-we-are-all-filmmakers-activity-7240024800906076160-nEXZ/

Implikasi dalam koleksi ad hoc generasi video ini (yang mungkin tidak jujur dalam kasus sistem komersial) adalah bahwa sistem yang mendasarinya dapat membuat narasi yang kontinu dan konsisten.

Analogi yang dieksploitasi di sini adalah trailer film, yang menampilkan hanya satu atau dua menit footage dari film, tetapi memberi alasan kepada penonton untuk percaya bahwa film seluruhnya ada.

Sistem-sistem yang saat ini menawarkan konsistensi naratif dalam model difusi adalah mereka yang menghasilkan gambar statis. Ini termasuk ConsiStory NVIDIA, dan proyek-proyek yang beragam dalam literatur ilmiah, seperti TheaterGen, DreamStory, dan StoryDiffusion.

Dua contoh ‘statik’ kontinuitas naratif, dari model terbaru:: Sumber: https://research.nvidia.com/labs/par/consistory/ dan https://arxiv.org/pdf/2405.01434

Secara teori, seseorang dapat menggunakan versi yang lebih baik dari sistem tersebut (tidak satu pun dari atas benar-benar konsisten) untuk membuat serangkaian gambar-ke-video, yang dapat disatukan menjadi urutan.

Namun, pada keadaan saat ini, pendekatan ini tidak menghasilkan tembakan lanjutan yang masuk akal; dan, dalam hal apapun, kita telah meninggalkan mimpi auteur dengan menambahkan lapisan kompleksitas.

Kita dapat, tambahan, menggunakan Low Rank Adaptation (LoRA) model, yang secara khusus dilatih pada karakter, benda, atau lingkungan, untuk mempertahankan konsistensi yang lebih baik di seluruh tembakan.

Namun, jika sebuah karakter ingin muncul dalam pakaian baru, LoRA yang benar-benar baru biasanya perlu dilatih yang mengandung karakter yang berpakaian dengan cara itu (meskipun sub-konsep seperti ‘gaun merah’ dapat dilatih ke LoRA individu, bersama dengan gambar yang sesuai, mereka tidak selalu mudah untuk bekerja dengannya).

Ini menambah kompleksitas yang cukup, bahkan untuk adegan pembukaan dalam sebuah film, di mana seseorang keluar dari tempat tidur, memakai jubah, menguap, melihat keluar jendela kamar tidur, dan pergi ke kamar mandi untuk menyikat gigi.

Sebuah adegan, yang berisi sekitar 4-8 tembakan, dapat difilmkan dalam satu pagi dengan prosedur pembuatan film konvensional; pada keadaan saat ini dalam AI generatif, itu mewakili pekerjaan beberapa minggu, LoRA yang dilatih banyak (atau sistem tambahan lainnya), dan sejumlah besar pasca-pengolahan

Alternatifnya, video-ke-video dapat digunakan, di mana footage yang biasa atau CGI diubah melalui prompt teks menjadi interpretasi alternatif. Runway menawarkan sistem seperti itu, misalnya.

CGI (kiri) dari Blender, ditafsirkan dalam eksperimen video-ke-video yang dibantu teks oleh Mathieu Visnjevec – Sumber: https://www.linkedin.com/feed/update/urn:li:activity:7240525965309726721/

Ada dua masalah di sini: Anda sudah harus membuat footage inti, sehingga Anda sudah membuat film dua kali, bahkan jika Anda menggunakan sistem sintetis seperti MetaHuman UnReal.

Jika Anda membuat model CGI (seperti klip di atas) dan menggunakannya dalam transformasi video-ke-gambar, konsistensi mereka di seluruh tembakan tidak dapat diandalkan.

Ini karena model difusi video tidak melihat ‘gambar besar’ – melainkan, mereka membuat frame baru berdasarkan frame sebelumnya, dan, dalam beberapa kasus, mempertimbangkan frame masa depan terdekat; tetapi, untuk membandingkan proses ini dengan permainan catur, mereka tidak dapat ‘berpikir sepuluh langkah ke depan’, dan tidak dapat mengingat sepuluh langkah ke belakang.

Kedua, model difusi masih akan berjuang untuk mempertahankan penampilan yang konsisten di seluruh tembakan, bahkan jika Anda memasukkan LoRA yang banyak untuk karakter, lingkungan, dan gaya pencahayaan, karena alasan yang disebutkan di awal bagian ini.

2: Anda Tidak Dapat Mengedit Tembakan dengan Mudah

Jika Anda menggambarkan karakter berjalan di sepanjang jalan menggunakan metode CGI lama, dan Anda memutuskan untuk mengubah beberapa aspek dari tembakan, Anda dapat menyesuaikan model dan merender ulang.

Jika itu adalah syuting nyata, Anda hanya mereset dan syuting lagi, dengan perubahan yang sesuai.

Namun, jika Anda menghasilkan tembakan video gen-AI yang Anda cintai, tetapi ingin mengubah salah satu aspek darinya, Anda hanya dapat mencapai ini dengan metode pasca-pengolahan yang melelahkan yang dikembangkan selama 30-40 tahun terakhir: CGI, rotoscoping, modeling, dan matting – semua prosedur yang memakan waktu dan mahal.

Cara kerja model difusi, hanya dengan mengubah satu aspek dari prompt teks (bahkan dalam prompt multimodal, di mana Anda menyediakan gambar ‘seed’ sumber lengkap) akan mengubah banyak aspek dari output yang dihasilkan, menyebabkan permainan ‘whack-a-mole’ prompt.

3: Anda Tidak Dapat Mengandalkan Hukum Fisika

Metode CGI tradisional menawarkan berbagai model fisika berbasis algoritma yang dapat mensimulasikan hal-hal seperti dinamika fluida, gerakan gas, kinematika invers (pemodelan gerakan manusia yang akurat), dinamika kain, ledakan, dan berbagai fenomena dunia nyata lainnya.

Namun, metode berbasis difusi, seperti yang telah kita lihat, memiliki memori yang pendek, dan juga rentang prior gerakan (contoh tindakan, termasuk dalam dataset pelatihan) yang terbatas untuk ditarik.

Dalam versi sebelumnya dari halaman pendaratan OpenAI untuk sistem generatif Sora yang terkenal, perusahaan tersebut mengakui bahwa Sora memiliki keterbatasan dalam hal ini (meskipun teks ini telah dihapus):

‘[Sora] mungkin berjuang untuk mensimulasikan fisika dari adegan yang kompleks, dan mungkin tidak memahami contoh tertentu dari sebab dan akibat (misalnya: kue mungkin tidak menunjukkan tanda setelah karakter menggigitnya).

‘Model juga mungkin membingungkan detail spasial yang termasuk dalam prompt, seperti membedakan kiri dari kanan, atau berjuang dengan deskripsi yang akurat dari peristiwa yang berlangsung selama waktu, seperti trajektori kamera tertentu.’

Penggunaan praktis dari berbagai sistem generatif video berbasis API mengungkap keterbatasan serupa dalam menggambarkan fisika yang akurat. Namun, beberapa fenomena fisik umum, seperti ledakan, tampaknya lebih baik direpresentasikan dalam dataset pelatihan mereka.

Beberapa embedding prior gerakan, baik yang dilatih ke dalam model generatif atau diberikan dari video sumber, membutuhkan waktu untuk menyelesaikan (seperti orang yang melakukan urutan tari yang kompleks dan tidak berulang dalam kostum yang rumit) dan, sekali lagi, jendela perhatian model difusi yang miopik kemungkinan akan mengubah konten (identitas wajah, detail kostum, dll.) pada saat gerakan telah selesai. Namun, LoRA dapat memitigasi ini, sampai batas tertentu.

Memperbaikinya di Pasca-Pengolahan

Ada kekurangan lain dari generasi video AI ‘tunggal pengguna’ murni, seperti kesulitan mereka dalam menggambarkan gerakan cepat, dan masalah umum yang lebih mendesak dari mendapatkan konsistensi temporal dalam output video.

Selain itu, membuat penampilan wajah khusus hampir merupakan masalah keberuntungan dalam video generatif, seperti halnya lip-sync untuk dialog.

Dalam kedua kasus, penggunaan sistem tambahan seperti LivePortrait dan AnimateDiff menjadi sangat populer dalam komunitas VFX, karena ini memungkinkan transposisi ekspresi wajah yang luas dan lip-sync ke output yang dihasilkan.

Contoh transfer ekspresi (video pengarah di kiri bawah) yang diterapkan pada video target dengan LivePortrait. Video ini dari Generative Z TunisiaGenerative. Lihat versi lengkap dalam kualitas yang lebih baik di https://www.linkedin.com/posts/genz-tunisia_digitalcreation-liveportrait-aianimation-activity-7240776811737972736-uxiB/?

Lebih lanjut, berbagai solusi kompleks, yang mencakup alat seperti GUI ComfyUI dari Stable Diffusion dan aplikasi komposisi dan manipulasi profesional Nuke, serta manipulasi ruang laten, memungkinkan praktisi VFX AI untuk mendapatkan kontrol yang lebih besar atas ekspresi wajah dan disposisi.

Meskipun dia menggambarkannya sebagai proses ‘penyiksaan’, profesional VFX Francisco Contreras telah mengembangkan prosedur ini, yang memungkinkan penerapan fonem bibir dan aspek wajah/kepala lainnya

Stable Diffusion, dibantu oleh alur kerja ComfyUI yang ditenagai Nuke, memungkinkan VFX pro Francisco Contreras untuk mendapatkan kontrol yang tidak biasa atas aspek wajah. Untuk video lengkap, dengan resolusi yang lebih baik, kunjungi https://www.linkedin.com/feed/update/urn:li:activity:7243056650012495872/

Kesimpulan

Tidak ada dari ini yang menjanjikan untuk prospek pengguna tunggal yang menghasilkan film blockbuster gaya penuh yang koheren dan fotorealistik, dengan dialog yang realistis, lip-sync, penampilan, lingkungan, dan kontinuitas.

Lebih lanjut, hambatan yang dijelaskan di sini, setidaknya dalam kaitannya dengan model video generatif berbasis difusi, tidak harus dapat dipecahkan ‘setiap menit’ sekarang, meskipun komentar forum dan perhatian media yang membuat kasus ini. Keterbatasan yang dijelaskan tampaknya intrinsic untuk arsitektur.

Dalam penelitian sintesis AI, seperti dalam semua penelitian ilmiah, ide-ide cemerlang secara berkala mempesona kita dengan potensi mereka, hanya untuk penelitian lebih lanjut mengungkap keterbatasan fundamental mereka.

Dalam ruang generatif/sintesis, ini telah terjadi dengan Jaringan Adversarial Generatif (GAN) dan Medan Radiasi Saraf (NeRF), keduanya telah terbukti sangat sulit untuk diinstrumentalisasi menjadi sistem komersial yang berperforma, meskipun tahun-tahun penelitian akademis menuju tujuan itu. Teknologi ini sekarang muncul paling sering sebagai komponen tambahan dalam arsitektur alternatif.

Banyak seperti studio film yang berharap bahwa pelatihan pada katalog film yang dilisensikan secara sah dapat menghilangkan seniman VFX, AI sebenarnya menambah peran ke tenaga kerja saat ini.

Apakah sistem video berbasis difusi dapat benar-benar diubah menjadi generator film yang konsisten dan fotorealistik, atau apakah seluruh bisnis ini hanya merupakan pengejaran alkimia lain, harus menjadi jelas dalam waktu 12 bulan ke depan.

Ini mungkin bahwa kita memerlukan pendekatan yang sama sekali baru; atau mungkin Gaussian Splatting (GSplat), yang dikembangkan pada awal 1990-an dan baru-baru ini meledak di ruang sintesis gambar, mewakili alternatif potensial untuk generasi video berbasis difusi.

Karena GSplat membutuhkan 34 tahun untuk muncul, juga memungkinkan bahwa pendahulu yang lebih tua seperti NeRF dan GAN – dan bahkan model difusi laten – belum memiliki hari mereka.

* Meskipun fitur AI Storyboard Kaiber menawarkan fungsionalitas seperti ini, hasil yang saya lihat tidak berkualitas produksi.

Martin Anderson adalah mantan kepala konten penelitian ilmiah di metaphysic.ai
Dipublikasikan pertama kali pada hari Senin, 23 September 2024