Menuju Kontrol Total dalam Pembangkitan Video AI

Model fondasi video seperti Hunyuan dan Wan 2.1, meskipun kuat, tidak menawarkan pengguna kontrol granular yang dibutuhkan dalam produksi film dan TV (terutama produksi VFX).

Di studio efek visual profesional, model sumber terbuka seperti ini, bersama dengan model berbasis gambar (bukan video) seperti Stable Diffusion, Kandinsky dan Flux, biasanya digunakan bersama dengan berbagai alat pendukung yang menyesuaikan output mentah mereka untuk memenuhi kebutuhan kreatif tertentu. Ketika seorang direktur mengatakan, “Itu terlihat bagus, tapi bisakah kita membuatnya sedikit lebih [n]?” Anda tidak bisa merespons dengan mengatakan bahwa model tidak cukup presisi untuk menangani permintaan seperti itu.

Sebaliknya, tim AI VFX akan menggunakan berbagai teknik CGI dan komposisi tradisional, yang digabungkan dengan prosedur dan alur kerja khusus yang dikembangkan seiring waktu, untuk mencoba mendorong batas sintesis video sedikit lebih jauh.

Dengan analogi, model fondasi video adalah seperti instalasi default dari browser web seperti Chrome; itu melakukan banyak hal secara langsung, tetapi jika Anda ingin itu disesuaikan dengan kebutuhan Anda, bukan sebaliknya, Anda akan membutuhkan beberapa plugin.

Pengontrol yang Perfeksionis

Di dunia sintesis gambar berbasis difusi, sistem pihak ketiga yang paling penting adalah ControlNet.

ControlNet adalah teknik untuk menambahkan kontrol terstruktur pada model generatif berbasis difusi, yang memungkinkan pengguna untuk memandu pembangkitan gambar atau video dengan input tambahan seperti peta tepi, peta kedalaman, atau informasi pose.

Metode berbagai ControlNet memungkinkan kedalaman>gambar (baris atas), segmentasi semantik>gambar (kiri bawah) dan pembangkitan gambar berbasis pose manusia dan hewan (kiri bawah).

Daripada mengandalkan prompt teks saja, ControlNet memperkenalkan cabang jaringan saraf terpisah, atau adapter, yang memproses sinyal kondisi ini sambil menjaga kemampuan generatif model dasar.

Hal ini memungkinkan output yang disesuaikan dengan baik yang lebih dekat dengan spesifikasi pengguna, membuatnya sangat berguna dalam aplikasi di mana komposisi, struktur, atau kontrol gerakan yang presisi diperlukan:

Dengan pose yang memandu, berbagai jenis output akurat dapat diperoleh melalui ControlNet. Sumber: https://arxiv.org/pdf/2302.05543

Namun, kerangka kerja berbasis adapter seperti ini beroperasi secara eksternal pada satu set proses saraf yang sangat fokus internal. Pendekatan ini memiliki beberapa kelemahan.

Pertama, adapter dilatih secara independen, yang menyebabkan konflik cabang ketika beberapa adapter digabungkan, yang dapat menyebabkan kualitas generasi yang menurun.

Kedua, mereka memperkenalkan keredundanan parameter, yang memerlukan perhitungan dan memori tambahan untuk setiap adapter, membuat penskalaan tidak efisien.

Ketiga, meskipun fleksibilitasnya, adapter sering menghasilkan hasil sub-optimal dibandingkan dengan model yang sepenuhnya disesuaikan untuk generasi multi-kondisi. Masalah ini membuat metode berbasis adapter kurang efektif untuk tugas yang memerlukan integrasi kontrol sinyal yang mulus.

Idealnya, kapasitas ControlNet akan dilatih secara asli ke dalam model, dengan cara modular yang dapat menampung inovasi yang jelas dan sangat diantisipasi seperti generasi video/audio simultan, atau kemampuan sinkronisasi bibir asli (untuk audio eksternal).

Sebagaimana adanya, setiap tambahan fungsi mewakili tugas pasca-produksi atau prosedur non-asli yang harus menavigasi bobot yang terikat erat dan sensitif dari model fondasi mana pun yang dioperasikan.

FullDiT

Masuklah penawaran baru dari Cina, yang mengusulkan sistem di mana langkah-langkah ControlNet dimasukkan langsung ke dalam model generatif video pada saat pelatihan, bukan sebagai pemikiran kedua.

Dari makalah baru: pendekatan FullDiT dapat menggabungkan penempatan identitas, kedalaman, dan gerakan kamera ke dalam generasi asli, dan dapat memanggil kombinasi apa pun dari ini sekaligus. Sumber: https://arxiv.org/pdf/2503.19907

Bernama FullDiT, pendekatan baru ini menggabungkan kondisi multi-tugas seperti transfer identitas, pemetaan kedalaman, dan gerakan kamera ke dalam bagian terintegrasi dari model generatif video terlatih, untuk yang para penulis telah menghasilkan model prototype terlatih dan klip video yang menyertainya di situs proyek.

Di contoh berikut, kita melihat generasi yang menggabungkan gerakan kamera, informasi identitas, dan informasi teks (yaitu, prompt teks pengguna):

Klik untuk memutar. Contoh kontrol pengguna dengan hanya model fondasi asli terlatih. Sumber: https://fulldit.github.io/

Perlu dicatat bahwa para penulis tidak mengusulkan model eksperimental terlatih mereka sebagai model fondasi fungsional, tetapi sebagai konsep untuk model T2V (teks-ke-video) dan I2V (gambar-ke-video) asli yang menawarkan pengguna lebih banyak kontrol daripada hanya prompt gambar atau prompt teks.

Karena belum ada model seperti ini, para peneliti membuat benchmark baru bernama FullBench, untuk evaluasi video multi-tugas, dan mengklaim kinerja terdepan dalam tes seperti-untuk-tes yang mereka buat melawan pendekatan sebelumnya. Namun, karena FullBench dirancang oleh penulis itu sendiri, objektifitasnya belum diuji, dan dataset 1.400 kasusnya mungkin terlalu terbatas untuk kesimpulan yang lebih luas.

Mungkin aspek paling menarik dari arsitektur yang diusulkan dalam makalah ini adalah potensinya untuk menggabungkan jenis kontrol baru. Para penulis menyatakan:

‘Dalam pekerjaan ini, kami hanya mengeksplorasi kondisi kontrol kamera, identitas, dan informasi kedalaman. Kami tidak menyelidiki kondisi dan modalitas lain seperti audio, ucapan, titik awan, kotak pembatas objek, aliran optik, dll. Meskipun desain FullDiT dapat menggabungkan modalitas lain dengan modifikasi arsitektur minimal, bagaimana cara dengan cepat dan efektif menyesuaikan model yang ada dengan kondisi dan modalitas baru masih merupakan pertanyaan penting yang memerlukan penyelidikan lebih lanjut.’

Meskipun para peneliti menyajikan FullDiT sebagai langkah maju dalam generasi video multi-tugas, perlu dipertimbangkan bahwa pekerjaan baru ini membangun di atas arsitektur yang ada daripada memperkenalkan paradigma yang secara fundamental baru.

Bagaimanapun, FullDiT saat ini berdiri sendiri (sepengetahuan saya) sebagai model fondasi video dengan fasilitas ControlNet yang ‘dikeraskan’ – dan bagus untuk melihat bahwa arsitektur yang diusulkan dapat menampung inovasi lainnya juga.

Klik untuk memutar. Contoh gerakan kamera yang dikontrol oleh pengguna, dari situs proyek.

Makalah baru tersebut berjudul FullDiT: Model Fondasi Generatif Video Multi-Tugas dengan Perhatian Penuh, dan berasal dari sembilan peneliti di Kuaishou Technology dan The Chinese University of Hong Kong. Halaman proyek ada di sini dan benchmark data baru ada di Hugging Face.

Metode

Para penulis berpendapat bahwa mekanisme perhatian terpadu FullDiT memungkinkan pembelajaran representasi lintas-modal yang lebih kuat dengan menangkap hubungan spasial dan temporal di seluruh kondisi:

Menurut makalah baru, FullDiT mengintegrasikan kondisi input multiple melalui perhatian diri penuh, mengubahnya menjadi urutan yang terpadu. Sebaliknya, model berbasis adapter (kiri) menggunakan modul terpisah untuk setiap input, yang menyebabkan redundansi, konflik, dan kinerja yang lebih lemah.

Tidak seperti pengaturan berbasis adapter yang memproses setiap aliran input secara terpisah, struktur perhatian bersama ini menghindari konflik cabang dan mengurangi overhead parameter. Mereka juga mengklaim bahwa arsitektur dapat diskalakan ke jenis input baru tanpa perubahan desain besar – dan bahwa skema model menunjukkan tanda-tanda generalisasi ke kombinasi kondisi yang tidak terlihat selama pelatihan, seperti menghubungkan gerakan kamera dengan identitas karakter.

Klik untuk memutar. Contoh generasi identitas dari situs proyek.

Dalam arsitektur FullDiT, semua input kondisi – seperti teks, gerakan kamera, identitas, dan kedalaman – pertama-tama diubah menjadi format token yang terpadu. Token-token ini kemudian dihubungkan menjadi satu urutan panjang, yang diproses melalui tumpukan transformer menggunakan perhatian diri penuh. Pendekatan ini mengikuti karya sebelumnya seperti Open-Sora Plan dan Movie Gen.

Desain ini memungkinkan model untuk mempelajari hubungan temporal dan spasial secara bersamaan di seluruh kondisi. Setiap blok transformer beroperasi di seluruh urutan, memungkinkan interaksi dinamis antar modalitas tanpa bergantung pada modul terpisah untuk setiap input – dan, seperti yang telah kita catat, arsitektur dirancang untuk dapat diperluas, membuatnya jauh lebih mudah untuk menggabungkan sinyal kontrol tambahan di masa depan, tanpa perubahan struktural besar.

Kekuatan Tiga

FullDiT mengubah setiap sinyal kontrol menjadi format token yang terstandar sehingga semua kondisi dapat diproses bersama dalam kerangka perhatian terpadu. Untuk gerakan kamera, model mengkodekan urutan parameter ekstrinsik – seperti posisi dan orientasi – untuk setiap bingkai. Parameter-parameter ini diberi timestamp dan diproyeksikan ke dalam vektor pengikut yang mencerminkan sifat temporal sinyal.

Informasi identitas diobati secara berbeda, karena secara inheren spasial daripada temporal. Model menggunakan peta identitas yang menunjukkan karakter mana yang hadir di bagian mana dari setiap bingkai. Peta-peta ini dibagi menjadi patch, dengan setiap patch diproyeksikan ke dalam pengikut yang menangkap petunjuk identitas spasial, memungkinkan model untuk mengasosiasikan wilayah tertentu dari bingkai dengan entitas tertentu.

Kedalaman adalah sinyal spasio-temporal, dan model menanganinya dengan membagi video kedalaman menjadi patch 3D yang meliputi ruang dan waktu. Patch-patch ini kemudian dihubungkan dengan cara yang mempertahankan struktur mereka di seluruh bingkai.

Saat dihubungkan, semua token kondisi ini (kamera, identitas, dan kedalaman) dihubungkan menjadi satu urutan panjang, memungkinkan FullDiT untuk memprosesnya bersama menggunakan perhatian diri penuh. Representasi bersama ini memungkinkan model untuk mempelajari interaksi antar modalitas dan antar waktu tanpa bergantung pada aliran pemrosesan terisolasi.

Data dan Tes

Pendekatan pelatihan FullDiT bergantung pada dataset yang dianotasi secara selektif yang disesuaikan dengan setiap jenis kondisi, bukan memerlukan semua kondisi untuk hadir secara bersamaan.

Untuk kondisi teks, inisiatif ini mengikuti pendekatan penjelasan terstruktur yang diuraikan dalam proyek MiraData.

Pengumpulan video dan pipeline anotasi dari proyek MiraData. Sumber: https://arxiv.org/pdf/2407.06358

Untuk gerakan kamera, dataset RealEstate10K adalah sumber data utama, karena anotasi parameter kamera yang berkualitas tinggi.

Namun, para penulis mengamati bahwa pelatihan secara eksklusif pada dataset adegan statis seperti RealEstate10K cenderung mengurangi gerakan objek dan manusia dinamis dalam video yang dihasilkan. Untuk mengatasi hal ini, mereka melakukan penyesuaian tambahan menggunakan dataset internal yang mencakup gerakan kamera dinamis lebih banyak.

Anotasi identitas dihasilkan menggunakan pipeline yang dikembangkan untuk proyek ConceptMaster, yang memungkinkan penyaringan dan ekstraksi informasi identitas yang halus dengan efisien.

Kerangka kerja ConceptMaster dirancang untuk menangani masalah dekompresi identitas sambil mempertahankan kesetiaan konsep dalam video yang disesuaikan. Sumber: https://arxiv.org/pdf/2501.04698

Anotasi kedalaman diperoleh dari dataset Panda-70M menggunakan Depth Anything.

Optimasi Melalui Pengaturan Data

Para penulis juga mengimplementasikan jadwal pelatihan progresif, memperkenalkan kondisi yang lebih menantang lebih awal dalam pelatihan untuk memastikan model memperoleh representasi yang kuat sebelum tugas yang lebih sederhana ditambahkan. Urutan pelatihan berlanjut dari teks ke kamera kondisi, kemudian identitas, dan akhirnya kedalaman, dengan tugas yang lebih sederhana umumnya diperkenalkan kemudian dan dengan contoh yang lebih sedikit.

Para penulis menekankan nilai dari mengatur beban kerja dengan cara ini:

‘Selama fase prapengajaran, kami mencatat bahwa tugas yang lebih menantang memerlukan waktu pelatihan yang lebih lama dan harus diperkenalkan lebih awal dalam proses pembelajaran. Tugas yang menantang ini melibatkan distribusi data yang kompleks yang berbeda secara signifikan dari output video, yang memerlukan model untuk memiliki kapasitas yang cukup untuk menangkap dan merepresentasikan mereka dengan akurat. ‘

‘Sebaliknya, memperkenalkan tugas yang lebih sederhana terlalu awal dapat menyebabkan model untuk memprioritaskan pembelajaran mereka terlebih dahulu, karena mereka memberikan umpan balik optimasi yang lebih langsung, yang menghambat konvergensi tugas yang lebih menantang.’

Ilustrasi urutan pelatihan data yang diadopsi oleh peneliti, dengan warna merah menunjukkan volume data yang lebih besar.

Setelah prapengajaran awal, tahap penyesuaian akhir lebih lanjut memperbaiki model untuk meningkatkan kualitas visual dan dinamika gerakan. Kemudian pelatihan mengikuti kerangka kerja difusi standar*:

Untuk secara efektif mengevaluasi FullDiT dan memberikan perbandingan yang adil dengan metode sebelumnya, dan dalam ketiadaan ketersediaan benchmark yang sesuai, para penulis memperkenalkan FullBench, sebuah suite benchmark yang terdiri dari 1.400 kasus tes yang berbeda.

Contoh eksplorasi data untuk benchmark FullBench baru. Sumber: https://huggingface.co/datasets/KwaiVGI/FullBench

Setiap titik data menyediakan anotasi benar untuk berbagai sinyal kondisi, termasuk gerakan kamera, identitas, dan kedalaman.

Metrik

Para penulis mengevaluasi FullDiT menggunakan sepuluh metrik yang mencakup lima aspek utama kinerja: penyelarasan teks, kontrol kamera, kesamaan identitas, akurasi kedalaman, dan kualitas video umum.

Penyelarasan teks diukur menggunakan kesamaan CLIP, sedangkan kontrol kamera dievaluasi melalui kesalahan rotasi (RotErr), kesalahan translasi (TransErr), dan konsistensi gerakan kamera (CamMC), mengikuti pendekatan CamI2V (dalam proyek CameraCtrl).

Kesamaan identitas dievaluasi menggunakan DINO-I dan CLIP-I, dan akurasi kontrol kedalaman diukur menggunakan Rata-Rata Kesalahan Absolut (MAE).

Kualitas video dihakimi dengan tiga metrik dari MiraData: kesamaan CLIP tingkat bingkai untuk kehalusan; jarak gerakan berbasis aliran optik untuk dinamika; dan skor Estetika LAION-Aesthetic untuk daya tarik visual.

Pelatihan

Para penulis melatih FullDiT menggunakan model difusi teks-ke-video internal (tidak dipublikasikan) yang berisi sekitar satu miliar parameter. Mereka sengaja memilih ukuran parameter yang modest untuk mempertahankan kesetaraan dalam perbandingan dengan metode sebelumnya dan memastikan reproducibility.

Karena video pelatihan berbeda dalam panjang dan resolusi, para penulis menstandarkan setiap batch dengan mengubah ukuran dan memadatkan video ke resolusi yang sama, mengambil 77 bingkai per urutan, dan menggunakan perhatian yang diterapkan dan masker kerugian untuk mengoptimalkan efektivitas pelatihan.

Optimizer Adam digunakan pada tingkat pembelajaran 1×10⁻⁵ di seluruh klaster 64 NVIDIA H800 GPU, untuk total 5.120GB VRAM (perlu diingat bahwa dalam komunitas sintesis antusias, 24GB pada RTX 3090 masih dianggap sebagai standar mewah).

Model dilatih selama sekitar 32.000 langkah, menggabungkan hingga tiga identitas per video, bersama dengan 20 bingkai kondisi kamera dan 21 bingkai kondisi kedalaman, keduanya diambil secara merata dari total 77 bingkai.

Untuk inferensi, model menghasilkan video dengan resolusi 384×672 piksel (sekitar lima detik pada 15 frame per detik) dengan 50 langkah inferensi difusi dan skala bimbingan klasifikasi bebas lima.

Metode Sebelumnya

Untuk evaluasi kamera-ke-video, para penulis membandingkan FullDiT dengan MotionCtrl, CameraCtrl, dan CamI2V, dengan semua model dilatih menggunakan dataset RealEstate10k untuk memastikan konsistensi dan kesetaraan.

Dalam generasi yang dikondisikan oleh identitas, karena tidak ada model multi-identitas yang setara dan sumber terbuka, model dibandingkan dengan model ConceptMaster 1B-parameter, menggunakan data pelatihan yang sama dan arsitektur.

Untuk tugas video-ke-kedalaman, perbandingan dilakukan dengan Ctrl-Adapter dan ControlVideo.

Hasil kuantitatif untuk generasi video tugas tunggal. FullDiT dibandingkan dengan MotionCtrl, CameraCtrl, dan CamI2V untuk generasi kamera-ke-video; ConceptMaster (versi 1B parameter) untuk identitas-ke-video; dan Ctrl-Adapter dan ControlVideo untuk kedalaman-ke-video. Semua model dievaluasi menggunakan pengaturan default. Untuk konsistensi, 16 bingkai diambil secara merata dari setiap metode, sesuai dengan panjang output model sebelumnya.

Hasilnya menunjukkan bahwa FullDiT, meskipun menangani beberapa sinyal kondisi secara bersamaan, mencapai kinerja terdepan dalam metrik yang terkait dengan teks, gerakan kamera, identitas, dan kontrol kedalaman.

Dalam metrik kualitas keseluruhan, sistem umumnya outperformed metode lain, meskipun kehalusannya sedikit lebih rendah daripada ConceptMaster. Di sini para penulis mengomentari:

‘Kehalusan FullDiT sedikit lebih rendah daripada ConceptMaster karena perhitungan kehalusan didasarkan pada kesamaan CLIP antara bingkai yang berdekatan. Karena FullDiT menunjukkan dinamika yang jauh lebih besar dibandingkan dengan ConceptMaster, metrik kehalusan dipengaruhi oleh variasi besar antara bingkai yang berdekatan. ‘

‘Untuk skor estetika, karena model penilaian favorit gambar dalam gaya lukisan dan ControlVideo biasanya menghasilkan video dalam gaya ini, itu mencapai skor yang tinggi dalam estetika.’

Menyangkut perbandingan kualitatif, mungkin lebih baik untuk merujuk pada contoh video di situs proyek FullDiT, karena contoh PDF statis (dan juga terlalu besar untuk direproduksi sepenuhnya di sini).

Bagian pertama dari hasil kualitatif yang direproduksi dalam PDF. Silakan merujuk ke makalah sumber untuk contoh tambahan, yang terlalu luas untuk direproduksi di sini.

Para penulis mengomentari:

‘FullDiT menunjukkan pelestarian identitas yang unggul dan menghasilkan video dengan dinamika dan kualitas visual yang lebih baik dibandingkan dengan [ConceptMaster]. Karena ConceptMaster dan FullDiT dilatih pada backbone yang sama, ini menunjukkan efektivitas injeksi kondisi dengan perhatian penuh. ‘

‘…Hasil lain menunjukkan kontrol yang unggul dan kualitas generasi FullDiT dibandingkan dengan metode existing untuk kedalaman-ke-video dan kamera-ke-video.’

Bagian dari contoh PDF dari output FullDiT dengan sinyal multiple. Silakan merujuk ke makalah sumber dan situs proyek untuk contoh tambahan.

Kesimpulan

Meskipun FullDiT adalah upaya yang menarik dalam jenis model fondasi video yang lebih lengkap, kita harus bertanya-tanya apakah permintaan akan fasilitas ControlNet-style akan pernah membenarkan implementasi fitur tersebut dalam skala besar, setidaknya untuk proyek FOSS, yang akan berjuang untuk mendapatkan sejumlah besar daya pengolahan GPU yang diperlukan, tanpa dukungan komersial.

Tantangan utama adalah bahwa menggunakan sistem seperti Kedalaman dan Pose umumnya memerlukan pengetahuan yang tidak trivial tentang antarmuka pengguna yang relatif kompleks seperti ComfyUI. Oleh karena itu, tampaknya bahwa model FOSS fungsional dari jenis ini paling mungkin dikembangkan oleh sekelompok perusahaan VFX yang lebih kecil yang tidak memiliki uang (atau keinginan, mengingat bahwa sistem seperti itu dengan cepat menjadi usang oleh pembaruan model) untuk mengkurasi dan melatih model seperti itu di balik pintu tertutup.

Di sisi lain, sistem ‘rent-an-AI’ yang didorong oleh API mungkin termotivasi untuk mengembangkan metode interpretatif yang lebih sederhana dan lebih ramah pengguna untuk model yang telah dilatih dengan sistem kontrol tambahan.

Klik untuk memutar. Kontrol Kedalaman+Teks yang diterapkan pada pembangkitan video menggunakan FullDiT.

* Para penulis tidak menentukan model dasar yang dikenal (misalnya, SDXL, dll.)

Dipublikasikan pertama kali pada hari Kamis, 27 Maret 2025