AI Video Membuat Sempurna Selfie Kucing

Pembuat video AI sering memberikan hasil yang dekat, tetapi tidak cukup, dalam hal menghasilkan apa yang diinginkan oleh prompt teks. Namun, perbaikan tingkat tinggi baru membuat semua perbedaan.

Sistem video generatif sering memiliki kesulitan membuat video yang benar-benar kreatif atau liar, dan sering gagal memenuhi harapan pengguna dari prompt teks.

Bagian dari alasan ini adalah entanglement – fakta bahwa model visi/bahasa harus berkompromi pada seberapa lama mereka dilatih pada data sumber. Terlalu sedikit pelatihan, dan konsepnya fleksibel, tetapi tidak sepenuhnya terbentuk – terlalu banyak, dan konsepnya akurat, tetapi tidak lagi fleksibel cukup untuk menggabungkan kombinasi baru.

Anda dapat mendapatkan ide dari video yang disematkan di bawah. Di sebelah kiri adalah jenis kompromi setengah-jalan yang banyak sistem AI berikan sebagai respons terhadap prompt yang menantang (prompt ada di bagian atas video dalam semua empat contoh) yang meminta beberapa juxtaposisi elemen yang terlalu fantastis untuk menjadi contoh pelatihan yang nyata. Di sebelah kanan, adalah output AI yang lebih baik mematuhi prompt:

Click to play (no audio). Di sebelah kanan, kita melihat ‘factorized’ WAN 2.2 benar-benar memenuhi prompt, dibandingkan dengan interpretasi yang samar dari ‘vanilla’ Wan 2.2., di sebelah kiri. Silakan merujuk ke file video sumber untuk resolusi yang lebih baik dan contoh yang lebih banyak, meskipun versi yang dikurasi yang terlihat di sini tidak ada di situs proyek, dan disusun untuk artikel ini. Sumber

Well, meskipun kita harus memaafkan tangan manusia bebek yang bertepuk (!), jelas bahwa contoh di sebelah kanan lebih baik mematuhi prompt teks asli daripada yang di sebelah kiri.

Menariknya, kedua arsitektur yang ditampilkan pada dasarnya adalah sama – arsitektur Wan 2.2 yang populer dan sangat mampu, sebuah rilis Cina yang telah mendapatkan pengakuan yang signifikan di komunitas sumber terbuka dan hobiis tahun ini.

Perbedaan adalah bahwa pipa generatif kedua factorized, yang dalam hal ini berarti bahwa model bahasa besar (LLM) telah digunakan untuk menafsirkan kembali frame pertama video, sehingga akan lebih mudah bagi sistem untuk menghasilkan apa yang pengguna inginkan.

Ini ‘visual anchoring’ melibatkan menyuntikkan gambar yang dibuat dari prompt LLM yang ditingkatkan ini ke dalam pipa generatif sebagai ‘start frame’, dan menggunakan model interpretatif LoRA untuk membantu mengintegrasikan ‘intruder’ frame ke dalam proses pembuatan video.

Hasilnya, dalam hal kesetiaan prompt, cukup luar biasa, terutama untuk solusi yang tampaknya cukup elegan:

Click to play (no audio). Contoh lebih lanjut dari ‘factorized’ video generations yang benar-benar mematuhi skrip. Silakan merujuk ke file video sumber untuk resolusi yang lebih baik dan contoh yang lebih banyak, meskipun versi yang dikurasi yang terlihat di sini tidak ada di situs proyek, dan disusun untuk artikel ini.

Solusi ini datang dalam bentuk makalah baru Factorized Video Generation: Decoupling Scene Construction and Temporal Synthesis in Text-to-Video Diffusion Models, dan situs web proyek yang menyertainya proyek.

While banyak sistem saat ini mencoba meningkatkan akurasi prompt dengan menggunakan model bahasa untuk menulis ulang prompt yang samar atau tidak spesifik, makalah baru ini berpendapat bahwa strategi ini masih menyebabkan kegagalan ketika representasi adegan internal model rusak.

Even dengan prompt yang ditulis ulang secara rinci, model video teks-ke-video sering salah menggabungkan elemen kunci atau menghasilkan keadaan awal yang tidak kompatibel yang merusak logika animasi. Selama frame pertama gagal mencerminkan apa yang dijelaskan prompt, video yang dihasilkan tidak dapat pulih, terlepas dari seberapa baik model gerakan.

Makalah tersebut menyatakan*:

‘[Text-to-video] models frequently produce distributionally shifted frames yet still achieve [evaluation scores] comparable to I2V models, indicating that their motion modeling remains reasonably natural even when scene fidelity is relatively poor.

‘[Image-to-Video] models exhibit the complementary behavior, strong [evaluation scores] from accurate initial scenes and weaker temporal coherence, while I2V+text balances both aspects.

‘This contrast suggests a structural mismatch in current T2V models: scene grounding and temporal synthesis benefit from distinct inductive biases, yet existing architectures attempt to learn both simultaneously within a single model.’

Perbandingan diagnostik mode generasi menemukan bahwa model tanpa penambatan adegan eksplisit mencetak skor yang baik pada gerakan, tetapi sering mengorbankan tata letak adegan, sedangkan pendekatan yang dikondisikan gambar menunjukkan pola yang berlawanan:

Perbandingan mode generasi video pada dua dataset, menunjukkan bahwa I2V+text mencapai kualitas frame terbaik (FID) dan kohesi temporal (FVD), menyoroti manfaat dari memisahkan konstruksi adegan dari gerakan. Sumber

Temuan ini menunjukkan bahwa model saat ini mencoba mempelajari tata letak adegan dan animasi dalam satu langkah, meskipun kedua tugas tersebut memerlukan jenis bias induktif yang berbeda, dan lebih baik ditangani secara terpisah.

Mungkin yang paling menarik adalah bahwa ‘trik’ ini dapat diterapkan pada instalasi lokal model seperti Wan 2.1 dan 2.2, dan model difusi video lainnya seperti Hunyuan Video. Secara anekdot, membandingkan kualitas output hobiis dengan portal generatif komersial seperti Kling dan Runway, sebagian besar penyedia API utama meningkatkan penawaran sumber terbuka seperti WAN dengan LoRAs, dan – tampaknya – dengan trik semacam itu. Oleh karena itu, pendekatan ini dapat mewakili pengejaran untuk kontingen FOSS.

Uji coba yang dilakukan untuk metode ini menunjukkan bahwa pendekatan sederhana dan modular ini menawarkan kemajuan baru pada T2V-CompBench benchmark, secara signifikan meningkatkan semua model yang diuji. Penulis mencatat dalam kesimpulan bahwa sistem mereka radikal meningkatkan kesetiaan, tetapi tidak menangani (nor dimaksudkan untuk menangani) identity drift, saat ini merupakan masalah dalam penelitian AI generatif.

Makalah baru ini berasal dari empat peneliti di Ecole Polytechnique Fédérale de Lausanne (EPFL) di Swiss.

Metode dan Data

Proposisi sentral dari teknik baru ini adalah bahwa model difusi teks-ke-video (T2V) perlu “dijangkar” ke frame awal yang benar-benar sesuai dengan prompt teks yang diinginkan.

Untuk memastikan model menghormati frame awal, metode baru ini mengganggu proses difusi standar dengan menyuntikkan latent yang bersih dari gambar jangkar pada langkah waktu nol, menggantikan salah satu input bising biasa. Input yang tidak biasa ini membingungkan model pada awalnya, tetapi dengan sedikit finetuning LoRA, ia belajar untuk memperlakukan frame yang disuntikkan sebagai jangkar visual yang tetap daripada bagian dari jalur bising:

Metode dua tahap untuk menggroundkan generasi video teks dengan jangkar visual: Kiri, model difinetuning menggunakan LoRA ringan untuk memperlakukan latent yang disuntikkan sebagai konstrain adegan yang tetap. Kanan, prompt dibagi menjadi caption frame pertama, yang digunakan untuk menghasilkan gambar jangkar yang memandu video.

Di inferensi, metode ini menulis ulang prompt untuk menjelaskan hanya frame pertama, menggunakan LLM untuk mengekstrak keadaan adegan awal yang masuk akal yang fokus pada tata letak dan penampilan.

Prompt yang ditulis ulang ini diberikan kepada generator gambar untuk menghasilkan frame jangkar kandidat (yang dapat diperbarui oleh pengguna). Frame yang dipilih dienkripsi menjadi latent dan disuntikkan ke dalam proses difusi dengan menggantikan langkah waktu pertama, memungkinkan model untuk menghasilkan sisa video sambil tetap dijangkar pada adegan awal – proses yang bekerja tanpa memerlukan perubahan pada arsitektur yang mendasarinya.

Proses ini diuji dengan membuat LoRAs untuk Wan2.2-14B, Wan2.1-1B, dan CogVideo1.5-5B. Pelatihan LoRA dilakukan pada rank 256, pada 5000 klip yang diambil secara acak dari koleksi UltraVideo.

Pelatihan berlangsung 6000 langkah, dan memerlukan 48 jam GPU^† untuk Wan-1B dan CogVideo-5B, dan 96 jam GPU untuk Wan-14B. Penulis mencatat bahwa Wan-5B secara asli mendukung kondisi teks-saja dan teks-gambar (yang dalam hal ini sedang diterapkan pada kerangka kerja yang lebih lama), dan oleh karena itu tidak memerlukan finetuning.

Uji Coba

Dalam eksperimen yang dijalankan untuk proses ini, setiap prompt teks awalnya diperbarui menggunakan Qwen2.5-7B-Instruct, yang menggunakan hasilnya untuk menghasilkan caption gambar “benih” yang rinci yang berisi deskripsi seluruh adegan. Ini kemudian diberikan kepada QwenImage, yang ditugaskan untuk menghasilkan “frame ajaib” yang akan disisipkan ke dalam proses difusi.

Benchmark yang digunakan untuk menilai sistem ini termasuk T2V-CompBench yang disebutkan sebelumnya, untuk menguji pemahaman komposisi dengan mencetak skor bagaimana model melestarikan objek, atribut, dan tindakan dalam adegan yang kohesif; dan VBench 2.0, untuk mengevaluasi penalaran yang lebih luas dan konsistensi di seluruh 18 metrik, dikelompokkan menjadi kreativitas, penalaran umum, kendali, kesetiaan manusia, dan fisika:

Di seluruh tujuh kategori evaluasi T2V-CompBench, metode T2V yang difaktorkan mengungguli baseline T2V standar dan upsampling untuk setiap model yang diuji, dengan keuntungan mencapai hingga 53,25%. Variasi dengan skor tertinggi sering kali mencocokkan atau melebihi benchmark PixVerse-V3 yang dipatenkan.

Mengenai putaran uji coba awal ini, penulis menyatakan*:

‘[Di] semua model, menambahkan gambar jangkar secara konsisten meningkatkan kinerja komposisi. Semua model Factorized yang lebih kecil (CogVideo 5B, Wan 5B dan Wan 1B) mengungguli model T2V Wan 14B yang lebih besar.

‘Factorized Wan 5B kami juga mengungguli baseline PixVerse-V3 komersial yang merupakan model terbaik yang dilaporkan di benchmark. This menunjukkan bahwa penambatan visual secara substansial meningkatkan pemahaman adegan dan tindakan bahkan di model dengan kapasitas yang lebih kecil.

‘Di dalam setiap keluarga model, versi yang difaktorkan mengungguli model asli. Secara khusus, LoRA ringan yang dijangkar pada WAN 14B kami mencapai kinerja yang setara dengan varian I2V 14B yang sudah dilatih sebelumnya (0,661 vs. 0,666), meskipun tidak memerlukan pelatihan ulang penuh.’

Kemudian datang putaran VBench2.0:

Pendekatan T2V yang difaktorkan secara konsisten meningkatkan kinerja VBench 2.0 di seluruh komposisi, penalaran umum, kendali, dan fisika, dengan beberapa keuntungan melebihi 60% – meskipun kesetiaan manusia tetap di bawah baseline Veo 3 yang dipatenkan.

Di seluruh arsitektur, pendekatan yang difaktorkan meningkatkan skor di setiap kategori VBench, kecuali kesetiaan manusia, yang sedikit menurun bahkan dengan upsampling prompt. Wan 5B mengungguli Wan 14B yang lebih besar, memperkuat hasil T2V-CompBench sebelumnya bahwa penambatan visual memberikan kontribusi lebih dari skala.

Uji kualitatif dilakukan dengan menyediakan gambar statis, tetapi kami merujuk pembaca ke video komposit yang disematkan dalam artikel ini, untuk gambaran yang lebih jelas, dengan catatan bahwa video sumber lebih banyak dan beragam, serta memiliki resolusi dan detail yang lebih baik. Temukan mereka di sini. Mengenai hasil kualitatif, makalah tersebut menyatakan:

‘Video yang dijangkar secara konsisten menunjukkan komposisi adegan yang lebih akurat, ikatan objek-atribut yang lebih kuat, dan progresi temporal yang lebih jelas.’

Pendekatan yang difaktorkan tetap stabil bahkan ketika jumlah langkah difusi dikurangi dari 50 menjadi 15, menunjukkan hampir tidak ada kehilangan kinerja pada T2V-CompBench. Sebaliknya, baik baseline teks-saja maupun upsampling mengalami penurunan tajam dalam kondisi yang sama.

Meskipun mengurangi langkah secara teoretis dapat triple kecepatan, pipa generasi penuh hanya menjadi 2,1x lebih cepat dalam prakteknya, karena biaya tetap dari generasi gambar jangkar. Namun, hasilnya menunjukkan bahwa penambatan tidak hanya meningkatkan kualitas sampel tetapi juga membantu stabilisasi proses difusi, mendukung generasi yang lebih cepat dan efisien tanpa kehilangan akurasi.

Situs web proyek menyediakan contoh generasi upsampling vs. metode baru, yang kami tampilkan beberapa contoh (dengan resolusi yang lebih rendah) di sini:

Click to play (no audio). Sumber upsampling awal vs. pendekatan yang difaktorkan.

Penulis menyimpulkan:

‘Hasil kami menunjukkan bahwa peningkatan penambatan, bukan hanya peningkatan kapasitas, mungkin sama pentingnya. Kemajuan terbaru dalam difusi T2V sangat bergantung pada peningkatan ukuran model dan data pelatihan, namun bahkan model yang lebih besar sering kali kesulitan untuk menginfer adegan awal yang kohesif dari teks saja.

‘Hal ini berbeda dengan difusi gambar, di mana penskalaan relatif sederhana; dalam model video, setiap perbaikan arsitektur harus beroperasi di atas dimensi temporal tambahan, membuat penskalaan secara substansial lebih intensif sumber daya.

‘Temuan kami menunjukkan bahwa peningkatan penambatan dapat melengkapi skala dengan menangani bottleneck yang berbeda: menetapkan adegan yang benar sebelum sintesis gerakan dimulai.

‘Dengan memfaktorkan generasi video menjadi konstruksi adegan dan model temporal, kita mitigasi beberapa mode kegagalan umum tanpa memerlukan model yang secara substansial lebih besar. Kami memandang ini sebagai prinsip desain yang komplementer yang dapat memandu arsitektur masa depan menuju sintesis video yang lebih dapat diandalkan dan terstruktur.’

Kesimpulan

Meskipun masalah entanglement sangat nyata, dan mungkin memerlukan solusi khusus (seperti kurasi dan evaluasi distribusi yang ditingkatkan sebelum pelatihan), telah menjadi pembuka mata untuk melihat faktorisasi ‘melepaskan’ beberapa orkestrasi prompt konsep yang keras dan ‘terjebak’ menjadi rendering yang jauh lebih akurat – dengan hanya lapisan kondisional LoRA yang moderat, dan intervensi gambar awal/jangkar yang jauh ditingkatkan.

jurang sumber daya antara inferensi hobiis lokal dan solusi komersial mungkin tidak sebesar yang diasumsikan, mengingat hampir semua penyedia mencoba untuk rasionalisasi outlay sumber daya GPU yang cukup besar kepada konsumen.

Anekdot, sejumlah besar penyedia video generatif saat ini tampaknya menggunakan versi merek dan ‘ditingkatkan’ dari model FOSS Cina. ‘Parit’ utama yang tampaknya dimiliki sistem ‘perantara’ ini adalah bahwa mereka telah mengambil langkah untuk melatih LoRAs, atau – dengan biaya yang lebih besar, dan sedikit lebih besar – sebenarnya melakukan fine-tuning penuh bobot model^††.

Wawasan semacam ini dapat membantu menutup kesenjangan itu lebih lanjut, dalam konteks adegan rilis di mana orang Cina tampaknya bertekad (tidak selalu karena alasan altruistik atau idealistik) untuk mendemokratisasi AI gen, sedangkan kepentingan bisnis Barat mungkin lebih suka bahwa peningkatan ukuran model dan regulasi akhirnya mengkristalkan model yang benar-benar baik di balik API, dan beberapa lapisan filter konten.

* Penekanan penulis, bukan saya.

^† Makalah tersebut tidak menyebutkan GPU mana yang dipilih, atau berapa banyak yang digunakan.

^†† Meskipun rute LoRA lebih mungkin, keduanya karena kemudahan penggunaan yang ekonomis, dan karena bobot penuh, bukan bobot kuantisasi, tidak selalu tersedia.

Dipublikasikan pertama kali pada hari Jumat, 19 Desember 2025