Generasi AI Video yang Lebih Baik dengan Mengacak Frame Selama Pelatihan

Makalah baru yang diterbitkan minggu ini di Arxiv membahas masalah yang telah ditemui oleh siapa saja yang telah mengadopsi Hunyuan Video atau Wan 2.1 AI video generator: aberrasi temporal, di mana proses generatif cenderung mempercepat, menggabungkan, menghilangkan, atau merusak momen-momen penting dalam video yang dihasilkan:

Klik untuk memutar. Beberapa contoh glitch temporal yang menjadi familiar bagi pengguna sistem video generatif baru, ditunjukkan dalam makalah baru. Di sebelah kanan, efek memperbaiki dari pendekatan FluxFlow baru. Sumber: https://haroldchen19.github.io/FluxFlow/

Video di atas menampilkan cuplikan dari video tes contoh di situs proyek makalah. Kami dapat melihat beberapa masalah yang semakin familiar yang diperbaiki oleh metode penulis (ditunjukkan di sebelah kanan dalam video), yang secara efektif merupakan teknik pra-pengolahan dataset yang dapat diterapkan pada arsitektur video generatif apa pun.

Di contoh pertama, menampilkan ‘dua anak bermain dengan bola’, yang dihasilkan oleh CogVideoX, kita dapat melihat (di sebelah kiri dalam video kompilasi di atas dan dalam contoh khusus di bawah) bahwa generasi asli dengan cepat melompati beberapa gerakan mikro yang penting, mempercepat aktivitas anak-anak hingga ‘pitch’ kartun. Sebaliknya, dataset dan metode yang sama menghasilkan hasil yang lebih baik dengan teknik pra-pengolahan baru, yang disebut FluxFlow (di sebelah kanan dalam video di bawah):

Klik untuk memutar.

Di contoh kedua (menggunakan NOVA-0.6B) kita dapat melihat bahwa gerakan pusat yang melibatkan kucing telah dikorup atau diambil sampel secara signifikan pada tahap pelatihan, sehingga sistem generatif menjadi ‘terjebak’ dan tidak dapat membuat subjek bergerak:

Klik untuk memutar.

Sindrom ini, di mana gerakan atau subjek ‘terjebak’, adalah salah satu masalah paling umum yang dilaporkan oleh HV dan Wan, di berbagai grup sintesis gambar dan video.

Beberapa masalah ini terkait dengan masalah penjelasan video dalam dataset sumber, yang kita teliti minggu ini; namun, penulis makalah baru ini berfokus pada kualitas temporal dari data pelatihan, dan membuat argumen yang meyakinkan bahwa mengatasi tantangan dari perspektif ini dapat menghasilkan hasil yang berguna.

Seperti yang disebutkan dalam artikel sebelumnya tentang penjelasan video, beberapa olahraga tertentu sangat sulit untuk dipecah menjadi momen-momen kunci, sehingga peristiwa kritis (seperti slam-dunk) tidak mendapatkan perhatian yang mereka butuhkan pada saat pelatihan:

Klik untuk memutar.

Di contoh di atas, sistem generatif tidak tahu bagaimana untuk melanjutkan ke tahap gerakan berikutnya, dan berpindah secara tidak logis dari satu pose ke pose lain, mengubah sikap dan geometri pemain dalam prosesnya.

Masalah-masalah ini adalah gerakan besar yang hilang dalam pelatihan – tetapi sama-sama rentan adalah gerakan-gerakan kecil yang penting, seperti kupu-kupu yang berkibar:

Klik untuk memutar.

Tidak seperti slam-dunk, kupu-kupu yang berkibar bukanlah peristiwa ‘jarang’ tetapi peristiwa yang berkelanjutan dan monoton. Namun, konsistensinya hilang dalam proses sampling, karena gerakan tersebut sangat cepat sehingga sangat sulit untuk menetapkan secara temporal.

Masalah-masalah ini tidak benar-benar baru, tetapi mereka mendapatkan perhatian yang lebih besar sekarang bahwa model video generatif yang kuat tersedia untuk penggemar untuk dipasang secara lokal dan dihasilkan secara gratis.

Komunitas di Reddit dan Discord awalnya menganggap masalah-masalah ini sebagai ‘masalah pengguna’. Ini adalah asumsi yang dapat dimengerti, karena sistem yang dipertanyakan sangat baru dan minimally didokumentasikan. Oleh karena itu, beberapa ahli telah menyarankan berbagai solusi untuk beberapa glitch yang didokumentasikan di sini, seperti mengubah pengaturan dalam berbagai komponen dari berbagai jenis ComfyUI workflows untuk Hunyuan Video (HV) dan Wan 2.1.

Di beberapa kasus, bukan memproduksi gerakan yang cepat, baik HV dan Wan akan memproduksi gerakan lambat. Saran dari Reddit dan ChatGPT (yang sebagian besar menggunakan Reddit) termasuk mengubah jumlah frame dalam permintaan generasi, atau menurunkan frame rate secara radikal*.

Ini semua adalah tindakan yang putus asa; kebenaran yang muncul adalah bahwa kita belum tahu penyebab pasti atau solusi pasti untuk masalah-masalah ini; jelas, mengganggu pengaturan generasi untuk bekerja di sekitar mereka (terutama ketika ini merusak kualitas output, misalnya dengan frame rate yang terlalu rendah) hanya solusi sementara, dan itu bagus untuk melihat bahwa adegan penelitian sedang menangani masalah-masalah yang muncul ini dengan cepat.

Jadi, selain melihat bagaimana penjelasan video mempengaruhi pelatihan, mari kita lihat makalah baru tentang regulasi temporal, dan apa perbaikan yang mungkin ditawarkan untuk adegan video generatif saat ini.

Gagasan utama di sini cukup sederhana dan ringan, dan tidak buruk karena itu; namun, makalah ini sedikit dipadatkan untuk mencapai delapan halaman yang ditentukan, dan kita akan melewati padding ini jika perlu.

Ikan dalam generasi asli dari kerangka VideoCrafter adalah statis, sedangkan versi FluxFlow-altered menangkap perubahan yang diperlukan. Sumber: https://arxiv.org/pdf/2503.15417

Makalah baru ini berjudul Regulasi Temporal Membuat Generator Video Anda Lebih Kuat, dan berasal dari delapan peneliti dari Everlyn AI, Hong Kong University of Science and Technology (HKUST), University of Central Florida (UCF), dan The University of Hong Kong (HKU).

(pada saat penulisan, ada beberapa masalah dengan situs proyek makalah yang menyertainya)

FluxFlow

Gagasan utama di balik FluxFlow, skema pra-pelatihan baru penulis, adalah untuk mengatasi masalah flickering dan inkonsistensi temporal yang luas dengan mengacak blok dan kelompok blok dalam urutan frame temporal saat data sumber dipaparkan ke proses pelatihan:

Gagasan utama di balik FluxFlow adalah untuk memindahkan blok dan kelompok blok ke posisi yang tidak terduga dan non-temporal, sebagai bentuk augmentasi data.

Makalah ini menjelaskan:

‘[Artifak] berasal dari keterbatasan dasar: meskipun menggunakan dataset skala besar, model saat ini sering bergantung pada pola temporal yang disederhanakan dalam data pelatihan (misalnya, arah berjalan yang tetap atau transisi frame yang berulang) daripada mempelajari dinamika temporal yang beragam dan masuk akal.

‘Masalah ini diperburuk oleh kurangnya augmentasi temporal eksplisit selama pelatihan, meninggalkan model rentan terhadap korelasi temporal yang tidak perlu (misalnya, “frame #5 harus mengikuti #4”) daripada menggeneralisasi di seluruh skenario gerakan yang beragam.’

Sebagian besar model video generatif, penulis menjelaskan, masih mengandalkan terlalu banyak gambar sintesis, fokus pada kesetiaan spasial sementara mengabaikan sumbu temporal. Meskipun teknik seperti cropping, flipping, dan color jittering telah membantu meningkatkan kualitas gambar statis, mereka tidak cukup sebagai solusi ketika diterapkan pada video, di mana ilusi gerakan bergantung pada transisi yang konsisten di seluruh frame.

Masalah-masalah yang dihasilkan termasuk tekstur yang berkedip, potongan antara frame yang mengganggu, dan pola gerakan yang berulang atau terlalu sederhana.

Klik untuk memutar.

Makalah ini berpendapat bahwa meskipun beberapa model – termasuk Stable Video Diffusion dan LlamaGen – mengkompensasi dengan arsitektur yang semakin kompleks atau konstrain yang direkayasa, ini datang dengan biaya dalam hal komputasi dan fleksibilitas.

Karena augmentasi data temporal telah terbukti berguna dalam tugas pemahaman video (dalam kerangka seperti FineCliper, SeFAR dan SVFormer) itu mengejutkan, penulis menyatakan, bahwa taktik ini jarang diterapkan dalam konteks generatif.

Perilaku Mengganggu

Peneliti tersebut berpendapat bahwa gangguan sederhana dan terstruktur dalam urutan temporal selama pelatihan membantu model menggeneralisasi lebih baik ke gerakan yang realistis dan beragam:

‘Dengan melatih pada urutan yang tidak teratur, generator belajar untuk memulihkan trajektori yang masuk akal, secara efektif mengatur entropi temporal. FLUXFLOW membangun jembatan antara augmentasi temporal diskriminatif dan generatif, menawarkan solusi perbaikan plug-and-play untuk generasi video yang masuk akal secara temporal sementara meningkatkan kualitas secara keseluruhan.

‘Tidak seperti metode yang ada yang memperkenalkan perubahan arsitektur atau mengandalkan post-processing, FLUXFLOW beroperasi langsung pada tingkat data, memperkenalkan gangguan temporal yang terkendali selama pelatihan.’

Klik untuk memutar.

Gangguan pada tingkat frame, penulis menyatakan, memperkenalkan gangguan yang halus dalam sebuah urutan. Jenis gangguan ini tidak jauh berbeda dengan masking augmentation, di mana bagian-bagian data diblokir secara acak, untuk mencegah sistem overfitting pada titik data, dan mendorong generalisasi yang lebih baik.

Uji

Meskipun gagasan utama di sini tidak memerlukan makalah penuh, karena kesederhanaannya, namun ada bagian uji yang dapat kita lihat.

Penulis menguji empat kueri yang terkait dengan kualitas temporal yang ditingkatkan sambil mempertahankan kesetiaan spasial; kemampuan untuk mempelajari dinamika gerakan/optik; mempertahankan kualitas temporal dalam generasi ekstra; dan sensitivitas terhadap parameter hyper yang penting.

Peneliti menerapkan FluxFlow pada tiga arsitektur generatif: U-Net-based, dalam bentuk VideoCrafter2; DiT-based, dalam bentuk CogVideoX-2B; dan AR-based, dalam bentuk NOVA-0.6B.

Untuk perbandingan yang adil, mereka melakukan fine-tuning pada model dasar arsitektur dengan FluxFlow sebagai fase pelatihan tambahan, untuk satu epoch, pada dataset OpenVidHD-0.4M.

Model tersebut dievaluasi terhadap dua benchmark populer: UCF-101; dan VBench.

Untuk UCF, Fréchet Video Distance (FVD) dan Inception Score (IS) digunakan. Untuk VBench, peneliti fokus pada kualitas temporal, kualitas frame, dan kualitas secara keseluruhan.

Evaluasi Kuantitatif Awal FluxFlow-Frame. “+ Original” menunjukkan pelatihan tanpa FLUXFLOW, sedangkan “+ Num × 1” menunjukkan konfigurasi FluxFlow-Frame yang berbeda. Hasil terbaik diberi bayangan; yang kedua terbaik diberi garis bawah untuk setiap model.

Komentar tentang hasil ini, penulis menyatakan:

‘Baik FLUXFLOW-FRAME dan FLUXFLOW-BLOCK secara signifikan meningkatkan kualitas temporal, seperti yang dibuktikan oleh metrik dalam Tabel 1, 2 (yaitu FVD, Subjek, Flicker, Gerakan, dan Dinamika) dan hasil kualitatif dalam [gambar di bawah].

‘Misalnya, gerakan mobil yang mengemudi di VC2, kucing yang mengejar ekornya di NOVA, dan peselancar yang mengendarai ombak di CVX menjadi jauh lebih fluid dengan FLUXFLOW. Yang penting, perbaikan temporal ini dicapai tanpa mengorbankan kesetiaan spasial, seperti yang dibuktikan oleh detail yang tajam dari semburan air, jejak asap, dan tekstur ombak, serta metrik kesetiaan spasial dan secara keseluruhan.’

Di bawah ini kita dapat melihat seleksi dari hasil kualitatif yang penulis sebutkan (silakan lihat makalah asli untuk hasil lengkap dan resolusi yang lebih baik):

Seleksi dari hasil kualitatif.

Makalah ini menyatakan bahwa meskipun baik gangguan pada tingkat frame dan blok meningkatkan kualitas temporal, metode pada tingkat frame cenderung berperforma lebih baik. Ini dikarenakan granularity yang lebih halus, yang memungkinkan penyesuaian temporal yang lebih presisi. Gangguan pada tingkat blok, di sisi lain, mungkin memperkenalkan noise karena pola spasial dan temporal yang erat dalam blok, mengurangi efektivitasnya.

Kesimpulan

Makalah ini, bersama dengan kolaborasi penjelasan video Bytedance-Tsinghua yang dirilis minggu ini, telah membuat jelas bagi saya bahwa kekurangan yang tampak dalam generasi model video generatif baru mungkin tidak disebabkan oleh kesalahan pengguna, langkah institusional, atau keterbatasan pendanaan, tetapi lebih karena fokus penelitian yang telah memprioritaskan tantangan yang lebih mendesak, seperti kohesi temporal dan konsistensi, daripada masalah-masalah ini.

Sampai baru-baru ini, hasil dari sistem video generatif yang dapat diunduh dan dipasang secara gratis sangat terganggu sehingga tidak ada upaya besar yang muncul dari komunitas penggemar untuk memperbaiki masalah-masalah ini (tidak hanya karena masalah-masalah ini fundamental dan tidak dapat dipecahkan dengan mudah).

Sekarang kita semakin dekat dengan era yang telah diprediksi sebelumnya dari video fotorealistik yang dihasilkan secara murni oleh AI, jelas bahwa baik komunitas penelitian maupun komunitas kasual telah mengambil minat yang lebih dalam dan lebih produktif dalam memecahkan masalah-masalah yang tersisa; dengan sedikit keberuntungan, masalah-masalah ini tidak mustahil untuk diatasi.

* Wan’s native frame rate adalah 16fps, dan sebagai respons atas masalah saya sendiri, saya mencatat bahwa forum telah menyarankan untuk menurunkan frame rate hingga 12fps, dan kemudian menggunakan FlowFrames atau sistem re-flowing AI lainnya untuk menginterpolasi celah antara frame yang sangat sedikit.

Makalah ini pertama kali diterbitkan pada hari Jumat, 21 Maret 2025