Mengapa AI Video Terkadang Menjadi Kacau

Jika tahun 2022 adalah tahun di mana AI generatif menarik perhatian masyarakat yang lebih luas, 2025 adalah tahun di mana generasi baru kerangka video generatif yang berasal dari Cina tampaknya akan melakukan hal yang sama.

Tencent’s Hunyuan Video telah membuat dampak besar pada komunitas AI hobi dengan merilis sumber terbuka dari model difusi video full-world yang dapat disesuaikan dengan kebutuhan pengguna.

Di dekatnya adalah Alibaba’s Wan 2.1, salah satu solusi image-to-video FOSS paling kuat di periode ini – sekarang mendukung kustomisasi melalui Wan LoRAs.

Selain ketersediaan model dasar manusia terbaru, SkyReels, pada saat penulisan kita juga menantikan rilis suite pembuatan dan pengeditan video VACE yang komprehensif dari Alibaba:

Click to play. The pending release of Alibaba’s multi-function AI-editing suite VACE has excited the user community. Source: https://ali-vilab.github.io/VACE-Page/

Dampak Mendadak

Adegan penelitian AI video generatif itu sendiri tidak kalah eksplosif; ini masih pertengahan Maret, dan pengajuan hari Selasa ke bagian Visi Komputer Arxiv (pusat untuk kertas AI generatif) mencapai hampir 350 entri – sebuah angka yang lebih terkait dengan puncak musim konferensi.

Kedua tahun sejak peluncuran Stable Diffusion di musim panas 2022 (dan pengembangan Dreambooth dan metode kustomisasi LoRA) telah ditandai dengan kurangnya perkembangan besar lainnya, sampai beberapa minggu terakhir, di mana rilis dan inovasi baru berlangsung dengan kecepatan yang hampir mustahil untuk tetap mengikuti, apalagi meliput semuanya.

Model difusi video seperti Hunyuan dan Wan 2.1 telah menyelesaikan, akhirnya, dan setelah tahun-tahun upaya gagal dari ratusan inisiatif penelitian, masalah konsistensi temporal sehubungan dengan generasi manusia, dan sebagian besar juga lingkungan dan objek.

Tidak dapat disangkal bahwa studio VFX saat ini menerapkan staf dan sumber daya untuk menyesuaikan model video Cina baru untuk memecahkan tantangan langsung seperti face-swapping, meskipun kurangnya mekanisme pendukung ControlNet-style untuk sistem ini.

Harus menjadi suatu kelegaan bahwa satu hambatan signifikan seperti itu telah dilalui, meskipun tidak melalui jalur yang diperkirakan.

Dari masalah yang tersisa, ini tidak signifikan:

Click to play. Based on the prompt ‘A small rock tumbles down a steep, rocky hillside, displacing soil and small stones ‘, Wan 2.1, which achieved the very highest scores in the new paper, makes one simple error. Source: https://videophy2.github.io/

Mendaki Bukit ke Belakang

Semua sistem text-to-video dan image-to-video yang tersedia saat ini, termasuk model sumber tertutup komersial, memiliki kecenderungan untuk menghasilkan kesalahan fisik seperti yang di atas, di mana video menunjukkan batu bergulir ke atas bukit, berdasarkan prompt ‘A small rock tumbles down a steep, rocky hillside, displacing soil and small stones ‘.

Satu teori tentang mengapa ini terjadi, baru-baru ini diajukan dalam kolaborasi akademis antara Alibaba dan UAE, adalah bahwa model dilatih selalu pada gambar tunggal, dalam arti, bahkan ketika mereka sedang dilatih pada video (yang ditulis sebagai urutan bingkai tunggal untuk tujuan pelatihan); dan mereka mungkin tidak selalu mempelajari urutan waktu yang benar dari ‘sebelum’ dan ‘setelah’ gambar.

Namun, solusi paling mungkin adalah bahwa model yang bersangkutan telah menggunakan rutinitas augmentasi data yang melibatkan memaparkan klip pelatihan sumber ke model baik ke depan dan ke belakang, secara efektif menggandakan data pelatihan.

Sudah lama diketahui bahwa ini tidak boleh dilakukan secara sewenang-wenang, karena beberapa gerakan bekerja dalam reverse, tetapi banyak yang tidak. Sebuah studi 2019 dari Universitas Bristol di Inggris berusaha mengembangkan metode yang dapat membedakan klip video sumber yang setara, tidak berubah, dan tidak dapat dibalik yang co-exist dalam satu dataset, dengan gagasan bahwa klip sumber yang tidak sesuai mungkin dapat disaring dari rutinitas augmentasi data.

Contoh dari tiga jenis gerakan, hanya satu yang dapat dibalik secara bebas sambil mempertahankan dinamika fisik yang masuk akal. Source: https://arxiv.org/abs/1909.09422

Para penulis dari karya itu membingkai masalah dengan jelas:

‘Kami menemukan bahwa realisme dari video yang dibalik dikhianati oleh artefak pembalikan, aspek dari adegan yang tidak mungkin terjadi di dunia nyata. Beberapa artefak halus, sementara yang lain mudah ditemukan, seperti aksi lempar yang dibalik di mana objek yang dilempar secara spontan muncul dari lantai.

‘Kami mengamati dua jenis artefak pembalikan, fisik, yang menunjukkan pelanggaran hukum alam, dan tidak mungkin, yang menggambarkan skenario yang mungkin tetapi tidak mungkin. Ini tidak eksklusif, dan banyak aksi yang dibalik menderita kedua jenis artefak, seperti saat melipat selembar kertas.

‘Contoh artefak fisik termasuk: gravitasi terbalik (misalnya ‘menjatuhkan sesuatu’), impuls spontan pada objek (misalnya ‘memutar pensil’), dan perubahan keadaan yang tidak dapat dibalik (misalnya ‘membakar lilin’). Contoh artefak yang tidak mungkin: mengambil piring dari lemari, mengeringkannya, dan meletakkannya di rak pengering.

‘Jenis penggunaan data seperti ini sangat umum pada saat pelatihan, dan dapat bermanfaat – misalnya, untuk memastikan bahwa model tidak hanya belajar satu pandangan dari gambar atau objek yang dapat diputar atau diputar tanpa kehilangan kohesi dan logika sentralnya.

‘Ini hanya berfungsi untuk objek yang benar-benar simetris, tentu saja; dan mempelajari fisika dari video yang ‘dibalik’ hanya berfungsi jika versi yang dibalik memiliki makna yang sama dengan versi maju.’

Balik Sementara

Kami tidak memiliki bukti bahwa sistem seperti Hunyuan Video dan Wan 2.1 mengizinkan klip ‘dibalik’ yang sewenang-wenang untuk dipaparkan ke model selama pelatihan (tidak ada kelompok peneliti yang spesifik tentang rutinitas augmentasi data).

Namun, satu-satunya kemungkinan alternatif yang masuk akal, mengingat banyak laporan (dan pengalaman praktis saya sendiri), tampaknya adalah bahwa dataset hyperscale yang memungkinkan model ini mungkin berisi klip yang sebenarnya menampilkan gerakan yang terjadi dalam reverse.

Batu dalam video contoh yang disematkan di atas dihasilkan menggunakan Wan 2.1, dan ditampilkan dalam studi baru yang memeriksa bagaimana model difusi video menangani fisika.

Dalam tes untuk proyek ini, Wan 2.1 mencapai skor hanya 22% dalam hal kemampuan untuk secara konsisten mematuhi hukum fisik.

Namun, itu adalah skor terbaik dari sistem yang diuji untuk karya ini, menunjukkan bahwa kita mungkin telah menemukan hambatan berikutnya untuk AI video:

Skor yang diperoleh oleh sistem sumber terbuka dan tertutup terkemuka, dengan output kerangka yang dievaluasi oleh pengannotator manusia. Source: https://arxiv.org/pdf/2503.06800

Para penulis dari karya baru ini telah mengembangkan sistem benchmarking, sekarang dalam iterasi kedua, yang disebut VideoPhy, dengan kode yang tersedia di GitHub.

Meskipun cakupan karya ini melampaui apa yang dapat kita liput secara komprehensif di sini, mari kita lihat metodologi umum, dan potensinya untuk membangun metrik yang dapat membantu mengarahkan jalur sesi pelatihan model di masa depan menjauh dari contoh aneh dari pembalikan ini.

Studi, yang dilakukan oleh enam peneliti dari UCLA dan Google Research, disebut VideoPhy-2: A Challenging Action-Centric Physical Commonsense Evaluation in Video Generation. Situs proyek yang ramai juga tersedia, bersama dengan kode dan dataset di GitHub, dan dataset viewer di Hugging Face.

Click to play. Di sini, model OpenAI Sora yang terkenal gagal memahami interaksi antara dayung dan refleksi, dan tidak dapat menyediakan aliran fisik logis baik untuk orang di perahu maupun cara perahu berinteraksi dengannya.

Metode

Para penulis menjelaskan versi terbaru dari karya mereka, VideoPhy-2, sebagai ‘evaluasi kesadaran umum yang menantang untuk tindakan dunia nyata.’ Koleksi ini menampilkan 197 tindakan di seluruh berbagai aktivitas fisik yang beragam seperti hula-hooping, gimnastik, dan tenis, serta interaksi objek, seperti membengkokkan objek sampai patah.

Model bahasa besar (LLM) digunakan untuk menghasilkan 3840 prompt dari tindakan biji ini, dan prompt tersebut kemudian digunakan untuk mensintesis video melalui berbagai kerangka yang sedang diuji.

Di seluruh proses, para penulis telah mengembangkan daftar ‘kandidat’ aturan dan hukum fisik yang harus dipenuhi oleh video AI yang dihasilkan, menggunakan model visi-bahasa untuk evaluasi.

Para penulis menyatakan:

‘Misalnya, dalam video seseorang bermain tenis, aturan fisik akan menjadi bahwa bola tenis harus mengikuti trajektori parabolik di bawah gravitasi. Untuk penilaian emas, kami meminta pengannotator manusia untuk menilai setiap video berdasarkan kepatuhan semantik keseluruhan dan kesadaran umum fisik, dan untuk menandai kepatuhannya terhadap berbagai aturan fisik.’

Di atas: Prompt teks dihasilkan dari tindakan menggunakan LLM dan digunakan untuk membuat video dengan generator teks-ke-video. Model visi-bahasa memberi caption video, mengidentifikasi aturan fisik yang mungkin berlaku. Di bawah: Pengannotator manusia menilai realisme video, mengkonfirmasi pelanggaran aturan, menambahkan aturan yang hilang, dan memeriksa apakah video sesuai dengan prompt asli.

Awalnya para peneliti mengkurasi himpunan tindakan untuk mengevaluasi kesadaran umum fisik dalam video AI yang dihasilkan. Mereka memulai dengan lebih dari 600 tindakan yang bersumber dari dataset Kinetics, UCF-101, dan SSv2, fokus pada aktivitas yang melibatkan olahraga, interaksi objek, dan fisika dunia nyata.

Dua kelompok independen pengannotator mahasiswa STEM (dengan kualifikasi sarjana minimal yang diperoleh) meninjau dan menyaring daftar, memilih tindakan yang menguji prinsip seperti gravitasi, momentum, dan elastisitas, sambil menghapus tugas gerakan rendah seperti mengetik, membelai kucing, atau mengunyah.

Setelah penyempurnaan lebih lanjut dengan Gemini-2.0-Flash-Exp untuk menghilangkan duplikat, dataset akhir termasuk 197 tindakan, dengan 54 melibatkan interaksi objek dan 143 berpusat pada aktivitas fisik dan olahraga:

Contoh dari tindakan yang disuling.

Pada tahap kedua, para peneliti menggunakan Gemini-2.0-Flash-Exp untuk menghasilkan 20 prompt untuk setiap tindakan dalam dataset, menghasilkan total 3.940 prompt. Proses generasi berfokus pada interaksi fisik yang terlihat yang dapat dengan jelas direpresentasikan dalam video yang dihasilkan. Ini tidak termasuk elemen non-visual seperti emosi, detail sensorik, dan bahasa abstrak, tetapi mencakup karakter dan objek yang beragam.

Sebagai contoh, bukan prompt sederhana seperti ‘Seorang pemanah melepaskan panah’, model itu dipandu untuk menghasilkan versi yang lebih rinci seperti ‘Seorang pemanah menarik tali busur ke ketegangan penuh, lalu melepaskan panah, yang terbang lurus dan mengenai sasaran di target kertas’.

Karena model video modern dapat menafsirkan deskripsi yang lebih panjang, para peneliti lebih lanjut menyempurnakan caption menggunakan upsampler prompt Mistral-NeMo-12B-Instruct, untuk menambahkan detail visual tanpa mengubah makna asli.

Contoh prompt dari VideoPhy-2, dikategorikan oleh aktivitas fisik atau interaksi objek. Setiap prompt dipasangkan dengan tindakan yang sesuai dan prinsip fisik yang relevan yang diujikan.

Untuk tahap ketiga, aturan fisik tidak berasal dari prompt teks tetapi dari video yang dihasilkan, karena model generatif dapat berjuang untuk mematuhi prompt teks yang dikondisikan.

Video pertama kali dibuat menggunakan prompt VideoPhy-2, lalu ‘up-caption’ dengan Gemini-2.0-Flash-Exp untuk mengekstrak detail kunci. Model itu mengusulkan tiga aturan fisik yang diharapkan per video, yang kemudian ditinjau dan diperluas oleh pengannotator manusia dengan mengidentifikasi pelanggaran potensial tambahan.

Contoh dari caption yang diperbesar.

Berikutnya, untuk mengidentifikasi tindakan yang paling menantang, para peneliti menghasilkan video menggunakan CogVideoX-5B dengan prompt dari dataset VideoPhy-2. Mereka kemudian memilih 60 tindakan dari 197 di mana model secara konsisten gagal untuk mengikuti baik prompt dan kesadaran umum fisik dasar.

Tindakan ini melibatkan interaksi fisik yang kaya seperti transfer momentum dalam lemparan cakram, perubahan keadaan seperti membengkokkan objek sampai patah, tugas keseimbangan seperti berjalan di atas kawat, dan gerakan kompleks yang termasuk salto, lompat galah, dan melempar pizza, di antara lainnya. Secara total, 1.200 prompt dipilih untuk meningkatkan kesulitan sub-dataset.

Dataset yang dihasilkan terdiri dari 3.940 caption – 5,72 kali lebih banyak dari versi sebelumnya dari VideoPhy. Panjang rata-rata dari caption asli adalah 16 token, sedangkan caption yang diperbesar mencapai 138 token – 1,88 kali dan 16,2 kali lebih panjang, masing-masing.

Dataset ini juga menampilkan 102.000 anotasi manusia yang mencakup kepatuhan semantik, kesadaran umum fisik, dan pelanggaran aturan di seluruh model generasi video.

Evaluasi

Para peneliti kemudian mendefinisikan kriteria yang jelas untuk mengevaluasi video. Tujuan utama adalah untuk menilai seberapa baik setiap video cocok dengan prompt input dan mengikuti prinsip fisik dasar.

Sebagai gantinya untuk hanya meranking video berdasarkan preferensi, mereka menggunakan umpan balik berdasarkan peringkat untuk menangkap keberhasilan dan kegagalan spesifik. Pengannotator manusia menilai video pada skala lima poin, memungkinkan penilaian yang lebih rinci, sementara evaluasi juga memeriksa apakah video mengikuti berbagai aturan dan hukum fisik.

Untuk evaluasi manusia, sekelompok 12 pengannotator dipilih dari percobaan di Amazon Mechanical Turk (AMT), dan memberikan peringkat setelah menerima instruksi terperinci jarak jauh. Untuk keadilan, kepatuhan semantik dan kesadaran umum fisik dievaluasi secara terpisah (dalam studi VideoPhy asli, mereka dievaluasi bersama).

Pengannotator pertama kali menilai seberapa baik video cocok dengan prompt input, lalu secara terpisah menilai kemungkinan fisik, menilai pelanggaran aturan dan realisme keseluruhan pada skala lima poin. Hanya prompt asli yang ditampilkan, untuk mempertahankan perbandingan yang adil di seluruh model.

Antarmuka yang disajikan kepada pengannotator AMT.

Meskipun penilaian manusia masih menjadi standar emas, itu mahal dan memiliki sejumlah catatan. Oleh karena itu, evaluasi otomatis sangat penting untuk penilaian model yang lebih cepat dan lebih skalabel.

Para penulis kertas itu menguji beberapa model bahasa video, termasuk Gemini-2.0-Flash-Exp dan VideoScore, pada kemampuan mereka untuk menilai video untuk akurasi semantik dan ‘kesadaran umum fisik’.

Model itu menilai setiap video pada skala lima poin, sementara tugas klasifikasi terpisah menentukan apakah aturan fisik diikuti, dilanggar, atau tidak jelas.

Eksperimen menunjukkan bahwa model bahasa video yang ada berjuang untuk mencocokkan penilaian manusia, terutama karena alasan penalaran fisik yang lemah dan kompleksitas prompt. Untuk meningkatkan evaluasi otomatis, para peneliti mengembangkan VideoPhy-2-Autoeval, model 7B-parameter yang dirancang untuk memberikan prediksi yang lebih akurat di seluruh tiga kategori: kepatuhan semantik; kesadaran umum fisik; dan kepatuhan aturan, yang disempurnakan pada model VideoCon-Physics menggunakan 50.000 anotasi manusia*.

Data dan Tes

Dengan alat ini di tempat, para penulis menguji sejumlah sistem video generatif, baik melalui instalasi lokal dan, di mana perlu, melalui API komersial: CogVideoX-5B; VideoCrafter2; HunyuanVideo-13B; Cosmos-Diffusion; Wan2.1-14B; OpenAI Sora; dan Luma Ray.

Model itu dipicu dengan caption yang diperbesar di mana memungkinkan, kecuali bahwa Hunyuan Video dan VideoCrafter2 beroperasi di bawah batasan 77-token CLIP, dan tidak dapat menerima prompt di atas panjang tertentu.

Video yang dihasilkan dipertahankan kurang dari 6 detik, karena output yang lebih pendek lebih mudah dievaluasi.

Data penggerak berasal dari dataset VideoPhy-2, yang dibagi menjadi benchmark dan set pelatihan. 590 video dihasilkan per model, kecuali untuk Sora dan Ray2; karena faktor biaya (jumlah video yang setara lebih rendah dihasilkan untuk ini).

(Silakan merujuk ke kertas sumber untuk detail evaluasi lebih lanjut, yang dicatat secara rinci di sana)

Evaluasi awal menangani aktivitas fisik/olahraga (PA) dan interaksi objek (OI), dan menguji baik dataset umum dan subset ‘lebih sulit’ yang disebutkan sebelumnya:

Hasil dari putaran awal.

Di sini para penulis mengomentari:

‘Bahkan model dengan kinerja terbaik, Wan2.1-14B, hanya mencapai 32,6% dan 21,9% pada split penuh dan subset sulit dari dataset kami, masing-masing. Kinerja yang relatif kuat ini dapat dikaitkan dengan keragaman data pelatihan multimodal, serta penyaringan gerakan yang kuat yang mempertahankan video berkualitas tinggi di seluruh rentang tindakan yang luas.

‘Selanjutnya, kami mengamati bahwa model tertutup, seperti Ray2, berkinerja lebih buruk daripada model sumber terbuka seperti Wan2.1-14B dan CogVideoX-5B. Ini menunjukkan bahwa model tertutup tidak secara inheren unggul dalam menangkap kesadaran umum fisik.

‘Namun, Cosmos-Diffusion-7B mencapai skor terbaik kedua pada subset sulit, bahkan mengungguli model HunyuanVideo-13B yang jauh lebih besar. Ini mungkin karena representasi aksi manusia yang tinggi dalam data pelatihannya, bersama dengan simulasi yang di-render secara sintetis.’

Hasilnya menunjukkan bahwa model video berjuang lebih dengan aktivitas fisik seperti olahraga daripada dengan interaksi objek yang lebih sederhana. Ini menunjukkan bahwa meningkatkan video AI yang dihasilkan dalam area ini akan memerlukan dataset yang lebih baik – terutama footage berkualitas tinggi dari olahraga seperti tenis, lemparan cakram, bisbol, dan kriket.

Studi ini juga memeriksa apakah kemampuan model untuk mematuhi hukum fisik berkorelasi dengan metrik kualitas video lainnya, seperti estetika dan kelancaran gerakan. Temuan menunjukkan tidak ada korelasi kuat, yang berarti model tidak dapat meningkatkan kinerjanya pada VideoPhy-2 hanya dengan menghasilkan video yang menarik secara visual atau gerakan yang halus – itu memerlukan pemahaman yang lebih dalam tentang kesadaran umum fisik.

Meskipun kertas itu menyediakan contoh kualitatif yang melimpah, beberapa contoh statis yang disediakan dalam PDF tampaknya tidak terkait dengan contoh video yang luas yang disediakan oleh penulis di situs proyek. Oleh karena itu, kita akan melihat beberapa contoh statis kecil dan beberapa contoh video proyek yang sebenarnya.

Baris atas menunjukkan video yang dihasilkan oleh Wan2.1. (a) Di Ray2, jet-ski di sebelah kiri tertinggal sebelum bergerak mundur. (b) Di Hunyuan-13B, palu godam melengkung di tengah ayunan, dan papan kayu yang patah muncul secara tidak terduga. (c) Di Cosmos-7B, lembing mengeluarkan pasir sebelum mengenai tanah.

Mengenai tes kualitatif di atas, para penulis mengomentari:

‘[Kami] mengamati pelanggaran kesadaran umum fisik, seperti jet-ski yang bergerak tidak wajar dalam reverse dan deformasi palu godam yang solid, yang melanggar prinsip elastisitas. Namun, bahkan Wan menderita kekurangan kesadaran umum fisik, seperti yang ditunjukkan dalam [klip yang disematkan di awal artikel ini].

‘Dalam kasus ini, kami menyoroti bahwa batu mulai bergulir dan mempercepat ke atas, melanggar hukum gravitasi.’

Contoh lain dari situs proyek:

Click to play. Di sini, captionnya adalah ‘Seseorang menggulung handuk basah dengan kuat, air menyembur keluar dalam busur yang terlihat’ – tetapi sumber air yang dihasilkan jauh lebih seperti selang air daripada handuk.

Click to play. Di sini, captionnya adalah ‘Seorang kimiawan menuangkan cairan jernih dari gelas ukur ke tabung uji, menghindari tumpahan’, tetapi kita dapat melihat bahwa volume air yang ditambahkan ke gelas ukur tidak konsisten dengan jumlah yang keluar dari teko.

Sebagaimana saya sebutkan di awal, volume materi yang terkait dengan proyek ini jauh melampaui apa yang dapat diliput di sini. Oleh karena itu, silakan merujuk ke kertas sumber, situs proyek, dan situs terkait yang disebutkan sebelumnya, untuk garis besar prosedur penulis yang sangat rinci, dan contoh pengujian yang jauh lebih banyak dan rincian prosedural.

* Sehubungan dengan asal anotasi, kertas itu hanya menyebutkan ‘diperoleh untuk tugas ini’ – tampaknya banyak yang dihasilkan oleh 12 pekerja AMT.

Publikasi pertama kali pada hari Kamis, 13 Maret 2025