Membuat Konsistensi Naratif untuk Pembuatan Video Panjang

Baru-baru ini, rilis publik model AI generatif Hunyuan Video telah memperkuat diskusi tentang potensi model visi-bahasa multimodal besar untuk suatu hari nanti menciptakan film lengkap.

Namun, seperti yang kita amati, ini masih sangat jauh dari prospek saat ini, karena beberapa alasan. Salah satunya adalah jendela perhatian yang sangat singkat dari sebagian besar generator video AI, yang bergelut untuk mempertahankan konsistensi bahkan dalam satu shot singkat, apalagi dalam serangkaian shot.

Yang lainnya adalah referensi konsisten ke konten video (seperti lingkungan yang dapat dijelajahi, yang tidak boleh berubah secara acak jika Anda mengulangi langkah-langkah melalui mereka) hanya dapat dicapai dalam model difusi dengan teknik kustomisasi seperti adaptasi peringkat rendah (LoRA), yang membatasi kemampuan model dasar.

Oleh karena itu, evolusi video generatif tampaknya akan macet kecuali pendekatan baru untuk kesinambungan naratif dikembangkan.

Resep untuk Kontinuitas

Dengan ini, sebuah kolaborasi baru antara AS dan Cina telah mengusulkan penggunaan video memasak instruksional sebagai template kemungkinan untuk sistem kesinambungan naratif di masa depan.

Klik untuk memutar. Proyek VideoAuteur sistematisasi analisis bagian dari proses memasak, untuk menghasilkan dataset baru yang sangat dijelaskan dan metode orkestrasi untuk pembuatan video memasak. Referensi ke situs sumber untuk resolusi yang lebih baik.  Sumber: https://videoauteur.github.io/

Bertajuk VideoAuteur, karya ini mengusulkan pipeline dua tahap untuk menghasilkan video memasak instruksional menggunakan keadaan yang koheren menggabungkan keyframe dan caption, mencapai hasil terbaik di – meskipun dalam ruang yang kurang berlangganan.

Halaman proyek VideoAuteur juga mencakup beberapa video yang lebih menarik perhatian yang menggunakan teknik yang sama, seperti trailer yang diusulkan untuk Marvel/DC crossover yang tidak ada:

Klik untuk memutar. Dua superhero dari alam semesta alternatif bertemu dalam trailer palsu dari VideoAuteur. Referensi ke situs sumber untuk resolusi yang lebih baik.

Halaman tersebut juga menampilkan video promo yang serupa untuk serial hewan Netflix yang tidak ada dan iklan mobil Tesla (TSLA ).

Dalam mengembangkan VideoAuteur, penulis melakukan eksperimen dengan fungsi kerugian yang beragam, dan pendekatan baru. Untuk mengembangkan alur kerja pembuatan resep, mereka juga mengkurasi CookGen, dataset terbesar yang berfokus pada domain memasak, menampilkan 200.000 klip video dengan durasi rata-rata 9,5 detik.

Dengan rata-rata 768,3 kata per video, CookGen adalah dataset yang paling luas dijelaskan dari jenisnya. Berbagai model visi-bahasa digunakan, di antaranya, untuk memastikan bahwa deskripsi sangat detail, relevan, dan akurat.

Video memasak dipilih karena instruksi memasak memiliki narasi yang terstruktur dan tidak ambigu, membuat anotasi dan evaluasi menjadi tugas yang lebih mudah. Kecuali video pornografi (yang mungkin akan memasuki ruang ini lebih cepat daripada yang lain), sulit untuk memikirkan genre lain yang secara visual dan naratif “formulaik” seperti ini.

Penulis menyatakan:

‘Pendekatan pipeline auto-regresif dua tahap kami, yang mencakup direktur naratif panjang dan generasi video yang dikondisikan secara visual, menunjukkan perbaikan yang menjanjikan dalam konsistensi semantik dan keaslian visual dalam video naratif panjang yang dihasilkan.

‘Melalui eksperimen pada dataset kami, kami mengamati peningkatan dalam koherensi spasial dan temporal di seluruh urutan video. ‘

‘Kami berharap karya kami dapat memfasilitasi penelitian lebih lanjut dalam pembuatan video naratif panjang.’

Karya baru ini berjudul VideoAuteur: Menuju Pembuatan Video Naratif Panjang, dan berasal dari delapan penulis di Johns Hopkins University, ByteDance, dan ByteDance Seed.

Kurasi Dataset

Untuk mengembangkan CookGen, yang memungkinkan sistem generatif dua tahap untuk menghasilkan video memasak AI, penulis menggunakan bahan dari YouCook dan HowTo100M koleksi. Penulis membandingkan skala CookGen dengan dataset sebelumnya yang berfokus pada pengembangan naratif dalam video generatif, seperti Flintstones dataset, Pororo kartun dataset, StoryGen, Tencent’s StoryStream, dan VIST.

Perbandingan gambar dan panjang teks antara CookGen dan dataset serupa yang paling banyak. Sumber: https://arxiv.org/pdf/2501.06173

CookGen berfokus pada narasi dunia nyata, terutama aktivitas prosedural seperti memasak, menawarkan cerita yang lebih jelas dan lebih mudah dianotasi dibandingkan dengan dataset komik berbasis gambar. Ini melebihi dataset terbesar yang ada, StoryStream, dengan 150x lebih banyak frame dan 5x lebih padat teks.

Peneliti mengatur ulang model captioning menggunakan metodologi LLaVA-NeXT sebagai dasar. Label pseudo-ASR yang diperoleh untuk HowTo100M digunakan sebagai ‘tindakan’ untuk setiap video, dan kemudian diperbarui lebih lanjut oleh model bahasa besar (LLM).

Sebagai contoh, ChatGPT-4o digunakan untuk menghasilkan dataset caption, dan diminta untuk fokus pada interaksi subjek-objek (seperti tangan menangani alat dan makanan), atribut objek, dan dinamika temporal.

Karena skrip ASR kemungkinan mengandung ketidakakuratan dan umumnya ‘berisik’, Intersection-over-Union (IoU) digunakan sebagai metrik untuk mengukur seberapa dekat caption tersebut sesuai dengan bagian video yang mereka alamatkan. Penulis mencatat bahwa ini sangat penting untuk pembuatan konsistensi naratif.

Clip yang dikurasi dievaluasi menggunakan Fréchet Video Distance (FVD), yang mengukur disparitas antara contoh dunia nyata dan contoh yang dihasilkan, baik dengan dan tanpa keyframe yang sebenarnya, mencapai hasil yang performatif:

Menggunakan FVD untuk mengevaluasi jarak antara video yang dihasilkan dengan caption baru, baik dengan dan tanpa menggunakan keyframe yang diambil dari sampel video.

Tambahan, clip tersebut dinilai baik oleh GPT-4o, dan enam annotator manusia, mengikuti LLaVA-Hound definisi ‘halusinasi’ (yaitu, kemampuan model untuk menciptakan konten palsu).

Peneliti membandingkan kualitas caption dengan Qwen2-VL-72B koleksi, mendapatkan skor yang sedikit lebih baik.

Perbandingan skor FVD dan evaluasi manusia antara Qwen2-VL-72B dan koleksi penulis.

Metode

Fase generatif VideoAuteur dibagi antara Direktur Naratif Panjang (LND) dan model generasi video yang dikondisikan secara visual (VCVGM).

LND menghasilkan urutan embedding visual atau keyframe yang menggambarkan aliran naratif, mirip dengan ‘highlight esensial’. VCVGM menghasilkan klip video berdasarkan pilihan tersebut.

Skema untuk pipeline pemrosesan VideoAuteur. Direktur Naratif Panjang membuat pilihan yang tepat untuk memberi makan ke modul generatif yang ditenagai Seed-X.

Penulis secara luas membahas kelebihan dan kekurangan direktur gambar-teks yang diselingi dan direktur keyframe yang berbasis bahasa, dan menyimpulkan bahwa yang pertama adalah pendekatan yang lebih efektif.

Direktur gambar-teks yang diselingi menghasilkan urutan dengan menyelingi token teks dan embedding visual, menggunakan model auto-regresif untuk memprediksi token berikutnya, berdasarkan konteks gabungan teks dan gambar. Ini memastikan keselarasan yang ketat antara visual dan teks.

Sebaliknya, direktur keyframe yang berbasis bahasa mensintesis keyframe menggunakan model difusi yang dikondisikan oleh teks, tanpa menggabungkan embedding visual ke dalam proses generasi.

Peneliti menemukan bahwa meskipun metode berbasis bahasa menghasilkan keyframe yang secara visual menarik, namun kurang konsisten di seluruh frame, dengan argumen bahwa metode yang diselingi mencapai skor yang lebih tinggi dalam realisme dan konsistensi visual. Mereka juga menemukan bahwa metode ini lebih baik dalam mempelajari gaya visual yang realistis melalui pelatihan, meskipun kadang-kadang dengan beberapa elemen berulang atau berisik.

Tidak biasa, dalam penelitian yang didominasi oleh penggunaan Stable Diffusion dan Flux dalam alur kerja, penulis menggunakan model LLM multi-modal 7B-parameter Tencent SEED-X untuk pipeline generatif mereka (meskipun model ini menggunakan SDXL dari Stability.ai untuk bagian terbatas dari arsitektur).

Penulis menyatakan:

‘Tidak seperti pipeline klasik Image-to-Video (I2V) yang menggunakan gambar sebagai frame awal, pendekatan kami menggunakan [regresi visual laten] sebagai kondisi kontinu sepanjang [urutan].

‘Selain itu, kami meningkatkan ketahanan dan kualitas video yang dihasilkan dengan mengadaptasi model untuk menangani embedding visual yang berisik, karena regresi visual laten mungkin tidak sempurna karena kesalahan regresi.’

Meskipun pipeline generatif visual yang dikondisikan secara visual biasanya menggunakan keyframe awal sebagai titik awal untuk bimbingan model, VideoAuteur memperluas paradigma ini dengan menghasilkan keadaan visual multi-bagian dalam ruang laten yang kohatif, menghindari bias potensial dari pembuatan generasi lebih lanjut hanya berdasarkan ‘frame awal’.

Skema untuk penggunaan embedding keadaan visual sebagai metode kondisi yang lebih unggul.

Pengujian

Sesuai dengan metode SeedStory, peneliti menggunakan SEED-X untuk menerapkan pengaturan ulang LoRA pada dataset naratif mereka, menggambarkannya sebagai ‘model Sora-like’, yang telah dilatih sebelumnya pada pasangan video/teks skala besar, dan dapat menerima prompt visual dan teks serta kondisi.

32.000 video naratif digunakan untuk pengembangan model, dengan 1.000 diadakan sebagai sampel validasi. Video tersebut dipotong menjadi 448 piksel di sisi pendek dan kemudian dipotong menjadi 448x448px.

Untuk pelatihan, generasi naratif dievaluasi terutama pada set validasi YouCook2. Set Howto100M digunakan untuk evaluasi kualitas data dan juga untuk generasi video dari gambar.

Untuk kerugian kondisi visual, penulis menggunakan kerugian difusi dari DiT dan karya 2024 yang berdasarkan pada Stable Diffusion.

Untuk membuktikan bahwa pendekatan yang diselingi adalah pendekatan yang lebih unggul, penulis membandingkan VideoAuteur dengan beberapa metode yang hanya bergantung pada input teks: EMU-2, SEED-X, SDXL, dan FLUX.1-schnell (FLUX.1-s).

Diberikan prompt global, ‘Panduan langkah demi langkah untuk memasak tofu mapo’, direktur yang diselingi menghasilkan tindakan, caption, dan embedding gambar secara berurutan untuk menceritakan proses. Dua baris pertama menunjukkan keyframe yang diurai dari ruang laten EMU-2 dan SEED-X. Gambar-gambar ini realistis dan konsisten tetapi kurang halus daripada yang dihasilkan oleh model canggih seperti SDXL dan FLUX.

Penulis menyatakan:

‘Pendekatan berbasis bahasa menggunakan model teks-ke-gambar menghasilkan keyframe yang secara visual menarik tetapi menderita kekurangan konsistensi di seluruh frame karena informasi mutual yang terbatas. Sebaliknya, metode generasi yang diselingi memanfaatkan laten visual yang selaras dengan bahasa, mencapai gaya visual yang realistis melalui pelatihan.

‘Namun, kadang-kadang menghasilkan gambar dengan elemen berulang atau berisik, karena model auto-regresif bergelut untuk menciptakan embedding yang akurat dalam satu langkah.’

Evaluasi manusia lebih lanjut mengkonfirmasi klaim penulis tentang kinerja yang ditingkatkan dari pendekatan yang diselingi, dengan metode yang diselingi mencapai skor tertinggi dalam survei.

Perbandingan pendekatan dari studi manusia yang dilakukan untuk karya ini.

Namun, kita mencatat bahwa pendekatan berbasis bahasa mencapai skor estetika terbaik. Penulis berpendapat, bagaimanapun, bahwa ini bukanlah masalah utama dalam pembuatan video naratif panjang.

Klik untuk memutar. Segmen yang dihasilkan untuk video pembuatan pizza, oleh VideoAuteur.

Kesimpulan

Strand penelitian paling populer terkait tantangan ini, yaitu konsistensi naratif dalam pembuatan video panjang, terkait dengan gambar tunggal. Proyek ini termasuk DreamStory, StoryDiffusion, TheaterGen, dan NVIDIA’s ConsiStory.

Dalam arti tertentu, VideoAuteur juga jatuh ke dalam kategori ‘statis’ ini, karena menggunakan gambar benih dari mana klip dihasilkan. Namun, penyelingan video dan konten semantik membawa proses ini lebih dekat ke pipa yang praktis.

Dipublikasikan pertama kali pada hari Kamis, 16 Januari 2025