Membangun ‘Ruangan di Antara’ dalam Video Generatif

Penelitian baru dari Tiongkok menawarkan metode yang ditingkatkan untuk mengisi celah antara dua bingkai video yang berjarak secara temporal – salah satu tantangan paling krusial dalam perlombaan menuju realisme untuk video AI generatif, serta untuk kompresi codec video.

Dalam contoh video di bawah, kita melihat di kolom kiri sebuah ‘awal’ (atas kiri) dan ‘akhir’ (bawah kiri) bingkai. Tugas yang harus dilakukan oleh sistem yang bersaing adalah menebak bagaimana subjek dalam dua gambar tersebut akan bergerak dari bingkai A ke bingkai B. Dalam animasi, proses ini disebut tweening, dan berasal dari era film bisu.

Klik untuk memutar. Di kolom pertama, kita melihat bingkai awal dan akhir yang diusulkan. Di kolom kedua, dan di bagian atas kolom ketiga (kanan), kita melihat tiga pendekatan sebelumnya untuk tantangan ini. Bagian bawah kanan, kita melihat bahwa metode baru ini mendapatkan hasil yang lebih meyakinkan dalam menyediakan bingkai antara. Sumber: https://fcvg-inbetween.github.io/

Metode baru yang diusulkan oleh peneliti Tiongkok disebut Frame-wise Conditions-driven Video Generation (FCVG), dan hasilnya dapat dilihat di bagian bawah kanan video di atas, menyediakan transisi yang halus dan logis dari satu bingkai diam ke bingkai lainnya.

Sebaliknya, kita dapat melihat bahwa salah satu kerangka kerja yang paling dirayakan untuk interpolasi video, proyek Frame Interpolation for Large Motion (FILM) dari Google, berjuang, seperti banyak keluaran serupa lainnya, dengan menafsirkan gerakan besar dan berani.

Dua kerangka kerja lain yang ditampilkan dalam video, Time Reversal Fusion (TRF) dan Generative Inbetweening (GI), menyediakan interpretasi yang kurang condong, tetapi telah menciptakan gerakan tarian yang frenetik dan bahkan komik, tidak ada yang menghormati logika implisit dari dua bingkai yang disediakan.

Klik untuk memutar. Dua solusi yang tidak sempurna untuk masalah tweening. Kiri, FILM memperlakukan dua bingkai sebagai target morf sederhana. Kanan, TRF tahu bahwa beberapa bentuk tarian perlu dimasukkan, tetapi menghasilkan solusi yang tidak praktis yang menunjukkan anomali anatomi.

Di atas kiri, kita dapat melihat lebih dekat bagaimana FILM mendekati masalah ini. Meskipun FILM dirancang untuk dapat menangani gerakan besar, berbeda dengan pendekatan sebelumnya yang berbasis aliran optik, FILM masih kekurangan pemahaman semantik tentang apa yang seharusnya terjadi di antara dua bingkai kunci, dan hanya melakukan morf sederhana antara bingkai. FILM tidak memiliki arsitektur semantik, seperti Latent Diffusion Model seperti Stable Diffusion, untuk membantu menciptakan jembatan yang tepat di antara bingkai.

FCVG, yang terlihat di bawah, melakukan pekerjaan yang lebih kredibel dalam menebak gerakan dan konten di antara dua bingkai:

Klik untuk memutar. FCVG memperbaiki pendekatan sebelumnya, tetapi masih jauh dari sempurna.

Masih ada artefak, seperti morfing tangan dan identitas wajah yang tidak diinginkan, tetapi versi ini secara superficial paling masuk akal – dan setiap perbaikan pada keadaan seni perlu dipertimbangkan terhadap kesulitan besar yang ditawarkan tugas ini; dan hambatan besar yang tantangan ini hadapi untuk masa depan video AI yang dihasilkan.

Mengapa Interpolasi Penting

Kita telah menunjukkan sebelumnya bahwa kemampuan untuk mengisi konten video secara meyakinkan di antara dua bingkai yang disediakan oleh pengguna adalah salah satu cara terbaik untuk mempertahankan konsistensi temporal dalam video AI generatif, karena dua foto nyata dan berurutan dari orang yang sama secara alami akan mengandung elemen-elemen yang konsisten seperti pakaian, rambut, dan lingkungan.

Ketika hanya satu bingkai awal digunakan, jendela perhatian terbatas dari sistem generatif, yang sering hanya mempertimbangkan bingkai yang berdekatan, akan cenderung secara bertahap ‘mengembangkan’ aspek-aspek subjek, sampai (misalnya) seorang pria menjadi pria lain (atau seorang wanita), atau terbukti memiliki ‘morfing’ pakaian – di antara banyak gangguan lain yang umum dihasilkan dalam sistem T2V sumber terbuka, dan dalam sebagian besar solusi berbayar, seperti Kling:

Klik untuk memutar. Memasukkan dua bingkai sumber nyata ke dalam Kling, dengan prompt ‘Seorang pria menari di atas atap’, tidak menghasilkan solusi yang ideal. Meskipun Kling 1.6 tersedia pada saat pembuatan, V1.5 adalah yang terbaru untuk mendukung bingkai awal dan akhir yang diinput oleh pengguna. Source: https://klingai.com/

Apakah Masalahnya Sudah Terpecahkan?

Sebaliknya, beberapa sistem komersial, tertutup, dan milik perorangan tampaknya melakukan lebih baik dengan masalah ini – terutama RunwayML, yang dapat menciptakan inbetweening yang sangat meyakinkan dari dua bingkai sumber:

Klik untuk memutar. Interpolasi berbasis difusi RunwayML sangat efektif. Source: https://app.runwayml.com/

Mengulangi latihan, RunwayML menghasilkan hasil yang sama-sama kredibel:

Klik untuk memutar. Hasil kedua dari urutan RunwayML.

Satu masalah di sini adalah bahwa kita tidak dapat mempelajari apa pun tentang tantangan yang terlibat, atau memajukan keadaan seni sumber terbuka, dari sistem milik perorangan. Kita tidak dapat mengetahui apakah rendering yang unggul ini telah dicapai oleh pendekatan arsitektur unik, oleh data (atau metode kurasi data seperti filtering dan anotasi), atau kombinasi dari ini dan inovasi penelitian lainnya.

Kedua, perusahaan yang lebih kecil, seperti perusahaan efek visual, tidak dapat dalam jangka panjang bergantung pada layanan API yang didorong oleh B2B yang dapat merusak perencanaan logistik mereka dengan kenaikan harga tunggal – terutama jika satu layanan harus mendominasi pasar, dan oleh karena itu lebih cenderung meningkatkan harga.

Ketika Hak-hak Salah

Jauh lebih penting, jika model komersial yang berperforma baik dilatih pada data yang tidak dilisensikan, seperti yang tampaknya dilakukan oleh RunwayML, maka perusahaan yang menggunakan layanan tersebut dapat menghadapi risiko hukum yang tidak diinginkan.

Karena hukum (dan beberapa gugatan) bertahan lebih lama dari presiden, dan karena pasar AS yang sangat penting adalah di antara yang paling banyak menuntut di dunia, tren saat ini menuju pengawasan legislatif yang lebih besar untuk data pelatihan AI tampaknya akan bertahan sentuhan ringan dari masa kepresidenan Donald Trump berikutnya.

Oleh karena itu, sektor penelitian visi komputer akan harus menangani masalah ini dengan cara yang sulit, agar solusi yang muncul dapat bertahan dalam jangka panjang.

FCVG

Metode baru dari Tiongkok disajikan dalam makalah yang berjudul Generative Inbetweening melalui Frame-wise Conditions-Driven Video Generation, dan berasal dari lima peneliti dari Institut Teknologi Harbin dan Universitas Tianjin.

FCVG memecahkan masalah ketidakjelasan dalam tugas interpolasi dengan menggunakan frame-wise conditions, bersama dengan kerangka kerja yang menggarisbawahi tepi dalam bingkai awal dan akhir yang disediakan oleh pengguna, yang membantu proses untuk mempertahankan jejak yang lebih konsisten dari transisi antara bingkai individual, serta efek keseluruhan.

Kondisi frame-wise melibatkan memecah pembuatan bingkai antara menjadi subtugas, bukan mencoba mengisi vakum semantik yang sangat besar di antara dua bingkai (dan semakin lama output video yang diminta, semakin besar jarak semantik itu).

Dalam gambar di bawah, dari makalah, penulis membandingkan metode time-reversal (TRF) yang disebutkan sebelumnya dengan milik mereka. TRF menciptakan dua jalur generasi video menggunakan model image-to-video yang telah dilatih sebelumnya (SVD). Satu adalah jalur ‘maju’ yang dikondisikan pada bingkai awal, dan yang lainnya adalah jalur ‘mundur’ yang dikondisikan pada bingkai akhir. Kedua jalur dimulai dari noise acak yang sama. Ini diilustrasikan di sebelah kiri gambar di bawah:

Perbandingan pendekatan sebelumnya dengan FCVG. Source: https://arxiv.org/pdf/2412.11755

Penulis menyatakan bahwa FCVG adalah perbaikan atas metode time-reversal karena mengurangi ketidakjelasan dalam generasi video, dengan memberikan kondisi eksplisit untuk setiap bingkai, menghasilkan output yang lebih stabil dan konsisten.

Metode time-reversal seperti TRF, makalah tersebut menyatakan, dapat menyebabkan ketidakjelasan, karena jalur generasi maju dan mundur dapat menyimpang, menyebabkan ketidaksesuaian atau inkonsistensi. FCVG mengatasi ini dengan menggunakan kondisi frame-wise yang berasal dari garis yang sesuai antara bingkai awal dan akhir (bagian kanan bawah pada gambar di atas), yang membimbing proses generasi.

Klik to play. Perbandingan lain dari halaman proyek FCVG.

Time reversal memungkinkan penggunaan model generasi video yang telah dilatih sebelumnya untuk inbetweening tetapi memiliki beberapa kelemahan. Gerakan yang dihasilkan oleh model I2V adalah divers daripada stabil. Sementara ini berguna untuk tugas I2V murni, ini menciptakan ketidakjelasan, dan menyebabkan jalur video yang tidak sesuai atau inkonsisten.

Time reversal juga memerlukan penyetelan hyper-parameter yang melelahkan, seperti kecepatan bingkai untuk setiap video yang dihasilkan. Selain itu, beberapa teknik yang digunakan dalam time reversal untuk mengurangi ketidakjelasan secara signifikan memperlambat inferensi, meningkatkan waktu pemrosesan.

Metode

Penulis mengamati bahwa jika salah satu masalah ini (keragaman vs. stabilitas) dapat dipecahkan, semua masalah berikutnya kemungkinan akan terpecahkan. Ini telah dicoba dalam penawaran sebelumnya seperti GI yang disebutkan sebelumnya, dan juga ViBiDSampler.

Makalah tersebut menyatakan:

‘Namun [masih ada] ketidakjelasan yang cukup besar antara jalur-jalur ini, sehingga membatasi efektivitas metode-metode ini dalam menangani skenario yang melibatkan gerakan besar seperti perubahan cepat dalam pose manusia. Ketidakjelasan dalam jalur interpolasi terutama muncul dari kondisi yang tidak cukup untuk bingkai antara, karena dua gambar input hanya menyediakan kondisi untuk bingkai awal dan akhir.

‘Oleh karena itu [kita] menyarankan untuk menyediakan kondisi eksplisit untuk setiap bingkai, yang secara signifikan mengurangi ketidakjelasan jalur interpolasi.’

Kita dapat melihat konsep inti FCVG pada skema di bawah. FCVG menghasilkan urutan bingkai video yang dimulai dan diakhiri secara konsisten dengan dua bingkai input. Ini memastikan bahwa bingkai-bingkai tersebut stabil secara temporal dengan menyediakan kondisi frame-spesifik untuk proses generasi video.

Skema untuk inferensi FCVG.

Dalam pemikiran ulang pendekatan time reversal ini, metode menggabungkan informasi dari kedua arah, maju dan mundur, dan menggabungkannya untuk menciptakan transisi yang halus. Melalui proses iteratif, model secara bertahap memperbaiki input yang berisik sampai set bingkai antara yang final dihasilkan.

Tahap berikutnya melibatkan penggunaan model GlueStick yang telah dilatih sebelumnya, yang menciptakan korespondensi antara dua bingkai awal dan akhir yang dihitung, dengan penggunaan pose skeletal opsional untuk membimbing model, melalui model Stable Video Diffusion.

GlueStick menghasilkan garis dari bentuk yang diinterpretasikan. Garis-garis ini menyediakan jangkar yang sesuai antara bingkai awal dan akhir dalam FCVG*.

Penulis mencatat:

‘Kami menemukan secara empiris bahwa interpolasi linier cukup untuk sebagian besar kasus untuk memastikan stabilitas temporal dalam video antara, dan metode kami memungkinkan pengguna untuk menentukan jalur interpolasi non-linier untuk menghasilkan video yang diinginkan.’

Alur kerja untuk menetapkan kondisi frame-wise maju dan mundur. Kami dapat melihat warna yang sesuai yang menjaga konten tetap konsisten saat animasi berkembang.

Untuk menyuntikkan kondisi frame-wise yang diperoleh ke dalam SVD, FCVG menggunakan metode yang dikembangkan untuk inisiatif ControlNeXt 2024. Dalam proses ini, kondisi kontrol awalnya dikodekan oleh beberapa ResNet blok, sebelum cross-normalisasi antara cabang kondisi dan SVD dari alur kerja.

Sebuah set kecil video digunakan untuk fine-tuning model SVD, dengan sebagian besar parameter model dibekukan.

‘[Keterbatasan yang disebutkan sebelumnya] telah sebagian besar diselesaikan dalam FCVG: (i) Dengan secara eksplisit menentukan kondisi untuk setiap bingkai, ketidakjelasan antara jalur maju dan mundur secara signifikan dikurangi; (ii) Hanya satu parameter yang dapat disesuaikan yang diperkenalkan, sementara mempertahankan hyperparameter dalam SVD sebagai default, menghasilkan hasil yang menguntungkan dalam sebagian besar skenario; (iii) Fusi rata-rata sederhana, tanpa reinjeksi noise, cukup dalam FCVG, dan langkah inferensi dapat secara substansial dikurangi sebesar 50% dibandingkan dengan [GI].’

Skema umum untuk menyuntikkan kondisi frame-wise ke dalam Stable Video Diffusion untuk FCVG.

Data dan Pengujian

Untuk menguji sistem, peneliti membuat dataset yang mencakup berbagai adegan, termasuk lingkungan luar, pose manusia, dan lokasi interior, termasuk gerakan seperti pergerakan kamera, tarian, dan ekspresi wajah, di antara lainnya. 524 klip yang dipilih diambil dari dataset DAVIS dan RealEstate10k. Kumpulan ini dilengkapi dengan video berframe tinggi yang diperoleh dari Pexels. Kumpulan yang dikurasi ini dibagi 4:1 antara fine-tuning dan pengujian.

Metri yang digunakan adalah Learned Perceptual Similarity Metrics (LPIPS); Fréchet Inception Distance (FID); Fréchet Video Distance (FVD); VBench; dan Fréchet Video Motion Distance.

Penulis mencatat bahwa tidak ada metri ini yang disesuaikan untuk memperkirakan stabilitas temporal, dan merujuk kita ke video di halaman proyek FCVG.

Selain penggunaan GlueStick untuk pencocokan garis, DWPose digunakan untuk memperkirakan pose manusia.

Pengujian fine-tuning berlangsung selama 70.000 iterasi di bawah AdamW optimizer pada NVIDIA A800 GPU, dengan tingkat pembelajaran 1×10^-6, dengan bingkai yang dipotong menjadi patch 512×320.

Kerangka kerja sebelumnya yang diuji adalah FILM, GI, TRF, dan DynamiCrafter.

Untuk evaluasi kuantitatif, celah bingkai yang ditangani berkisar antara 12 dan 23.

Hasil kuantitatif melawan kerangka kerja sebelumnya.

Mengenai hasil ini, makalah tersebut mengamati:

‘Metode kami mencapai kinerja terbaik di antara empat pendekatan generatif di semua metri. Mengenai perbandingan LPIPS dengan FILM, FCVG kami sedikit lebih rendah, sementara menunjukkan kinerja yang unggul dalam metri lain. Mengingat ketiadaan informasi temporal dalam LPIPS, mungkin lebih tepat untuk memprioritaskan metri lain dan pengamatan visual.

‘Selain itu, dengan membandingkan hasil di bawah celah bingkai yang berbeda, FILM mungkin bekerja dengan baik ketika celahnya kecil, sementara metode generatif lebih sesuai untuk celah yang besar. Di antara metode generatif ini, FCVG kami menunjukkan superioritas yang signifikan karena kondisi frame-wise yang eksplisit.’

Untuk pengujian kualitatif, penulis menghasilkan video yang terlihat di halaman proyek (beberapa disematkan dalam artikel ini), dan hasil statis dan animasi^† dalam PDF makalah,

Hasil statis contoh dari makalah. Silakan merujuk ke sumber PDF untuk resolusi yang lebih baik, dan perlu diingat bahwa PDF tersebut berisi animasi yang dapat diputar dalam aplikasi yang mendukung fitur ini.

Penulis mengomentari:

‘Sementara FILM menghasilkan hasil interpolasi yang halus untuk skenario gerakan kecil, FILM berjuang dengan gerakan skala besar karena keterbatasan inheren aliran optik, menghasilkan artefak yang mencolok seperti pergerakan latar belakang dan tangan (dalam kasus pertama).

‘Model generatif seperti TRF dan GI menderita ketidakjelasan dalam jalur fusi, menghasilkan gerakan antara yang tidak stabil, terutama jelas dalam adegan yang kompleks yang melibatkan gerakan manusia dan objek.

‘Sebaliknya, metode kami secara konsisten menghasilkan hasil yang memuaskan di berbagai skenario.’ Bahkan ketika oklusi yang signifikan hadir (dalam kasus kedua dan keenam), metode kami masih dapat menangkap gerakan yang masuk akal. Selain itu, pendekatan kami menunjukkan ketahanan untuk aksi manusia yang kompleks (dalam kasus terakhir).’

Penulis juga menemukan bahwa FCVG umumnya bergeneralisasi dengan sangat baik ke video gaya animasi:

Klik untuk memutar. FCVG menghasilkan hasil yang sangat meyakinkan untuk animasi gaya kartun.

Kesimpulan

FCVG mewakili setidaknya perbaikan inkremental untuk keadaan seni dalam interpolasi bingkai dalam konteks non-milik. Penulis telah membuat kode untuk pekerjaan ini tersedia di GitHub, meskipun dataset yang terkait belum dirilis pada saat penulisan.

Jika solusi komersial milik perorangan melampaui upaya sumber terbuka melalui penggunaan data yang tidak dilisensikan, tampaknya tidak ada masa depan dalam pendekatan seperti itu, setidaknya untuk penggunaan komersial; risikonya terlalu besar.

Oleh karena itu, bahkan jika adegan sumber terbuka tertinggal di belakang showcase yang mengesankan dari pemimpin pasar saat ini, ini, secara argumentatif, adalah kura-kura yang mungkin mengalahkan kelinci di garis finish.

* Sumber: https://openaccess.thecvf.com/content/ICCV2023/papers/Pautrat_GlueStick_Robust_Image_Matching_by_Sticking_Points_and_Lines_Together_ICCV_2023_paper.pdf

^† Mengharuskan Acrobat Reader, Okular, atau pembaca PDF lain yang dapat memutar animasi yang disematkan.

Dipublikasikan pada hari Jumat, 20 Desember 2024