Menghasilkan AI Video yang Lebih Baik dari Dua Gambar

Interpolasi bingkai video (VFI) adalah masalah terbuka dalam penelitian video generatif. Tantangan ini adalah untuk menghasilkan bingkai antara dua bingkai yang ada dalam urutan video.

Klik untuk memutar. Kerangka FILM, sebuah kolaborasi antara Google dan Universitas Washington, mengusulkan metode interpolasi bingkai yang efektif yang masih populer di kalangan hobi dan profesional. Di sebelah kiri, kita dapat melihat dua bingkai yang terpisah dan berbeda yang ditumpuk; di tengah, ‘bingkai akhir’; dan di sebelah kanan, sintesis akhir antara bingkai. Sumber: https://film-net.github.io/ dan https://arxiv.org/pdf/2202.04901

Secara umum, teknik ini telah ada selama lebih dari satu abad, dan telah digunakan dalam animasi tradisional sejak saat itu. Dalam konteks itu, master ‘bingkai kunci’ akan dihasilkan oleh seorang seniman animasi utama, sedangkan pekerjaan ‘tweening’ bingkai antara akan dilakukan oleh staf lain sebagai tugas yang lebih sepele.

Sebelum munculnya AI generatif, interpolasi bingkai digunakan dalam proyek seperti Real-Time Intermediate Flow Estimation (RIFE), Depth-Aware Video Frame Interpolation (DAIN), dan Google’s Frame Interpolation for Large Motion (FILM – lihat di atas) untuk tujuan meningkatkan kecepatan bingkai video yang ada, atau memungkinkan efek gerak lambat yang dihasilkan secara buatan. Ini dilakukan dengan memisahkan bingkai yang ada dari klip dan menghasilkan bingkai antara yang diestimasi.

VFI juga digunakan dalam pengembangan codec video yang lebih baik, dan, lebih umum, dalam sistem aliran optik-berbasis (termasuk sistem generatif), yang menggunakan pengetahuan tentang bingkai kunci yang akan datang untuk mengoptimalkan dan membentuk konten antara yang mendahuluinya.

Bingkai Akhir dalam Sistem Video Generatif

Sistem generatif modern seperti Luma dan Kling memungkinkan pengguna untuk menentukan bingkai awal dan akhir, dan dapat melakukan tugas ini dengan menganalisis titik kunci dalam dua gambar dan mengestimasi trajektori antara dua gambar.

Seperti yang kita lihat dalam contoh di bawah, memberikan ‘bingkai penutup’ yang lebih baik memungkinkan sistem video generatif (dalam hal ini, Kling) untuk mempertahankan aspek seperti identitas, bahkan jika hasilnya tidak sempurna (terutama dengan gerakan besar).

Klik untuk memutar. Kling adalah salah satu dari banyak generator video, termasuk Runway dan Luma, yang memungkinkan pengguna untuk menentukan bingkai akhir. Dalam kebanyakan kasus, gerakan minimal akan menghasilkan hasil yang paling realistis dan kurang cacat. Sumber: https://www.youtube.com/watch?v=8oylqODAaH8

Dalam contoh di atas, identitas orang tersebut konsisten antara dua bingkai kunci yang diberikan oleh pengguna, menghasilkan generasi video yang relatif konsisten.

Di mana hanya bingkai awal yang diberikan, jendela perhatian sistem generatif tidak biasanya cukup besar untuk ‘mengingat’ apa yang terlihat seperti orang tersebut di awal video. Sebaliknya, identitas kemungkinan akan bergeser sedikit dengan setiap bingkai, sampai semua kesamaan hilang. Dalam contoh di bawah, gambar awal diunggah, dan gerakan orang tersebut dipandu oleh prompt teks:

Klik untuk memutar. Dengan tidak ada bingkai akhir, Kling hanya memiliki sekelompok bingkai sebelumnya yang kecil untuk memandu generasi bingkai berikutnya. Dalam kasus di mana gerakan signifikan diperlukan, atrofi identitas menjadi parah.

Kita dapat melihat bahwa kesamaan aktor tidak tahan terhadap instruksi, karena sistem generatif tidak tahu apa yang akan terlihat seperti jika dia tersenyum, dan dia tidak tersenyum dalam gambar benih (satu-satunya referensi yang tersedia).

Mayoritas klip generatif viral telah dipilih dengan hati-hati untuk mengurangi kekurangan ini. Namun, kemajuan sistem video generatif yang konsisten secara temporal mungkin bergantung pada perkembangan baru dari sektor penelitian terkait dengan interpolasi bingkai, karena alternatif satu-satunya adalah ketergantungan pada CGI tradisional sebagai video ‘panduan’ (dan bahkan dalam kasus ini, konsistensi tekstur dan pencahayaan saat ini sulit untuk dicapai).

Tambahnya, sifat iteratif yang perlahan-lahan dari menghasilkan bingkai baru dari sekelompok bingkai sebelumnya membuatnya sangat sulit untuk mencapai gerakan besar dan berani. Ini karena objek yang bergerak cepat melintasi bingkai mungkin berpindah dari satu sisi ke sisi lain dalam ruang satu bingkai, berlawanan dengan gerakan yang lebih bertahap yang mungkin telah dilatih sistem.

Demikian pula, perubahan pose yang signifikan dan berani dapat menyebabkan tidak hanya pergeseran identitas, tetapi juga inkonsistensi yang jelas:

Klik untuk memutar. Dalam contoh ini dari Luma, gerakan yang diminta tidak tampaknya terwakili dengan baik dalam data pelatihan.

Framer

Ini membawa kita ke sebuah makalah baru yang menarik dari Cina, yang mengklaim telah mencapai keadaan seni yang baru dalam interpolasi bingkai yang autentik – dan yang pertama dari jenisnya yang menawarkan interaksi pengguna berbasis drag.

Framer memungkinkan pengguna untuk mengarahkan gerakan menggunakan antarmuka berbasis drag yang intuitif, meskipun juga memiliki mode ‘otomatis’. Sumber: https://www.youtube.com/watch?v=4MPGKgn7jRc

Aplikasi berbasis drag telah menjadi sering dalam literatur belakangan, karena sektor penelitian berjuang untuk memberikan instrumentalitas untuk sistem generatif yang tidak berdasarkan pada hasil kasar yang diperoleh dari prompt teks.

Sistem baru, yang berjudul Framer, tidak hanya dapat mengikuti drag pengguna, tetapi juga memiliki mode ‘autopilot’ yang lebih konvensional. Selain tweening konvensional, sistem ini juga dapat menghasilkan simulasi time-lapse, serta morfing dan pandangan baru dari gambar input.

Bingkai antara yang dihasilkan untuk simulasi time-lapse di Framer. Sumber: https://arxiv.org/pdf/2410.18978

Dalam hal produksi pandangan baru, Framer sedikit masuk ke wilayah Neural Radiance Fields (NeRF) – meskipun hanya memerlukan dua gambar, sedangkan NeRF umumnya memerlukan enam atau lebih gambar input.

Dalam pengujian, Framer, yang didasarkan pada model video generatif difusi stabil dari Stability.ai, mampu mengungguli pendekatan rival yang diapproximasi, dalam sebuah studi pengguna.

Pada saat penulisan, kode ini dijadwalkan untuk dirilis di GitHub. Contoh video (dari mana gambar di atas berasal) tersedia di situs proyek, dan peneliti juga telah merilis sebuah video YouTube.

Makalah baru ini berjudul Framer: Interpolasi Bingkai Interaktif, dan berasal dari sembilan peneliti dari Zhejiang University dan Ant Group yang didukung oleh Alibaba.

Metode

Framer menggunakan interpolasi berbasis titik kunci dalam salah satu dari dua modalitasnya, di mana gambar input dievaluasi untuk topologi dasar, dan ‘titik yang dapat dipindahkan’ diberikan di mana perlu. Pada dasarnya, titik-titik ini setara dengan landmark wajah dalam sistem berbasis ID, tetapi umum untuk setiap permukaan.

Peneliti fine-tuned Stable Video Diffusion (SVD) pada dataset OpenVid-1M, menambahkan kemampuan sintesis bingkai terakhir tambahan. Ini memfasilitasi mekanisme kontrol trajektori (atas kanan dalam skema gambar di bawah) yang dapat mengevaluasi jalur menuju bingkai akhir (atau kembali dari itu).

Skema untuk Framer.

Mengenai penambahan kondisi bingkai terakhir, penulis menyatakan:

‘Untuk mempertahankan prior visual dari SVD yang telah dilatih sebelumnya sebanyak mungkin, kami mengikuti paradigma kondisi SVD dan menyuntikkan kondisi bingkai akhir di ruang laten dan ruang semantik, masing-masing.

‘Secara khusus, kami menggabungkan fitur laten VAE dari bingkai pertama dengan fitur laten berisik dari bingkai pertama, seperti yang dilakukan dalam SVD. Selain itu, kami menggabungkan fitur laten dari bingkai terakhir, zn, dengan fitur laten berisik dari bingkai akhir, dengan mempertimbangkan bahwa kondisi dan fitur laten berisik yang sesuai secara spasial sejajar.

‘Selain itu, kami mengekstrak embedding gambar CLIP dari bingkai pertama dan terakhir secara terpisah dan menggabungkannya untuk injeksi fitur perhatian silang.’

Untuk fungsionalitas berbasis drag, modul trajektori memanfaatkan kerangka kerja CoTracker yang dipimpin oleh Meta Ai, yang mengevaluasi banyak jalur yang mungkin ada di depan. Ini kemudian disempitkan menjadi 1-10 jalur yang mungkin.

Koordinat titik yang diperoleh kemudian diubah melalui metodologi yang terinspirasi oleh arsitektur DragNUWA dan DragAnything. Ini menghasilkan heatmap Gaussian, yang mengidentifikasi area target untuk gerakan.

Setelah itu, data ini diberikan kepada mekanisme kondisi ControlNet, sebuah sistem kesesuaian tambahan yang awalnya dirancang untuk Stable Diffusion, dan sejak itu disesuaikan dengan arsitektur lain.

Untuk mode autopilot, pencocokan fitur awalnya dilakukan melalui SIFT, yang menafsirkan trajektori yang dapat diberikan kepada mekanisme pembaruan otomatis yang terinspirasi oleh DragGAN dan DragDiffusion.

Skema untuk estimasi trajektori titik di Framer.

Data dan Pengujian

Untuk fine-tuning Framer, perhatian spasial dan blok residu dibekukan, dan hanya lapisan perhatian temporal dan blok residu yang terpengaruh.

Model ini dilatih selama 10.000 iterasi di bawah AdamW, dengan laju pembelajaran 1e-4, dan ukuran batch 16. Pelatihan dilakukan di 16 GPU NVIDIA A100.

Karena pendekatan sebelumnya untuk masalah ini tidak menawarkan editing berbasis drag, peneliti memilih untuk membandingkan mode autopilot Framer dengan fungsionalitas standar dari penawaran yang lebih lama.

Kerangka yang diuji untuk kategori sistem generasi video difusi saat ini adalah LDMVFI; Dynamic Crafter; dan SVDKFI. Untuk sistem video ‘tradisional’, kerangka rival adalah AMT; RIFE; FLAVR; dan FILM yang disebutkan sebelumnya.

Selain studi pengguna, pengujian juga dilakukan di atas dataset DAVIS dan UCF101.

Pengujian kualitatif hanya dapat dievaluasi oleh fakultas objektif tim peneliti dan oleh studi pengguna. Namun, makalah tersebut mencatat, metrik kuantitatif tradisional sebagian besar tidak sesuai dengan proposisi yang ada:

‘[Rekonstruksi] metrik seperti PSNR, SSIM, dan LPIPS gagal menangkap kualitas bingkai yang diinterpolasi dengan akurat, karena mereka menghukum hasil interpolasi yang lain yang masuk akal yang tidak sejajar dengan video asli.

‘Sementara metrik generasi seperti FID menawarkan beberapa perbaikan, mereka masih kurang karena mereka tidak memperhitungkan konsistensi temporal dan mengevaluasi bingkai dalam isolasi.’

Meskipun demikian, peneliti melakukan pengujian kualitatif dengan beberapa metrik populer:

Hasil kuantitatif untuk Framer vs. sistem rival.

Penulis mencatat bahwa meskipun memiliki peluang yang tidak menguntungkan, Framer masih mencapai skor FVD terbaik di antara metode yang diuji.

Di bawah ini adalah hasil sampel makalah untuk perbandingan kualitatif:

Perbandingan kualitatif melawan pendekatan sebelumnya. Silakan merujuk ke makalah untuk resolusi yang lebih baik, serta hasil video di https://www.youtube.com/watch?v=4MPGKgn7jRc.

Penulis mengomentari:

‘[Metode kami] menghasilkan tekstur yang jauh lebih jelas dan gerakan alami dibandingkan dengan teknik interpolasi yang ada. Ini berperforma sangat baik dalam skenario dengan perbedaan besar antara bingkai input, di mana metode tradisional sering gagal untuk menginterpolasi konten dengan akurat.

‘Dibandingkan dengan metode difusi lain seperti LDMVFI dan SVDKFI, Framer menunjukkan adaptabilitas yang superior terhadap kasus yang menantang dan menawarkan kontrol yang lebih baik.’

Untuk studi pengguna, peneliti mengumpulkan 20 peserta, yang menilai 100 hasil video yang diacak dari metode yang diuji. Dengan demikian, 1000 penilaian diperoleh, mengevaluasi tawaran yang paling ‘realistis’:

Hasil dari studi pengguna.

Seperti yang dapat dilihat dari grafik di atas, pengguna sangat mendukung hasil dari Framer.

Video YouTube yang menyertain video ini menguraikan beberapa penggunaan lain untuk framer, termasuk morfing dan antar-gambar kartun – di mana konsep ini dimulai.

Kesimpulan

Sangat sulit untuk menekankan seberapa penting tantangan ini saat ini untuk tugas generasi video berbasis AI. Sampai saat ini, solusi yang lebih lama seperti FILM dan EbSynth non-AI telah digunakan oleh komunitas amatir dan profesional untuk tweening antara bingkai; tetapi solusi ini memiliki keterbatasan yang signifikan.

Karena kurasi yang tidak jujur dari video contoh resmi untuk kerangka T2V baru, ada kesalahpahaman yang luas bahwa sistem pembelajaran mesin dapat secara akurat menginfer geometri dalam gerakan tanpa menggunakan mekanisme panduan seperti model morfabel 3D (3DMM), atau pendekatan tambahan lain seperti LoRAs.

Untuk jujur, tweening itu sendiri, bahkan jika bisa dilakukan dengan sempurna, hanya merupakan ‘hack’ atau cheat atas masalah ini. Namun, karena seringkali lebih mudah untuk menghasilkan dua gambar bingkai yang sejajar daripada menghasilkan panduan melalui prompt teks atau rentang alternatif saat ini, itu baik untuk melihat kemajuan iteratif pada versi AI dari metode yang lebih lama.

Pertama dipublikasikan pada hari Selasa, 29 Oktober 2024