Jalan Menuju Pengeditan Video Berbasis AI yang Lebih Baik

Sektor penelitian sintesis video/gambar secara teratur mengeluarkan arsitektur pengeditan video, dan selama sembilan bulan terakhir, keluaran semacam itu telah menjadi lebih sering. Namun, sebagian besar dari mereka hanya mewakili kemajuan inkremental pada keadaan seni, karena tantangan inti sangat besar.

Bagaimanapun, kolaborasi baru antara Cina dan Jepang minggu ini telah menghasilkan beberapa contoh yang layak untuk pemeriksaan lebih dekat terhadap pendekatan tersebut, bahkan jika itu tidak secara keseluruhan merupakan karya yang berpengaruh.

Dalam klip video di bawah (dari situs proyek yang terkait dengan makalah, yang – peringatan – mungkin membebani browser Anda) kita lihat bahwa meskipun kemampuan deepfaking sistem tidak ada dalam konfigurasi saat ini, sistem melakukan pekerjaan yang baik dalam mengubah identitas gadis muda dalam gambar dengan masuk akal dan secara signifikan, berdasarkan masker video (kiri bawah):

Klik untuk memutar. Berdasarkan masker segmentasi semantik yang divisualisasikan di bagian kiri bawah, wanita asli (kiri atas) diubah menjadi identitas yang sangat berbeda, meskipun proses ini tidak mencapai pertukaran identitas yang ditunjukkan dalam prompt. Source: https://yxbian23.github.io/project/video-painter/ (perlu diingat bahwa pada saat penulisan, situs ini yang memuat video dan autoplay cenderung membuat browser saya crash). Silakan merujuk ke video sumber, jika Anda dapat mengaksesnya, untuk resolusi dan detail yang lebih baik, atau periksa contoh-contoh di video overview proyek di https://www.youtube.com/watch?v=HYzNfsD3A0s

Pengeditan berbasis masker semacam ini sudah mapan dalam model difusi laten statis, menggunakan alat seperti ControlNet. Namun, mempertahankan konsistensi latar belakang dalam video jauh lebih menantang, bahkan ketika area yang dimasker memberikan model fleksibilitas kreatif, seperti yang ditunjukkan di bawah:

Klik untuk memutar. Perubahan spesies, dengan metode VideoPainter baru. Silakan merujuk ke video sumber, jika Anda dapat mengaksesnya, untuk resolusi dan detail yang lebih baik, atau periksa contoh-contoh di video overview proyek di https://www.youtube.com/watch?v=HYzNfsD3A0s

Penulis karya baru ini mempertimbangkan metode mereka dalam kaitannya dengan arsitektur BrushNet milik Tencent sendiri (yang kami liput tahun lalu), dan ControlNet, keduanya mengobati arsitektur dual-branch yang mampu mengisolasi generasi latar depan dan latar belakang.

Namun, menerapkan metode ini langsung ke pendekatan Diffusion Transformers (DiT) yang diusulkan oleh OpenAI’s Sora, membawa tantangan tertentu, seperti yang dicatat oleh penulis:

‘[Langsung] menerapkan [arsitektur BrushNet dan ControlNet] ke video DiT menimbulkan beberapa tantangan: [Pertama, mengingat] fondasi generatif yang kuat dari Video DiT dan ukuran model yang besar, mereplikasi backbone Video DiT penuh/setengah-raksasa sebagai encoder konteks akan tidak perlu dan komputasi yang membebani.

‘[Kedua, tidak seperti] cabang kontrol murni konvolusional BrushNet, token DiT di area yang dimasker secara inheren mengandung informasi latar belakang karena perhatian global, mempersulit perbedaan antara area yang dimasker dan tidak dimasker di backbone DiT.

‘[Terakhir,] ControlNet kekurangan injeksi fitur di semua lapisan, menghambat kontrol latar belakang yang padat untuk tugas inpainting.’

Oleh karena itu, peneliti telah mengembangkan pendekatan plug-and-play dalam bentuk kerangka dual-branch yang disebut VideoPainter.

VideoPainter menawarkan kerangka inpainting video dual-branch yang meningkatkan DiT pra-dilatih dengan encoder konteks ringan. Encoder ini hanya menyumbang 6% dari parameter backbone, yang menurut penulis membuat pendekatan ini lebih efisien daripada metode konvensional.

Model ini mengusulkan tiga inovasi kunci: encoder konteks dua lapis yang disederhanakan untuk bimbingan latar belakang yang efisien; sistem integrasi fitur selektif masker yang memisahkan token yang dimasker dan tidak dimasker; dan teknik resampling ID wilayah inpainting yang mempertahankan konsistensi identitas di seluruh urutan video panjang.

Dengan membekukan baik DiT pra-dilatih dan encoder konteks sambil memperkenalkan ID-Adapter, VideoPainter memastikan bahwa token wilayah inpainting dari klip sebelumnya bertahan sepanjang video, mengurangi efek berkedip dan inkonsistensi.

Kerangka ini juga dirancang untuk kompatibilitas plug-and-play, memungkinkan pengguna mengintegrasikannya secara mulus ke dalam alur kerja generasi dan pengeditan video yang ada.

Untuk mendukung karya ini, yang menggunakan CogVideo-5B-I2V sebagai mesin generatifnya, penulis mengkurasi apa yang mereka sebut sebagai dataset inpainting video terbesar hingga saat ini. Berjudul VPData, koleksi ini terdiri dari lebih dari 390.000 klip, dengan total durasi video lebih dari 886 jam. Mereka juga mengembangkan kerangka benchmarking terkait yang disebut VPBench.

Klik untuk memutar. Dari contoh situs proyek, kita melihat kemampuan segmentasi yang ditenagai oleh koleksi VPData dan suite pengujian VPBench. Silakan merujuk ke video sumber, jika Anda dapat mengaksesnya, untuk resolusi dan detail yang lebih baik, atau periksa contoh-contoh di video overview proyek di https://www.youtube.com/watch?v=HYzNfsD3A0s

Karya baru ini berjudul VideoPainter: Inpainting dan Pengeditan Video dengan Kontrol Konteks Plug-and-Play, dan berasal dari tujuh penulis di Tencent ARC Lab, The Chinese University of Hong Kong, The University of Tokyo, dan University of Macau.

Selain situs proyek yang disebutkan sebelumnya, penulis juga merilis overview YouTube yang lebih dapat diakses, serta halaman Hugging Face.

Metode

Pipeline pengumpulan data untuk VPData terdiri dari pengumpulan, anotasi, pemisahan, pemilihan, dan penjelasan:

Skema untuk pipeline konstruksi dataset. Source: https://arxiv.org/pdf/2503.05639

Koleksi sumber yang digunakan untuk kompilasi ini berasal dari Videvo dan Pexels, dengan awal pengumpulan sekitar 450.000 video.

Banyak perpustakaan dan metode yang berkontribusi pada tahap pra-pengolahan: kerangka Recognize Anything digunakan untuk memberikan penandaan video terbuka, yang ditugaskan untuk mengidentifikasi objek utama; Grounding Dino digunakan untuk deteksi kotak pembatas di sekitar objek yang diidentifikasi; dan kerangka Segment Anything Model 2 (SAM 2) digunakan untuk memperhalus pemilihan kasar menjadi segmentasi masker berkualitas tinggi.

Untuk mengelola transisi adegan dan memastikan konsistensi dalam inpainting video, VideoPainter menggunakan PySceneDetect untuk mengidentifikasi dan membagi klip pada titik pemutusan alami, menghindari pergeseran disruptif yang sering disebabkan oleh pelacakan objek yang sama dari banyak sudut. Klip-klip tersebut dibagi menjadi interval 10 detik, dengan apa pun yang lebih pendek dari enam detik dibuang.

Untuk pemilihan data, tiga kriteria penyaringan diterapkan: mutu estetika, dievaluasi dengan Laion-Aesthetic Score Predictor; kekuatan gerakan, diukur melalui aliran optik menggunakan RAFT; dan keamanan konten, diverifikasi melalui Pemeriksa Keamanan Stable Diffusion.

Salah satu keterbatasan besar dalam dataset segmentasi video yang ada adalah kurangnya anotasi teks yang terperinci, yang sangat penting untuk memandu model generatif:

Peneliti menekankan kurangnya video-keterangan dalam koleksi yang setara.

Oleh karena itu, proses kurasi data VideoPainter memasukkan model bahasa-pandangan utama, termasuk CogVLM2 dan Chat GPT-4o untuk menghasilkan keterangan berbasis kunci dan deskripsi terperinci dari area yang dimasker.

VideoPainter meningkatkan DiT pra-dilatih dengan memperkenalkan encoder konteks ringan yang memisahkan ekstraksi konteks latar belakang dari generasi latar depan, terlihat di kanan atas skema ilustratif di bawah:

Skema konseptual untuk VideoPainter. Encoder konteks VideoPainter memproses latens berisik, masker downsampling, dan latens video yang dimasker melalui VAE, hanya mengintegrasikan token latar belakang ke dalam DiT pra-dilatih untuk menghindari ambiguitas. Adapter Resample ID memastikan konsistensi identitas dengan menggabungkan token area yang dimasker selama pelatihan dan mengambil sampel ulang dari klip sebelumnya selama inferensi.

Alih-alih membebani backbone dengan pemrosesan berlebihan, encoder ini beroperasi pada input yang disederhanakan: kombinasi dari latens berisik, latens video yang dimasker (diekstrak melalui variational autoencoder, atau VAE), dan masker downsampling.

Latens berisik menyediakan konteks generasi, dan latens video yang dimasker sejalan dengan distribusi DiT yang ada, bertujuan untuk meningkatkan kompatibilitas.

Alih-alih menduplikasi bagian besar dari model, yang menurut penulis telah terjadi dalam karya sebelumnya, VideoPainter hanya mengintegrasikan dua lapisan pertama DiT. Fitur yang diekstrak ini kemudian dimasukkan kembali ke dalam DiT yang dibekukan secara terstruktur dan berkelompok – fitur lapisan awal memandu setengah awal model, sedangkan fitur yang lebih lambat memperhalus setengah kedua.

Tambahan, mekanisme selektif token memastikan bahwa hanya fitur yang relevan dengan latar belakang yang diintegrasikan kembali, mencegah kebingungan antara area yang dimasker dan tidak dimasker. Pendekatan ini, menurut penulis, memungkinkan VideoPainter untuk mempertahankan fidelitas tinggi dalam pelestarian latar belakang sambil meningkatkan efisiensi inpainting latar depan.

Penulis mencatat bahwa metode yang mereka usulkan mendukung berbagai metode stilisasi, termasuk yang paling populer, Low Rank Adaptation (LoRA).

Data dan Pengujian

VideoPainter dilatih menggunakan model CogVideo-5B-I2V, bersama dengan ekivalen teks-ke-video. Corpus VPData yang dikurasi digunakan pada resolusi 480x720px, dengan tingkat pembelajaran sebesar 1×10^-5.

Adapter Resample ID dilatih selama 2.000 langkah, dan encoder konteks selama 80.000 langkah, keduanya menggunakan optimizer AdamW. Pelatihan berlangsung dalam dua tahap menggunakan 64 NVIDIA V100 GPU yang tangguh (meskipun makalah tidak menyebutkan apakah ini memiliki 16GB atau 32GB VRAM).

Untuk benchmarking, Davis digunakan untuk masker acak, dan VPBench milik penulis sendiri untuk masker berbasis segmentasi.

Dataset VPBench menampilkan objek, hewan, manusia, lanskap, dan tugas yang beragam, serta mencakup empat tindakan: tambah, hapus, ubah, dan tukar. Koleksi ini terdiri dari 45 video 6 detik, dan sembilan video yang berlangsung rata-rata 30 detik.

Delapan metrik digunakan dalam proses ini. Untuk Pelestarian Wilayah yang Dimasker, penulis menggunakan Rasio Sinyal-ke-Noise Puncak (PSNR); Metrik Kesamaan Perseptual yang Dipelajari (LPIPS); Indeks Kesamaan Struktural (SSIM); dan Kesalahan Absolut Rata-Rata (MAE).

Untuk penyelarasan teks, penulis menggunakan Kesamaan CLIP baik untuk mengevaluasi jarak semantik antara keterangan klip dan konten yang sebenarnya, serta untuk mengevaluasi akurasi wilayah yang dimasker.

Untuk menilai kualitas umum video keluaran, Jarak Video Fréchet (FVD) digunakan.

Untuk perbandingan kuantitatif putaran inpainting video, penulis membandingkan sistem mereka dengan pendekatan sebelumnya ProPainter, COCOCO, dan Cog-Inp (CogVideoX). Pengujian ini terdiri dari inpainting bingkai pertama klip menggunakan model inpainting gambar, dan kemudian menggunakan backbone gambar-ke-video (I2V) untuk mempropagasi hasil ke dalam operasi pencampuran laten, sesuai dengan metode yang diusulkan oleh makalah 2023 dari Israel.

Karena situs proyek tidak sepenuhnya fungsional pada saat penulisan, dan karena video YouTube proyek mungkin tidak menampilkan semua contoh yang dipadatkan ke situs proyek, agak sulit untuk menemukan contoh video yang sangat spesifik untuk hasil yang diuraikan dalam makalah. Oleh karena itu, kita akan menampilkan hasil statis sebagian yang ditampilkan dalam makalah, dan menutup artikel dengan beberapa contoh video tambahan yang kita berhasil ekstrak dari situs proyek.

Perbandingan kuantitatif VideoPainter vs. ProPainter, COCOCO, dan Cog-Inp pada VPBench (masker segmentasi) dan Davis (masker acak). Metrik mencakup pelestarian wilayah yang dimasker, penyelarasan teks, dan kualitas video. Merah = terbaik, Biru = kedua terbaik.

Dari hasil kualitatif ini, penulis mengomentari:

‘Dalam VPBench berbasis segmentasi, ProPainter dan COCOCO menunjukkan kinerja terburuk di sebagian besar metrik, terutama karena ketidakmampuan untuk mengisi objek yang sepenuhnya dimasker dan kesulitan arsitektur single-backbone dalam mengimbangkan pelestarian latar belakang dan generasi latar depan.

‘Dalam benchmark masker acak Davis, ProPainter menunjukkan perbaikan dengan memanfaatkan informasi latar belakang sebagian. Namun, VideoPainter mencapai kinerja optimal di seluruh segmentasi (standar dan panjang) dan masker acak melalui arsitektur dual-branch yang secara efektif memisahkan pelestarian latar belakang dan generasi latar depan.’

Penulis kemudian mempresentasikan contoh statis dari pengujian kualitatif, yang kita tampilkan di bawah. Dalam semua kasus, kita merujuk pembaca ke situs proyek dan video YouTube untuk resolusi yang lebih baik.

Perbandingan dengan metode inpainting dalam kerangka sebelumnya.

Klik untuk memutar. Contoh yang dipadatkan oleh kami dari video ‘hasil’ di situs proyek.

Mengenai putaran kualitatif ini untuk inpainting video, penulis mengomentari:

‘VideoPainter secara konsisten menunjukkan hasil yang luar biasa dalam koherensi video, kualitas, dan penyelarasan dengan keterangan teks. Secara khusus, ProPainter gagal menghasilkan objek yang sepenuhnya dimasker karena hanya bergantung pada propagasi piksel latar belakang alih-alih generasi.

‘Sementara COCOCO menunjukkan fungsionalitas dasar, ia gagal mempertahankan ID konsisten di area yang diisi (perubahan penampilan kapal yang tidak konsisten dan perubahan medan yang tiba-tiba) karena arsitektur single-backbone yang mencoba mengimbangkan pelestarian latar belakang dan generasi latar depan.

‘Cog-Inp mencapai hasil inpainting dasar; namun, operasi pencampuran yang tidak dapat mendeteksi batas masker menyebabkan artefak yang signifikan.

‘Lebih lanjut, VideoPainter dapat menghasilkan video koheren yang melebihi satu menit sambil mempertahankan konsistensi ID melalui resampling ID kami.’

Penulis juga menguji kemampuan VideoPainter untuk meningkatkan keterangan dan mendapatkan hasil yang lebih baik dengan metode ini, membandingkannya dengan UniEdit, DiTCtrl, dan ReVideo.

Hasil pengeditan video melawan tiga pendekatan sebelumnya.

Penulis mengomentari:

‘Untuk video standar dan panjang di VPBench, VideoPainter mencapai kinerja yang unggul, bahkan mengungguli ReVideo yang end-to-end. Kesuksesan ini dapat dikaitkan dengan arsitektur dual-branch yang memastikan pelestarian latar belakang yang sangat baik dan kemampuan generasi latar depan, mempertahankan fidelitas tinggi di area yang tidak diedit sambil memastikan area yang diedit sangat sesuai dengan instruksi pengeditan, dilengkapi dengan resampling ID area inpainting yang mempertahankan konsistensi ID di video panjang.’

Meskipun makalah ini menampilkan contoh kualitatif statis untuk metrik ini, contoh-contoh tersebut tidak mengungkapkan banyak informasi, dan kita merujuk pembaca ke contoh-contoh yang tersebar di berbagai video yang dipublikasikan untuk proyek ini.

Akhirnya, sebuah studi manusia dilakukan, di mana tiga puluh pengguna diminta untuk mengevaluasi 50 generasi yang dipilih secara acak dari subset VPBench dan pengeditan. Contoh-contoh ini menyoroti pelestarian latar belakang, penyelarasan dengan prompt, dan kualitas video umum.

Hasil dari studi pengguna untuk VideoPainter.

Penulis menyatakan:

‘VideoPainter secara signifikan mengungguli baseline yang ada, mencapai tingkat preferensi yang lebih tinggi di semua kriteria evaluasi di kedua tugas.’

Mereka mengakui, bagaimanapun, bahwa kualitas generasi VideoPainter bergantung pada model dasar, yang dapat bergelut dengan gerakan dan fisika yang kompleks; dan mereka mengamati bahwa juga berkinerja buruk dengan masker berkualitas rendah atau keterangan yang tidak sejalan.

Kesimpulan

VideoPainter tampaknya merupakan tambahan yang berharga untuk literatur. Khas dari solusi baru-baru ini, bagaimanapun, memiliki tuntutan komputasi yang signifikan. Selain itu, banyak contoh yang dipilih untuk presentasi di situs proyek jatuh sangat jauh dari contoh terbaik; oleh karena itu, akan menarik untuk melihat kerangka ini dibandingkan dengan entri masa depan dan berbagai pendekatan sebelumnya.

* Perlu disebutkan bahwa ‘pengeditan video’ dalam arti ini tidak berarti ‘menggabungkan klip yang beragam menjadi urutan’, yang merupakan arti tradisional dari istilah ini; tetapi lebih kepada mengubah atau memodifikasi isi internal klip video yang ada, menggunakan teknik pembelajaran mesin

Dipublikasikan pertama kali pada Senin, 10 Maret 2025. Diperbarui pada Sabtu, 25 Juli 2026 untuk menggantikan video.