Menghapus Objek dan Orang dari Video dengan AI

Tidak, anak itu tidak akan tetap ada di foto jika AI ikut menentukan.

Menghapus orang dan benda dari gambar serta video merupakan bidang penelitian yang populer dalam AI untuk efek visual. Semakin banyak dataset dan kerangka kerja khusus dikembangkan untuk tantangan ini. Contoh terbarunya, dari Institut Big Data Universitas Fudan di Tiongkok, adalah EffectErase, sistem penghapusan objek dari video yang turut memperhitungkan dampak objek pada lingkungan. Menurut para penulis, hasil pengujiannya jauh melampaui metode terbaik yang ada:

Contoh metode EffectErase yang dirangkai dari materi di situs proyek. Perlu diperhatikan bahwa situs yang kami tautkan memuat banyak video resolusi tinggi yang belum dioptimalkan dan diputar otomatis, sehingga dapat memengaruhi kestabilan peramban. Video YouTube yang disematkan di akhir artikel menyediakan rujukan yang lebih mudah diakses dan lebih lengkap.  Sumber

Penelitian ini membuat dan menyusun dataset yang sebagian materinya baru, mencakup hampir 350 adegan nyata dan sintetis orisinal. Adegan tersebut direkam dengan peralatan khusus atau diperoleh lalu digunakan kembali dalam alur kerja berbasis Blender 3D sumber terbuka, dengan memanfaatkan repositori publik*.

Dataset hibrida Video Object Removal (VOR) menjadi dasar aplikasi EffectErase yang dibangun di atas sistem pembuat video Wan2.1. Penelitian ini juga menetapkan dua tolok ukur baru yang terkait: VOR Eval dan VOR Wild – masing-masing untuk sampel dengan dan tanpa data acuan yang benar.

(Meskipun makalah ini memiliki situs proyek pendamping, banyaknya video resolusi tinggi membebani situs dan membuatnya sulit dimuat. Jika kesulitan menggunakannya, silakan lihat cuplikan yang telah saya rangkai dalam video di atas.)

Perbandingan ukuran dataset baru dengan dataset terdahulu yang sejenis. Sumber

Para peneliti mengklaim pendekatan mereka mencapai hasil terdepan, baik menurut metrik kuantitatif maupun penilaian kualitatif oleh manusia.

Mereka mencatat bahwa metode sebelumnya tidak selalu berhasil menghapus dampak yang menyertai objek, seperti bayangan dan pantulan. Dataset mereka disusun secara cermat untuk memperbaiki kekurangan ini:

Contoh metode terdahulu yang hanya memperhatikan objek yang hendak dihapus dan melewatkan tanda tidak langsung, seperti pantulan dan bayangan.

Makalah baru ini berjudul EffectErase: Joint Video Object Removal and Insertion for High-Quality Effect Erasing dan ditulis oleh empat peneliti dari Fakultas Ilmu Komputer dan Kecerdasan Buatan Universitas Fudan.

Metode

Dataset VOR hibrida dirancang untuk mencakup situasi yang cukup beragam agar seluruh konsekuensi penghapusan orang atau benda dari video dapat diperhitungkan:

Pasangan bingkai dari VOR menunjukkan bahwa penghapusan objek harus mencakup dampaknya, bukan hanya benda yang terlihat. Contohnya memperlihatkan oklusi, bayangan, perubahan pencahayaan, pantulan, dan perubahan bentuk fisik. Setiap gambar masukan dengan objek ditampilkan di samping latar bersih yang bersesuaian setelah penghapusan. Contoh lain dapat dilihat pada video YouTube di akhir artikel.

Para penulis menetapkan lima jenis gangguan yang mewakili masalah yang perlu diatasi: oklusi, termasuk berbagai bentuk penghalangan oleh kaca dan asap; bayangan; pencahayaan (misalnya ketika benda yang hendak dihapus menciptakan atau mengubah lintasan cahaya); pantulan; dan perubahan bentuk (misalnya cekungan yang ditinggalkan seseorang pada bantal, yang semestinya tidak tersisa setelah orang tersebut dihapus).

Alur pembuatan dataset VOR menggabungkan adegan sintetis dari Blender dengan rekaman nyata. Data sintetis dibuat dari lingkungan 3D, objek, dan lintasan kamera yang telah dipilih. Rekaman nyata diambil dalam beragam adegan lalu ditambah gerakan Ken Burns. Segmentasi SAM2 dan penyempurnaan manual menghasilkan triplet video latar depan, latar belakang, dan masker yang saling sejajar.

Untuk data nyata orisinal, peneliti memakai kamera tetap guna merekam adegan yang sama dengan dan tanpa objek, di berbagai lingkungan, waktu, serta kondisi cuaca.

Untuk data sintetis, sejumlah sudut pandang dirender dan skenario multiobjek dibuat, dengan sengaja menyertakan gerakan kamera rumit dan menantang yang dapat terjadi pada rekaman nyata. Menurut peneliti, pendekatan ini lebih canggih dan lebih banyak membutuhkan upaya dibandingkan metode pembuatan dataset yang dalam hal lain serupa, Remove Objects with Side Effects in Videos (ROSE).

Untuk meningkatkan keragaman gerakan, efek Ken Burns diterapkan pada pasangan rekaman kamera. Gerakan pan, zoom, dan sedikit gerakan menyerupai kamera genggam ditambahkan secara terkendali menurut 14 aturan yang telah ditetapkan. Lima pola gerakan dipilih untuk setiap pasangan, sementara pemotongan tetap berada di dalam bingkai asli.

Skala dan keragaman diperluas dengan menggabungkan objek sintetis serta beberapa pengaturan kamera. Masker dibuat dengan menetapkan titik arahan secara manual pada bingkai kunci, meneruskan segmentasi menggunakan Segment Anything 2 (SAM2), membersihkan dan menyempurnakan hasil, serta menyusun triplet latar depan, latar belakang, dan masker yang sudah divalidasi untuk pelatihan.

Koleksi akhirnya berisi 145 jam video nyata dan sintetis dalam 60.000 pasangan video, mencakup 366 kelas objek dalam 443 adegan.

Jaringan EffectErase menerima materi melalui autoencoder variasional (VAE^†), sedangkan Wan2.1 menangani penghilangan derau pada representasi laten. Di atas struktur dasar ini, EffectErase menambahkan tiga komponen: pembelajaran bersama penghapusan dan penyisipan, yang melatih kedua tugas pada wilayah yang sama; panduan wilayah sesuai tugas (TARG), yang memadukan token objek dan tugas dengan cross-attention untuk memodelkan hubungan ruang dan waktu antara objek dengan dampaknya serta memungkinkan pergantian tugas; dan fungsi kerugian konsistensi dampak, yang menyelaraskan wilayah dampak pada tugas penghapusan dan penyisipan:

Skema kerangka kerja EffectErase. Selama pelatihan, pasangan video dikodekan ke ruang laten bersama, dipadukan dengan derau, dan diproses oleh transformer difusi yang dipandu cross-attention sesuai tugas. Fungsi kerugian konsistensi dampak menyelaraskan wilayah penghapusan dan penyisipan agar kedua tugas berfokus pada area yang sama.

Penghapusan dan penyisipan dilatih bersama menggunakan struktur difusi dasar yang sama, agar model belajar memperhatikan wilayah terdampak serta petunjuk struktur yang sama.

Video yang memuat objek, video yang hanya memuat latar, serta masker mula-mula dikodekan ke dalam ruang laten. Derau ditambahkan untuk pelatihan difusi, lalu model belajar memulihkan representasi bersih dengan panduan khusus tugas. Adaptor ringan menggabungkan fitur yang mengandung derau dengan kondisi penghapusan atau penyisipan. Dengan demikian kedua tugas dapat berbagi sinyal supervisi, tetapi tetap bisa dikendalikan secara terpisah.

Panduan wilayah sesuai tugas membuat sinyal khusus tugas dengan memadukan token bahasa dan fitur visual objek latar depan yang diekstrak menggunakan CLIP. Token objek umum diganti dengan embedding yang diturunkan dari isi gambar sebenarnya. Representasi gabungan ini dimasukkan ke struktur dasar melalui cross-attention, sehingga model dapat mengikuti perubahan objek dan dampak visualnya dalam ruang dan waktu serta berganti secara fleksibel antara penghapusan dan penyisipan.

Fungsi kerugian konsistensi dampak memaksa penghapusan dan penyisipan berfokus pada area perubahan yang sama, karena kedua tugas menangani objek beserta dampak visual yang sama. Peta perhatian dari setiap cabang digabung menjadi peta wilayah lunak dan diselaraskan dengan peta selisih yang dihitung dari video objek dan latar. Dengan demikian perubahan halus, seperti pencahayaan dan bayangan, ikut diperhitungkan. Fungsi kerugian tambahan ini membantu tugas penyisipan memandu penghapusan dan menjaga konsistensi kedua tugas.

Data dan Pengujian

Para peneliti membandingkan pendekatan mereka dengan berbagai metode inpainting gambar, inpainting video, dan penghapusan objek: OmniPaint; ObjectClear; VACE; DiffuEraser; ProPainter; ROSE; dan MiniMax-Remover.

Wan2.1 disesuaikan dengan LoRA^†† menggunakan dataset VOR pada resolusi 832×480 piksel. Rangkaian 81 bingkai berurutan ( batas praktis untuk WAN, yang jika dilampaui cenderung menimbulkan kesalahan) dipilih secara acak untuk pelatihan. Pelatihan berlangsung 129.000 iterasi dengan ukuran batch 8 pada delapan GPU H100, masing-masing dengan VRAM 80 GB. Laju pembelajaran ditetapkan pada 1×10², dan rank LoRA pada 256.

Koleksi sintetis ROSE-Benchmark merupakan satu-satunya dataset eksternal yang diuji. Dua lainnya adalah VOR-Eval, bagian dataset VOR yang dipisahkan untuk pengujian; serta VOR-Wild, kumpulan uji yang berisi 195 video nyata dari internet dengan objek yang bergerak.

Metrik yang digunakan ialah: Peak Signal-to-Noise Ratio (PSNR); Structural Similarity Index (SSIM); Learned Perceptual Image Patch Similarity (LPIPS); dan Fréchet Video Distance (FVD). Studi pengguna terhadap 195 video yang dihasilkan dari VOR-Wild juga dilakukan, dengan memperhitungkan rata-rata penilaian dari 20 relawan.

Para penulis juga merancang QScore, metrik yang menggunakan model multimodal Qwen-VL untuk menilai kualitas video setelah penghapusan objek berdasarkan artefak yang tertinggal atau dampak pada lingkungan yang belum dihapus, misalnya bayangan dan efek pencahayaan:

Perbandingan kuantitatif pada tolok ukur ROSE dan VOR. Hasil terbaik dicetak tebal, sedangkan hasil terbaik kedua digarisbawahi.

Mengenai hasil tersebut, para penulis menyatakan:

“Metode inpainting gambar [saat ini] memproses bingkai secara terpisah dengan model 2D tanpa pemodelan waktu, sehingga tidak mampu mempertahankan konsistensi temporal pada video.

[Metode] inpainting video terbaru tidak memodelkan dampak yang menyertai objek secara eksplisit, sehingga hasil penghapusannya tidak alami. [Metode] penghapusan objek video yang ada tidak memodelkan korelasi ruang dan waktu antara objek dengan dampaknya, sehingga sering menghasilkan artefak dan meninggalkan jejak objek yang dihapus.

“Secara keseluruhan, EffectErase meraih kinerja terdepan pada semua dataset dan metrik evaluasi. Sistem ini memperoleh skor terbaik pada metrik kualitas video FVD, yang memperlihatkan kelancaran dan konsistensi temporal yang lebih unggul pada video yang dihasilkan.

“Metode kami juga meraih QScore dan penilaian pengguna tertinggi, yang semakin menunjukkan efektivitasnya dalam menghasilkan penghapusan yang meyakinkan secara visual.”

Untuk evaluasi kualitatif, makalah menyajikan hasil berupa gambar diam, yang ditampilkan tepat di bawah. Hasil bergerak tersedia di situs proyek dan dalam presentasi video YouTube pendamping:

Perbandingan kualitatif pada VOR-Eval untuk oklusi, bayangan, pencahayaan, pantulan, dan perubahan bentuk. Metode inpainting kesulitan menghapus dampak di luar masker, sedangkan model penghapusan sering meninggalkan artefak yang terlihat. EffectErase menghapus objek target beserta dampaknya dengan lebih bersih. Lihat makalah asli untuk resolusi lebih tinggi dan situs proyek untuk contoh video.

Kami juga mengarahkan pembaca ke beragam contoh terkait di situs proyek, dengan pratinjau di bawah, serta video YouTube resmi yang disematkan pada akhir artikel:

Klik untuk memutar. Contoh perbandingan dari situs proyek EffectErase. Lihat situs tersebut untuk resolusi lebih tinggi (dengan catatan yang sudah disebutkan) dan contoh lainnya.

Para penulis berkomentar:

“[Metode] inpainting video sering menghasilkan artefak di area masker dan gagal menghapus sepenuhnya dampak yang ditimbulkan objek yang dihapus. Metode penghapusan objek terdahulu, seperti [ROSE] dan [MinMax-Remover], berhasil menghapus objek target, tetapi masih kesulitan menangani dampaknya, terutama dalam situasi oklusi, bayangan, pencahayaan, pantulan, dan perubahan bentuk.

“Sebaliknya, EffectErase menghapus objek target sekaligus dampaknya secara efektif, sehingga menghasilkan keluaran yang bersih, padu, dan berkualitas tinggi.”

Sebagai penutup, peneliti menyatakan bahwa metode ini juga bisa disesuaikan untuk penyisipan alih-alih penghapusan, tanpa pelatihan tambahan:

Hasil penyisipan objek pada video. EffectErase menyisipkan objek sambil mempertahankan isi latar dan menghasilkan dampak yang disebabkan objek, seperti bayangan dan pantulan, secara konsisten antarbingkai.

Contoh hasil video untuk tugas penyisipan dapat dilihat pada video YouTube dengan waktu mulai tertentu. Video yang sama juga disematkan pada akhir artikel tanpa penanda waktu.

Kesimpulan

Tinjauan atas proyek serupa dalam literatur menunjukkan bahwa banyak pihak masih berharap model VFX serbaguna pada akhirnya dapat memasukkan fungsi semacam ini ke dalam model umum berbentuk “kotak perkakas” untuk berbagai efek, bukan hanya satu tugas khusus.

Namun, berdasarkan gagasan bahwa kemampuan serbabisa dapat mengurangi kedalaman spesialisasi, masuk akal untuk menduga bahwa sistem khusus seperti EffectErase akan terus unggul dibanding pendekatan yang lebih umum. Catatannya, kesenjangan itu mungkin akhirnya cukup kecil sehingga keunggulannya tidak lagi sepadan dengan upaya tambahan untuk melatih model terpisah.

* Dengan meningkatnya kekhawatiran mengenai asal-usul materi dan hak kekayaan intelektual, kita tentu berharap semua sumber tersebut dicantumkan. Namun, jika materi yang tersedia dari penelitian baru ini menyebutkan sumber model 3D-nya, saya tidak berhasil menemukan rujukan itu.

^† Rujukan yang diberikan tampaknya berupa teks penjelasan umum dari tahun 2013, tanpa rincian VAE tertentu yang digunakan.

^†† Deskripsi ini diambil dari makalah dan maknanya kurang jelas, sebab fine-tuning dan LoRA merupakan proses berbeda dengan kebutuhan yang sangat berbeda.

Pertama kali diterbitkan pada Sabtu, 21 Maret 2026