Menghapus Objek dan Orang dari Video dengan AI

Tidak, anak itu tidak akan tetap dalam gambar, jika AI memiliki sesuatu untuk dilakukan.

Menghapus orang dan objek dari gambar dan video adalah sub-strand penelitian populer dalam literatur AI yang berfokus pada VFX, dengan jumlah dataset dan kerangka kerja yang terus bertambah untuk menangani tantangan ini. Yang terbaru dari ini, dari Institut Big Data Universitas Fudan di Cina, adalah EffectErase, sebuah sistem penghapusan objek video yang “effect-aware” yang, menurut penulis, meningkatkan kinerja state-of-the-art dalam pengujian:

Disusun dari materi di situs web proyek, contoh metode EffectErase (perlu diingat bahwa meskipun kami menyediakan tautan, situs sumber berisi banyak video autoplay yang tidak dioptimalkan dan dapat mempengaruhi stabilitas browser web Anda. Video YouTube yang disertakan di akhir artikel ini adalah referensi yang lebih mudah dan lebih lengkap). Sumber

Penelitian baru ini melibatkan penciptaan/penyusunan dataset semi-novel yang terdiri dari hampir 350 adegan dunia nyata dan sintetis (menggunakan repositori publik*), baik yang direkam dengan peralatan khusus atau disumber dan diarahkan ke dalam alur kerja yang dibangun di sekitar kerangka kerja Blender 3D yang terbuka.

Dataset Penghapusan Objek Video (VOR) hibrida ini membentuk dasar untuk aplikasi EffectErase itu sendiri, yang dibangun di atas sistem generasi video Wan2.1. Sistem ini juga mendefinisikan dua benchmark terkait baru: VOR Eval dan VOR Wild – masing-masing untuk sampel dengan dan tanpa ground truth.

(Meskipun makalah ini memiliki situs proyek pendamping, itu agak terlalu berat dengan banyak video beresolusi tinggi, dan sulit dimuat; jadi silakan merujuk pada cuplikan yang saya telah kumpulkan dalam video yang disertakan di atas, jika Anda menemukan situs proyek sulit digunakan)

Perbandingan kuantitas di seluruh dataset yang setara, terkait dengan penawaran baru. Sumber

Peneliti mengklaim bahwa pendekatan mereka menghasilkan kinerja state-of-the-art, baik dalam metrik kuantitatif maupun hasil kualitatif yang diadjudikasi melalui studi manusia.

Mereka mencatat bahwa karya sebelumnya tidak selalu berhasil menghapus efek tambahan dari objek, seperti bayangan dan refleksi, dan bahwa dataset mereka telah dirancang dengan hati-hati untuk memperbaiki kekurangan ini:

Contoh pendekatan sebelumnya yang gagal melihat di luar objek yang dicari untuk penghapusan, ke indikasi sekunder, seperti refleksi dan bayangan.

Makalah baru baru ini berjudul EffectErase: Joint Video Object Removal and Insertion for High-Quality Effect Erasing, dan berasal dari empat peneliti di Fakultas Ilmu Komputer dan Kecerdasan Buatan Universitas Fudan.

Metode

Dataset VOR hibrida dirancang untuk mencakup skenario yang luas untuk menutupi semua implikasi dari upaya menghapus orang atau objek dari video:

Bingkai pasangan dari dataset VOR menggambarkan bagaimana penghapusan objek harus meluas di luar subjek yang terlihat ke efek yang diinduksi, dengan contoh menunjukkan oklusi, bayangan, pergeseran cahaya, refleksi, dan deformasi fisik, masing-masing disajikan sebagai input (objek hadir) di samping latar belakang yang bersih setelah penghapusan. Untuk contoh lebih lanjut, lihat video YouTube yang disertakan di akhir artikel ini.

Lima jenis “gangguan” yang perlu diatasi didefinisikan oleh penulis sebagai oklusi, termasuk berbagai jenis oklusi kaca dan asap; bayangan; cahaya (misalnya, ketika objek yang dihapus menciptakan atau mengubah jalur cahaya); refleksi; dan deformasi (misalnya, cetakan pengguna pada bantal, yang tidak boleh bertahan setelah penghapusan orang).

Pipeline konstruksi dataset VOR, menggabungkan adegan sintetis yang dihasilkan Blender dengan tangkapan dunia nyata, di mana data sintetis dibangun dari lingkungan 3D yang dikurasi, objek, dan trajektori kamera, dan footage nyata direkam di seluruh adegan yang beragam, ditingkatkan dengan gerakan Ken Burns. SAM2 segmentasi dan penyempurnaan manual kemudian menghasilkan triplet video latar depan dan latar belakang yang sesuai dengan masker yang sesuai.

Untuk data asli dunia nyata, peneliti menggunakan kamera tetap untuk merekam adegan “dengan” dan “tanpa” yang mencakup berbagai lingkungan, waktu, dan kondisi cuaca.

Untuk data sintetis, beberapa sudut pandang di-render, dan skenario multi-objek dibuat, menampilkan gerakan kamera yang kompleks dan menantang, seperti yang mungkin terjadi dalam footage dunia nyata; dan peneliti mengamati bahwa pendekatan ini lebih canggih dan lebih sulit daripada yang digunakan untuk dataset Remove Objects with Side Effects in Videos (ROSE) yang serupa.

Untuk meningkatkan keragaman gerakan, efek Ken Burns diterapkan pada pasangan kamera, menambahkan pans, zoom, dan gerakan tangan yang terkendali di bawah empat belas aturan yang telah ditentukan, dengan lima pola gerakan yang diambil per pasangan sambil menjaga crop di dalam bingkai asli.

Skala dan keragaman diperluas lebih lanjut dengan menggabungkan objek sintetis dengan beberapa pengaturan kamera, Masker dihasilkan dengan meletakkan prompt titik manual pada bingkai kunci, mengembangkan segmentasi dengan Segment Anything 2 (SAM2), membersihkan dan menyempurnakan hasil, dan merakit triplet latar depan, latar belakang, dan masker yang divalidasi untuk pelatihan.

Koleksi akhir mencakup 145 jam video di seluruh 60.000 video pasangan, nyata dan sintetis, yang mencakup 366 kelas objek dalam 443 adegan.

Jaringan EffectErase itu sendiri mengonsumsi materi melalui Variational Auto-Encoder (VAE)^†, dengan penghapusan noise yang ditangani oleh Wan2.1. Di atas backbone ini, EffectErase beroperasi Penghapusan-Insertion Joint Learning, yang melatih kedua tugas bersama-sama pada wilayah yang sama; Task-Aware Region Guidance (TARG), yang menggunakan token objek dan tugas dengan perhatian silang untuk memodelkan tautan spasial-waktu antara objek dan efeknya dan memungkinkan pengalihan tugas; dan Effect Consistency Loss, yang menyelaraskan wilayah efek yang sesuai di seluruh tugas penghapusan dan penyisipan:

Skema kerangka kerja EffectErase. Selama pelatihan, video pasangan dikodekan ke dalam ruang laten yang dibagikan, digabungkan dengan noise, dan diproses oleh transformer difusi yang dipandu oleh perhatian silang yang sadar tugas, sementara kerugian konsistensi efek menyelaraskan wilayah penghapusan dan penyisipan sehingga kedua tugas fokus pada area yang sama.

Proses penghapusan dan penyisipan itu sendiri dilatih bersama, menggunakan backbone difusi yang dibagikan, sehingga model belajar untuk fokus pada wilayah yang sama dan petunjuk struktural.

Video dengan objek, video latar belakang saja, dan masker, pertama kali dikodekan ke dalam ruang laten; noise kemudian ditambahkan untuk pelatihan difusi, dan model belajar untuk memulihkan representasi yang bersih di bawah bimbingan tugas-spesifik. Sebuah adapter ringan kemudian menggabungkan fitur yang berisik dengan kondisi penghapusan atau penyisipan, memungkinkan kedua tugas untuk berbagi pengawasan, sambil tetap dapat dikendalikan.

Task-Aware Region Guidance menciptakan sinyal tugas-spesifik dengan menggabungkan token bahasa dengan fitur visual yang diekstrak dari objek latar depan, menggunakan CLIP, menggantikan token objek generik dengan embedding yang berasal dari konten gambar yang sebenarnya. Representasi yang difusikan ini kemudian disuntikkan ke dalam backbone melalui perhatian silang, memungkinkan model untuk melacak bagaimana objek dan efek visualnya berkembang di ruang dan waktu, sementara memungkinkan pengalihan tugas yang fleksibel.

Effect Consistency Loss memaksa proses penghapusan dan penyisipan untuk fokus pada area yang sama, karena kedua tugas menangani objek yang sama dan efek visualnya. Peta perhatian dari setiap cabang kemudian digabungkan menjadi peta wilayah lunak, dan diselaraskan dengan peta perbedaan yang dihitung dari video objek dan latar belakang, sehingga perubahan halus seperti cahaya dan bayangan dipertahankan. Kerugian tambahan ini membantu penyisipan memandu penghapusan dan menjaga kedua tugas konsisten.

Data dan Pengujian

Peneliti menguji pendekatan mereka melawan berbagai metode penghapusan objek, penghapusan video, dan penyisipan objek: OmniPaint; ObjectClear; VACE; DiffuEraser; ProPainter; ROSE; dan MiniMax-Remover.

Wan2.1 difinetune dengan LoRA^†† menggunakan dataset VOR pada resolusi 832x480px. 81 bingkai konsekutif (batas efektif untuk WAN, di mana kesalahan cenderung terjadi) secara acak dipilih untuk pelatihan, yang berlangsung selama 129.000 iterasi pada ukuran batch 8, pada delapan H100 GPU, masing-masing dengan 80GB VRAM. Laju pembelajaran diatur ke 1×10², dan peringkat LoRA ke 256.

Benchmark ROSE koleksi sintetis adalah satu-satunya dataset eksternal yang diuji; dua lainnya adalah VOR-Eval, pemisahan uji dataset VOR; dan VOR-Wild, sebuah set uji yang terdiri dari 195 video nyata yang diambil dari internet, menampilkan ‘objek dinamis’.

Metric yang digunakan adalah Peak Signal-to-Noise Ratio (PSNR); Structural Similarity Index (SSIM); Learned Perceptual Image Patch Similarity (LPIPS); dan Fréchet Video Distance (FVD). Sebuah studi pengguna dari 195 video yang dihasilkan dari VOR-Wild juga dipertimbangkan, dengan peringkat rata-rata dari 20 relawan diambil.

Tambahnya, penulis merancang QScore, sebuah metric yang memanfaatkan model multimodal Qwen-VL, untuk mengevaluasi kualitas output video yang dihapus objek, dalam hal artifact sisa atau penghapusan lingkungan yang terlewatkan, seperti bayangan dan efek cahaya:

Perbandingan kuantitatif pada benchmark ROSE dan VOR, dengan hasil terbaik dan kedua terbaik ditampilkan dalam tebal dan bergaris bawah, masing-masing.

Mengenai hasil ini, penulis mencatat:

‘[Metode] penghapusan gambar saat ini beroperasi pada bingkai individual menggunakan model 2D tanpa pemodelan temporal, dan oleh karena itu gagal mempertahankan konsistensi temporal dalam video.

Metode penghapusan video terbaru tidak secara eksplisit memodelkan efek samping objek, yang menghasilkan hasil penghapusan yang tidak alami. Pendekatan penghapusan objek video yang ada kekurangan pemodelan korelasi spasial-waktu antara objek dan efek sampingnya, dan oleh karena itu sering menghasilkan artifact dan jejak residu dari objek yang dihapus.

‘Secara keseluruhan, EffectErase mencapai kinerja state-of-the-art di seluruh dataset dan metric evaluasi. Ini mencapai skor terbaik pada metric kualitas video FVD, menunjukkan kelancaran temporal dan konsistensi yang lebih baik dari video yang dihasilkan.

‘Metode kami juga mencapai skor QScore dan peringkat pengguna tertinggi, lebih lanjut menunjukkan efektivitasnya dalam menghasilkan hasil penghapusan yang secara visual meyakinkan.’

Untuk evaluasi kualitatif, hasil statis ditawarkan dalam makalah (ditampilkan) langsung di bawah, serta hasil bergerak yang tersedia di situs proyek dan presentasi video YouTube:

Perbandingan kualitatif pada VOR-Eval di seluruh kasus oklusi, bayangan, cahaya, refleksi, dan deformasi. Metode penghapusan gambar berjuang untuk menghapus efek di luar masker, sementara model penghapusan sering meninggalkan artifact yang terlihat. EffectErase menghapus baik objek target dan efek yang terkait lebih bersih. Silakan merujuk pada makalah sumber untuk resolusi yang lebih baik, dan ke situs proyek untuk contoh video.

Kami juga merujuk pembaca ke contoh terkait yang beragam di situs proyek, dipreview di bawah, serta video YouTube resmi yang disertakan di akhir artikel ini:

Klik untuk memutar. Contoh perbandingan dari situs proyek EffectErase. Silakan merujuk ke situs untuk resolusi yang lebih baik (dengan catatan yang disebutkan sebelumnya) dan untuk contoh lebih lanjut.

Penulis mengomentari:

‘Metode penghapusan gambar video sering menghasilkan artifact di area yang dimasker dan gagal menghapus efek samping yang disebabkan oleh objek yang dihapus. Pendekatan penghapusan objek sebelumnya, seperti [ROSE] dan [MinMax-Remover], berkinerja baik dalam menghapus objek target tetapi masih berjuang dengan efek samping, terutama dalam skenario oklusi, bayangan, cahaya, refleksi, dan deformasi.

‘Sebaliknya, EffectErase secara efektif menghapus baik objek target dan efek yang terkait, menghasilkan hasil yang bersih, kohesif, dan berkualitas tinggi.’

Dalam penutup, peneliti mengamati bahwa metode mereka juga dapat disesuaikan untuk tugas penyisipan daripada penghapusan, tanpa memerlukan pelatihan tambahan:

Hasil penyisipan objek video. EffectErase menyisipkan objek sambil mempertahankan konten latar belakang dan menghasilkan efek yang konsisten yang diinduksi oleh objek di seluruh bingkai.

Hasil video untuk tugas penyisipan dapat dilihat dalam (video YouTube dengan waktu tertentu) contoh (juga disertakan tanpa waktu di akhir artikel).

Kesimpulan

Tinjauan proyek serupa di seluruh literatur menunjukkan bahwa banyak yang masih berharap bahwa model VFX umum akan akhirnya dapat menggabungkan fungsionalitas ini ke dalam ‘toolkit’ model umum yang dirancang untuk berbagai efek, bukan hanya tugas khusus ini.

Namun, berdasarkan prinsip “jack of all trades”, tampaknya masuk akal untuk berasumsi bahwa sistem khusus seperti EffectErase akan terus mempertahankan keunggulan atas pendekatan yang lebih umum; dengan catatan bahwa kesenjangan mungkin akhirnya menyempit sehingga perbedaan tidak lagi sepadan dengan usaha ekstra untuk melatih model yang terpisah.

* Satu akan berharap, dengan meningkatnya kekhawatiran seputar masalah IP-provenance, bahwa semua sumber tersebut akan dicantumkan; tetapi jika materi yang tersedia dari karya baru ini mencantumkan sumber model 3D, saya tidak dapat menemukan referensi ini.

^† Referensi yang diberikan tampaknya merupakan teks penjelasan generik dari 2013, dengan VAE spesifik tidak dijelaskan.

^†† Diambil dari makalah, ini adalah deskripsi yang semantik tidak jelas, karena fine-tuning dan LoRA adalah proses yang berbeda dengan tuntutan yang sangat berbeda.

Dipublikasikan pertama kali pada hari Sabtu, 21 Maret 2026