Meningkatkan Penghapusan Latar Belakang AI Tanpa Anotasi Manusia yang Mahal

Penelitian baru menunjukkan bahwa AI dapat membersihkan orang dari video tanpa labeling manusia yang mahal, meningkatkan kualitas dan stabilitas

Kebanyakan dari kita telah mengalami ‘terjatuh’ dari latar belakang melalui filter pengubah latar belakang sederhana pada platform video chat – dan kita mungkin telah memperhatikan keterbatasan sistem tersebut, yang dilatih pada jenis kasus yang paling umum yang mungkin ditemukan dalam konferensi video, dan tidak biasanya tahan terhadap sesuatu yang ‘tidak terduga’ – atau bahkan terhadap objek yang prediktif, seperti jari:

Contoh tipikal dari sistem ekstraksi foreground yang dilatih AI yang memotong terlalu banyak dari subjek sumber. Sumber

Cara termudah, dan yang semakin populer dalam menghadapi model bahasa visi (VLMs) yang tidak secara khusus dilatih untuk tugas tersebut, adalah melakukan fine-tuning model yang ada pada data yang mungkin ditemui oleh sistem:

Dua dataset yang sangat besar dan sangat dianotasi mendukung solusi yang ditawarkan dalam makalah 2020 ‘Real-Time High-Resolution Background Matting’. Sumber

Namun, data tersebut harus dianotasi, dengan biaya tertentu dan biaya waktu, oleh manusia; dan dalam hal apapun, ini menghasilkan alat yang sangat spesifik dan tidak umum yang memerlukan biaya banyak uang, dan tidak biasanya dapat digunakan untuk berbagai tugas.

Meskipun demikian, mengembangkan model ‘terarah’ dari jenis ini saat ini merupakan cara tercepat untuk mencapai inferensi yang efektif dalam berbagai domain, tidak hanya pada matting video dan gambar (yaitu penghapusan latar belakang/matte foreground). Sampai saat ini, banyak solusi tanpa pengawasan yang ditawarkan telah memindahkan masalah tersebut ke tempat lain.

Baru-baru ini, minat telah tumbuh dalam menggunakan Segment Anything (SAM) untuk menyediakan ekstraksi otomatis dan halus. Karena SAM dikembangkan untuk membantu anotasi daripada menyediakan garis tepi yang tajam yang dapat diterima dalam pipa efek visual, batas defaultnya tidak sesuai untuk menangani tantangan tersebut, tanpa bantuan:

Klik untuk memutar, jika perlu. Contoh batas kasar yang dibuat oleh model Segment Anything – ideal untuk anotasi, tetapi tidak cukup baik untuk VFX drop-out. Sumber 

Penawaran baru dari Cina telah mengusulkan cara yang lebih canggih untuk menggunakan model SAM untuk mendapatkan proses ekstraksi yang lebih baik – dengan menggabungkan pelacak dasar seperti SAM dengan jembatan proposal wilayah dengan kepala matting yang didedikasikan. Dengan cara ini, sistem dapat memperbaiki detail tepi secara iteratif dan menyelesaikan tepi yang menantang, seperti rambut dalam gerakan:

Klik untuk memutar, jika perlu. Dari situs pendukung makalah baru, amalgam video pendukung, menunjukkan kecanggihan metode penulis untuk ekstraksi. Sumber 

Sangat penting, sistem komposit baru ini dilatih hanya pada gambar, bukan pada video, dan tidak memerlukan anotasi manusia tambahan – hambatan tradisional terhadap kemajuan dalam domain AI ini dan berbagai domain lainnya.

Contoh matting gambar dan video halus yang dicapai dengan metode baru, dengan kasus menantang seperti rambut, transparansi, dan gerakan ditampilkan bersama dengan urutan in-the-wild, di mana metode tersebut menghasilkan – menurut penulis – hasil yang lebih bersih dan lebih stabil daripada pendekatan sebelumnya. Sumber

Dengan tiga model eksperimental yang dihasilkan untuk pekerjaan ini, penulis mengklaim kinerja baru yang memimpin dalam tugas ini, sambil mempertahankan kemampuan generalisasi yang lebih tinggi dari model dasar, yang berarti bahwa metode tersebut menghasilkan model yang serba guna dengan kemampuan tambahan, bukan alat yang terisolasi yang ditargetkan pada tugas tunggal.

Penulis menyatakan:

‘Eksperimen komprehensif menunjukkan bahwa SAM2Matting mencapai kinerja terbaik (SOTA) pada matting gambar dan video, dengan matting video dievaluasi dalam cara zero-shot yang ketat.

‘Hasil in-the-wild yang luas lebih lanjut menunjukkan generalisasi yang kuat ke skenario dunia terbuka dengan gerakan cepat, latar belakang yang kompleks, dan lampiran target (misalnya, pria yang mengendarai sepeda).

‘Selain itu, komponen matting kami ringan dan efisien, memungkinkan varian SAM2.1-Tiny untuk berjalan pada 40 FPS pada video 1080p 200-frame menggunakan kurang dari 5GB memori GPU.’

Makalah baru ini berjudul SAM2Matting: Matting Gambar dan Video yang Digenalisasi, dan berasal dari empat penulis dari Universitas Fudan dan Universitas Keuangan dan Ekonomi Shanghai. Pekerjaan ini memiliki repository GitHub, yang pada saat penulisan telah merilis titik-titik dari varian yang berbeda, kode inferensi, dan demo interaktif, dengan janji rilis kode pelatihan. Selain itu, ada situs proyek.

Potong!

Baru-baru ini, minat telah tumbuh dalam menggunakan Segment Anything (SAM) untuk menyediakan ekstraksi otomatis dan halus. Karena SAM dikembangkan untuk membantu anotasi daripada menyediakan garis tepi yang tajam yang dapat diterima dalam pipa efek visual, batas defaultnya tidak sesuai untuk menangani tantangan tersebut, tanpa bantuan:

Klik untuk memutar, jika perlu. Contoh batas kasar yang dibuat oleh model Segment Anything – ideal untuk anotasi, tetapi tidak cukup baik untuk VFX drop-out. Sumber 

Penawaran baru dari Cina telah mengusulkan cara yang lebih canggih untuk menggunakan model SAM untuk mendapatkan proses ekstraksi yang lebih baik – dengan menggabungkan pelacak dasar seperti SAM dengan jembatan proposal wilayah dengan kepala matting yang didedikasikan. Dengan cara ini, sistem dapat memperbaiki detail tepi secara iteratif dan menyelesaikan tepi yang menantang, seperti rambut dalam gerakan:

Klik untuk memutar, jika perlu. Dari situs pendukung makalah baru, amalgam video pendukung, menunjukkan kecanggihan metode penulis untuk ekstraksi. Sumber 

Sangat penting, sistem komposit baru ini dilatih hanya pada gambar, bukan pada video, dan tidak memerlukan anotasi manusia tambahan – hambatan tradisional terhadap kemajuan dalam domain AI ini dan berbagai domain lainnya.

Contoh matting gambar dan video halus yang dicapai dengan metode baru, dengan kasus menantang seperti rambut, transparansi, dan gerakan ditampilkan bersama dengan urutan in-the-wild, di mana metode tersebut menghasilkan – menurut penulis – hasil yang lebih bersih dan lebih stabil daripada pendekatan sebelumnya. Sumber

Dengan tiga model eksperimental yang dihasilkan untuk pekerjaan ini, penulis mengklaim kinerja baru yang memimpin dalam tugas ini, sambil mempertahankan kemampuan generalisasi yang lebih tinggi dari model dasar, yang berarti bahwa metode tersebut menghasilkan model yang serba guna dengan kemampuan tambahan, bukan alat yang terisolasi yang ditargetkan pada tugas tunggal.

Penulis menyatakan:

‘Eksperimen komprehensif menunjukkan bahwa SAM2Matting mencapai kinerja terbaik (SOTA) pada matting gambar dan video, dengan matting video dievaluasi dalam cara zero-shot yang ketat.

‘Hasil in-the-wild yang luas lebih lanjut menunjukkan generalisasi yang kuat ke skenario dunia terbuka dengan gerakan cepat, latar belakang yang kompleks, dan lampiran target (misalnya, pria yang mengendarai sepeda).

‘Selain itu, komponen matting kami ringan dan efisien, memungkinkan varian SAM2.1-Tiny untuk berjalan pada 40 FPS pada video 1080p 200-frame menggunakan kurang dari 5GB memori GPU.’

Makalah baru ini berjudul SAM2Matting: Matting Gambar dan Video yang Digenalisasi, dan berasal dari empat penulis dari Universitas Fudan dan Universitas Keuangan dan Ekonomi Shanghai. Pekerjaan ini memiliki repository GitHub, yang pada saat penulisan telah merilis titik-titik dari varian yang berbeda, kode inferensi, dan demo interaktif, dengan janji rilis kode pelatihan. Selain itu, ada situs proyek.

Metode

Penulis memisahkan pelacakan dari ekstraksi detail halus menggunakan pelacak segmentasi objek video (VOS) untuk menghasilkan masker kasar yang konsisten secara temporal untuk setiap bingkai, sementara pipa matting yang didedikasikan memperbaiki batas:

Gambaran pipeline, di mana prompt yang fleksibel dan video input masuk ke pelacak segmentasi objek video untuk menghasilkan masker kasar, yang kemudian diperbaiki oleh detektor ROI dan diubah menjadi trimap sebelum predictor multi-skala progresif menghasilkan matte halus akhir.

Detektor ROI kemudian mengidentifikasi wilayah dengan detail halus atau semi-transparan, mengubahnya menjadi trimap (masker tiga-wilayah yang membagi foreground, background, dan wilayah yang tidak pasti) yang memandu perbaikan, setelah itu predictor Alpha Progresif menghasilkan matte akhir melalui cascade kasar-ke-halus melintasi beberapa skala

Sistem matting konvensional biasanya menghasilkan wilayah yang menarik menggunakan operasi morfologi sederhana, atau dengan langsung menggunakan kembali masker – pendekatan yang dapat melewatkan detail halus, atau memasukkan wilayah yang tidak memerlukan perbaikan:

Perbandingan pemrosesan masker standar dengan trimap ground-truth, menunjukkan bagaimana operasi morfologi sederhana menghasilkan batas yang kasar dan seragam yang melewatkan struktur halus seperti rambut dan transparansi, menyebabkan kehilangan detail dalam matte akhir.

Bunga Majemuk

Sebaliknya, detektor ROI yang diusulkan memperlakukan langkah ini sebagai tugas klasifikasi pixel-berbasis (yaitu, memperlakukan setiap piksel individu dalam gambar sebagai keputusan terpisah, dan menetapkan label berdasarkan apakah piksel tersebut termasuk dalam wilayah kritis matting atau tidak) yang mengintegrasikan masker VOS, bingkai saat ini, dan fitur gambar multi-skala, untuk lebih tepat mengisolasi wilayah kritis matting.

Di pendekatan baru, ROI yang diprediksi pertama kali diubah menjadi pseudo-trimap yang memisahkan foreground yang pasti dan background dari wilayah yang tidak pasti, menggunakan masker pelacak untuk menetapkan wilayah yang diketahui sementara menandai ROI sebagai ambigu, sehingga pemrosesan selanjutnya dapat fokus secara eksplisit pada batas di mana detail harus diselesaikan.

Perbaikan kemudian ditangani oleh predictor Alpha Progresif yang memperlakukan matting sebagai proses langkah-demi-langkah, melewati hasil antara dari kasar ke skala yang lebih halus, dengan setiap tahap menggunakan gambar, trimap, dan perkiraan sebelumnya untuk memperbaiki struktur dan memulihkan detail halus secara progresif.

Pada tahap akhir, output dengan resolusi tertinggi di-upsample untuk menghasilkan matte yang selesai, memungkinkan bentuk yang luas untuk dibentuk lebih dulu sementara elemen yang lebih halus seperti rambut dan transparansi diselesaikan dalam langkah-langkah berikutnya.

Selama pelatihan, penulis membekukan pelacak VOS, sementara hanya komponen matting yang dilatih pada data gambar berkualitas tinggi – memungkinkan detail halus untuk diperbaiki tanpa mengurangi konsistensi pelacakan. Pengawasan kemudian diterapkan per bingkai, dengan wilayah yang menarik dihasilkan dari matte alfa ground-truth, dan digunakan untuk memandu pembelajaran, sementara detektor ROI dilatih dengan kerugian yang dirancang untuk mendorong klasifikasi batas yang akurat, dan mengurangi artefak yang bergerigi.

Untuk estimasi alfa, kerugian diterapkan melintasi beberapa skala untuk memperbaiki detail secara progresif, bersama dengan konstrain tambahan yang dimaksudkan untuk menjaga matte yang diprediksi selaras dengan masker asli – membantu untuk mempertahankan struktur, dan untuk mencegah wilayah yang kosong atau rusak dalam output akhir.

Data dan Tes

Delapan dataset matting gambar digunakan awalnya, untuk percobaan: I-HIM50K; P3M-10k; CelebAHairMask-HQ; AIM-500; Distinctions-646; AM-2K; UHRIM; dan RefMatte; dan tiga varian dari pendekatan ‘Sam2Matting’ dikembangkan sebagai pelacak VOS, masing-masing menggunakan SAM2.1-Tiny; SAM2.1-Base+; dan konsep-berfokus SAM3.

Komponen pelacak dibekukan, dengan hanya komponen matting yang dioptimalkan. Semua varian dilatih selama lima epoch melintasi empat NVIDIA A6000 GPU, masing-masing dengan alokasi VRAM 48GB. Ukuran batch 32 digunakan, di bawah AdamW optimizer. Metrik yang digunakan adalah Mean Absolute Difference (MAD); Mean Squared Error (MSE); Gradien (Grad); Koneksi (Conn); dan dtSSD (hanya untuk matting video).

Tes Kuantitatif

Penulis memulai dengan pengujian kuantitatif sistem baru pada matting gambar, menggunakan benchmark P3M-500-NP; AM-2K (‘GFM’ dalam hasil); MAM (‘Matte Anything’, dalam hasil); E2E-HIM; Lightweight; dan PPM-100 (‘MODNet’, dalam hasil):

Hasil kuantitatif pada benchmark matting gambar melintasi P3M-500-NP, AM-2K test, dan PPM-100, dengan nilai yang lebih rendah menunjukkan kinerja yang lebih baik melintasi semua metrik, dan hasil terbaik, kedua terbaik, dan ketiga terbaik ditandai dengan merah, oranye, dan kuning, masing-masing. Silakan merujuk ke makalah sumber untuk resolusi yang lebih baik.

Dari hasil ini, makalah tersebut menyatakan:

‘Seperti yang ditunjukkan [di atas], ketiga varian SAM2Matting secara konsisten outperform baseline sebelumnya melintasi metrik yang berbeda. Misalnya, varian SAM2.1-Tiny mencapai MAD yang 11,48 lebih rendah daripada MAM pada P3M-500-NP.’

Penulis mempertahankan bahwa hasil tersebut menunjukkan bahwa pendekatan mereka mencapai hasil yang lebih baik melalui desain konseptual inti, dan bukan karena tingkat kualitas data.

Untuk matting video, SAM2Matting dievaluasi pada V-HIM60 dan VideoMatte dalam pengaturan zero-shot, melawan sistem video yang dilatih MatAnyone2, MatAnyone, MaGGIe, FTP-VM, dan RVM, dengan keuntungan yang konsisten dilaporkan melintasi kedua split medium dan hard.

Melintasi semua benchmark, ketiga varian mencatat kesalahan yang lebih rendah pada MAD, MSE, Grad, Conn, dan dtSSD, dengan SAM3 mencapai hasil terbaik secara keseluruhan, sementara nilai dtSSD terendah tampaknya menunjukkan konsistensi bingkai-ke-bingkai yang lebih stabil:

Hasil kuantitatif pada benchmark matting video melintasi V-HIM60 dan VideoMatte, dievaluasi dalam pengaturan zero-shot, menunjukkan kesalahan yang lebih rendah melintasi semua metrik, dengan hasil terbaik, kedua terbaik, dan ketiga terbaik ditandai dengan merah, oranye, dan kuning, masing-masing.

Penulis berpendapat bahwa hasil tersebut mencerminkan desain yang terpisah, di mana pelacak VOS mempertahankan struktur temporal dan modul matting fokus pada detail batas, memungkinkan model yang dilatih pada gambar untuk melebihi pendekatan video yang sepenuhnya terawasi.

Tes Kualitatif

Untuk matting manusia dalam tes kualitatif, penulis menemukan bahwa Sam2Matting outperform baseline yang kompetitif:

Perbandingan kualitatif pada matting video manusia dan in-the-wild, di mana SAM2Matting mempertahankan rambut halus dan wilayah semi-transparan dengan lebih akurat daripada RVM dan MatAnyone, menghasilkan batas yang lebih bersih dan struktur yang kurang hilang dalam area yang menantang.

Sebagaimana ditunjukkan di bawah, sistem matting video yang ada seperti MatAnyone2 dan MaGGIe, yang dilatih pada dataset spesifik domain dan sering kali manusia-sentris, bergelut untuk menggeneralisasi ke urutan in-the-wild, terutama ketika menangani subjek yang bergerak cepat seperti akar yang tumbuh, kupu-kupu semi-transparan, dan air yang menetes dengan cepat:

Perbandingan kualitatif pada urutan in-the-wild, di mana SAM2Matting mempertahankan struktur halus dan konsistensi temporal dengan lebih efektif daripada MatAnyone2 dan MaGGIe, terutama untuk subjek non-manusia, gerakan cepat, dan elemen semi-transparan seperti air, kaca, dan sayap serangga. Silakan merujuk ke makalah sumber untuk resolusi yang lebih baik.

Sebaliknya, SAM2Matting terbukti dapat mempertahankan pelacakan yang stabil, dan mengekstrak detail halus dengan lebih andal, dalam skenario yang menantang tersebut.

Akhirnya, sebagaimana ditunjukkan dalam gambar di bawah, SAM2Matting secara efektif menangani target dengan objek yang terlampir, seperti orang yang mengendarai sepeda atau memegang tongkat ski, sementara menekan gangguan latar belakang di dekatnya, mendapat manfaat dari konstrain konsistensi matte-mask yang dijelaskan sebelumnya.

Perbandingan kualitatif pada urutan dengan objek yang terlampir dan gangguan latar belakang, di mana SAM2Matting mempertahankan struktur seperti sepeda dan tongkat ski dengan lebih akurat daripada MatAnyone2, sementara menekan kekacauan di dekatnya dan mempertahankan siluet yang lebih bersih melintasi bingkai.

Kesimpulan

Pencapaian yang dijelaskan dalam makalah baru menunjukkan seberapa jauh ekstraksi, salah satu tugas tertua dalam penglihatan komputer, masih belum terpecahkan dan resisten terhadap pendekatan yang umum. Seperti banyak model berbasis penglihatan lainnya, masalahnya tetap bahwa algoritma ekstraksi bergantung pada pengetahuan domain daripada beradaptasi dengan mudah ke objek yang tidak terlihat dan tidak diketahui; tugas ini menekan batas luar kemampuan generalisasi model.

Sementara pekerjaan baru ini merupakan langkah maju dari ketergantungan tersebut, masih ada jalan panjang untuk dilalui, mempertimbangkan seberapa jauh tugas ini tertanam dalam kehidupan sehari-hari kita, melalui portal video chat.

Dipublikasikan pertama kali pada hari Senin, 13 Juli 2026