Meningkatkan Penghapusan Latar Belakang AI Tanpa Anotasi Manusia yang Mahal

Riset baru menunjukkan bahwa AI dapat memisahkan orang dari latar video dengan rapi tanpa pelabelan manusia yang mahal, sekaligus meningkatkan kualitas dan kestabilan

Sebagian besar dari kita pernah dipisahkan dari latar melalui filter sederhana yang mengubah atau menyamarkan latar dalam platform panggilan video. Kita mungkin juga melihat keterbatasannya: sistem ini dilatih untuk kasus-kasus yang paling umum dalam konferensi video dan biasanya tidak tahan menghadapi hal yang tidak terduga, atau bahkan objek yang dapat diperkirakan seperti jari:

Contoh umum sistem ekstraksi objek latar depan yang dilatih dengan AI, tetapi memotong terlalu banyak bagian dari subjek asli. Sumber

Solusi termudah, yang semakin populer ketika menghadapi model bahasa-visual atau VLM yang tidak dilatih khusus untuk tugas tersebut, adalah menyetel ulang model yang sudah ada menggunakan data yang kemungkinan akan ditemui sistem:

Dua kumpulan data besar yang dianotasi dengan sangat teliti menjadi dasar solusi dalam makalah tahun 2020 “Real-Time High-Resolution Background Matting”. Sumber

Namun, data tersebut harus dianotasi oleh manusia dengan biaya tertentu dan waktu yang tidak sedikit. Hasilnya pun berupa alat yang sangat spesifik, kurang mampu melakukan generalisasi, mahal, dan biasanya tidak dapat digunakan untuk tugas yang lebih beragam.

Meski begitu, pengembangan model khusus semacam ini saat ini merupakan jalan tercepat menuju inferensi yang efektif di berbagai bidang, bukan hanya matting video dan gambar, yaitu penghapusan latar atau pembuatan matte objek latar depan. Sampai sekarang, banyak solusi tanpa pengawasan yang ditawarkan pada dasarnya hanya memindahkan persoalan, bukan menyelesaikannya.

Bahkan kini, meskipun filter berbantuan AI sudah tersebar luas di platform seperti Zoom, platform tersebut masih merekomendasikan layar hijau sebagai solusi terbaik untuk menghapus latar. Ini adalah solusi yang merepotkan dan terasa cukup profesional, sehingga mungkin membuat kebanyakan dari kita sedikit canggung.

Pisahkan subjeknya!

Belakangan, minat meningkat untuk menggunakan keluarga Segment Anything (SAM) dalam ekstraksi otomatis yang mempertahankan detail halus. Karena SAM dikembangkan untuk membantu anotasi alih-alih menghasilkan tepi tajam yang memenuhi standar alur kerja efek visual, batas bawaannya tidak cukup untuk mengatasi tantangan ini tanpa bantuan:

Klik untuk memutar jika diperlukan. Contoh tepi kasar yang dihasilkan model Segment Anything: cocok untuk anotasi, tetapi belum cukup baik untuk pemisahan subjek dalam efek visual. Sumber 

Pendekatan baru dari Tiongkok mengusulkan cara yang lebih canggih untuk memakai model SAM agar hasil ekstraksi lebih baik: menggabungkan pelacak dasar seperti SAM dengan penghubung usulan wilayah serta modul matting khusus. Dengan cara ini, sistem dapat menyempurnakan detail tepi secara bertahap dan menangani batas yang sulit, seperti rambut yang bergerak:

Klik untuk memutar jika diperlukan. Gabungan video tambahan dari situs pendamping makalah baru, yang memperlihatkan kecanggihan metode ekstraksi para penulis. Sumber 

Yang penting, sistem gabungan ini hanya dilatih dengan gambar, bukan video, dan tidak memerlukan anotasi manusia tambahan. Anotasi tersebut merupakan hambatan lama bagi kemajuan bidang ini dan berbagai bidang AI lainnya.

Contoh matting gambar dan video dengan detail halus melalui metode baru. Kasus sulit seperti rambut, transparansi, dan gerakan ditampilkan bersama rangkaian video dunia nyata. Menurut para penulis, metode ini menghasilkan keluaran yang lebih bersih dan stabil daripada pendekatan sebelumnya. Sumber

Melalui tiga model eksperimental yang dibuat untuk penelitian ini, para penulis mengklaim kinerja terbaik mutakhir pada tugas tersebut, sambil mempertahankan kemampuan generalisasi yang lebih tinggi dari model dasar. Artinya, metode ini menghasilkan model serbaguna dengan kemampuan tambahan, bukan alat terpisah yang hanya ditujukan untuk satu tugas.

Para penulis menyatakan:

“Eksperimen menyeluruh menunjukkan bahwa SAM2Matting mencapai kinerja terbaik mutakhir (SOTA) pada matting gambar maupun video, dengan evaluasi video dilakukan secara ketat dalam pengaturan zero-shot.

“Hasil yang luas pada data dunia nyata juga menunjukkan generalisasi yang kuat terhadap skenario terbuka dengan gerakan cepat, latar kompleks, dan objek yang melekat pada target, misalnya orang yang mengendarai sepeda.

“Selain itu, komponen matting kami ringan dan efisien, sehingga varian SAM2.1-Tiny dapat berjalan pada 40 FPS untuk video 1080p sepanjang 200 bingkai, menggunakan memori GPU kurang dari 5 GB.”

Makalah baru ini berjudul SAM2Matting: Generalized Image and Video Matting dan ditulis oleh empat peneliti dari Fudan University serta Shanghai University of Finance and Economics. Penelitian ini memiliki repositori GitHub yang, pada saat artikel ditulis, telah menyediakan checkpoint berbagai varian, kode inferensi, dan demo interaktif, dengan janji rilis kode pelatihan. Tersedia pula situs proyek.

Metode

Metode para penulis memisahkan pelacakan dari ekstraksi detail halus. Pelacak segmentasi objek video (VOS) menghasilkan masker kasar yang konsisten sepanjang waktu untuk setiap bingkai, sedangkan alur matting khusus menyempurnakan batasnya:

Gambaran alur pemrosesan: prompt fleksibel dan video masukan diteruskan ke pelacak segmentasi objek video untuk menghasilkan masker kasar. Detektor wilayah perhatian atau ROI menyempurnakannya dan mengubahnya menjadi trimap, sebelum prediktor progresif multiskala menghasilkan matte akhir yang sangat terperinci.

Detektor wilayah perhatian (ROI) kemudian mengenali wilayah dengan detail halus atau semitransparansi dan mengubahnya menjadi trimap —masker tiga wilayah yang membagi objek latar depan, latar belakang, dan bagian yang belum pasti—untuk memandu penyempurnaan. Setelah itu, Progressive Alpha Predictor menghasilkan matte akhir melalui rangkaian pemrosesan dari kasar ke halus pada beberapa skala.

Sistem matting konvensional biasanya menentukan wilayah perhatian melalui operasi morfologis sederhana atau langsung menggunakan kembali masker . Pendekatan ini dapat melewatkan detail halus atau justru menyertakan bagian yang tidak memerlukan penyempurnaan:

Perbandingan pemrosesan standar berbasis masker dengan trimap acuan menunjukkan bahwa operasi morfologis sederhana menghasilkan batas kasar dan seragam. Batas tersebut melewatkan struktur halus seperti rambut serta transparansi, sehingga detail pada matte akhir hilang.

Menggabungkan informasi wilayah perhatian

Sebaliknya, Region-of-Interest Detector yang diusulkan memperlakukan tahap ini sebagai tugas klasifikasi per piksel. Setiap piksel dinilai tersendiri dan diberi label berdasarkan apakah ia termasuk wilayah yang penting untuk matting. Detektor memadukan masker VOS, bingkai saat ini, dan fitur gambar multiskala untuk mengisolasi wilayah penting tersebut dengan lebih tepat.

Dalam pendekatan baru ini, ROI yang diprediksi terlebih dahulu diubah menjadi pseudo-trimap, yang memisahkan objek latar depan dan latar belakang yang sudah pasti dari wilayah yang belum pasti. Masker pelacak menetapkan wilayah yang diketahui, sedangkan ROI ditandai sebagai ambigu. Pemrosesan berikutnya pun dapat berfokus secara eksplisit pada batas yang detailnya perlu diurai.

Penyempurnaan kemudian dilakukan Progressive Alpha Predictor, yang memperlakukan matting sebagai proses bertahap. Hasil antara diteruskan dari skala kasar ke skala yang lebih halus. Setiap tahap menggunakan gambar, trimap, dan perkiraan sebelumnya untuk mempertajam struktur secara bertahap serta memulihkan detail halus.

Pada tahap terakhir, keluaran beresolusi tertinggi diperbesar untuk menghasilkan matte lengkap. Dengan demikian, bentuk umum dapat ditetapkan lebih awal, sementara unsur halus seperti rambut dan transparansi diselesaikan pada tahap berikutnya.

Selama pelatihan, para penulis membekukan pelacak VOS dan melatih hanya komponen matting dengan data gambar berkualitas tinggi. Ini memungkinkan penyempurnaan detail tanpa merusak konsistensi pelacakan. Supervisi diterapkan per bingkai, dengan ROI diturunkan dari alpha matte acuan untuk memandu pembelajaran. Detektor ROI dilatih dengan fungsi kerugian yang mendorong klasifikasi batas yang akurat dan mengurangi artefak bergerigi.

Untuk estimasi alfa , fungsi kerugian diterapkan pada beberapa skala agar detail membaik secara progresif. Kendala tambahan menjaga matte yang diprediksi tetap selaras dengan masker asli, membantu mempertahankan struktur dan mencegah bagian berlubang atau terputus pada keluaran akhir.

Data dan pengujian

Delapan kumpulan data matting gambar mula-mula digunakan dalam pengujian: I-HIM50K; P3M-10k; CelebAHairMask-HQ; AIM-500; Distinctions-646; AM-2K; UHRIM; dan RefMatte. Tiga varian pendekatan SAM2Matting dikembangkan dengan pelacak VOS yang masing-masing menggunakan SAM2.1-Tiny; SAM2.1-Base+; serta SAM3 yang berfokus pada konsep.

Komponen pelacak dibekukan, dan hanya komponen matting yang dioptimalkan. Semua versi dilatih selama lima epoch pada empat GPU NVIDIA A6000, masing-masing dengan VRAM 48 GB. Ukuran batch sebesar 32 digunakan bersama pengoptimal AdamW . Metrik yang dipakai adalah Mean Absolute Difference (MAD); Mean Squared Error (MSE); Gradient (Grad); Connectivity (Conn); dan dtSSD (hanya untuk matting video).

Pengujian kuantitatif

Para penulis memulai pengujian kuantitatif sistem baru pada matting gambar menggunakan tolok ukur P3M-500-NP; AM-2K (“GFM” dalam hasil); MAM (“Matte Anything” dalam hasil); E2E-HIM; Lightweight; dan PPM-100 (“MODNet” dalam hasil):

Hasil kuantitatif matting gambar pada P3M-500-NP, pengujian AM-2K, dan PPM-100. Nilai yang lebih rendah menunjukkan kinerja lebih baik pada semua metrik. Hasil terbaik pertama, kedua, dan ketiga ditandai masing-masing dengan merah, jingga, dan kuning. Lihat makalah sumber untuk resolusi yang lebih baik.

Mengenai hasil tersebut, makalah menyatakan:

“Seperti ditunjukkan di atas, ketiga varian SAM2Matting secara konsisten melampaui metode pembanding sebelumnya pada berbagai metrik. Misalnya, varian SAM2.1-Tiny mencapai MAD yang 11,48 lebih rendah daripada MAM pada P3M-500-NP.”

Para penulis berpendapat bahwa hasil secara keseluruhan menunjukkan keunggulan pendekatan mereka berasal dari rancangan konsep intinya, bukan dari tingkat kurasi data.

Untuk matting video, SAM2Matting dievaluasi pada V-HIM60 dan VideoMatte dalam pengaturan zero-shot, dibandingkan dengan sistem yang dilatih pada video: MatAnyone2, MatAnyone, MaGGIe, FTP-VM, dan RVM. Peningkatan yang konsisten dilaporkan pada bagian pengujian dengan tingkat kesulitan sedang maupun tinggi.

Di semua tolok ukur, ketiga varian mencatat kesalahan yang lebih rendah pada MAD, MSE, Grad, Conn, dan dtSSD. SAM3 meraih hasil keseluruhan terkuat, sedangkan nilai dtSSD terendah tampaknya menunjukkan konsistensi antarbingkai yang lebih stabil:

Hasil kuantitatif matting video pada V-HIM60 dan VideoMatte dalam pengaturan zero-shot menunjukkan kesalahan yang lebih rendah pada semua metrik. Hasil terbaik pertama, kedua, dan ketiga ditandai masing-masing dengan merah, jingga, dan kuning.

Para penulis berpendapat bahwa hasil ini mencerminkan rancangan yang memisahkan komponen: pelacak VOS mempertahankan struktur temporal, sedangkan modul matting berfokus pada detail batas. Dengan demikian, model yang dilatih menggunakan gambar dapat melampaui pendekatan video yang dilatih dengan supervisi penuh.

Pengujian kualitatif

Dalam pengujian kualitatif matting manusia, para penulis menemukan bahwa SAM2Matting mengungguli metode pembanding:

Perbandingan kualitatif pada matting manusia dan video dunia nyata. SAM2Matting mempertahankan helai rambut halus serta wilayah semitransparan dengan lebih akurat daripada RVM dan MatAnyone, menghasilkan batas lebih bersih dan lebih sedikit struktur yang hilang di bagian yang sulit.

Seperti terlihat di bawah, sistem matting video yang ada, seperti MatAnyone2 dan MaGGIe, dilatih pada kumpulan data khusus bidang tertentu yang sering berpusat pada manusia. Sistem tersebut kesulitan menggeneralisasi ke rangkaian video dunia nyata, khususnya saat menghadapi subjek bergerak cepat seperti akar yang tumbuh, kupu-kupu semitransparan, dan air yang menetes dengan cepat:

Perbandingan kualitatif pada rangkaian video dunia nyata. SAM2Matting lebih efektif mempertahankan struktur halus dan konsistensi temporal dibandingkan MatAnyone2 serta MaGGIe, terutama pada subjek nonmanusia, gerakan cepat, dan unsur semitransparan seperti air, kaca, serta sayap serangga. Lihat makalah sumber untuk resolusi yang lebih baik.

Sebaliknya, SAM2Matting mampu mempertahankan pelacakan yang stabil dan mengekstraksi detail halus dengan lebih andal dalam skenario sulit tersebut.

Terakhir, seperti ditunjukkan gambar di bawah, SAM2Matting menangani target dengan objek yang melekat, misalnya orang yang mengendarai sepeda atau memegang tongkat ski, sekaligus menekan gangguan dari latar di dekatnya. Hasil ini mendapat manfaat dari kendala konsistensi matte-masker yang dijelaskan sebelumnya.

Perbandingan kualitatif pada rangkaian video dengan objek yang melekat dan gangguan latar. SAM2Matting mempertahankan struktur seperti sepeda dan tongkat ski dengan lebih akurat daripada MatAnyone2, sambil menekan gangguan di sekitarnya dan menjaga siluet lebih bersih dari bingkai ke bingkai.

Kesimpulan

Pencapaian dalam makalah baru ini menunjukkan bahwa ekstraksi, salah satu tugas tertua dalam visi komputer, masih belum sepenuhnya terpecahkan dan tetap sulit ditangani dengan pendekatan yang umum. Seperti banyak model berbasis visual lainnya, masalahnya adalah algoritme ekstraksi masih terpaku pada pengetahuan khusus suatu bidang, bukannya mudah beradaptasi dengan objek yang belum pernah dilihat atau dikenal. Tugas ini menguji batas terjauh kemampuan generalisasi model.

Meski penelitian baru ini merupakan langkah maju untuk mengurangi ketergantungan tersebut, jalan yang harus ditempuh masih panjang, mengingat betapa luas tugas ini hadir dalam kehidupan sehari-hari melalui platform panggilan video.

Pertama kali diterbitkan Senin, 13 Juli 2026