Memisahkan ‘Fused’ Manusia dalam Visi Komputer

Sebuah makalah baru dari Hyundai Motor Group Innovation Center di Singapura menawarkan metode untuk memisahkan ‘fused’ manusia dalam visi komputer – kasus-kasus di mana kerangka pengenalan objek telah menemukan manusia yang dalam beberapa cara ‘terlalu dekat’ dengan manusia lain (seperti ‘tindakan memeluk’, atau ‘berdiri di belakang’ pose), dan tidak dapat memisahkan kedua orang yang digambarkan, mengacaukan mereka untuk satu orang atau entitas.

Dua menjadi satu, tapi itu bukan hal yang baik dalam segmentasi semantik. Di sini kita melihat sistem baru mencapai hasil terbaik pada individuasi orang yang terjalin dalam gambar yang kompleks dan menantang. Sumber: https://arxiv.org/pdf/2210.03686.pdf

Ini adalah masalah yang cukup penting yang telah menerima banyak perhatian dalam komunitas penelitian dalam beberapa tahun terakhir. Menyelesaikannya tanpa biaya yang jelas tetapi biasanya tidak terjangkau dari skala besar, pelabelan khusus manusia bisa akhirnya memungkinkan perbaikan dalam individuasi manusia dalam sistem teks-ke-gambar seperti Stable Diffusion, yang sering ‘meleleh’ orang bersama di mana pose yang diminta memerlukan beberapa orang untuk berada di dekat satu sama lain.

Terima kasih kehoror – model teks-ke-gambar seperti DALL-E 2 dan Stable Diffusion (keduanya ditampilkan di atas) berjuang untuk menggambarkan orang dalam jarak yang sangat dekat satu sama lain.

Meskipun model generatif seperti DALL-E 2 dan Stable Diffusion tidak (sampai pengetahuan terbaik, dalam kasus DALL-E 2 yang tertutup) saat ini menggunakan segmentasi semantik atau pengenalan objek, portmanteau manusia yang menjijikkan ini tidak dapat disembuhkan dengan menerapkan metode hulu seperti itu – karena keadaan seni perpustakaan pengenalan objek dan sumber daya tidak jauh lebih baik dalam memisahkan orang daripada CLIP-berbasis aliran difusi laten.

Untuk mengatasi masalah ini, makalah baru – berjudul Manusia tidak perlu melabeli lebih banyak manusia: Occlusion Copy & Paste untuk Occluded Human Instance Segmentation– menyesuaikan dan memperbaiki pendekatan ‘potong dan tempel’ semi-sintetis untuk mencapai keunggulan baru dalam tugas, bahkan melawan sumber material yang paling menantang:

Metodologi Occlusion Copy & Paste baru saat ini memimpin lapangan bahkan melawan kerangka kerja dan pendekatan sebelumnya yang mengatasi tantangan dalam cara yang lebih rumit dan khusus, seperti memodelkan oklusi secara khusus.

Potong Itu!

Metode yang telah diubah – berjudul Occlusion Copy & Paste – berasal dari makalah Simple Copy-Paste 2021, dipimpin oleh Google Research, yang menyarankan bahwa menyuperimposisikan objek dan orang yang diekstrak di antara gambar pelatihan yang beragam dapat meningkatkan kemampuan sistem pengenalan gambar untuk membedakan setiap instance yang ditemukan dalam gambar:

Dari makalah yang dipimpin oleh Google Research ‘Simple Copy-Paste is a Strong Data Augmentation Method for Instance Segmentation’, kita melihat elemen dari satu foto ‘migrasi’ ke foto lain, dengan tujuan melatih model pengenalan gambar yang lebih baik dan lebih akurat. Sumber: https://arxiv.org/pdf/2012.07177.pdf

Metode baru ini menambahkan keterbatasan dan parameter ke dalam ‘repasting’ otomatis dan algoritmik ini, menganalogikan proses menjadi ‘keranjang’ gambar penuh dengan kandidat potensial untuk ‘transferring’ ke gambar lain, berdasarkan beberapa faktor kunci.

Alur kerja konseptual untuk OC&P.

Mengontrol Elemen

Faktor-faktor pembatas tersebut termasuk probabilitas dari ‘potong dan tempel’ yang terjadi, yang memastikan bahwa proses tidak terjadi terus-menerus, yang akan mencapai efek ‘jenuh’ yang akan melemahkan augmentasi data; jumlah gambar yang akan dimasukkan ke dalam ‘keranjang’ pada satu waktu, di mana jumlah ‘segmen’ yang lebih besar mungkin meningkatkan variasi instance, tetapi meningkatkan waktu pra-pengolahan; dan rentang, yang menentukan jumlah gambar yang akan ditempel ke dalam gambar ‘host’.

Mengenai yang terakhir, makalah tersebut mencatat ‘Kita perlu cukup oklusi untuk terjadi, namun tidak terlalu banyak sehingga gambar menjadi berantakan, yang dapat merusak proses pembelajaran.’

Inovasi lain untuk OC&P adalah penempelan yang ditargetkan dan penempelan instance yang ditingkatkan.

Penempelan yang ditargetkan memastikan bahwa gambar yang sesuai mendarat di dekat instance yang ada dalam gambar target. Dalam pendekatan sebelumnya, dari pekerjaan sebelumnya, elemen baru hanya dibatasi dalam batas gambar, tanpa mempertimbangkan konteks.

Meskipun ‘tempel’ ini, dengan penempelan yang ditargetkan, jelas bagi mata manusia, baik OC&P maupun pendahulunya telah menemukan bahwa peningkatan autentisitas visual tidak selalu penting, dan bahkan dapat menjadi kerugian (lihat ‘Reality Bites’ di bawah).

Penempelan instance yang ditingkatkan, di sisi lain, memastikan bahwa instance yang ditempel tidak menunjukkan ‘tampilan yang khas’ yang dapat diklasifikasikan oleh sistem dengan cara tertentu, yang dapat menyebabkan penolakan atau ‘perlakuan khusus’ yang dapat menghambat generalisasi dan keteraplikasian. Penempelan yang ditingkatkan memodulasi faktor-faktor visual seperti kecerahan dan ketajaman, skala dan rotasi, dan saturasi – di antara faktor-faktor lain.

Dari bahan tambahan makalah baru: menambahkan OC&P ke kerangka pengenalan yang ada cukup trivial, dan menghasilkan individuasi orang yang unggul dalam ruang yang sangat dekat. Sumber: https://arxiv.org/src/2210.03686v1/anc/OcclusionCopyPaste_Supplementary.pdf

Selain itu, OC&P mengatur ukuran minimum untuk setiap instance yang ditempel. Misalnya, mungkin memungkinkan untuk mengekstrak gambar satu orang dari adegan kerumunan besar, yang dapat ditempel ke gambar lain – tetapi dalam kasus seperti itu, jumlah piksel yang terlibat tidak mungkin membantu pengenalan. Oleh karena itu, sistem menerapkan skala minimum berdasarkan rasio panjang sisi yang sama untuk gambar target.

Lebih lanjut, OC&P memperkenalkan penempelan yang sadar skala, di mana, selain mencari subjek yang serupa dengan subjek yang ditempel, juga mempertimbangkan ukuran kotak pembatas di gambar target. Namun, ini tidak menghasilkan gambar komposit yang dianggap realistis oleh manusia, melainkan mengumpulkan elemen-elemen semantik yang sesuai di dekat satu sama lain dengan cara yang berguna selama pelatihan.

Kenyaataan Menggigit

Baik pekerjaan sebelumnya yang menjadi dasar OC&P, maupun implementasi saat ini, menempatkan premi yang rendah pada autentisitas, atau ‘fotorealis’ dari gambar ‘montase’ akhir. Meskipun penting bahwa perakitan akhir tidak sepenuhnya menjadi Dadaisme (karena deploy sistem yang dilatih di dunia nyata tidak pernah berharap untuk menghadapi elemen-elemen dalam adegan seperti yang mereka latih), kedua inisiatif telah menemukan bahwa peningkatan ‘kredibilitas visual’ tidak hanya menambah waktu pra-pengolahan, tetapi bahwa ‘peningkatan realisme’ tersebut kemungkinan akan kontra-produktif.

Dari bahan tambahan makalah baru: contoh gambar yang ditingkatkan dengan ‘pencampuran acak’. Meskipun adegan ini terlihat seperti halusinasi bagi manusia, mereka masih memiliki subjek yang serupa yang ditempelkan bersama; meskipun oklusi yang fantastis bagi mata manusia, sifat oklusi potensial tidak dapat diketahui sebelumnya, dan tidak mungkin dilatih – oleh karena itu, ‘potongan’ bentuk yang aneh ini cukup untuk memaksa sistem yang dilatih untuk mencari dan mengenali subjek target parsial, tanpa perlu mengembangkan metode yang rumit seperti Photoshop untuk membuat adegan lebih masuk akal.

Data dan Pengujian

Untuk fase pengujian, sistem dilatih pada kelas orang dari dataset MS COCO, yang menampilkan 262.465 contoh manusia di 64.115 gambar. Namun, untuk mendapatkan masker yang lebih baik daripada MS COCO, gambar-gambar tersebut juga menerima anotasi masker LVIS.

Diluncurkan pada 2019, LVIS, dari penelitian Facebook, adalah dataset besar untuk Segmentasi Instance Vokabuler Besar. Sumber: https://arxiv.org/pdf/1908.03195.pdf

Untuk mengevaluasi seberapa baik sistem yang ditingkatkan dapat bersaing melawan sejumlah besar gambar manusia yang teroklusi, peneliti membandingkan OC&P dengan benchmark OCHuman (Occluded Human).

Contoh dari dataset OCHuman, diperkenalkan untuk mendukung proyek deteksi Pose2Seg pada 2018. Inisiatif ini bertujuan untuk mendapatkan segmentasi semantik orang yang lebih baik dengan menggunakan pose dan sikap sebagai delimiter semantik untuk piksel yang mewakili tubuh mereka. Sumber: https://github.com/liruilong940607/OCHumanApi

Karena benchmark OCHuman tidak sepenuhnya dianotasi, peneliti makalah baru menciptakan subset hanya contoh yang sepenuhnya dianotasi, berjudul OCHuman^FL. Ini mengurangi jumlah instance orang menjadi 2.240 di 1.113 gambar untuk validasi, dan 1.923 instance di 951 gambar yang digunakan untuk pengujian. Baik set asli maupun set yang baru dibuat diuji, menggunakan Mean Average Precision (mAP) sebagai metrik inti.

Untuk konsistensi, arsitektur dibentuk dari Mask R-CNN dengan backbone ResNet-50 dan jaringan piramida fitur, yang terakhir memberikan kompromi yang dapat diterima antara akurasi dan kecepatan pelatihan.

Dengan peneliti yang mencatat efek merugikan dari pengaruh ImageNet hulu dalam situasi serupa, seluruh sistem dilatih dari awal pada 4 GPU NVIDIA V100, selama 75 epoch, mengikuti parameter inisialisasi dari rilis Facebook 2021 Detectron 2.

Hasil

Selain hasil yang disebutkan di atas, hasil baseline melawan MMDetection (dan tiga model yang terkait) untuk pengujian menunjukkan keunggulan yang jelas untuk OC&P dalam kemampuan untuk memilih orang dari pose yang kompleks.

Selain mengungguli PoSeg dan Pose2Seg, salah satu prestasi paling menonjol dari makalah ini adalah bahwa sistem dapat diterapkan secara generik pada kerangka kerja yang ada, termasuk yang dipertandingkan dalam uji coba (lihat perbandingan dengan/ tanpa pada kotak hasil pertama, dekat awal artikel).

Makalah ini menyimpulkan:

‘Keuntungan utama dari pendekatan kami adalah bahwa ini dapat diterapkan dengan mudah pada model atau perbaikan model lainnya. Mengingat kecepatan di mana bidang pembelajaran dalam dilatih bergerak, ini sangat menguntungkan untuk memiliki pendekatan yang sangat interoperabel dengan setiap aspek pelatihan. Kami meninggalkan pekerjaan masa depan untuk mengintegrasikan ini dengan perbaikan model untuk secara efektif menyelesaikan segmentasi instance orang yang teroklusi.’

Potensi untuk Meningkatkan Sintesis Teks-ke-Gambar

Penulis utama Evan Ling mengamati, dalam surel kepada kami*, bahwa keuntungan utama dari OC&P adalah bahwa dapat mempertahankan label masker asli dan mendapatkan nilai baru dari mereka ‘secara gratis’ dalam konteks baru – yaitu, gambar yang mereka telah ditempelkan.

Meskipun segmentasi semantik manusia tampaknya terkait erat dengan kesulitan yang dihadapi model seperti Stable Diffusion dalam mengindividuasi orang (bukan ‘menggabungkan mereka’, seperti yang sering terjadi), pengaruh apa pun yang mungkin dimiliki oleh budaya pelabelan semantik terhadap render manusia yang menakutkan yang dihasilkan oleh SD dan DALL-E 2 sangat jauh di hulu.

Miliaran gambar subset LAION 5B yang memenuhi kekuatan generatif Stable Diffusion tidak mengandung label objek seperti kotak pembatas dan masker instance, bahkan jika arsitektur CLIP yang menyusun render dari gambar dan konten database mungkin telah mendapat manfaat dari instansiasi seperti itu; tetapi gambar-gambar LAION dilabeli ‘secara gratis’, karena label mereka berasal dari metadata dan caption lingkungan, dll., yang terkait dengan gambar saat mereka diambil dari web ke dalam dataset.

‘Tapi itu tidak menjadi soal,’ Ling mengatakan kepada kami. ‘Beberapa jenis augmentasi yang serupa dengan OC&P dapat digunakan selama pelatihan model generatif teks-ke-gambar. Tapi saya pikir realisme gambar pelatihan yang ditingkatkan mungkin menjadi masalah.

‘Dalam pekerjaan kami, kami menunjukkan bahwa ‘realisme yang sempurna’ umumnya tidak diperlukan untuk segmentasi instance yang diawasi, tapi saya tidak yakin apakah kesimpulan yang sama dapat ditarik untuk pelatihan model generatif teks-ke-gambar (terutama ketika output mereka diharapkan sangat realistis). Dalam kasus ini, lebih banyak pekerjaan mungkin perlu dilakukan dalam hal ‘memperbaiki’ realisme gambar yang ditingkatkan.’

CLIP sudah digunakan sebagai alat multimodal yang mungkin untuk segmentasi semantik, menunjukkan bahwa sistem pengenalan dan individuasi orang yang ditingkatkan seperti OC&P akhirnya dapat dikembangkan menjadi filter atau klasifikasi dalam sistem yang secara sewenang-wenang menolak representasi manusia yang ‘tergabung’ dan terdistorsi – tugas yang sulit dilakukan saat ini dengan Stable Diffusion, karena memiliki kemampuan terbatas untuk memahami di mana ia salah (jika memiliki kemampuan seperti itu, itu mungkin tidak akan membuat kesalahan itu di tempat pertama).

Hanya salah satu dari beberapa proyek yang saat ini menggunakan kerangka kerja CLIP OpenAI – inti dari DALL-E 2 dan Stable Diffusion – untuk segmentasi semantik. Sumber: https://openaccess.thecvf.com/content/CVPR2022/papers/Wang_CRIS_CLIP-Driven_Referring_Image_Segmentation_CVPR_2022_paper.pdf

‘Pertanyaan lainnya adalah,’ Ling menyarankan, ‘apakah hanya memberi makan model generatif ini dengan gambar orang yang teroklusi selama pelatihan akan berhasil, tanpa desain arsitektur model yang komplementer untuk mengatasi masalah ‘penggabungan manusia’? Itu mungkin pertanyaan yang sulit dijawab secara langsung. Pasti akan menarik untuk melihat bagaimana kita dapat memasukkan beberapa jenis bimbingan tingkat instance (melalui label tingkat instance seperti masker instance) selama pelatihan model generatif teks-ke-gambar.’

* 10 Oktober 2022

Dipublikasikan pertama kali pada 10 Oktober 2022.