Salah satu tantangan utama dalam model berbasis penglihatan komputer adalah pembangkitan masker segmentasi berkualitas tinggi. Kemajuan terbaru dalam pelatihan terawasi skala besar telah memungkinkan segmentasi nol-tembakan di berbagai gaya gambar. Selain itu, pelatihan tak-terawasi telah mempermudah segmentasi tanpa memerlukan anotasi ekstensif. Meskipun demikian, membangun kerangka kerja penglihatan komputer yang mampu membagi segala sesuatu dalam pengaturan nol-tembakan tanpa anotasi masih merupakan tugas yang kompleks. Segmentasi semantik, konsep dasar dalam model penglihatan komputer, melibatkan pembagian gambar menjadi wilayah yang lebih kecil dengan semantik seragam. Teknik ini merupakan landasan bagi banyak tugas hilir, seperti pencitraan medis, pengeditan gambar, mengemudi otonom, dan lain-lain.

Untuk memajukan pengembangan model penglihatan komputer, sangat penting bahwa segmentasi gambar tidak terbatas pada dataset tetap dengan kategori terbatas. Sebaliknya, harus bertindak sebagai tugas dasar yang serbaguna untuk berbagai aplikasi lainnya. Namun, biaya tinggi mengumpulkan label pada basis per-pixel merupakan tantangan signifikan, membatasi kemajuan metode segmentasi nol-tembakan dan terawasi yang memerlukan anotasi dan kehilangan akses sebelumnya ke target. Artikel ini akan membahas bagaimana lapisan perhatian diri dalam model difusi stabil dapat memfasilitasi pembangunan model yang mampu membagi segala sesuatu dalam pengaturan nol-tembakan, bahkan tanpa anotasi yang tepat. Lapisan perhatian diri ini secara inheren memahami konsep objek yang dipelajari oleh model difusi stabil yang telah dilatih sebelumnya.

DiffSeg : Algoritma Segmentasi Nol-Tembakan yang Ditingkatkan

Segmentasi semantik adalah proses yang membagi gambar menjadi berbagai bagian, dengan setiap bagian memiliki semantik yang seragam. Teknik ini membentuk landasan bagi banyak tugas hilir. Secara tradisional, tugas penglihatan komputer nol-tembakan bergantung pada segmentasi semantik terawasi, menggunakan dataset besar dengan kategori yang telah dianotasi dan diberi label. Namun, implementasi segmentasi semantik tak-terawasi dalam pengaturan nol-tembakan masih merupakan tantangan. Sementara metode terawasi tradisional efektif, biaya pelabelan per-pixel mereka seringkali prohibitif, menekankan kebutuhan akan metode segmentasi tak-terawasi dalam pengaturan nol-tembakan yang kurang restriktif, di mana model tidak memerlukan data yang dianotasi atau pengetahuan sebelumnya tentang data.

Untuk mengatasi keterbatasan ini, DiffSeg memperkenalkan strategi pasca-pengolahan baru, memanfaatkan kemampuan kerangka kerja Difusi Stabil untuk membangun model segmentasi generik yang dapat melakukan transfer nol-tembakan pada gambar apa pun. Kerangka kerja Difusi Stabil telah terbukti efektif dalam menghasilkan gambar resolusi tinggi berdasarkan kondisi prompt. Untuk gambar yang dihasilkan, kerangka kerja ini dapat menghasilkan masker segmentasi menggunakan prompt teks yang sesuai, biasanya hanya mencakup objek foreground yang dominan.

Sebaliknya, DiffSeg adalah metode pasca-pengolahan inovatif yang membuat masker segmentasi dengan menggunakan tensor perhatian dari lapisan perhatian diri dalam model difusi. Algoritma DiffSeg terdiri dari tiga komponen kunci: penggabungan perhatian iteratif, agregasi perhatian, dan penekanan non-maksimum, seperti yang ditunjukkan pada gambar berikut.

Algoritma DiffSeg mempertahankan informasi visual di seluruh resolusi yang berbeda dengan mengagregasi tensor perhatian 4D dengan konsistensi spasial, dan menggunakan proses penggabungan iteratif dengan sampling titik jangkar. Titik jangkar ini berfungsi sebagai titik awal untuk menggabungkan masker perhatian dengan jangkar objek yang sama yang pada akhirnya diserap. Kerangka kerja DiffSeg mengontrol proses penggabungan dengan bantuan metode divergensi KL untuk mengukur kesamaan antara dua peta perhatian.

Ketika dibandingkan dengan metode segmentasi tak-terawasi berbasis pengelompokan, pengembang tidak perlu menentukan jumlah klaster sebelumnya dalam algoritma DiffSeg, dan bahkan tanpa pengetahuan sebelumnya, algoritma DiffSeg dapat menghasilkan segmentasi tanpa menggunakan sumber daya tambahan. Secara keseluruhan, algoritma DiffSeg adalah “metode segmentasi nol-tembakan tak-terawasi yang baru dan menggunakan model Difusi Stabil yang telah dilatih sebelumnya, dan dapat membagi gambar tanpa sumber daya tambahan atau pengetahuan sebelumnya.”

DiffSeg : Konsep Dasar

DiffSeg adalah algoritma baru yang dibangun berdasarkan pengetahuan dari Model Difusi, Segmentasi Tak-Terawasi, dan Segmentasi Nol-Tembakan.

Model Difusi

Algoritma DiffSeg dibangun berdasarkan pengetahuan dari model difusi yang telah dilatih sebelumnya. Model difusi adalah salah satu kerangka kerja generatif paling populer untuk model penglihatan komputer, dan mempelajari proses difusi maju dan mundur dari gambar sampel dengan noise Gaussian isotropik untuk menghasilkan gambar. Difusi Stabil adalah varian paling populer dari model difusi, dan digunakan untuk melakukan berbagai tugas, termasuk segmentasi terawasi, klasifikasi nol-tembakan, pencocokan semantik, segmentasi label-efisien, dan segmentasi kosakata terbuka. Namun, masalah dengan model difusi adalah bahwa mereka bergantung pada fitur visual berdimensi tinggi untuk melakukan tugas-tugas ini, dan seringkali memerlukan pelatihan tambahan untuk memanfaatkan fitur-fitur ini sepenuhnya.

Segmentasi Tak-Terawasi

Algoritma DiffSeg erat terkait dengan segmentasi tak-terawasi, praktik AI modern yang bertujuan untuk menghasilkan masker segmentasi padat tanpa menggunakan anotasi. Namun, untuk mencapai kinerja yang baik, model segmentasi tak-terawasi memerlukan pelatihan tak-terawasi sebelumnya pada dataset target. Model segmentasi tak-terawasi berbasis AI dapat dikategorikan menjadi dua kategori: pengelompokan menggunakan model yang telah dilatih sebelumnya, dan pengelompokan berdasarkan ketidakberubahannya. Dalam kategori pertama, kerangka kerja menggunakan fitur diskriminatif yang dipelajari oleh model yang telah dilatih sebelumnya untuk menghasilkan masker segmentasi, sedangkan kerangka kerja dalam kategori kedua menggunakan algoritma pengelompokan generik yang mengoptimalkan informasi bersama antara dua gambar untuk membagi gambar menjadi klaster semantik dan menghindari segmentasi degeneratif.

Segmentasi Nol-Tembakan

Algoritma DiffSeg erat terkait dengan kerangka kerja segmentasi nol-tembakan, metode yang dapat membagi segala sesuatu tanpa pelatihan sebelumnya atau pengetahuan tentang data. Model segmentasi nol-tembakan telah menunjukkan kemampuan transfer nol-tembakan yang luar biasa dalam beberapa waktu terakhir, meskipun mereka memerlukan input teks dan prompt. Sebaliknya, algoritma DiffSeg menggunakan model difusi untuk menghasilkan segmentasi tanpa mengquery dan mensintesis gambar multiple dan tanpa mengetahui isi objek.

DiffSeg : Metode dan Arsitektur

Algoritma DiffSeg menggunakan lapisan perhatian diri dalam model difusi stabil yang telah dilatih sebelumnya untuk menghasilkan tugas segmentasi berkualitas tinggi.

Model Difusi Stabil

Difusi Stabil adalah salah satu konsep dasar dalam kerangka kerja DiffSeg. Difusi Stabil adalah kerangka kerja AI generatif, dan salah satu model difusi paling populer. Salah satu karakteristik utama dari model difusi adalah proses maju dan mundur. Dalam proses maju, sejumlah kecil noise Gaussian ditambahkan ke gambar secara iteratif pada setiap langkah waktu sampai gambar menjadi gambar noise Gaussian isotropik. Di sisi lain, dalam proses mundur, model difusi secara iteratif menghilangkan noise dalam gambar noise Gaussian isotropik untuk memulihkan gambar asli tanpa noise Gaussian.

Kerangka kerja Difusi Stabil menggunakan encoder-decoder, dan desain U-Net dengan lapisan perhatian di mana ia menggunakan encoder untuk memampatkan gambar ke ruang latent dengan dimensi spasial yang lebih kecil, dan menggunakan decoder untuk memulihkan gambar. Arsitektur U-Net terdiri dari tumpukan blok modular, di mana setiap blok terdiri dari salah satu dari dua komponen berikut: Lapisan Transformer, dan Lapisan ResNet.

Komponen dan Arsitektur

Lapisan perhatian diri dalam model difusi mengelompokkan informasi objek bawaan dalam bentuk peta perhatian spasial, dan DiffSeg adalah metode pasca-pengolahan baru untuk menggabungkan tensor perhatian menjadi masker segmentasi yang valid dengan pipa yang terdiri dari tiga komponen utama: agregasi perhatian, penekanan non-maksimum, dan perhatian iteratif.

Agregasi Perhatian

Untuk gambar input yang melewati lapisan U-Net, dan Encoder, model Difusi Stabil menghasilkan total 16 tensor perhatian, dengan 5 tensor untuk setiap dimensi. Tujuan utama dari menghasilkan 16 tensor adalah untuk mengagregasi tensor perhatian dengan resolusi yang berbeda menjadi tensor dengan resolusi tertinggi. Untuk mencapai ini, algoritma DiffSeg memperlakukan empat dimensi secara berbeda.

Dari empat dimensi, dua dimensi terakhir dalam sensor perhatian memiliki resolusi yang berbeda tetapi konsisten secara spasial karena peta spasial 2D dari kerangka kerja DiffSeg sesuai dengan korelasi antara lokasi dan lokasi spasial. Hasilnya, kerangka kerja DiffSeg mengambil sampel dari dua dimensi ini dari semua peta perhatian ke resolusi tertinggi, yaitu 64 x 64. Di sisi lain, dua dimensi pertama menunjukkan referensi lokasi dari peta perhatian seperti yang ditunjukkan pada gambar berikut.

Karena dimensi ini merujuk pada lokasi peta perhatian, peta perhatian perlu diagregatkan sesuai dengan itu. Selain itu, untuk memastikan bahwa peta perhatian yang diagregatkan memiliki distribusi yang valid, kerangka kerja memnormalisasi distribusi setelah agregasi dengan setiap peta perhatian yang diberi bobot proporsional dengan resolusinya.

Penggabungan Perhatian Iteratif

Sementara tujuan utama dari agregasi perhatian adalah untuk menghitung tensor perhatian, tujuan utama adalah untuk menggabungkan peta perhatian dalam tensor menjadi tumpukan proposal objek di mana setiap proposal individu berisi kategori “stuff” atau aktivasi dari satu objek. Solusi yang diusulkan untuk mencapai ini adalah dengan mengimplementasikan algoritma K-Means pada distribusi yang valid dari tensor untuk menemukan klaster objek. Namun, menggunakan K-Means bukanlah solusi optimal karena K-Means memerlukan pengguna untuk menentukan jumlah klaster sebelumnya. Selain itu, mengimplementasikan algoritma K-Means mungkin menghasilkan hasil yang berbeda untuk gambar yang sama karena bergantung pada inisialisasi secara acak. Untuk mengatasi hambatan ini, kerangka kerja DiffSeg mengusulkan untuk menghasilkan grid sampling untuk membuat proposal dengan menggabungkan peta perhatian secara iteratif.

Penekanan Non-Maksimum

Langkah sebelumnya dari penggabungan perhatian iteratif menghasilkan daftar proposal objek dalam bentuk peta perhatian probabilitas di mana setiap proposal objek berisi aktivasi objek. Kerangka kerja menggunakan penekanan non-maksimum untuk mengubah daftar proposal objek menjadi masker segmentasi yang valid, dan proses ini adalah pendekatan yang efektif karena setiap elemen dalam daftar sudah merupakan peta distribusi probabilitas. Untuk setiap lokasi spasial di seluruh peta, algoritma mengambil indeks probabilitas terbesar dan menetapkan keanggotaan berdasarkan indeks peta yang sesuai.

DiffSeg : Eksperimen dan Hasil

Kerangka kerja yang bekerja pada segmentasi tak-terawasi menggunakan dua benchmark segmentasi, yaitu Cityscapes dan COCO-stuff-27. Benchmark Cityscapes adalah dataset mengemudi otonom dengan 27 kategori tingkat menengah, sedangkan benchmark COCO-stuff-27 adalah versi yang dirawat dari dataset COCO-stuff asli yang menggabungkan 80 “things” dan 91 kategori menjadi 27 kategori. Selain itu, untuk menganalisis kinerja segmentasi, kerangka kerja DiffSeg menggunakan rasio persimpangan rata-rata atau mIoU dan akurasi piksel atau ACC, dan karena algoritma DiffSeg tidak dapat memberikan label semantik, ia menggunakan algoritma pencocokan Hungaria untuk menetapkan masker ground truth dengan setiap masker yang diprediksi. Jika jumlah masker yang diprediksi melebihi jumlah masker ground truth, kerangka kerja akan mempertimbangkan tugas yang diprediksi yang tidak cocok sebagai negatif palsu.

Selain itu, kerangka kerja DiffSeg juga menekankan tiga karya berikut untuk menjalankan interferensi: Ketergantungan Bahasa atau LD, Adaptasi Tak-Terawasi atau UA, dan Gambar Bantu atau AX. Ketergantungan Bahasa berarti bahwa metode memerlukan input teks deskriptif untuk memfasilitasi segmentasi untuk gambar, Adaptasi Tak-Terawasi merujuk pada kebutuhan metode untuk menggunakan pelatihan tak-terawasi pada dataset target, sedangkan Gambar Bantu merujuk pada kebutuhan metode untuk input tambahan baik sebagai gambar sintetis atau sebagai kumpulan gambar referensi.

Hasil

Pada benchmark COCO, kerangka kerja DiffSeg mencakup dua baseline K-Means, K-Means-S dan K-Means-C. Baseline K-Means-C mencakup 6 klaster yang dihitung dengan mengambil rata-rata jumlah objek dalam gambar yang dievaluasi, sedangkan baseline K-Means-S menggunakan jumlah klaster tertentu untuk setiap gambar berdasarkan jumlah objek dalam ground truth gambar, dan hasil pada kedua benchmark ini ditunjukkan pada gambar berikut.

Seperti yang dapat dilihat, baseline K-Means outperforms metode yang ada, menunjukkan manfaat dari menggunakan tensor perhatian diri. Yang menarik adalah bahwa baseline K-Means-S outperforms baseline K-Means-C yang menunjukkan bahwa jumlah klaster adalah hiperparameter fundamental, dan menyetelnya sangat penting untuk setiap gambar. Selain itu, bahkan ketika bergantung pada tensor perhatian yang sama, kerangka kerja DiffSeg outperforms baseline K-Means yang membuktikan kemampuan kerangka kerja DiffSeg untuk tidak hanya memberikan segmentasi yang lebih baik, tetapi juga menghindari kelemahan yang ditimbulkan oleh baseline K-Means.

Pada dataset Cityscapes, kerangka kerja DiffSeg memberikan hasil yang serupa dengan kerangka kerja yang menggunakan input dengan resolusi 320 yang lebih rendah, sementara outperforms kerangka kerja yang menggunakan input dengan resolusi 512 yang lebih tinggi di seluruh akurasi dan mIoU.

Seperti yang disebutkan sebelumnya, kerangka kerja DiffSeg menggunakan beberapa hiperparameter seperti yang ditunjukkan pada gambar berikut.

Agregasi perhatian adalah salah satu konsep dasar yang digunakan dalam kerangka kerja DiffSeg, dan efek dari menggunakan bobot agregasi yang berbeda ditunjukkan pada gambar berikut dengan resolusi gambar yang konstan.

Seperti yang dapat diamati, peta resolusi tinggi pada Fig (b) dengan peta 64 x 64 menghasilkan segmentasi yang paling detail, meskipun segmentasi memiliki beberapa retakan yang terlihat, sedangkan peta resolusi yang lebih rendah 32 x 32 cenderung untuk membagi detail, meskipun menghasilkan segmentasi yang lebih konsisten. Pada Fig (d), peta resolusi yang lebih rendah gagal menghasilkan segmentasi karena seluruh gambar digabungkan menjadi satu objek dengan pengaturan hiperparameter yang ada. Akhirnya, Fig (a) yang menggunakan strategi agregasi proporsional menghasilkan detail yang ditingkatkan dan konsistensi yang seimbang.

Pemikiran Akhir

Segmentasi nol-tembakan tak-terawasi masih merupakan salah satu tantangan terbesar untuk kerangka kerja penglihatan komputer, dan model yang ada bergantung pada adaptasi tak-terawasi nol-tembakan atau pada sumber daya eksternal. Untuk mengatasi tantangan ini, kita telah membahas bagaimana lapisan perhatian diri dalam model difusi stabil dapat memungkinkan pembangunan model yang mampu membagi segala sesuatu dalam pengaturan nol-tembakan tanpa anotasi yang tepat, karena lapisan perhatian diri ini memegang konsep bawaan objek yang dipelajari oleh model difusi stabil yang telah dilatih sebelumnya. Kita juga telah membahas tentang DiffSeg, strategi pasca-pengolahan baru yang bertujuan untuk memanfaatkan potensi kerangka kerja Difusi Stabil untuk membangun model segmentasi generik yang dapat melakukan transfer nol-tembakan pada gambar apa pun. Algoritma ini bergantung pada Kesamaan Antara-Perhatian dan Kesamaan Dalam-Perhatian untuk menggabungkan peta perhatian secara iteratif menjadi masker segmentasi yang valid untuk mencapai kinerja terbaik pada benchmark populer.