Dengan peningkatan metode penyetelan instruksi visual, Multimodal Large Language Models (MLLMs) telah menunjukkan kemampuan visi-bahasa umum yang luar biasa. Kemampuan ini membuat mereka menjadi komponen kunci untuk asisten visual modern. Model terbaru, termasuk MiniGPT-4, LLaVA, InstructBLIP, dan lainnya, menunjukkan kemampuan alasan visual dan mengikuti instruksi yang impresif. Meskipun sebagian besar dari mereka bergantung pada pasangan gambar-teks untuk penyelarasan visi-bahasa tingkat gambar, mereka berkinerja baik dalam domain ini. Namun, ketergantungan mereka pada pemahaman tingkat kotak dan gambar adalah alasan utama MLLMs gagal mengulangi kinerja mereka pada tugas penyelarasan visi-bahasa halus pada tingkat pixel. Selain itu, ketersediaan terbatas data instruksi berbasis masker untuk pelatihan mempresentasikan tantangan dalam meningkatkan MLLMs lebih lanjut.

Osprey adalah metode pelatihan instruksi teks-masker dengan tujuan utama memperluas MLLMs. Ini menggabungkan wilayah masker halus dalam instruksi bahasa untuk mencapai pemahaman visi-bahasa tingkat pixel. Untuk mencapai ini, kerangka Osprey mengkurasi dataset teks-wilayah berbasis masker dengan lebih dari 700 ribu sampel. Ini menyuntikkan representasi tingkat pixel ke dalam Large Language Models (LLMs) untuk merancang model visi-bahasa. Kerangka Osprey mengadopsi model CLIP konvolusional sebagai pengkode visi dan mengintegrasikan ekstraktor visual yang sadar masker ke dalam arsitektur. Ini memungkinkan ekstraksi fitur visual masker yang presisi dari input resolusi tinggi.

Dalam artikel ini, kita akan membahas kerangka Osprey dan mempelajari arsitektur lebih dalam. Kita juga akan mengeksplorasi dataset teks-wilayah yang dikurasi dengan lebih dari 700 ribu sampel dan membandingkan kinerjanya dalam berbagai tugas pemahaman wilayah. Jadi, mari kita mulai.

Osprey: Pemahaman Pixel dengan Penyetelan Instruksi Visual

Multimodal Large Language Models seperti MiniGPT-4, Otter, Qwen-LV, InstructBLIP, dan lainnya adalah pelopor dalam mengembangkan asisten visual umum, dan mereka terkenal karena kemampuan multimodal dan generatif visi yang luar biasa. Namun, Multimodal Large Language Models menderita tantangan besar karena mereka menghasilkan hasil yang tidak memuaskan pada tugas pemahaman gambar halus seperti penjelasan, klasifikasi wilayah, dan penalaran. Alasan utama kinerja yang tidak memuaskan pada tugas pemahaman gambar halus adalah kurangnya penyelarasan pada tingkat wilayah. Model MLLM terbaru seperti GPT4RoI, Shikra, dan lainnya bertujuan untuk memungkinkan pemahaman tingkat wilayah dalam model visi-bahasa dengan memproses wilayah yang ditentukan oleh kotak pembatas dan menggunakan penyetelan instruksi visual dengan fitur spasial pada tingkat objek.

Meskipun pendekatan untuk memungkinkan pemahaman tingkat wilayah mungkin meningkatkan kinerja, menggunakan kotak pembatas yang jarang sebagai input wilayah yang merujuk secara langsung dapat memperkenalkan fitur latar belakang yang tidak relevan, yang mengarah pada penyelarasan pasangan teks-wilayah yang tidak akurat untuk penyetelan instruksi visual pada model bahasa besar. Selama proses inferensi, input wilayah yang merujuk pada tingkat kotak mungkin tidak dapat mendeteksi dan merepresentasikan objek dengan presisi, yang dapat menghasilkan deviasi semantik seperti yang ditunjukkan pada gambar berikut.

Dalam perbandingan, menggunakan masker halus sebagai input yang merujuk daripada kotak pembatas yang kasar dapat merepresentasikan objek dengan presisi yang lebih tinggi. Model Segment Anything (SAM) yang baru dikembangkan dilatih pada miliaran masker berkualitas tinggi, menunjukkan kualitas segmentasi yang luar biasa pada objek zero-shot, dan mendukung penggunaan titik atau kotak pembatas sederhana sebagai prompt. Namun, kerangka SAM tidak dapat menghasilkan label semantik primer, tidak dapat menyediakan keterangan semantik yang detail, dan atribut. Akibatnya, model yang ada kekurangan informasi multimodal halus, dan memiliki pemahaman terbatas tentang adegan di dunia nyata.

Untuk mengatasi tantangan yang dihadapi oleh MLLM yang ada, Osprey, metode pelatihan instruksi teks-masker, bertujuan untuk memperluas kemampuan MLLM untuk pemahaman halus pada tingkat pixel. Kerangka Osprey memperkenalkan ekstraktor visual yang sadar masker yang menangkap fitur visual masker dengan granularitas yang bervariasi secara presisi. Kerangka ini kemudian menggabungkan fitur visual dengan instruksi bahasa untuk menghasilkan urutan input untuk model bahasa besar, dan menggunakan arsitektur CLIP konvolusional untuk memfasilitasi penggunaan input resolusi tinggi. Berkat desain dan arsitektur, kerangka Osprey dapat mencapai pemahaman semantik halus untuk wilayah tingkat objek dan bagian, serta menyediakan atribut objek yang detail bersama dengan kategori objek primer dan deskripsi adegan kompleks yang ditingkatkan.

Dengan menggunakan kemampuan penyetelan instruksi visual, kerangka Osprey memungkinkan kemampuan baru di luar pemahaman tingkat gambar dan kotak. Kerangka Osprey dapat menghasilkan semantik halus menggunakan masker agnostik kelas dari SAM yang ada. Selain itu, Osprey juga menunjukkan kemampuan yang luar biasa dalam tugas klasifikasi objek yang merujuk, pengenalan kosakata terbuka, penjelasan wilayah tingkat, dan tugas deskripsi wilayah yang detail.

Osprey: Metodologi dan Arsitektur

Gambar berikut menunjukkan tinjauan arsitektur kerangka Osprey yang terdiri dari model bahasa besar, ekstraktor visual yang sadar masker, dan pengkode visi tingkat gambar.

Untuk gambar yang diberikan, input bahasa, dan wilayah masker yang merujuk, kerangka melakukan konversi dan tokenisasi untuk menghasilkan embedding sebelum mengirimkan urutan embedding bahasa dan fitur masker yang digabungkan ke model bahasa besar untuk memperoleh pemahaman semantik halus.

Pengkode Visi CLIP Konvolusional

Pengkode visi yang digunakan dalam sebagian besar model bahasa besar multimodal adalah model CLIP berbasis ViT. Oleh karena itu, kerangka Osprey mengadopsi resolusi gambar 224×224 piksel atau 336×336 piksel. Namun, penggunaan model CLIP berbasis ViT membuat model sulit untuk mencapai pemahaman gambar halus pada representasi tingkat pixel, yang diperburuk lebih lanjut pada wilayah kecil. Selain itu, beban komputasi yang terkait dengan arsitektur ViT menghambat kemungkinan peningkatan resolusi input gambar.

Untuk mengatasi tantangan ini, kerangka Osprey mengimplementasikan model CLIP konvolusional sebagai pengkode visi dalam arsitektur. Secara tradisional, model CLIP berbasis CNN telah menunjukkan kemampuan generalisasi yang luar biasa di berbagai resolusi input dibandingkan dengan model CLIP berbasis transformer. Implementasi model CLIP berbasis CNN membuat ruang untuk inferensi yang cepat dan pelatihan yang efisien tanpa mengorbankan kinerja model. Selain itu, model CLIP berbasis CNN dapat menghasilkan peta fitur multi-skala yang kemudian digunakan secara langsung untuk ekstraksi fitur pada setiap wilayah objek berikutnya.

Ekstraktor Visual yang Sadar Masker

Berbeda dengan model berbasis wilayah yang ada yang menggunakan kotak pembatas yang jarang sebagai input yang merujuk, kerangka Osprey menggunakan wilayah masker yang detail untuk mengimplementasikan representasi berbasis objek. Model Osprey menggunakan komponen ekstraktor visual yang sadar masker untuk menangkap fitur visual tingkat pixel dalam setiap wilayah objek.

Untuk mengimplementasikan ini, Osprey pertama-tama menggunakan fitur gambar multi-level yang dihasilkan oleh pengkode visi untuk mengadopsi operasi pooling masker, dan untuk setiap fitur tingkat tunggal, kerangka mengumpulkan semua fitur yang berada dalam wilayah masker. Model kemudian mengkodekan fitur melintasi berbagai lapisan dengan melewati setiap fitur melalui lapisan proyeksi linier yang menghasilkan embedding tingkat wilayah, dan menggabungkan fitur multi-level dengan melakukan penjumlahan. Model kemudian menggunakan lapisan MLP untuk menghasilkan token masker visual. Selain itu, Osprey melestarikan geometri spasial wilayah objek dengan mengkodekan hubungan posisi tingkat pixel dengan mengimplementasikan masker biner untuk setiap wilayah objek. Akhirnya, Osprey memasukkan token masker visual dan token spasial yang sesuai untuk setiap embedding masker.

Tokenisasi LLM

Seperti yang disebutkan sebelumnya, model mengekstrak embedding tingkat gambar dari gambar dengan memasukkannya ke dalam pengkode visi pra-train. Untuk informasi tekstual, model pertama-tama menggunakan tokenisasi LLM pra-train untuk menokenisasi urutan teks, dan kemudian memproyeksikan urutan teks yang ditokenisasi ke dalam embedding teks.

Osprey: Proses Pelatihan Tiga Tahap

Kerangka Osprey mengadopsi proses pelatihan tiga tahap, di mana setiap tahap pelatihan diawasi dengan meminimalkan kerugian prediksi token berikutnya.

Tahap 1: Pelatihan Penyelarasan Gambar-Teks

Pada tahap pertama, kerangka Osprey mengadopsi pengkode visi CLIP berbasis CNN untuk melatih fitur gambar dan penghubung bahasa untuk melatih model untuk penyelarasan fitur gambar-teks. Pada tahap pertama, kerangka menggunakan tiga komponen: model bahasa besar pra-train, pengkode visi pra-train, dan proyektor tingkat gambar. Kerangka juga mengadopsi lapisan MLP sebagai penghubung visi-bahasa yang membantu dalam meningkatkan kemampuan generatif multimodal Osprey.

Tahap 2: Pra-Pelatihan Penyelarasan Masker-Teks

Pada tahap kedua, Osprey memuat bobot yang dilatih pada tahap pertama, dan menggunakan komponen Ekstraktor Visual yang Sadar Masker untuk menangkap fitur wilayah tingkat pixel. Pada tahap kedua, kerangka hanya melatih Ekstraktor Visual yang Sadar Masker untuk menyelaraskan embedding bahasa dengan fitur wilayah berbasis masker. Selain itu, model mengumpulkan pasangan masker-pixel dan teks singkat dari dataset tingkat bagian dan objek yang tersedia secara publik, dan mengonversinya menjadi data instruksi-mengikuti untuk melatih model lebih lanjut.

Tahap 3: Pemhalusan Akhir

Pada tahap ketiga dan terakhir, model memperbaiki bobot pengkode visi, dan memperhalus model bahasa besar, ekstraktor fitur wilayah berbasis masker, dan komponen proyektor tingkat gambar dalam arsitektur. Tujuan utama pelatihan pada tahap ketiga adalah untuk memperluas kemampuan model untuk mengikuti instruksi pengguna dengan akurat, dan melakukan tugas pemahaman wilayah tingkat pixel secara efisien.

Setelah mengimplementasikan tiga tahap pelatihan, kerangka Osprey dapat memahami skenario kompleks yang didefinisikan oleh instruksi pengguna dan berdasarkan wilayah masker tingkat pixel.

Osprey: Hasil Eksperimental

Untuk mengevaluasi kinerjanya, pengembang Osprey melakukan berbagai eksperimen untuk menunjukkan kemampuan model dalam klasifikasi, pengenalan wilayah tingkat pixel, dan deskripsi kompleks.

Segmentasi Kosakata Terbuka

Tujuan utama segmentasi kosakata terbuka adalah untuk menghasilkan pengenalan wilayah berbasis masker dan kategori yang sesuai secara eksplisit. Untuk mencapai segmentasi kosakata terbuka, Osprey pertama-tama menggunakan prompt teks input, diikuti dengan model yang mengadopsi wilayah masker yang sebenarnya untuk interferensi model untuk menilai kinerja model dalam tugas pengenalan kosakata terbuka. Berdasarkan respons kalimat yang dihasilkan oleh model bahasa besar multimodal, Osprey menghitung kesamaan semantik antara daftar kosakata dan output dari setiap dataset. Gambar berikut membandingkan Osprey dengan model bahasa besar multimodal yang ada.

Seperti yang dapat dilihat, kerangka Osprey outperforms metode yang ada dengan margin yang cukup besar pada kedua dataset Cityscapes dan ADE20K-150. Hasil ini menunjukkan kemampuan Osprey untuk outperforms pendekatan yang ada dan mencapai pemahaman yang kuat dan pengenalan pada wilayah objek yang halus.

Klasifikasi Objek yang Merujuk

Dalam tugas Klasifikasi Objek yang Merujuk, model diminta untuk mengklasifikasikan objek dalam wilayah tertentu dari gambar. Untuk mengevaluasi kemampuan klasifikasinya, kerangka Osprey menggunakan dua metrik relevansi semantik, termasuk IoU Semantik (S-IoU) dan Kesamaan Semantik (SS). IoU Semantik mewakili tumpang tindih kata antara label ground-truth dan prediksi, sedangkan Kesamaan Semantik mengukur kesamaan antara label prediksi dan/atau ground-truth dalam ruang semantik. Gambar berikut menunjukkan kinerja Osprey dalam tugas Klasifikasi Objek yang Merujuk ketika dibandingkan dengan model yang menggunakan pendekatan tingkat kotak dan gambar.

Deskripsi Wilayah yang Detail

Dalam tugas Deskripsi Wilayah yang Detail, model mengevaluasi kemampuannya dalam mengikuti instruksi dan menghasilkan deskripsi yang detail bersama dengan pendekatan tingkat wilayah lainnya. Model secara acak memilih prompt inferensi input dari daftar prompt yang telah ditentukan sebelumnya, dan menggunakan kerangka LLM GPT-4 untuk mengukur kualitas respons yang dihasilkan oleh model terhadap wilayah yang merujuk secara komprehensif. Menggunakan pipa instruksi, model menghasilkan pertanyaan dan mencari jawaban dari GPT-4, kemudian LLM menilai kesempurnaan semantik dan presisi pemahaman yang merujuk. Tabel berikut menunjukkan kinerja Osprey dibandingkan dengan model yang ada dalam tugas Deskripsi Wilayah yang Detail.

Kapioning Wilayah

Kerangka Osprey juga outperforms pendekatan yang ada dalam tugas Kapioning Wilayah, dengan hasil yang terkandung dalam gambar berikut.

Pemikiran Akhir

Dalam artikel ini, kita telah membahas tentang Osprey, metode pelatihan instruksi teks-masker dengan tujuan utama memperluas MLLMs dengan menggabungkan wilayah masker halus dalam instruksi bahasa untuk mencapai pemahaman visi-bahasa tingkat pixel. Untuk mencapai tujuannya, kerangka Osprey mengkurasi dataset teks-wilayah berbasis masker dengan lebih dari 700 ribu sampel, dan menyuntikkan representasi tingkat pixel ke dalam LLM untuk merancang model visi-bahasa. Kerangka Osprey bertujuan untuk meningkatkan MLLMs untuk pemahaman visual yang halus secara signifikan, dan dengan mengimplementasikan model CLIP konvolusional dan ekstraktor visual yang sadar masker, Osprey mencapai kemampuan untuk memahami gambar pada tingkat wilayah bagian dan objek.