Mengaktifkan pemahaman spasial dalam model pembelajaran bahasa dan visi masih menjadi tantangan penelitian utama. Pemahaman ini mendukung dua kemampuan penting: pemetaan dan referensi. Referensi memungkinkan model untuk menafsirkan semantik wilayah tertentu dengan akurat, sedangkan pemetaan melibatkan penggunaan deskripsi semantik untuk memetakan wilayah tersebut.

Pengembang telah memperkenalkan Ferret, sebuah Multimodal Large Language Model (MLLM) yang mampu memahami referensi spasial di seluruh granularity atau bentuk dalam gambar dan memetakan deskripsi kosakata terbuka dengan akurat. Ferret menggunakan representasi hibrida baru yang menggabungkan fitur visual kontinu dan koordinat diskrit untuk merepresentasikan wilayah gambar. Sampler visual yang sadar spasialnya menangani kerapatan yang bervariasi dalam bentuk, memungkinkan untuk memproses berbagai input wilayah seperti bentuk bebas, kotak, dan titik.

Ferret’s pendekatan memungkinkan untuk unggul dalam tugas pemetaan dan referensi klasik dan mengungguli MLLM lain dalam komunikasi multimodal yang menuntut lokalisasi dan berbasis wilayah. Artikel ini membahas arsitektur dan metodologi Ferret, menyoroti kinerjanya yang mengesankan dalam berbagai tugas bahasa multimodal. Mari kita jelajahi lebih lanjut.

Ferret : Kinerja Unggul dalam Tugas Referensi dan Pemetaan

Referensi dalam model adalah kemampuan yang memungkinkan model untuk memahami semantik wilayah tertentu dengan akurat, sedangkan pemetaan membuat model menggunakan deskripsi semantik untuk memetakan wilayah. Meskipun mereka mungkin berbeda dalam tugasnya, referensi dan pemetaan memiliki konsep dasar yang sama: penyelarasan semantik spasial dan informasi. Namun, meskipun berbagi konsep yang sama, model yang ada belajar pemetaan dan referensi secara individual. Meskipun metode ini berhasil, ini menimbulkan hambatan dalam mencapai kemampuan seperti manusia, karena manusia dapat belajar dari satu tugas dan menerapkan pembelajaran ke tugas lain dengan mudah, dan dapat mengintegrasikan kemampuan pemetaan/referensi dengan alasan dan dialog sehari-hari. Kerangka Ferret mengambil inspirasi dari kesenjangan dalam kerangka MLLM yang ada dan mempelajari tiga pertanyaan utama:

1. Bagaimana cara menggabungkan kemampuan pemetaan dan referensi dalam kerangka, dan bagaimana persatuan mereka dapat saling menguntungkan?
2. Manusia menggunakan berbagai jenis wilayah seperti kotak, titik, coretan, bentuk bebas untuk referensi? Bagaimana cara merepresentasikan wilayah yang beragam ini?
3. Bagaimana cara membuat pemetaan dan referensi mengikuti instruksi, kuat, dan terbuka, yang penting untuk aplikasi praktis dan waktu nyata?

Kerangka Ferret adalah Multimodal Large Language Model yang mencoba menjawab pertanyaan-pertanyaan ini. Kerangka Ferret memilih Multimodal Large Language Model sebagai dasarnya karena kemampuan visi dan bahasa global yang luar biasa. Selain itu, untuk menggabungkan kemampuan pemetaan dan referensi, kerangka Ferret merepresentasikan koordinat wilayah dalam bentuk numerik bahasa alami. Namun, dalam prakteknya, tidak efisien untuk menggunakan koordinat kotak atau bahkan titik untuk merepresentasikan bentuk wilayah yang beragam seperti coretan, garis, atau poligon kompleks, karena bentuk-bentuk ini penting untuk presisi yang ditingkatkan dan interaksi manusia-model yang lebih universal. Untuk mengatasi masalah ini, kerangka Ferret menggunakan sampler visual yang sadar spasial yang memperoleh wilayah visual untuk wilayah tanpa memandang bentuk, sehingga dapat menangani kerapatan yang bervariasi dalam bentuk-bentuk ini. Kerangka kemudian menggabungkan fitur visual kontinu dengan koordinat diskrit untuk merepresentasikan wilayah visual dalam input, sehingga menciptakan representasi wilayah hibrida dalam Ferret.

Kerangka Ferret menerapkan metode di atas untuk menyelesaikan input yang menggabungkan teks bebas dengan wilayah yang direferensikan, dan dapat menghasilkan koordinat untuk setiap objek yang dapat dipetakan dengan menghasilkan teks untuk memetakan objek yang disebutkan dalam output. Dengan demikian, Ferret adalah kerangka pertama yang dapat memproses input wilayah bebas dalam Multimodal Large Language Models. Selain itu, kerangka Ferret menyerap kemampuan lokalisasi spasial dan pemahaman yang luar biasa, sehingga kerangka dapat mencapai kinerja yang unggul saat dievaluasi pada tugas pemetaan dan referensi konvensional.

Selanjutnya, kerangka Ferret mencari inspirasi dari tiga kerangka AI yang ada, termasuk Multimodal Large Language Models, MLLM untuk Referensi dan Pemetaan, dan Menggabungkan Pemetaan dan Pemahaman Bahasa.

Pengenalan Model Bahasa Besar termasuk GPT, DALL-E, PaLM, LLaMA, dan BLOOM, telah mengubah lanskap penelitian NLP, menghasilkan kemajuan yang signifikan dalam model bahasa multimodal. Model bahasa multimodal sebelumnya berfokus pada generasi gambar-teks skala besar dengan beberapa contoh yang terkenal seperti PaLI, SimVLM, GIT, BLIP-2, FLAMINGO, CM3, dan PaLI-X. Namun, karena kerangka Flamingo mencapai integrasi yang efisien dari LLM dengan encoder gambar CLIP yang telah dilatih sebelumnya melalui blok perhatian yang digabungkan, menghasilkan kemampuan pembelajaran beberapa contoh yang luar biasa. Penelitian saat ini mencari cara untuk menggunakan model bahasa besar yang telah dilatih sebelumnya untuk penyesuaian instruksi visual dengan contoh yang terkenal seperti MiniGPT-4, Otter, InstructBLIP, dan lain-lain. Selain itu, model terbaru seperti Emu dan GILL telah menunjukkan kesuksesan yang luar biasa dalam menggunakan MLLM untuk generasi gambar dan pencarian gambar. Kerangka Ferret juga merujuk pada penelitian sebelumnya yang berfokus pada menggabungkan teks dan output kotak pembatas untuk Model Bahasa Visi.

Ferret : Metodologi dan Arsitektur

Representasi Wilayah Hibrida

Titik, kotak, dan bentuk bebas adalah tiga format dominan yang digunakan oleh model bahasa saat merujuk pada wilayah tertentu. Di satu sisi, format titik dan kotak dapat direpresentasikan dengan akurat oleh koordinat, sedangkan pemetaan bentuk bebas yang beragam lebih menantang karena bentuk bebas dapat mencakup berbagai wilayah, termasuk masker, poligon, dan coretan. Menggunakan koordinat untuk menggambarkan bentuk bebas adalah tugas yang kompleks yang menghambat kemampuan model untuk belajar menghubungkan wilayah dengan koordinat yang sesuai. Selain itu, penggunaan koordinat untuk bentuk bebas secara komputasi mahal dan tidak jelas.

Untuk mengatasi masalah ini dan untuk menggeneralisasi semua format, kerangka Ferret mengusulkan representasi wilayah hibrida yang menggabungkan fitur visual kontinu dengan koordinat diskrit untuk merujuk pada wilayah tertentu.

Untuk fitur visual kontinu, untuk wilayah yang diberikan, kerangka Ferret pertama-tama membuat masker biner 2D dengan ukuran yang sama dengan gambar, dan menandai nilai 1 dalam wilayah yang ditargetkan sementara menetapkan nilai 0 di luar wilayah. Model kemudian mengekstrak masker biner bersama dengan peta fitur gambar yang diekstrak, dan kemudian mengirimkannya ke sampler visual yang sadar spasial.

Arsitektur

Arsitektur model Ferret terdiri dari tiga komponen utama

1. Encoder gambar untuk mengekstrak embedding gambar.
2. Sampler visual yang sadar spasial untuk mengekstrak fitur kontinu wilayah.
3. Model bahasa besar untuk memodelkan teks, gambar, dan fitur wilayah secara bersamaan.

Gambar pertama kali diumpan ke encoder visual yang telah dilatih sebelumnya untuk mengekstrak embedding gambar. Untuk input teks, kerangka menggunakan tokenizer LLM yang telah dilatih sebelumnya untuk membagi teks menjadi urutan, dan kemudian memproyeksikan token ini ke dalam embedding teks. Untuk wilayah yang direferensikan, Ferret menambahkan token khusus dan koordinat sebagai placeholder untuk fitur kontinu setelah nama wilayah. Jika nama wilayah tidak diketahui atau sulit untuk dijelaskan karena termasuk beberapa objek, kerangka hanya menggunakan nama wilayah atau area.

Salah satu tantangan utama dalam menangani wilayah yang direferensikan adalah bahwa bentuknya dapat sangat bervariasi, yang berarti dapat memiliki bentuk yang berbeda, dan tidak hanya terbatas pada kotak atau titik. Wilayah yang direferensikan dengan bentuk tidak teratur tidak dapat diproses dengan metode tradisional seperti pemrosesan berbasis grid, termasuk perhatian patch atau teknik konvolusi. Untuk mengatasi masalah ini, kerangka Ferret mengusulkan Sampler Visual yang Sadar Spasial. Untuk peta fitur yang diekstrak dengan masker biner wilayah, model Ferret pertama-tama mengambil sampel N titik secara acak dalam masker biner wilayah.

Untuk setiap titik individu, model mendapatkan fiturnya dengan melakukan interpolasi bilinear. N titik kemudian diumpan ke dalam serangkaian blok dengan masing-masing melewati tiga tahap yang berbeda: sampling, pengumpulan, dan pooling. Pada tahap sampling, sejumlah titik yang tetap diambil dari N titik yang tersedia menggunakan algoritma Sampling Titik Jauh (FPS) yang menjamin cakupan yang memadai. Pada langkah kedua, untuk setiap titik sampel, kerangka mencari k tetangga terdekat dari kumpulan N titik yang tersedia. Untuk setiap grup, model kemudian menggabungkan fitur titik sampel dengan fitur tetangga. Pada langkah terakhir, kerangka Ferret melakukan pooling maksimum untuk menggabungkan k fitur tetangga menjadi satu fitur yang akan berfungsi sebagai representasi untuk titik sampel. Dengan melakukan tiga langkah ini, kerangka Ferret dihasilkan dengan titik yang lebih sedikit tetapi fitur ruang dengan kepadatan yang lebih tinggi karena tidak hanya menggabungkan fitur tetangga lokal tetapi juga posisi relatif mereka.

Generasi Data Visual yang Dibantu GPT

Data pelatihan instruksi dialog sangat penting untuk Multimodal Large Language Models karena tidak hanya membantu mengonversi dataset yang ada dengan template, tetapi juga membantu model memahami niat manusia dan menghasilkan respons yang sesuai. Sebagian besar MLLM menggunakan metode prompting beberapa contoh untuk mendapatkan data pelatihan instruksi visual, di mana model memberikan deskripsi tekstual adegan dalam gambar bersama dengan dialog yang telah dianotasi oleh manusia sebagai contoh beberapa contoh. Namun, metode pelatihan instruksi yang ada berfokus pada menjelaskan gambar secara keseluruhan tanpa secara eksplisit menentukan informasi yang terkait dengan spasial. Kerangka Ferret menekankan pengetahuan berbasis wilayah untuk mengumpulkan data pelatihan instruksi referensi dan pemetaan dalam tiga langkah.

1. Selain menggunakan kapten global dan objek, kerangka memberikan deskripsi adegan simbolis yang menjelaskan hubungan fisik antara kapten wilayah dan objek, serta memberikan koordinat mereka.
2. Untuk dialog yang dianotasi oleh manusia, kerangka menambahkan koordinat setelah objek atau wilayah yang dapat dipetakan dalam input atau output, atau keduanya, dengan dialog yang berfokus pada wilayah tertentu yang membantu memicu model bahasa untuk mengikuti pola yang sama untuk generasi dialog baru.
3. Mungkin dialog yang dihasilkan oleh kerangka tidak mengikuti pola dan aturan yang diberikan oleh contoh beberapa contoh dan prompt sistem. Untuk mengatasi masalah ini, kerangka menggunakan model bahasa lagi untuk memperbaiki dialog yang dihasilkan oleh model awal.

Pertambangan Negatif Spasial

Penelitian sebelumnya telah menunjukkan bahwa Multimodal Large Language Models memiliki kemungkinan yang tinggi untuk mengalami halusinasi saat merespons pertanyaan Ya atau Tidak. Untuk memastikan model Ferret tidak mengalami halusinasi dalam kondisi yang sama, kerangka menggunakan pendekatan Pertambangan Negatif Spasial dengan Lokalisasi Kategori yang Dikondisikan oleh Gambar dan Semantik. Kedua metode ini meminta model untuk memetakan kategori objek tertentu yang memungkinkan model untuk mengenali ketidakhadiran objek tertentu dalam gambar.

Ferret : Hasil dan Eksperimen

Untuk menganalisis kinerjanya, kerangka Ferret dievaluasi pada benchmark pemetaan dan referensi konvensional setelah itu kerangka dievaluasi dalam tugas obrolan multimodal yang lebih kompleks dan menguji kemampuan referensi dan pemetaannya.

Kemampuan model untuk memahami referensi dievaluasi dengan seberapa akurat model dapat memahami semantik wilayah yang direferensikan yang diberikan dalam gambar atau pertanyaan. Untuk mengukur akurasi model, objek, semantik dasar yang paling mendasar dipertimbangkan terlebih dahulu karena ini tidak hanya fundamental tetapi juga mudah untuk didefinisikan. Untuk meniru kelenturan manusia, kerangka menggantikan lokasi objek dalam gambar dengan bentuk bebas, kotak, dan titik. Untuk bentuk bebas, model secara acak menghasilkan garis dalam objek Ground Truth untuk simulasi. Untuk kotak, kerangka Ferret menggunakan kotak pembatas Ground Truth yang disediakan oleh komponen LVIS. Akhirnya, untuk titik, model secara acak mengambil titik dalam objek Ground Truth yang juga dekat dengan batas objek Ground Truth. Hasil pada tiga jenis referensi ditunjukkan pada gambar berikut.

Kerangka Ferret menunjukkan kinerja yang mengesankan dalam tugas dialog referensi, membuka ruang untuk integrasi dengan tugas pembelajaran visual yang berbeda, terutama yang memiliki output pemetaan. Untuk menilai kemampuan pemetaannya, kerangka Ferret pertama-tama dievaluasi pada tugas pemetaan visual dengan paradigma generatif. Kerangka kemudian mengevaluasi kemampuannya pada tugas penjelasan yang dipetakan untuk mengukur keselarasan antara wilayah dan kata-kata.

Dalam tugas pemetaan visual, kerangka bertujuan untuk memetakan kueri bahasa ke wilayah yang sesuai dalam gambar, dan seperti yang dapat dilihat pada gambar berikut, kerangka Ferret menunjukkan kinerja yang mengesankan di semua benchmark, dan kinerja ini setara dengan yang dicapai oleh metode penyesuaian yang dikhususkan.

Untuk tugas penjelasan yang dipetakan, model perlu menghasilkan penjelasan, dan kemudian memetakan frasa nama yang dihasilkan ke wilayah gambar. Prediksi akhir yang dibuat oleh model terdiri dari tiga komponen: wilayah visual sebagai kotak, teks penjelasan, dan keselarasan pemetaan antara kotak dan kata-kata. Hasilnya ditunjukkan pada gambar berikut, dan seperti yang dapat dilihat, kerangka memberikan kinerja yang setara dengan metode yang ada.

Akhirnya, obrolan multimodal adalah salah satu kemampuan yang paling diinginkan dalam MLLM, dan MLLM yang ada sebagian besar mengevaluasi deskripsi rinci, percakapan, dan alasan yang kompleks dengan model bahasa sebagai hakim. Namun, karena tidak ada dataset yang mengevaluasi obrolan multimodal dengan aksi referensi atau pemetaan yang wajib, ini meninggalkan kesenjangan. Untuk mengatasi kesenjangan ini, kerangka Ferret mencakup tiga pertanyaan berbasis wilayah untuk mengevaluasi kemampuan referensi dan pemetaannya dalam tugas obrolan multimodal. Hasilnya ditunjukkan pada gambar berikut.

Akhirnya, kerangka Ferret dibandingkan langsung dengan kerangka GPT yang ada, dan hasilnya ditunjukkan di bawah.

Pemikiran Akhir

Dalam artikel ini, kita telah membahas tentang Ferret, sebuah Multimodal Large Language Model yang menunjukkan kemampuan pemetaan dan referensi yang mengesankan. Kerangka Ferret dapat merujuk pada wilayah gambar tanpa memandang bentuk, dan dapat memetakan teks yang diprediksi oleh model secara otomatis. Ferret menggunakan sampler visual yang sadar spasial yang dapat menangani kerapatan yang bervariasi yang ditampilkan oleh bentuk yang berbeda untuk mengekstrak fitur kontinu dari wilayah yang beragam. Sebagai hasilnya, kerangka Ferret dapat memasukkan input wilayah yang beragam, termasuk bentuk bebas, kotak, dan titik.