Kemajuan dan perkembangan Model Bahasa Besar telah mengalami peningkatan signifikan dalam kemampuan penalaran, pemahaman, dan interaksi bahasa-vision. Kerangka modern mencapai hal ini dengan memproyeksikan sinyal visual ke dalam Model Bahasa Besar untuk memungkinkan mereka memahami dunia secara visual, sebuah rangkaian skenario yang bergantung pada strategi pengkodean visual. Namun, gambar dunia nyata tidak hanya mengandung berbagai skenario, tetapi juga bervariasi secara signifikan dalam hal resolusi dan rasio aspek, yang menimbulkan tantangan besar bagi Model Bahasa Besar di berbagai domain dan tugas. Untuk mengatasi variasi signifikan yang ditimbulkan oleh gambar dunia nyata, model bahasa besar modern memahami gambar dengan resolusi rendah, yaitu 224×224, dan rasio aspek tetap, yaitu 1:1. Meskipun kompromi ini meningkatkan kemampuan Model Bahasa Besar dalam aplikasi dunia nyata, seringkali menghasilkan gambar yang buram dan menyebabkan distorsi bentuk parah. Kompromi ini secara signifikan mempengaruhi kemampuan model multi-modal besar, terutama yang dioptimalkan untuk tugas-tugas halus, seperti pengenalan karakter optik dan pemahaman objek kecil. Selain itu, karena resolusi dan rasio aspek telah ditentukan sebelumnya, model hanya dapat menebak gambar yang buram, yang menghasilkan halusinasi model, yaitu situasi di mana model menghasilkan respons teks yang tidak berdasar pada kenyataan dalam gambar.

Dalam artikel ini, kita akan membahas LLaVA-UHD, sebuah pendekatan baru yang pertama kali mengambil kerangka LLaVA-1.5 dan GPT-4V sebagai contoh, dan mencoba untuk mengungkapkan kelemahan sistematis yang terkait dengan strategi pengkodean visual mereka. Kerangka LLaVA-UHD, sebuah model multi-modal, merupakan upaya untuk mengatasi tantangan ini. Kerangka LLaVA-UHD dapat memahami gambar dengan resolusi tinggi dan dalam semua rasio aspek. Kerangka LLaVA-UHD dibangun di sekitar tiga komponen kunci. Pertama, strategi modularisasi gambar yang membagi gambar dengan resolusi asli menjadi potongan-potongan yang lebih kecil dengan ukuran variabel untuk meningkatkan efisiensi dan memperluas pengkodean. Kedua, modul kompresi yang mengompresi token gambar yang dihasilkan oleh pengkode visual lebih lanjut. Ketiga, skema spasial yang mengatur token potongan untuk model bahasa besar. Eksperimen komprehensif menunjukkan bahwa kerangka LLaVA-UHD dapat mengungguli model bahasa besar terbaru dalam 9 benchmark. Selain itu, dengan menggunakan hanya 94% komputasi inferensi, kerangka LLaVA-UHD dapat mendukung gambar dengan resolusi 6 kali lebih besar, yaitu 672×1088.

LLaVA-UHD: Memahami Gambar dengan Efisiensi dalam Semua Rasio Aspek dan Resolusi Tinggi

Penalaran bahasa-vision, pemahaman, dan interaksi telah membuat kemajuan signifikan akhir-akhir ini, terutama karena dorongan terbaru untuk Model Bahasa Besar. Dalam kerangka modern, hal ini dicapai dengan memasukkan sinyal visual ke dalam Model Bahasa Besar untuk membuat mereka mampu memahami dunia secara visual, sebuah rangkaian skenario yang bergantung pada strategi pengkodean visual. Perbedaan skenario mencerminkan cakupan yang sempit dari Model Bahasa Besar di berbagai domain dan tugas, sedangkan perbedaan resolusi dan rasio aspek mengungkapkan variasi besar dalam gambar dunia nyata yang sulit ditangani. Tidak seperti skala kecil yang menurunkan variasi, model setelah BERT menangani signifikansi dari resolusi rendah (misalnya, untuk LLaVA-UHD, 224×224) dari gambar dengan rasio aspek tetap, 1:1 untuk memberikan gambar dunia nyata. Meskipun kompromi ini berguna untuk memastikan kemampuan Model Bahasa Besar dalam aplikasi dunia nyata, seringkali menghasilkan gambar yang sangat buram dan menyebabkan distorsi bentuk parah. Hal ini mengurangi kemampuan model multi-modal besar, terutama yang dioptimalkan untuk tugas-tugas halus, seperti pengenalan karakter optik dan pemahaman objek kecil. Karena resolusi dan rasio aspek telah ditentukan sebelumnya, model hanya dapat menebak gambar yang buram, yang menghasilkan halusinasi model, membuat respons teks yang dihasilkan tidak berdasar pada kenyataan dalam gambar.

Ada dua alasan utama mengapa model bahasa besar benchmark tidak dapat memahami gambar dengan resolusi tinggi dan rasio aspek variabel. Pertama, karena pengkode visual telah dipelajari sebelumnya dalam resolusi tetap, membuat model dan pengkode sulit untuk menangani gambar dengan rasio aspek dan resolusi yang bervariasi, yang secara signifikan mempengaruhi kemampuan adaptasi model. Kedua, pengkodean gambar dengan resolusi tinggi secara langsung menggunakan transformer visi terkait dengan biaya komputasi yang signifikan terkait dengan ukuran gambar. Selain itu, biaya komputasi mungkin jauh lebih tinggi untuk model bahasa besar untuk memproses sejumlah besar token visual untuk gambar dengan resolusi tinggi, yang secara signifikan mempengaruhi efisiensi keseluruhan model. Untuk mengatasi tantangan ini, LLaVA-UHD, sebuah model multi-modal besar yang memahami gambar dengan resolusi tinggi dan rasio aspek variabel, mengambil kerangka LLaVA-1.5 dan GPT-4V sebagai contoh, dan mencoba untuk mengungkapkan kelemahan sistematis yang terkait dengan strategi pengkodean visual mereka.

Gambar di atas mencerminkan hasil eksperimental dari GPT-4V dalam mengidentifikasi jumlah objek dalam gambar. Pada intinya, kerangka LLaVA-UHD memiliki tiga komponen. Pertama, strategi modularisasi gambar yang membagi gambar dengan resolusi asli menjadi potongan-potongan yang lebih kecil dengan ukuran variabel untuk pengkodean yang efisien dan dapat diperluas. Berbeda dengan model bahasa besar terbaru yang memasukkan gambar ke dalam beberapa resolusi dan rasio aspek tetap, potongan-potongan yang dihasilkan oleh kerangka LLaVA-UHD memungkinkan adaptasi penuh terhadap gambar dengan resolusi asli tanpa distorsi bentuk, pengubahan ukuran, atau pengisian. Kedua, model mengompresi token visual dengan modul kompresi ke panjang yang modest, yang mengurangi komputasi untuk Model Bahasa Besar secara signifikan. Ketiga, model mengatur token potongan yang dikompresi dalam skema spasial untuk memberitahu posisi potongan dalam gambar kepada model bahasa besar.

LLaVA-UHD: Metodologi dan Arsitektur

Berdasarkan pembelajaran dari beberapa eksperimen pilot untuk mempelajari kerangka yang ada, termasuk GPT-4V dan LLaVA-1.5, kerangka LLaVA-UHD menerapkan arsitektur tiga komponen seperti yang ditunjukkan dalam gambar berikut.

Pertama, strategi modularisasi gambar yang membagi gambar dengan resolusi asli menjadi potongan-potongan yang lebih kecil dengan ukuran variabel untuk meningkatkan efisiensi dan memperluas pengkodean. Kedua, modul kompresi yang mengompresi token gambar yang dihasilkan oleh pengkode visual lebih lanjut. Ketiga, skema spasial yang mengatur token potongan untuk model bahasa besar. Mari kita lihat lebih detail ke dalam komponen-komponen ini.

Pengkodean Visual Modular

Pendekatan umum untuk menangani gambar dengan resolusi tinggi dan rasio aspek yang berbeda adalah dengan menginterpolasi posisi embedding dari Transformer Visi atau ViT ke bentuk target untuk pengkodean langsung sebagai keseluruhan. Namun, implementasi pendekatan ini seringkali disertai dengan biaya komputasi yang tinggi, dan masalah distribusi yang tidak terkait menyebabkan penurunan kinerja lebih lanjut. Untuk mengatasi tantangan ini, kerangka LLaVA-UHD memperkenalkan strategi pengkodean visual modular yang bertujuan untuk membagi gambar dengan resolusi asli menjadi potongan-potongan yang lebih kecil dengan ukuran variabel, di mana bentuk setiap potongan sangat dekat dengan pengaturan pra-pelatihan standar dari transformer visi. Berkat penggunaan potongan-potongan dengan ukuran variabel, kerangka LLaVA-UHD dapat mencapai adaptasi penuh terhadap gambar dengan resolusi asli tanpa mengimplementasikan pengubahan bentuk yang menyebabkan distorsi. Selain itu, tujuan utama strategi pemotongan gambar adalah untuk menentukan pembagian gambar dengan resolusi tinggi dengan perubahan minimal pada resolusi setiap potongan. Untuk gambar dengan resolusi tertentu (w,h), dan transformer visi yang telah dipelajari sebelumnya dalam resolusi lain, kerangka LLaVA-UHD pertama-tama menentukan komputasi ideal, yaitu jumlah potongan yang diperlukan untuk memproses gambar. Kerangka kemudian memfaktorkan jumlah potongan menjadi m kolom dan n baris. Kerangka kemudian mendefinisikan fungsi skor untuk mengukur deviasi dari pengaturan pra-pelatihan standar dari transformer visi. Secara teoretis, kerangka LLaVA-UHD dapat menunjukkan bahwa strategi partisi yang diimplementasikan dalam arsitektur mereka menjamin perubahan yang kecil dan perubahan terburuk yang modest terkait dengan resolusi pra-pelatihan standar untuk setiap potongan.

Selain itu, sebagian besar model bahasa besar yang ada menerapkan resolusi statis untuk pengkodean potongan gambar, sebuah pendekatan yang mencegah adaptasi penuh model terhadap resolusi asli karena mereka hanya memiliki akses ke beberapa potongan dengan bentuk tetap yang telah ditentukan sebelumnya. Selain itu, resolusi potongan statis merugikan kinerja, efisiensi, dan kebenaran model karena menyebabkan pengubahan bentuk yang menyebabkan distorsi secara tidak terhindarkan. Untuk mengatasi masalah ini, kerangka LLaVA-UHD mengusulkan untuk mengkodekan potongan gambar dalam rasio aspek seperti yang ditentukan oleh strategi partisi. Lebih spesifik, kerangka LLaVA-UHD pertama-tama mengubah ukuran gambar asli secara proporsional sesuai dengan rasio aspek sehingga jumlah patch sesuai dengan anggaran pra-pelatihan, yaitu jumlah urutan embedding posisi dalam transformer visi, secara maksimal. Kerangka LLaVA-UHD kemudian mengubah urutan embedding posisi 1D pra-pelatihan dari transformer visi menjadi format 2D sesuai dengan pengaturan pra-pelatihan mereka.

Lapisan Kompresi

Masalah umum yang dihadapi model bahasa besar saat memproses gambar dengan resolusi tinggi adalah bahwa jumlah token visual yang harus diproses jauh lebih tinggi (sebagai referensi, kerangka LLaVA-1.5 menghasilkan sekitar 3500 token visual saat memproses gambar tunggal dengan resolusi 672×1008), yang menyebabkan sebagian besar sumber daya komputasi dan biaya. Untuk mengatasi tantangan ini, model LLaVA-UHD menerapkan lapisan resampler perceiver bersama untuk mengompresi token visual dari setiap potongan gambar. Model kemudian menerapkan set vektor kueri melalui perhatian silang untuk mengambil sampel output token gambar oleh pengkode visual ke jumlah yang lebih rendah. Dibandingkan dengan strategi proyeksi visual berbasis Multilayer Perceptron yang umum, pendekatan perceiver sampel yang diimplementasikan oleh LLaVA-UHD dapat mempertahankan jumlah token visual yang terjangkau tetapi tetap, terlepas dari resolusi gambar, membuat kerangka LLaVA-UHD lebih kompatibel dengan tugas pemrosesan dan pemahaman gambar dengan resolusi tinggi. Untuk memvisualisasikan hal ini, kerangka LLaVA-UDH menghasilkan jumlah token yang sama saat mengkodekan gambar dengan resolusi 672×1008 seperti kerangka LLaVA-1.5 menghasilkan saat mengkodekan gambar dengan resolusi 336×336, hampir 6 kali lebih efektif daripada kompetitornya.

Skema Spasial untuk Potongan Gambar

Sangat penting untuk memberitahu model bahasa besar tentang organisasi spasial dari potongan gambar karena partisi gambar dinamis di seluruh gambar yang berbeda. Kerangka LLaVA-UHD merancang dan menerapkan skema spasial yang menggunakan dua token khusus untuk memberitahu model bahasa besar tentang posisi relatif dari potongan gambar. Di bawah skema spasial ini, kerangka LLaVA-UHD menggunakan “,” untuk memisahkan representasi potongan dalam satu baris, dan baris yang berbeda dipisahkan menggunakan “n”.

LLaVA-UDH: Eksperimen dan Hasil

Kerangka LLaVA-UHD dievaluasi melawan 9 benchmark populer, termasuk benchmark pertanyaan visual umum, benchmark pertanyaan visual berbasis karakter optik, benchmark halusinasi, dan benchmark komprehensif. Selain itu, kerangka LLaVA-UHD dibandingkan dengan baseline yang kuat, termasuk LLaVA-1.5, MiniGPT-v2, InstructBLIP, BLIP-2, dan lain-lain.

Kinerja kerangka LLaVA-UHD pada 9 benchmark populer dirangkum dan dibandingkan dengan baseline populer dalam tabel berikut.

Berdasarkan kinerja di atas, dapat disimpulkan bahwa kerangka LLaVA-UHD dapat mengungguli model baseline yang kuat pada benchmark populer, termasuk baseline umum yang dilatih pada jumlah data yang jauh lebih besar, serta mengungguli model bahasa besar yang memerlukan komputasi yang jauh lebih besar seperti Fuyu-8B, Monkey, dan lain-lain. Kedua, hasil juga menunjukkan bahwa kerangka LLaVA-UHD mencapai hasil yang jauh lebih baik daripada arsitektur LLaVA-1.5, dan di satu sisi di mana LLaVA-1.5 mendukung resolusi tetap 336×336, kerangka LLaVA-UHD mendukung gambar dengan resolusi 672×1088 dan rasio aspek apa pun, dengan jumlah token visual yang sama.

Pemikiran Akhir

Dalam artikel ini, kita telah membahas LLaVA-UHD, sebuah pendekatan baru yang pertama kali mengambil kerangka LLaVA-1.5 dan GPT-4V sebagai contoh, dan mencoba untuk mengungkapkan kelemahan sistematis yang terkait dengan strategi pengkodean visual mereka. Kerangka LLaVA-UHD, sebuah model multi-modal, merupakan upaya untuk mengatasi tantangan ini. Kerangka LLaVA-UHD dapat memahami gambar dengan resolusi tinggi dan dalam semua rasio aspek. Kerangka LLaVA-UHD dibangun di sekitar tiga komponen kunci. Pertama, strategi modularisasi gambar yang membagi gambar dengan resolusi asli menjadi potongan-potongan yang lebih kecil dengan ukuran variabel untuk meningkatkan efisiensi dan memperluas pengkodean. Kedua, modul kompresi yang mengompresi token gambar yang dihasilkan oleh pengkode visual lebih lanjut. Ketiga, skema spasial yang mengatur token potongan untuk model bahasa besar. Eksperimen komprehensif menunjukkan bahwa kerangka LLaVA-UHD dapat mengungguli model bahasa besar terbaru dalam 9 benchmark. Selain itu, dengan menggunakan hanya 94% komputasi inferensi, kerangka LLaVA-UHD dapat mendukung gambar dengan resolusi 6 kali lebih besar, yaitu 672×1088.