Kemampuan untuk menafsirkan informasi visual kompleks dengan akurat merupakan fokus penting dari multimodal large language models (MLLMs). Penelitian terbaru menunjukkan bahwa persepsi visual yang ditingkatkan secara signifikan mengurangi halusinasi dan meningkatkan kinerja pada tugas-tugas yang sensitif terhadap resolusi, seperti pengenalan karakter optik dan analisis dokumen. Beberapa MLLM terbaru mencapai hal ini dengan menggunakan campuran encoder visi. Meskipun kesuksesan mereka, masih ada kekurangan perbandingan sistematis dan studi ablasion terperinci yang menangani aspek-aspek kritis, seperti pemilihan ahli dan integrasi beberapa ahli visi. Artikel ini menyediakan eksplorasi ekstensif dari desain ruang untuk MLLM menggunakan campuran encoder visi dan resolusi, kerangka Eagle yang mencoba menjelajahi desain ruang untuk multimodal large language models dengan campuran encoder. Temuan menunjukkan beberapa prinsip dasar yang umum untuk strategi yang berbeda, mengarah pada pendekatan desain yang efektif dan sederhana. Eagle menemukan bahwa hanya dengan menggabungkan token visual dari set encoder visi yang komplementer adalah sama efektifnya dengan arsitektur pencampuran yang lebih kompleks atau strategi. Selain itu, Eagle memperkenalkan Pre-Alignment untuk menjembatani kesenjangan antara encoder visi yang berfokus pada visi dan token bahasa, meningkatkan kohesi model. Keluarga MLLM yang dihasilkan, Eagle, melampaui model terbuka lainnya pada benchmark MLLM utama.

Kerja Eagle terkait dengan desain arsitektur umum dari multimodal large language models (MLLMs). Selain garis penelitian terbuka yang disebutkan sebelumnya, keluarga MLLM lainnya termasuk, tetapi tidak terbatas pada, MiniGPT-4, Lynx, Otter, QwenVL, CogVLM, VILA, GPT-4V, Gemini, dan Llama 3.1. Bergantung pada bagaimana sinyal visi diintegrasikan ke dalam model bahasa, MLLM dapat dikategorikan menjadi “cross-modal attention” model dan “prefix-tuning” model. Yang pertama menginjeksi informasi visual ke dalam lapisan yang berbeda dari LLM menggunakan perhatian cross-modal, sedangkan yang terakhir memperlakukan token visual sebagai bagian dari urutan token bahasa dan langsung menambahkannya dengan embedding teks. Model Eagle termasuk dalam keluarga prefix-tuning dengan mengikuti arsitektur multimodal LLaVA-styled.

Kerja Eagle sangat terkait dengan penelitian yang berfokus pada meningkatkan desain encoder visi untuk MLLM. Karya awal biasanya mengadopsi encoder visi yang telah dilatih sebelumnya pada tugas pengaturan visi-bahasa seperti CLIP dan EVA-CLIP. Encoder visi yang lebih kuat, seperti SigLIP dan InternVL, telah diajukan untuk meningkatkan tugas visi-bahasa dengan desain yang lebih baik, ukuran model yang lebih besar, dan resep pelatihan yang lebih efektif. Karena model sering dilatih sebelumnya pada gambar dengan resolusi rendah dan mungkin kekurangan kemampuan untuk mengkodekan detail halus, adaptasi resolusi yang lebih tinggi sering dilakukan untuk meningkatkan resolusi input MLLM. Selain adaptasi resolusi yang lebih tinggi, model seperti LLaVA-NeXT, LLaVA-UHD, Monkey, InternLM-XComposer, dan InternVL menggunakan tiling atau tiling adaptif untuk menangani input dengan resolusi tinggi, di mana gambar dibagi menjadi patch dengan resolusi rendah dan diproses secara terpisah. Meskipun kemampuan untuk menangani resolusi yang lebih tinggi dimungkinkan dengan memperkenalkan ahli visi tambahan, pendekatan ini sedikit berbeda dari teknik tiling, meskipun keduanya kompatibel dan dapat digabungkan.

EAGLE: Menggunakan Campuran Encoder untuk Menjelajahi Desain Ruang untuk Multimodal LLM

Kesuksesan model bahasa besar (LLM) telah memicu minat yang signifikan dalam memungkinkan kemampuan persepsi visual mereka, memungkinkan mereka untuk melihat, memahami, dan bernalar dalam dunia nyata. Di inti dari multimodal large language models (MLLM) ini terdapat desain yang khas di mana gambar diubah menjadi serangkaian token visual oleh encoder visi dan ditambahkan dengan embedding teks. CLIP sering dipilih sebagai encoder visi karena representasi visualnya sejalan dengan ruang teks dengan pelatihan sebelumnya pada pasangan gambar-teks. Bergantung pada arsitektur, resep pelatihan, dan cara token visi diinjeksi ke dalam model bahasa, keluarga MLLM yang terkenal termasuk Flamingo, BLIP, PaLI, PaLM-E, dan LLaVA. Sebagian besar model ini mempertahankan resolusi input yang relatif rendah karena keterbatasan dalam encoder visi yang telah dilatih sebelumnya dan panjang urutan LLM. Kerja Eagle sejalan dengan model yang menggunakan beberapa encoder visi untuk persepsi yang ditingkatkan.

Misalnya, model seperti Mousi dan Brave menggabungkan token visual dari encoder visi yang berbeda dengan menggabungkan sepanjang arah channel atau token. RADIO memperkenalkan metode distilasi multi-guru untuk mempersatukan kemampuan encoder visi yang berbeda ke dalam satu model. MoAI, IVE, dan Prismer lebih lanjut menggunakan output dari ahli visi, seperti OCR, deteksi, atau estimasi kedalaman, untuk melengkapi informasi tambahan untuk MLLM untuk menghasilkan jawaban. MoVA merancang jaringan pengarah untuk menetapkan model visi optimal berdasarkan gambar dan instruksi yang diberikan.

Studi terbaru telah menunjukkan bahwa desain encoder visi yang lebih kuat sangat penting untuk mengurangi halusinasi MLLM dan meningkatkan kinerja pada tugas-tugas yang sensitif terhadap resolusi seperti pengenalan karakter optik (OCR). Beberapa karya fokus pada meningkatkan kemampuan encoder visi, baik dengan menskalakan data pelatihan dan parameter atau dengan membagi gambar menjadi patch dengan resolusi rendah. Namun, pendekatan ini sering memperkenalkan permintaan sumber daya pelatihan yang besar. Strategi yang efektif dan kuat adalah menggabungkan encoder visi yang telah dilatih sebelumnya dengan tugas dan resolusi input yang berbeda, baik dengan menggabungkan encoder dengan resolusi yang lebih tinggi dengan encoder CLIP, menambahkan fitur dari encoder yang berbeda, atau mengadopsi strategi fusi dan pengarah yang lebih kompleks untuk memaksimalkan manfaat dari encoder yang berbeda. Pendekatan “campuran-ahli-visi” ini telah terbukti efektif, meskipun studi terperinci tentang ruang desainnya dengan ablasion yang ketat masih kurang, memotivasi Eagle untuk mengunjungi kembali area ini. Pertanyaan kunci masih ada: kombinasi encoder visi mana yang harus dipilih, bagaimana menggabungkan ahli yang berbeda, dan bagaimana menyesuaikan strategi pelatihan dengan lebih banyak encoder visi.

Untuk menjawab pertanyaan ini, Eagle secara sistematis menyelidiki desain ruang campuran-encoder-visi untuk persepsi MLLM yang ditingkatkan. Eksplorasi ruang desain ini melibatkan langkah-langkah berikut: 1) Benchmarking berbagai encoder visi dan mencari adaptasi resolusi yang lebih tinggi; 2) Melakukan perbandingan “apples to apples” antara strategi fusi encoder visi; 3) Secara progresif mengidentifikasi kombinasi optimal dari beberapa encoder visi; 4) Meningkatkan pre-alignment ahli visi dan campuran data. Langkah-langkah eksplorasi ditampilkan dalam gambar berikut.

Studi Eagle mencakup kinerja encoder visi yang telah dilatih sebelumnya pada tugas dan resolusi yang berbeda, seperti pengaturan visi-bahasa, pembelajaran mandiri, deteksi, segmentasi, dan OCR. Dengan menggunakan pendekatan round-robin, Eagle memulai dengan encoder dasar CLIP dan menambahkan satu ahli tambahan pada satu waktu, memilih ahli yang memberikan perbaikan terbaik dalam setiap putaran.

Sementara kerja Eagle tidak pertama kalinya menggunakan beberapa encoder visi dalam MLLM, studi sistematis ini mengarah pada beberapa temuan kunci dalam pengaturan ini:

• Mengunci encoder visi selama pelatihan MLLM sangat penting. Ini berbeda dengan model seperti LLaVA dan lainnya yang mempertimbangkan beberapa encoder visi atau guru, di mana membekukan encoder visi telah menjadi praktik umum.
• Beberapa strategi fusi yang baru-baru ini diajukan tidak menunjukkan keunggulan yang signifikan. Sebaliknya, penggabungan channel langsung muncul sebagai strategi fusi yang sederhana namun kompetitif, menawarkan efisiensi dan kinerja terbaik.
• Menggabungkan ahli visi tambahan menghasilkan keuntungan yang konsisten. Ini membuatnya menjadi jalur yang menjanjikan untuk secara sistematis meningkatkan persepsi MLLM, selain dari menskalakan encoder tunggal. Perbaikan ini terutama tampak ketika encoder visi tidak dibekukan.
• Tahap pre-alignment sangat penting. Eagle memperkenalkan tahap pre-alignment di mana ahli visi yang tidak sejalan dengan teks secara individual difine-tuning dengan LLM yang dibekukan sebelum dilatih bersama. Tahap ini secara signifikan meningkatkan kinerja MLLM dalam desain campuran-encoder-visi.

Eagle: Metodologi dan Arsitektur

Tidak seperti metode sebelumnya yang fokus pada strategi fusi baru atau arsitektur antara encoder visi, tujuan Eagle adalah untuk mengidentifikasi desain minimalis untuk menggabungkan encoder visi yang berbeda, didukung oleh ablasion terperinci dan menghilangkan komponen yang tidak perlu. Seperti yang ditunjukkan dalam gambar berikut, Eagle memulai dengan memperluas encoder dasar CLIP ke dalam set ahli visi dengan arsitektur, tugas pelatihan, dan resolusi yang berbeda. Dengan ahli-ahli ini, Eagle kemudian membandingkan arsitektur fusi yang berbeda dan metode, serta menjelajahi bagaimana mengoptimalkan strategi pelatihan dengan beberapa encoder.

Akhirnya, Eagle menggabungkan semua temuan dan memperluas pendekatan ke beberapa ahli visi dengan resolusi dan pengetahuan domain yang berbeda. Dengan menggunakan data pelatihan yang sama dengan LLaVA-1.5, yang terdiri dari 595k pasangan gambar-teks, Eagle beralih ke tahap fine-tuning yang diawasi dengan mengumpulkan data dari serangkaian tugas dan mengubahnya menjadi percakapan multimodal, termasuk LLaVA-1.5, Laion-GPT4V, ShareGPT-4V, DocVQA, synDog-EN, ChartQA, DVQA, dan AI2D, menghasilkan 934k sampel.

Model ini pertama kali dilatih dengan pasangan gambar-teks selama satu epoch dengan ukuran batch 256, di mana model seluruhnya dibekukan, dan hanya lapisan projector yang diperbarui. Pada tahap kedua, model dilatih dengan data fine-tuning yang diawasi selama satu epoch dengan ukuran batch 128. Untuk eksplorasi ini, Eagle menggunakan Vicuna-7B sebagai model bahasa dasar. Tingkat pembelajaran ditetapkan ke 1e-3 untuk tahap pertama dan 2e-5 untuk tahap kedua.

Encoder CLIP yang Lebih Kuat

Eagle memulai eksplorasi dengan model CLIP, karena telah menjadi pilihan utama untuk banyak MLLM. Sementara model CLIP dikenal untuk meningkatkan tugas multimodal, keterbatasannya juga telah didokumentasikan dengan baik. Misalnya, banyak MLLM yang ada cenderung menggunakan resolusi pelatihan CLIP (seperti 224 × 224 atau 336 × 336) sebagai resolusi input mereka. Dalam kasus ini, encoder seringkali berjuang untuk menangkap detail halus yang penting untuk tugas-tugas yang sensitif terhadap resolusi seperti OCR dan pemahaman dokumen.

Untuk menangani resolusi input yang lebih tinggi, pendekatan umum adalah tiling, di mana gambar input dibagi menjadi tile dan dienkodkan secara terpisah. Metode lain yang lebih sederhana adalah langsung menskalakan resolusi input dan menginterpolasi posisi embedding transformer visi jika perlu. Eagle membandingkan kedua pendekatan ini dengan encoder visi yang dibekukan dan tidak dibekukan pada berbagai resolusi, dengan hasil yang terkandung dalam tabel di atas. Temuan dapat diringkas sebagai berikut:

• Mengunci encoder CLIP tidak dibekukan menghasilkan perbaikan yang signifikan ketika diinterpolasi ke resolusi input MLLM yang lebih tinggi yang berbeda dari resolusi pelatihan CLIP, tanpa degradasi kinerja ketika resolusi tetap sama.
• Membekukan encoder CLIP dan langsung mengadaptasinya ke resolusi input MLLM yang lebih tinggi secara signifikan merusak kinerja.
• Di antara strategi yang dibandingkan, langsung menginterpolasi ke 448 × 448 dengan encoder CLIP yang tidak dibekukan terbukti efektif dan efisien dalam hal kinerja dan biaya.
• Encoder CLIP terbaik mencapai kinerja yang dekat dengan InternVL, meskipun merupakan model yang jauh lebih kecil (300M vs. 6B) dengan data pelatihan yang lebih sedikit.

Hal ini patut disebutkan bahwa CLIP-448 memungkinkan Eagle untuk mencocokkan pengaturan dengan LLaVA-HR dan InternVL, di mana encoder CLIP disesuaikan untuk menerima input 448 × 448 dan mengeluarkan 1024 token patch. Untuk penyelidikan lebih lanjut, Eagle mengikuti strategi sederhana ini dengan menskalakan resolusi input dan mengunci encoder visi selama pelatihan.

Eagle mengamati bahwa strategi fusi yang baru-baru ini diajukan, meskipun variasi desainnya, dapat dikategorikan secara luas sebagai berikut:

1. Sequence Append: Langsung menambahkan token visual dari berbagai backbone sebagai urutan yang lebih panjang.
2. Channel Concatenation: Menggabungkan token visual sepanjang dimensi channel tanpa meningkatkan panjang urutan.
3. LLaVA-HR: Menginjeksi fitur resolusi tinggi ke dalam encoder visi resolusi rendah menggunakan adapter campuran-resolusi.
4. Mini-Gemini: Menggunakan token CLIP sebagai kueri resolusi rendah untuk melakukan perhatian silang dengan encoder visi resolusi tinggi lainnya dalam jendela lokal yang terkait.
5. Deformable Attention: Sebuah baseline baru yang diperkenalkan di atas Mini-Gemini, di mana perhatian jendela vanilla digantikan dengan perhatian deformable.

Sebagai gantinya, Eagle melatih setiap encoder visi yang telah dilatih sebelumnya dengan projector sendiri pada data SFT, sambil menjaga model bahasa tetap dibekukan; kemudian, Eagle menggabungkan semua ahli visi dari langkah pertama dan melatih hanya projector dengan data pasangan gambar-teks; akhirnya, Eagle melatih seluruh model pada data SFT. Proses pelatihan ini terdiri dari tiga langkah.

Eagle: Eksperimen dan Hasil

Setelah mengembangkan strateginya dengan hati-hati, Eagle telah menetapkan prinsip-prinsip berikut untuk modelnya: (1) mengintegrasikan lebih banyak ahli visi dengan resep pelatihan yang dioptimalkan; (2) menggabungkan beberapa ahli visi melalui penggabungan channel langsung; (3) melatih ahli visi secara terpisah melalui pre-alignment. Dalam bagian ini, untuk lebih menunjukkan keunggulan model Eagle, data pelatihan tambahan diinkorporasi, dan Eagle dibandingkan dengan MLLM terbaru di berbagai tugas. Eagle menggunakan Vicuna-v1.5-7B, Llama3-8B, dan Vicuna-v1.5-13B sebagai model bahasa. Untuk encoder visi, berdasarkan hasil di Bagian 2.6, model Eagle dinamai Eagle-X4, yang mencakup empat encoder visi: CLIP, ConvNeXt, Pix2Struct, dan EVA-02, dan Eagle-X5, yang mencakup encoder visi SAM tambahan.

Tugas Jawaban Pertanyaan Visual

Eagle membandingkan seri modelnya di atas tiga benchmark Jawaban Pertanyaan Visual (VQA), termasuk GQA, VQAv2, dan VizWiz. Seperti yang ditunjukkan dalam tabel berikut, Eagle-X5 mencapai kinerja terbaik pada GQA dan VQAv2, menyoroti keunggulan dari mengintegrasikan ahli visi tambahan.

Tugas Pengenalan OCR dan Pemahaman Grafik

Untuk mengevaluasi kemampuan OCR, dokumen, dan pemahaman grafik dari Eagle, model ini diujikan pada OCRBench, TextVQA, dan ChartQA. Seperti yang ditunjukkan dalam tabel di atas, Eagle secara signifikan melampaui pesaingnya pada TextVQA, mendapat manfaat dari arsitektur resolusi tinggi dan integrasi beberapa encoder visi. Yang patut disebutkan, Eagle mempertahankan desain yang sederhana, mendukung hingga 1024 token tanpa memerlukan dekomposisi tile kompleks dari gambar.

Gambar berikut ini menampilkan contoh kasus pengenalan OCR dan pemahaman dokumen. Dengan adaptasi resolusi tinggi dan integrasi lebih banyak ahli visi, Eagle dapat mengidentifikasi teks kecil dalam gambar dan secara akurat mengekstrak informasi berdasarkan instruksi pengguna.

Untuk lebih memahami manfaat dari memperkenalkan ahli yang dilatih sebelumnya pada tugas visi lain, gambar berikut memvisualisasikan hasil dari model dengan hanya encoder visi ConvNeXt dan CLIP, dibandingkan dengan hasil Eagle-X5. Dengan set lengkap encoder visi, model ini berhasil memperbaiki kesalahan, menunjukkan bahwa bahkan ketika dilengkapi dengan encoder visi resolusi tinggi yang telah dilatih sebelumnya pada pengaturan visi-bahasa, kemampuan Eagle ditingkatkan dengan mengintegrasikan ahli visi tambahan yang dilatih sebelumnya pada tugas visi yang beragam.

Evaluasi Benchmark Multimodal

Eagle dievaluasi pada tujuh benchmark untuk MLLM untuk menunjukkan kemampuannya dari berbagai perspektif, termasuk MME, MMBench, SEED, MathVista, MMMU, ScienceQA, dan POPE. Secara khusus, MME, MMBench, dan SEED menilai kinerja keseluruhan pada berbagai tugas dunia nyata yang melibatkan penalaran, pengenalan, pengetahuan, dan OCR. MMMU fokus pada masalah yang menantang dari domain yang beragam yang memerlukan pengetahuan tingkat universitas. POPE mengevaluasi halusinasi visual MLLM. Metrik yang digunakan dalam evaluasi ini mengikuti pengaturan default dari benchmark tersebut. Eagle melaporkan skor persepsi untuk MME, en_dev split untuk MMBench, split gambar dari SEED, test-mini split dari MathVista, val split dari MMMU, skor F1 dari POPE, dan skor gambar untuk ScienceQA, memastikan keselarasan dengan skor yang dilaporkan dari model lain.

Pemikiran Akhir

Dalam artikel ini, kami telah membahas tentang Eagle, sebuah analisis mendalam tentang desain ruang untuk mengintegrasikan encoder visi ke dalam multimodal large language models. Tidak seperti karya sebelumnya yang fokus pada merancang paradigma fusi baru atau arsitektur antara encoder visi, Eagle menemukan bahwa pilihan desain sistematis sangat penting dan menemukan serangkaian teknik yang berguna. Langkah demi langkah, Eagle mengoptimalkan resep pelatihan dari encoder visi individual, mengidentifikasi metode fusi yang dapat diperluas dan efisien, dan secara bertahap menggabungkan encoder visi dengan pengetahuan domain yang berbeda. Hasilnya menyoroti pentingnya pertimbangan dasar ruang desain.