SHOW-O: Mengintegrasikan Pemahaman dan Generasi Multimodal

Pencapaian signifikan dalam model bahasa besar (LLM) telah menginspirasi pengembangan model bahasa besar multimodal (MLLM). Upaya MLLM awal, seperti LLaVA, MiniGPT-4, dan InstructBLIP, menunjukkan kemampuan pemahaman multimodal yang mencolok. Untuk mengintegrasikan LLM ke dalam domain multimodal, studi-studi ini menjelajahi proyeksi fitur dari encoder modality-spesifik pra-dilatih, seperti CLIP, ke dalam ruang input LLM, memungkinkan pemahaman dan penalaran multimodal dalam arsitektur transformer. Meskipun ada berbagai pilihan desain untuk MLLM, seperti encoder visi, adapter penyelarasan fitur, dan dataset, pelatihan untuk sebagian besar model ini mengikuti paradigma generasi autoregresif, yang telah terbukti efektif untuk generasi teks dalam LLM. Meskipun kemampuan pemahaman multimodal yang kuat, model-model ini terutama fokus pada persepsi visual dan kekurangan kemampuan untuk menghasilkan output multimodal di luar teks.

Model transformer telah menunjukkan kesuksesan besar dalam pemodelan autoregresif dalam pemrosesan bahasa alami. Terinspirasi oleh kemajuan tersebut, studi-studi sebelumnya telah menerapkan pemodelan autoregresif yang sama untuk mempelajari ketergantungan piksel gambar untuk generasi gambar dan video. Misalnya, VideoPoet menggunakan arsitektur transformer decoder-saja untuk mensintesis video berkualitas tinggi dari input multimodal. Lebih baru-baru ini, LlamaGen telah menunjukkan bahwa arsitektur model bahasa besar seperti Llama dapat memodelkan token gambar secara autoregresif, mencapai kinerja yang layak dalam generasi gambar kondisional kelas.

Dalam artikel ini, kita akan membahas Show-O, sebuah transformer yang mengintegrasikan pemahaman dan generasi multimodal. Tidak seperti model autoregresif sepenuhnya, Show-O mengintegrasikan pemodelan autoregresif dan difusi diskret untuk menangani input dan output dari berbagai modalitas dan campuran. Model terpadu ini fleksibel mendukung berbagai tugas visi-bahasa, termasuk jawaban pertanyaan visual, generasi gambar-ke-teks, inpainting/generasi ekstrapolasi yang dipandu teks, dan generasi campuran modalitas. Di berbagai benchmark, Show-O menunjukkan kinerja yang setara atau unggul dibandingkan dengan model individu yang ada dengan jumlah parameter yang setara atau lebih besar, menyoroti potensinya sebagai model dasar generasi berikutnya.

… (translated content continues)

H3: Omni-Attention Mechanism
Show-O memperkenalkan mekanisme omni-attention, yang memungkinkan untuk memodelkan berbagai jenis sinyal dengan cara yang berbeda. Mekanisme perhatian ini secara adaptif beralih antara perhatian kausal dan perhatian penuh berdasarkan format urutan input.

H2: SHOW-O: Eksperimen dan Hasil
Tabel berikut menyajikan kemampuan pemahaman multimodal Show-O pada benchmark publik, seperti tugas jawaban pertanyaan visual dan kapion gambar.

H3: Perbandingan Kualitatif
Kami menyajikan perbandingan kualitatif dengan model difusi berbasis, seperti SDv1.5, SDXL, dan model autoregresif LlamaGen, serta model terpadu seperti LWM dan SEED-X.

H3: Inpainting dan Ekstrapolasi yang Dipandu Teks
Show-O secara alami mendukung inpainting dan ekstrapolasi yang dipandu teks tanpa memerlukan pelatihan ulang.

H2: Pikiran Akhir
Dalam artikel ini, kita telah membahas Show-O, sebuah transformer yang mengintegrasikan pemahaman dan generasi multimodal. Show-O mengintegrasikan pemodelan autoregresif dan difusi diskret untuk menangani input dan output dari berbagai modalitas dan campuran. Model terpadu ini fleksibel mendukung berbagai tugas visi-bahasa, termasuk jawaban pertanyaan visual, generasi gambar-ke-teks, inpainting/generasi ekstrapolasi yang dipandu teks, dan generasi campuran modalitas. Di berbagai benchmark, Show-O menunjukkan kinerja yang setara atau unggul dibandingkan dengan model individu yang ada dengan jumlah parameter yang setara atau lebih besar, menyoroti potensinya sebagai model dasar generasi berikutnya.