Perkembangan besar dalam model bahasa besar telah mempercepat secara signifikan pengembangan pemrosesan bahasa alami, atau NLP. Pengenalan kerangka kerja transformer terbukti menjadi tonggak, memfasilitasi pengembangan gelombang baru model bahasa, termasuk OPT dan BERT, yang menunjukkan pemahaman linguistik yang mendalam. Selain itu, penciptaan GPT, atau model transformer pra-latih generatif, memperkenalkan paradigma baru dengan pemodelan autoregresif dan membangun metode yang kuat untuk prediksi dan generasi bahasa. Kedatangan model bahasa seperti GPT-4, ChatGPT, Mixtral, LLaMA, dan lain-lain telah lebih lanjut memicu evolusi cepat, dengan setiap model menunjukkan kinerja yang ditingkatkan dalam tugas yang melibatkan pemrosesan bahasa yang kompleks. Di antara metode yang ada, penyetelan instruksi telah muncul sebagai teknik kunci untuk menghaluskan output model bahasa besar pra-latih, dan integrasi model ini dengan alat khusus untuk tugas visual telah menyoroti kemampuan adaptasi mereka dan membuka pintu untuk aplikasi di masa depan. Ini meluas jauh melampaui pemrosesan berbasis teks tradisional dari LLM untuk mencakup interaksi multimodal.

Lebih lanjut, konvergensi pemrosesan bahasa alami dan model visi telah melahirkan VLM, atau Model Bahasa Visi, yang menggabungkan model linguistik dan visi untuk mencapai pemahaman dan kemampuan penalaran cross-modal. Integrasi dan kemunculan model visual dan linguistik telah memainkan peran kunci dalam memajukan tugas yang memerlukan pemrosesan bahasa dan pemahaman visual. Kemunculan model revolusioner seperti CLIP telah lebih lanjut menjembatani kesenjangan antara tugas visi dan model bahasa, menunjukkan kelayakan dan praktikabilitas aplikasi cross-modal. Kerangka kerja lebih baru seperti LLaMA dan BLIP menggunakan data instruksi yang disesuaikan untuk mengembangkan strategi yang efisien yang menunjukkan kemampuan model yang kuat. Selain itu, menggabungkan model bahasa besar dengan output gambar adalah fokus penelitian multimodal terbaru, dengan metode terbaru dapat melewati generasi langsung dengan menggunakan pendekatan pengambilan gambar untuk menghasilkan output gambar dan teks yang berselang-seling.

Dengan demikian, dan meskipun kemajuan pesat dalam model bahasa visi yang memfasilitasi penalaran dasar dan dialog visual, masih ada kesenjangan kinerja yang signifikan antara model lanjutan seperti GPT-4, dan model bahasa visi. Mini-Gemini adalah upaya untuk mempersempit kesenjangan yang ada antara model bahasa visi dan model yang lebih maju dengan menambang potensi VLM untuk kinerja yang lebih baik dari tiga aspek: generasi yang dipandu VLM, data berkualitas tinggi, dan token visual berkualitas tinggi. Untuk meningkatkan token visual, kerangka kerja Mini-Gemini mengusulkan untuk menggunakan encoder visual tambahan untuk pemrosesan gambar berkualitas tinggi tanpa meningkatkan jumlah token visual. Kerangka kerja Mini-Gemini lebih lanjut membangun dataset berkualitas tinggi dalam upaya untuk mempromosikan pemahaman yang tepat tentang gambar dan generasi berbasis penalaran. Secara keseluruhan, kerangka kerja Mini-Gemini berupaya untuk menambang potensi model bahasa visi, dan bertujuan untuk memberdayakan kerangka kerja yang ada dengan kemampuan penalaran gambar, pemahaman, dan generasi secara bersamaan. Artikel ini bertujuan untuk membahas kerangka kerja Mini-Gemini secara mendalam, dan kami menjelajahi mekanisme, metodologi, arsitektur kerangka kerja bersama dengan perbandingannya dengan kerangka kerja yang ada. Jadi, mari kita mulai.

Mini-Gemini: Mempercepat Multi-Modality VLMs

Selama beberapa tahun, model bahasa besar telah berkembang, dan sekarang memiliki kemampuan multi-modal yang luar biasa, dan menjadi bagian penting dari model bahasa visi saat ini. Namun, ada kesenjangan antara kinerja multi-modal model bahasa besar dan model bahasa visi dengan penelitian terbaru yang mencari cara untuk menggabungkan visi dengan model bahasa besar menggunakan gambar dan video. Untuk tugas visi itu sendiri, resolusi gambar adalah elemen kritis untuk secara eksplisit menggambarkan lingkungan sekitar dengan hallucinasi visual minimal. Untuk menjembatani kesenjangan, peneliti sedang mengembangkan model untuk meningkatkan pemahaman visual dalam model bahasa visi saat ini, dan dua pendekatan yang paling umum adalah: meningkatkan resolusi, dan meningkatkan jumlah token visual. Meskipun meningkatkan jumlah token visual dengan gambar berkualitas tinggi lebih tinggi memperbaiki pemahaman visual, peningkatan tersebut sering disertai dengan peningkatan kebutuhan komputasi dan biaya yang terkait, terutama saat memproses beberapa gambar. Selain itu, kemampuan model yang ada, kualitas data yang ada, dan keteraplikasian masih tidak memadai untuk proses pengembangan yang dipercepat, meninggalkan peneliti dengan pertanyaan, “bagaimana cara mempercepat pengembangan model bahasa visi dengan biaya yang dapat diterima”?

Kerangka kerja Mini-Gemini adalah upaya untuk menjawab pertanyaan tersebut karena berupaya untuk mengeksplorasi potensi model bahasa visi dari tiga aspek: generasi yang dipandu VLM atau aplikasi yang diperluas, data berkualitas tinggi, dan token visual berkualitas tinggi. Pertama, kerangka kerja Mini-Gemini mengimplementasikan arsitektur ConvNet untuk menghasilkan kandidat berkualitas tinggi secara efisien, meningkatkan detail visual sambil mempertahankan jumlah token visual untuk model bahasa besar. Kerangka kerja Mini-Gemini menggabungkan dataset berkualitas tinggi yang tersedia secara publik dalam upaya untuk meningkatkan kualitas data, dan mengintegrasikan peningkatan ini dengan model generatif dan model bahasa besar yang ada dengan upaya untuk meningkatkan kinerja VLM, dan memperbaiki pengalaman pengguna. Strategi multifaset yang diimplementasikan oleh kerangka kerja Mini-Gemini memungkinkan untuk mengeksplorasi kemampuan tersembunyi dari model bahasa visi, dan mencapai kemajuan yang signifikan dengan kendala sumber daya yang jelas.

Secara umum, kerangka kerja Mini-Gemini menggunakan paradigma apa-ke-apa karena dapat menangani baik teks dan gambar sebagai input dan output. Secara khusus, kerangka kerja Mini-Gemini memperkenalkan pipeline yang efisien untuk meningkatkan token visual untuk gambar input, dan menampilkan sistem dual-encoder yang terdiri dari dua encoder: encoder pertama untuk gambar berkualitas tinggi, sedangkan encoder kedua untuk embedding visual berkualitas rendah. Selama inferensi, encoder bekerja dalam mekanisme perhatian, di mana encoder berkualitas rendah menghasilkan kueri visual, sedangkan encoder berkualitas tinggi menyediakan kunci dan nilai untuk referensi. Untuk meningkatkan kualitas data, kerangka kerja Mini-Gemini mengumpulkan dan menghasilkan lebih banyak data berdasarkan sumber daya publik, termasuk instruksi yang berorientasi pada tugas, data yang terkait dengan generasi, dan respons berkualitas tinggi, dengan jumlah dan kualitas yang ditingkatkan memperbaiki kinerja dan kemampuan model secara keseluruhan. Selain itu, kerangka kerja Mini-Gemini mendukung generasi teks dan gambar secara bersamaan sebagai hasil dari integrasi model bahasa visi dengan model generatif yang maju.

Mini-Gemini : Metodologi dan Arsitektur

Pada intinya, kerangka kerja Mini-Gemini secara konseptual sederhana, dan terdiri dari tiga komponen.

1. Kerangka kerja menggunakan dual vision encoder untuk menyediakan embedding visual berkualitas rendah dan kandidat berkualitas tinggi.
2. Kerangka kerja mengusulkan untuk mengimplementasikan penambangan informasi patch untuk melakukan penambangan pada level patch antara kueri visual berkualitas rendah dan wilayah berkualitas tinggi.
3. Kerangka kerja Mini-Gemini menggunakan model bahasa besar untuk menggabungkan teks dengan gambar untuk generasi dan pemahaman secara bersamaan.

Dual-Vision Encoders

Kerangka kerja Mini-Gemini dapat memproses baik input teks dan gambar, dengan opsi untuk menangani mereka secara individual atau dalam kombinasi. Seperti yang ditunjukkan pada gambar berikut, kerangka kerja Mini-Gemini memulai proses dengan menggunakan interpolasi bilinear untuk menghasilkan gambar berkualitas rendah dari gambar berkualitas tinggi yang sesuai.

Kerangka kerja kemudian memproses gambar-gambar ini dan mengkodekannya menjadi embedding visual multi-grid dalam dua aliran gambar paralel. Lebih khusus, kerangka kerja Mini-Gemini mempertahankan pipeline tradisional untuk aliran berkualitas rendah dan menggunakan Transformer Visual pra-latih CLIP untuk mengkodekan embedding visual, memungkinkan model untuk mempertahankan hubungan jangka panjang antara patch visual untuk interaksi berikutnya dalam model bahasa besar. Untuk aliran berkualitas tinggi, kerangka kerja Mini-Gemini mengadopsi encoder berbasis CNN atau Jaringan Saraf Konvolusional untuk pemrosesan gambar berkualitas tinggi yang adaptif dan efisien.

Patch Info Mining

Dengan dual vision encoder yang menghasilkan embedding berkualitas rendah dan fitur berkualitas tinggi, kerangka kerja Mini-Gemini mengusulkan untuk mengimplementasikan penambangan informasi patch dengan tujuan untuk memperluas potensi model bahasa visi dengan token visual yang ditingkatkan. Untuk mempertahankan jumlah token visual untuk efisiensi dalam model bahasa besar, kerangka kerja Mini-Gemini mengambil embedding visual berkualitas rendah sebagai kueri, dan berupaya untuk mengambil petunjuk visual yang relevan dari kandidat fitur berkualitas tinggi, dengan kerangka kerja mengambil peta fitur berkualitas tinggi sebagai kunci dan nilai.

Seperti yang ditunjukkan pada gambar di atas, rumus tersebut merangkum proses penghalusan dan sintesis petunjuk visual, yang mengarah pada generasi token visual yang ditingkatkan untuk pemrosesan model bahasa besar berikutnya. Proses ini memastikan bahwa kerangka kerja dapat membatasi penambangan untuk setiap kueri ke sub-wilayah yang sesuai dalam peta fitur berkualitas tinggi dengan hitungan fitur per-piksel, menghasilkan efisiensi yang ditingkatkan. Berkat desain ini, kerangka kerja Mini-Gemini dapat mengekstrak detail fitur berkualitas tinggi tanpa meningkatkan jumlah token visual, dan mempertahankan keseimbangan antara kelayakan komputasi dan kekayaan detail.

Text and Image Generation

Kerangka kerja Mini-Gemini menggabungkan token visual dan token teks input sebagai input untuk model bahasa besar untuk generasi autoregresif. Tidak seperti model bahasa visi tradisional, kerangka kerja Mini-Gemini mendukung generasi teks-saja serta generasi teks-gambar sebagai input dan output, yaitu inferensi apa-ke-apa, dan ini adalah hasil dari kemampuan pemahaman gambar-teks dan penalaran yang luar biasa, Mini-Gemini dapat menghasilkan gambar berkualitas tinggi. Tidak seperti karya terbaru yang fokus pada kesenjangan domain antara embedding teks dari model generasi dan model bahasa besar, kerangka kerja Mini-Gemini berupaya untuk mengoptimalkan kesenjangan dalam domain prompt bahasa dengan menerjemahkan instruksi pengguna menjadi prompt berkualitas tinggi yang menghasilkan gambar yang relevan dengan konteks dalam model difusi laten. Selain itu, untuk pemahaman yang lebih baik tentang penyetelan instruksi, dan penyesuaian cross-modal, kerangka kerja Mini-Gemini mengumpulkan sampel dari dataset berkualitas tinggi yang tersedia secara publik, dan menggunakan kerangka kerja GPT-4 turbo untuk lebih lanjut membangun dataset instruksi yang mengikuti sebesar 13K untuk mendukung generasi gambar.

Mini-Gemini : Eksperimen dan Hasil

Untuk mengevaluasi kinerjanya, kerangka kerja Mini-Gemini diinstansiasi dengan kerangka kerja ConvNext-L pra-latih untuk encoder visi berkualitas tinggi, dan dengan Transformer Visual pra-latih CLIP untuk encoder visi berkualitas rendah. Untuk memastikan efisiensi pelatihan, kerangka kerja Mini-Gemini mempertahankan dua encoder visi tetap, dan mengoptimalkan proyektor penambangan informasi patch di semua tahap, dan mengoptimalkan model bahasa besar selama tahap penyetelan instruksi itu sendiri.

Tabel berikut membandingkan kinerja kerangka kerja Mini-Gemini dengan model yang ada di berbagai pengaturan, dan juga mempertimbangkan model privat. Seperti yang dapat dilihat, Mini-Gemini outperforms model yang ada di berbagai pengaturan secara konsisten pada resolusi normal, dan menunjukkan kinerja yang unggul ketika dikonfigurasi dengan Gemma-2B dalam kategori model yang efisien. Selain itu, ketika model bahasa besar yang lebih besar digunakan, skalabilitas kerangka kerja Mini-Gemini menjadi jelas.

Untuk mengevaluasi kinerjanya pada resolusi tinggi dan token visual yang diperluas, eksperimen dilakukan dengan ukuran input 672 untuk encoder visi berkualitas rendah, dan 1536 untuk encoder visi. Seperti yang disebutkan sebelumnya, tujuan utama dari encoder visi berkualitas tinggi adalah untuk menyediakan informasi kandidat berkualitas tinggi. Seperti yang dapat dilihat, kerangka kerja Mini-Gemini menunjukkan kinerja yang unggul ketika dibandingkan dengan model yang ada.

Selain itu, untuk menilai kemampuan pemahaman visual kerangka kerja Mini-Gemini dalam pengaturan dunia nyata, pengembang menerapkan model pada berbagai tugas penalaran dan pemahaman seperti yang ditunjukkan pada gambar berikut. Seperti yang dapat dilihat, kerangka kerja Mini-Gemini dapat menyelesaikan berbagai tugas yang kompleks berkat implementasi penambangan informasi patch, dan data berkualitas tinggi. Namun, yang lebih mengesankan adalah fakta bahwa kerangka kerja Mini-Gemini menunjukkan penambahan detail yang luas yang melampaui kemampuan pengenalan saja, dan menggambarkan elemen-elemen yang rumit dengan cara yang intrinsik.

Gambar berikut menyediakan evaluasi komprehensif tentang kemampuan generatif kerangka kerja Mini-Gemini.

Ketika dibandingkan dengan model terbaru seperti ChatIllusion dan AnyGPT, kerangka kerja Mini-Gemini menunjukkan kemampuan pemahaman multi-modal yang lebih kuat, memungkinkan untuk menghasilkan teks-ke-gambar yang sesuai dengan instruksi input lebih baik, dan menghasilkan jawaban gambar-ke-teks dengan kesamaan konseptual yang lebih kuat. Yang lebih mengesankan adalah fakta bahwa kerangka kerja Mini-Gemini menunjukkan kemampuan yang luar biasa dalam menghasilkan konten berkualitas tinggi menggunakan instruksi multi-model manusia hanya dengan data pelatihan teks, kemampuan yang menggambarkan interpretasi semantik dan keterampilan penyesuaian gambar-teks yang kuat dari Mini-Gemini.

Pemikiran Akhir

Dalam artikel ini, kami telah membahas tentang Mini-Gemini, kerangka kerja yang kuat dan terstruktur untuk model bahasa visi multi-modality. Tujuan utama kerangka kerja Mini-Gemini adalah untuk menambang kemampuan tersembunyi dari model bahasa visi menggunakan data berkualitas tinggi, desain strategis kerangka kerja, dan cakupan fungsional yang diperluas. Mini-Gemini adalah upaya untuk mempersempit kesenjangan yang ada antara model bahasa visi dan model yang lebih maju dengan menambang potensi VLM untuk kinerja yang lebih baik dari tiga aspek: generasi yang dipandu VLM, data berkualitas tinggi, dan token visual berkualitas tinggi. Untuk meningkatkan token visual, kerangka kerja Mini-Gemini mengusulkan untuk menggunakan encoder visual tambahan untuk pemrosesan gambar berkualitas tinggi tanpa meningkatkan jumlah token visual. Kerangka kerja Mini-Gemini lebih lanjut membangun dataset berkualitas tinggi dalam upaya untuk mempromosikan pemahaman yang tepat tentang gambar dan generasi berbasis penalaran. Secara keseluruhan, kerangka kerja Mini-Gemini berupaya untuk menambang potensi model bahasa visi, dan bertujuan untuk memberdayakan kerangka kerja yang ada dengan kemampuan penalaran gambar, pemahaman, dan generasi secara bersamaan.