Beberapa tahun terakhir, Model Bahasa Besar (LLM) telah mendapatkan perhatian dari pengembang AI di seluruh dunia karena kemajuan dalam Pemrosesan Bahasa Alami (NLP). Model-model ini telah menetapkan standar baru dalam generasi teks dan pemahaman. Namun, meskipun kemajuan dalam generasi teks, menghasilkan gambar yang sesuai dengan narasi teks masih menjadi tantangan. Untuk mengatasi hal ini, pengembang telah memperkenalkan pendekatan generasi visi dan bahasa yang inovatif berdasarkan “vokens generatif”, yang menjembatani kesenjangan untuk output teks-gambar yang harmonis.

Dasar di balik MiniGPT-5 adalah strategi pelatihan dua tahap yang fokus pada generasi data multimodal tanpa deskripsi, di mana data pelatihan tidak memerlukan deskripsi gambar yang komprehensif. Selain itu, untuk meningkatkan integritas model, model ini mengintegrasikan sistem panduan klasifikasi bebas yang meningkatkan efektivitas voken untuk generasi gambar. Pada tahap awal, kerangka kerja MiniGPT-5 telah menunjukkan kinerja yang kuat dan perbaikan yang signifikan dibandingkan dengan model baseline Divter yang dilatih pada dataset MMDialog, dan secara konsisten menunjukkan kemampuan untuk menghasilkan output multimodal yang setara dan bahkan unggul dalam evaluasi manusia yang dilakukan pada dataset VIST yang lebih menekankan kinerja dan efisiensi di berbagai benchmark.

MiniGPT5: Pengenalan

Dengan perkembangan kerangka kerja LLM terbaru, dan aplikasi yang berbasis pada kerangka kerja LLM ini, integrasi fitur multimedia telah menjadi bidang yang populer karena juga membuktikan diri sebagai kemajuan yang penting yang memungkinkan berbagai aplikasi dari alat pembuatan konten canggih hingga agen dialog multimodal terdepan. Dengan penelitian dan pengembangan yang terus-menerus, model bahasa dan visi telah mencapai titik di mana pekerjaan sedang dilakukan untuk memungkinkan mereka menghasilkan teks dan data visual dengan mulus. Kemampuan LLM untuk menghasilkan data multimodal dengan mulus akan membantu meningkatkan interaksi di berbagai domain, termasuk e-commerce, media, dan realitas virtual.

Pada akhirnya, tujuan adalah untuk memungkinkan model mensintesis, mengenali, dan merespons dengan cara yang konsisten dan logis menggunakan kedua modalitas teks dan visual, sehingga memainkan peran penting dalam harmonisasi aliran informasi dan menciptakan narasi yang logis dan konsisten. Kebutuhan untuk mencapai kombinasi modalitas teks dan visual didorong terutama oleh kebutuhan interaksi multimodal yang lebih fluid, terintegrasi, dan interaktif dalam LLM, dan pada akhirnya mencapai generasi bahasa dan visi yang bergantian. Namun, mencapai interaksi multimodal yang terintegrasi dan interaktif dalam LLM adalah tugas yang rumit yang dihadapi dengan banyak tantangan, termasuk

1. Meskipun LLM saat ini sangat efisien dan mampu dalam hal generasi teks, dan pengolahan pasangan teks-gambar, mereka tidak menghasilkan kinerja yang memuaskan ketika menghasilkan gambar.
2. Pengembangan model visi dan bahasa ini sangat bergantung pada data yang fokus pada topik, yang membuat model sulit untuk menyelaraskan teks yang dihasilkan dengan gambar yang sesuai.
3. Akhirnya, perlu dikembangkan strategi yang lebih efektif karena dengan peningkatan kemampuan mereka, kebutuhan memori LLM juga meningkat, terutama ketika melakukan tugas downstream.

Kerangka kerja MiniGPT-5, sebuah teknik algoritma generasi bahasa dan visi yang terintegrasi, memperkenalkan konsep “vokens generatif” untuk mengatasi tantangan di atas. Kerangka kerja MiniGPT-5 mengusulkan pendekatan baru untuk generasi data multimodal dengan menggabungkan Model Bahasa Besar dengan teknik Stable Diffusion menggunakan token visual khusus. Metode pelatihan dua tahap yang digunakan oleh kerangka kerja MiniGPT-5 menekankan pentingnya tahap awal yang bebas dari deskripsi, dan mempersiapkan model untuk menghasilkan kinerja yang efisien bahkan dalam skenario dengan data yang terbatas.

Namun, apa yang membedakan model MiniGPT-5 dari kerangka kerja yang ada adalah bahwa tahap generik dari kerangka kerja MiniGPT-5 tidak terdiri dari anotasi domain spesifik. Selain itu, untuk memastikan bahwa teks yang dihasilkan dan gambar yang sesuai berada dalam harmoni satu sama lain, kerangka kerja MiniGPT-5 mengimplementasikan strategi dual-loss yang lebih meningkatkan pendekatan MiniGPT-5 dalam menggunakan panduan klasifikasi bebas dan vokens generatif. Kerangka kerja MiniGPT-5 mengoptimalkan efisiensi pelatihan, dan mengatasi keterbatasan memori berkat strategi fine-tuning parameter yang efisien.

Untuk memberikan ringkasan singkat, kerangka kerja MiniGPT-5

1. Mengusulkan metode yang menggunakan pengkodean multimodal yang mewakili metode generik yang baru dan telah terbukti lebih efektif daripada LLM tradisional, dan menggunakan token generatif yang digabungkan dengan teknik Stable Diffusion untuk menghasilkan output bahasa dan visual yang terintegrasi.
2. Mengusulkan strategi pelatihan dua tahap untuk generasi output multimodal tanpa deskripsi, dan inklusi panduan klasifikasi bebas selama pelatihan untuk lebih memperbaiki kualitas data yang dihasilkan.

Model MiniGPT-5 terinspirasi dari penelitian dan pekerjaan sebelumnya di bidang

• Generasi Teks-ke-Gambar: Untuk memfasilitasi transformasi deskripsi teks menjadi representasi visual yang sesuai, dan model teks-ke-gambar.

• MLLMs atau Model Bahasa Besar Multimodal: Menggunakan model LLM pra-dilatih untuk mengeksplorasi aplikasi dan efektivitasnya dalam menghasilkan data multimodal.
• Generasi Multimodal dengan Model Bahasa Besar: Untuk meningkatkan kemampuan model LLM untuk mengintegrasikan generasi bahasa dan data visual dengan mulus.

MiniGPT-5: Metode, Arsitektur, dan Kerangka Kerja

Untuk memungkinkan model bahasa besar dengan kemampuan generasi data multimodal, model MiniGPT-5 memperkenalkan kerangka kerja yang bertujuan untuk mengintegrasikan model generasi teks-ke-gambar dan model bahasa besar multimodal pra-dilatih. Kerangka kerja MiniGPT-5 juga memperkenalkan “vokens generatif”, token visual khusus yang memungkinkan pengembang untuk mengatasi ketidaksesuaian yang muncul di berbagai domain dengan dapat dilatih langsung pada gambar mentah. Untuk lebih meningkatkan kualitas data multimodal yang dihasilkan oleh LLM, kerangka kerja MiniGPT-5 memperkenalkan strategi klasifikasi bebas yang digabungkan dengan metode pelatihan dua tahap yang canggih. Mari kita lihat kerangka kerja MiniGPT-5 secara lebih rinci.

Tahap Input Multimodal

Pengembangan LLM terbaru telah membawa kemampuan pemahaman multimodal LLM ke cahaya, memungkinkan pengolahan gambar sebagai input sekuen. Kerangka kerja MiniGPT-5 menggunakan vokens generatif khusus untuk menghasilkan fitur visual dalam upaya untuk memperluas kemampuan pemahaman multimodal LLM ke generasi data multimodal. Selain itu, kerangka kerja MiniGPT-5 menggunakan teknik fine-tuning parameter yang efisien dan canggih untuk pembelajaran output multimodal dengan kerangka kerja LLM.

Pengkodean Multimodal

Pengkode visual pra-dilatih dalam kerangka kerja MiniGPT-5 mengubah setiap gambar input menjadi fitur, dan setiap token teks disematkan sebagai vektor, dan fitur prompt input dihasilkan ketika penyematan ini digabungkan satu sama lain.

Menambahkan Vokens dalam Model Bahasa Besar

Secara tradisional, kosakata Model Bahasa Besar hanya terdiri dari token teks, yang mengapa pengembang yang bekerja pada kerangka kerja MiniGPT-5 harus menjembatani kesenjangan antara generatif dan LLM tradisional. Kerangka kerja MiniGPT-5 memperkenalkan set token khusus sebagai token generatif ke dalam kosakata LLM. Kerangka kerja ini kemudian menggunakan output tersembunyi dari LLM untuk token voken ini untuk generasi gambar berikutnya, dan penyisipan gambar yang diinterleaved diwakili oleh posisi voken.

PEFT atau Fine-Tuning Parameter Efisien

PEFT atau Fine-Tuning Parameter Efisien adalah konsep penting yang digunakan untuk melatih LLM, dan namun, aplikasi PEFT dalam pengaturan multimodal masih belum banyak dieksplorasi. Kerangka kerja MiniGPT-5 menggunakan Fine-Tuning Parameter Efisien di atas pengkode encoder dari kerangka kerja MiniGPT-4 untuk melatih model untuk memahami prompt atau instruksi dengan lebih baik, dan bahkan meningkatkan kinerja model secara keseluruhan dalam lingkungan zero-shot atau novel.

Generasi Output Multimodal

Untuk menyelaraskan model generatif dengan token generatif secara akurat, kerangka kerja MiniGPT-5 merumuskan modul pemetaan kompak untuk mencocokkan dimensi, dan mengintegrasikan kerugian pengawasan, termasuk kerugian model difusi laten, dan kerugian ruang teks. Kerugian pengawasan difusi laten menyelaraskan fitur visual yang sesuai dengan token secara langsung, sedangkan kerugian ruang teks membantu model mempelajari posisi token yang benar. Karena voken generatif dalam kerangka kerja MiniGPT-5 dipandu langsung oleh gambar, kerangka kerja MiniGPT-5 tidak memerlukan gambar untuk memiliki deskripsi yang komprehensif, menghasilkan pembelajaran bebas deskripsi.

Generasi Ruang Teks

Kerangka kerja MiniGPT-5 mengikuti metode pemodelan bahasa kasual untuk menghasilkan voken dan teks dalam ruang teks secara bersamaan, dan selama fase pelatihan, pengembang menambahkan voken ke posisi gambar kebenaran, dan melatih model untuk memprediksi voken dalam generasi teks.

Pemetaan Fitur Voken untuk Generasi Gambar

Setelah menghasilkan ruang teks, kerangka kerja ini menyelaraskan output tersembunyi dengan ruang fitur kondisional teks-ke-gambar. Kerangka kerja ini juga mendukung modul pemetaan fitur yang mencakup model MLP dua lapis, urutan fitur dekoder yang dapat dipelajari, dan model transformer pengkode-dekoder empat lapis.

Generasi Gambar dengan LDM atau Model Difusi Laten

Untuk menghasilkan gambar yang diperlukan dalam proses denoising, kerangka kerja ini menggunakan fitur pemetaan sebagai input kondisional. Kerangka kerja ini juga menggunakan Model Difusi Laten untuk panduan, karena selama fase pelatihan, gambar kebenaran pertama kali diubah menjadi fitur laten menggunakan VAE pra-dilatih, kemudian pengembang memperoleh fitur noise laten dengan menambahkan noise.

Pendekatan komprehensif yang diterapkan oleh kerangka kerja MiniGPT-5 memungkinkan pengembang untuk memiliki pemahaman yang koheren dan generasi elemen visual dan teks, menggunakan token khusus, memanfaatkan kemampuan model pra-dilatih, dan menggunakan teknik pelatihan inovatif.

MiniGPT-5: Pelatihan dan Hasil

Ketika bekerja pada kerangka kerja MiniGPT-5, pengembang mengamati bahwa pelatihan pada dataset teks-gambar yang diinterleaved secara langsung dapat menghasilkan gambar dengan kualitas yang berkurang, dan keselarasan yang buruk karena pergeseran domain yang signifikan antara domain gambar dan teks. Untuk mengatasi masalah ini, pengembang mengadopsi dua strategi pelatihan yang berbeda,

1. Mencakup penggunaan teknik panduan klasifikasi bebas yang meningkatkan efektivitas token generatif selama proses difusi.
2. Strategi kedua dibagi menjadi dua tahap
   1. Tahap pra-pelatihan awal yang fokus pada penyelarasan fitur kasar.
   2. Tahap fine-tuning yang memfasilitasi pembelajaran fitur.

CFG atau Panduan Klasifikasi Bebas

Gagasan untuk menggunakan CFG untuk generasi multimodal pertama kali muncul sebagai hasil upaya untuk meningkatkan konsistensi dan logika antara gambar yang dihasilkan dan teks, dan CFG diperkenalkan selama proses difusi teks-ke-gambar. Metode ini mengamati bahwa dengan melatih pada generasi kondisional dan tidak kondisional dengan dropout kondisional, model generatif dapat mencapai hasil kondisional yang ditingkatkan.

Strategi Pelatihan Dua Tahap

Mengingat pergeseran domain yang signifikan yang diamati antara generasi teks-gambar dan generasi teks murni, kerangka kerja MiniGPT-5 menggunakan strategi dua tahap untuk pelatihan

1. Tahap Penyelarasan Unimodal (UAS),
2. Tahap Pembelajaran Multimodal (MLS).

Awalnya, kerangka kerja ini menyelaraskan fitur generasi gambar dengan fitur voken dalam dataset teks-gambar tunggal di mana setiap sampel data hanya berisi satu teks dan satu gambar, dan teks biasanya merupakan keterangan gambar. Pada tahap ini, kerangka kerja ini memungkinkan LLM untuk menghasilkan voken dengan menggunakan keterangan sebagai input LLM.

Setelah UAS dieksekusi dengan sukses, model dapat menghasilkan gambar untuk deskripsi teks tunggal, tetapi mengalami kesulitan dengan generasi bahasa dan visi yang diinterleaved, termasuk pasangan teks-gambar, dan memerlukan penalaran yang rumit untuk generasi gambar dan teks. Untuk mengatasi hambatan ini, pengembang telah memperbaiki kerangka kerja MiniGPT-5 dengan menggunakan parameter PEFT dengan dataset visi-bahasa yang diinterleaved seperti VIST. Pada tahap ini, kerangka kerja ini membuat tiga tugas yang berbeda dari dataset

1. Generasi Teks Hanya: Menghasilkan teks yang terkait diberikan gambar berikutnya.
2. Generasi Gambar Hanya: Menghasilkan gambar yang terkait diberikan teks berikutnya.
3. Generasi Multimodal: Menghasilkan pasangan teks-gambar menggunakan konteks yang diberikan.

MiniGPT-5: Benchmark dan Hasil

Untuk mengevaluasi kinerjanya dalam generasi multimodal secara komprehensif, tim pengembangan MiniGPT-5 membandingkan kinerjanya dengan model baseline lainnya, termasuk Divter, GILL, dan Model Generasi Unimodal yang Diperbaiki, dan perbandingan ini ditunjukkan dalam tabel di bawah.

Kerangka kerja MiniGPT-5 memahami bahwa output multimodal mungkin bermakna sesuai dengan konteks, namun mungkin berbeda dari kenyataan sebenarnya, yang merupakan alasan utama mengapa kerangka kerja MiniGPT-5 juga mengintegrasikan input manusia untuk mengevaluasi dan menilai kinerja model. Secara keseluruhan, efektivitas kerangka kerja MiniGPT-5 untuk tugas multimodal diukur dari tiga perspektif.

1. Kontinuitas Bahasa: menilai apakah konten yang dihasilkan selaras dengan konteks yang diberikan secara mulus.
2. Kualitas Gambar: menilai atau mengevaluasi relevansi dan kejelasan gambar yang dihasilkan.
3. Kohesi Multimodal: menentukan apakah output teks-gambar yang terkombinasi sesuai dengan konteks awal.

Evaluasi Langkah Terakhir VIST

Pada tahap pertama eksperimen, kerangka kerja MiniGPT-5 bertujuan untuk menghasilkan gambar yang sesuai, dan tabel di bawah merangkum hasil yang diperoleh dari pengaturan ini.

Seperti yang dapat dilihat, kerangka kerja MiniGPT-5 dalam ketiga pengaturan dapat mengungguli kerangka kerja SD2 yang diperbaiki, sehingga menunjukkan efektivitas pipeline MiniGPT-5.

Gambar di atas membandingkan kinerja kerangka kerja MiniGPT-5 dengan kerangka kerja MiniGPT-4 yang diperbaiki pada metrik kinerja S-BERT, Rouge-L, dan Meteor. Hasil menunjukkan bahwa penggunaan voken generatif tidak mempengaruhi kinerja kerangka kerja secara negatif ketika melakukan tugas pemahaman multimodal. Hasil juga menunjukkan bahwa kerangka kerja MiniGPT-5 dapat menggunakan prompt input multimodal horizontal yang panjang untuk menghasilkan gambar yang berkualitas tinggi dan kohesif tanpa mengompromikan kemampuan model asli untuk pemahaman multimodal.

Tabel di atas membandingkan kinerja tiga kerangka kerja pada 5.000 sampel untuk generasi multimodal dari aspek Kohesi Multimodal, Kualitas Gambar, dan Kontinuitas Bahasa. Seperti yang dapat dilihat, kerangka kerja MiniGPT-5 mengungguli dua model baseline lainnya dalam lebih dari 70% kasus. Di sisi lain, tabel di bawah menunjukkan kinerja kerangka kerja MiniGPT-5 pada dataset validasi CC3M untuk generasi gambar tunggal. Berkat keterbatasan data, pengembang menemukan celah untuk penyelarasan voken ketika digunakan dengan Stable Diffusion. Meskipun keterbatasan ini, kerangka kerja MiniGPT-5 mengungguli kerangka kerja GILL baseline saat ini di semua metrik.

Kesimpulan

Dalam artikel ini, kita telah membahas tentang MiniGPT-5, sebuah teknik algoritma generasi bahasa dan visi yang terintegrasi yang memperkenalkan konsep “voken generatif” untuk memanfaatkan kemampuan LLM dalam menghasilkan data multimodal dengan menyelaraskan model bahasa besar dengan model generasi teks-ke-gambar yang pra-dilatih. Kita telah membahas komponen-komponen penting dan arsitektur kerangka kerja MiniGPT-5, serta hasil yang menunjukkan perbaikan yang signifikan dalam kinerja dan efisiensi dibandingkan dengan model baseline dan state-of-the-art saat ini. MiniGPT-5 berambisi untuk menetapkan standar baru dalam domain generasi konten dan data multimodal, dan bertujuan untuk mengatasi tantangan yang dihadapi oleh model sebelumnya ketika mencoba memecahkan masalah yang sama.