Kemajuan baru-baru ini dalam arsitektur dan kinerja Multimodal Large Language Models atau MLLMs telah menyoroti pentingnya data dan model yang dapat diskalakan untuk meningkatkan kinerja. Meskipun pendekatan ini memang meningkatkan kinerja, itu juga menyebabkan biaya komputasi yang substansial yang membatasi kepraktisan dan ketergunaan pendekatan tersebut. Selama beberapa tahun, Mixture of Expert atau MoE models telah muncul sebagai pendekatan alternatif yang sukses untuk mengembangkan model gambar-teks dan bahasa besar dengan efisien karena Mixture of Expert models memiliki biaya komputasi yang jauh lebih rendah dan kinerja yang kuat. Namun, meskipun kelebihannya, Mixture of Models bukanlah pendekatan ideal untuk mengembangkan model bahasa besar karena mereka sering melibatkan fewer experts dan modalitas terbatas, sehingga membatasi aplikasi.

Untuk mengatasi hambatan yang dihadapi oleh pendekatan saat ini, dan untuk mengembangkan model bahasa besar dengan efisien, dalam artikel ini, kita akan membahas tentang Uni-MoE, sebuah model bahasa besar multimodal bersatu dengan arsitektur Mixture of Expert yang dapat menangani berbagai modalitas dan experts. Uni-MoE framework juga mengimplementasikan arsitektur Mixture of Expert yang sparse dalam model bahasa besar dalam upaya membuat proses pelatihan dan inferensi lebih efisien dengan menggunakan paralelisme model dan data. Selain itu, untuk meningkatkan generalisasi dan kolaborasi multi-expert, Uni-MoE framework menyajikan strategi pelatihan progresif yang merupakan kombinasi dari tiga proses yang berbeda. Pada yang pertama, Uni-MoE framework mencapai penyelarasan cross-modality menggunakan berbagai konektor dengan data cross modality yang berbeda. Kedua, Uni-MoE framework mengaktifkan preferensi komponen expert dengan melatih expert spesifik modalitas dengan data instruksi cross modality. Terakhir, Uni-MoE model mengimplementasikan teknik pembelajaran Low-Rank Adaptation atau LoRA pada data instruksi multimodal yang dicampur untuk menyetel model. Ketika framework Uni-MoE yang disetel instruksi dievaluasi pada set komprehensif dataset multimodal, hasil eksperimental yang luas menyoroti keunggulan utama framework Uni-MoE dalam mengurangi bias kinerja dalam menangani dataset multimodal yang dicampur secara signifikan. Hasilnya juga menunjukkan peningkatan yang signifikan dalam kolaborasi multi-expert dan generalisasi.

Artikel ini bertujuan untuk membahas framework Uni-MoE secara mendalam, dan kita menjelajahi mekanisme, metodologi, arsitektur framework tersebut bersama dengan perbandingannya dengan framework state of the art. Jadi mari kita mulai.

Uni-MoE: Mengembangkan Multimodal LLMs Bersatu

Munculnya model bahasa besar multimodal open-source termasuk LLama dan InstantBlip telah menyoroti kesuksesan dan kemajuan yang signifikan dalam tugas-tugas yang melibatkan pemahaman gambar-teks selama beberapa tahun terakhir. Selain itu, komunitas AI bekerja secara aktif untuk membangun model bahasa besar multimodal bersatu yang dapat menampung berbagai modalitas termasuk gambar, teks, audio, video, dan lain-lain, melampaui paradigma gambar-teks tradisional. Pendekatan umum yang diikuti oleh komunitas open-source untuk meningkatkan kemampuan model bahasa besar multimodal adalah dengan meningkatkan ukuran model fondasi visi dan mengintegrasikannya dengan model bahasa besar dengan miliaran parameter, serta menggunakan dataset multimodal yang beragam untuk meningkatkan penyetelan instruksi. Pengembangan ini telah menyoroti kemampuan model bahasa besar multimodal untuk berpikir dan memproses multiple modalitas, menunjukkan pentingnya memperluas data instruksi multimodal dan skalabilitas model.

Meskipun mengembangkan model adalah pendekatan yang terbukti dan memberikan hasil yang substansial, mengembangkan model adalah proses yang mahal secara komputasi untuk proses pelatihan dan inferensi.

Untuk mengatasi masalah biaya komputasi yang tinggi, komunitas open-source beralih ke integrasi arsitektur Mixture of Expert atau MoE dalam model bahasa besar untuk meningkatkan efisiensi pelatihan dan inferensi. Berbeda dengan model bahasa besar multimodal dan model bahasa besar yang menggunakan semua parameter yang tersedia untuk memproses setiap input yang menghasilkan pendekatan komputasi yang padat, arsitektur Mixture of Expert hanya memerlukan pengguna untuk mengaktifkan subset parameter expert untuk setiap input. Sebagai hasilnya, pendekatan Mixture of Expert muncul sebagai jalur yang layak untuk meningkatkan efisiensi model besar tanpa aktivasi parameter yang luas dan biaya komputasi yang tinggi. Meskipun karya yang ada telah menyoroti implementasi dan integrasi model Mixture of Expert yang sukses dalam konstruksi model bahasa besar teks-saja dan teks-gambar, peneliti belum sepenuhnya menjelajahi potensi pengembangan arsitektur Mixture of Expert untuk membangun model bahasa besar multimodal bersatu yang kuat.

Uni-MoE adalah model bahasa besar multimodal yang menggunakan model Mixture of Expert yang sparse untuk menafsirkan dan mengelola multiple modalitas dalam upaya menjelajahi pengembangan model bahasa besar multimodal bersatu dengan arsitektur MoE. Seperti yang ditunjukkan pada gambar berikut, framework Uni-MoE pertama-tama mendapatkan pengkodean dari berbagai modalitas menggunakan pengkode modalitas-spesifik, dan kemudian memetakan pengkodean tersebut ke dalam ruang representasi bahasa model bahasa besar menggunakan berbagai konektor yang dirancang. Konektor-konektor ini berisi model transformer yang dapat dilatih dengan proyeksi linear berikutnya untuk menyuling dan memproyeksikan representasi output pengkode yang dibekukan. Framework Uni-MoE kemudian memperkenalkan lapisan Mixture of Expert yang sparse dalam blok internal model bahasa besar yang padat. Sebagai hasilnya, setiap blok berbasis Mixture of Expert menampilkan lapisan self-attention yang dibagikan yang dapat diterapkan pada semua modalitas, router yang sparse untuk mengalokasikan keahlian pada tingkat token, dan berbagai expert berdasarkan jaringan feedforward. Karena pendekatan ini, framework Uni-MoE dapat memahami multiple modalitas termasuk ucapan, audio, teks, video, gambar, dan hanya memerlukan aktivasi parameter sebagian selama inferensi.

Selain itu, untuk meningkatkan kolaborasi multi-expert dan generalisasi, framework Uni-MoE mengimplementasikan strategi pelatihan tiga tahap. Pada tahap pertama, framework menggunakan pasangan gambar/audio/ucapan ke bahasa untuk melatih konektor yang sesuai karena representasi modalitas yang seragam dalam ruang bahasa model bahasa besar. Kedua, model Uni-MoE melatih expert spesifik modalitas dengan menggunakan dataset cross-modality secara terpisah dalam upaya untuk memperbaiki kemampuan setiap expert dalam domainnya masing-masing. Pada tahap ketiga, framework Uni-MoE mengintegrasikan expert yang dilatih ke dalam lapisan Mixture of Expert model bahasa besar, dan melatih seluruh framework Uni-MoE dengan data instruksi multimodal yang dicampur. Untuk mengurangi biaya pelatihan lebih lanjut, framework Uni-MoE menggunakan pendekatan pembelajaran LoRA untuk menyetel lapisan self-attention dan expert yang sudah disetel sebelumnya.

Uni-MoE : Metodologi dan Arsitektur

Motivasi dasar di balik framework Uni-MoE adalah biaya pelatihan dan inferensi yang tinggi dari pengembangan model bahasa besar multimodal serta efisiensi model Mixture of Expert, dan menjelajahi kemungkinan menciptakan model bahasa besar multimodal bersatu yang efisien, kuat, dan menggunakan arsitektur MoE. Gambar berikut menyajikan representasi arsitektur yang diimplementasikan dalam framework Uni-MoE yang menunjukkan desain yang mencakup pengkode individu untuk berbagai modalitas, yaitu audio, ucapan, dan visual, serta konektor modalitas yang sesuai.

Framework Uni-MoE kemudian mengintegrasikan arsitektur Mixture of Expert dengan blok inti model bahasa besar, proses yang penting untuk meningkatkan efisiensi keseluruhan proses pelatihan dan inferensi. Framework Uni-MoE mencapai ini dengan mengimplementasikan mekanisme routing yang sparse. Proses pelatihan keseluruhan framework Uni-MoE dapat dibagi menjadi tiga fase: penyelarasan cross-modality, pelatihan expert spesifik modalitas, dan penyetelan Uni-MoE menggunakan dataset instruksi multimodal yang beragam. Untuk mengubah input modalitas yang beragam menjadi format linguistik, framework Uni-MoE dibangun di atas LLaVA, sebuah framework bahasa visual yang sudah dilatih sebelumnya. Model LLaVA dasar mengintegrasikan CLIP sebagai pengkode visualnya, serta lapisan proyeksi linear yang mengubah fitur gambar menjadi token gambar yang sesuai. Selain itu, untuk memproses konten video, framework Uni-MoE memilih delapan bingkai perwakilan dari setiap video dan mengubahnya menjadi token video dengan pooling rata-rata untuk mengumpulkan representasi gambar atau bingkai. Untuk tugas audio, framework Uni-MoE menggunakan dua pengkode, BEATs dan pengkode Whisper, untuk meningkatkan ekstraksi fitur. Model kemudian menyuling vektor fitur audio dan ucapan dengan panjang tetap, serta memetakan mereka ke dalam token ucapan dan audio yang sesuai melalui lapisan proyeksi linear.

Strategi Pelatihan

Framework Uni-MoE memperkenalkan strategi pelatihan progresif untuk pengembangan model yang bertahap. Strategi pelatihan progresif yang diperkenalkan berusaha untuk memanfaatkan kemampuan yang berbeda dari berbagai expert, meningkatkan efisiensi kolaborasi multi-expert, dan meningkatkan generalisasi keseluruhan framework. Proses pelatihan dibagi menjadi tiga tahap dengan upaya untuk mewujudkan struktur MLLM yang dibangun di atas Mixture of Experts yang terintegrasi.

Tahap 1 : Penyelarasan Cross-Modality

Pada tahap pertama, framework Uni-MoE berusaha untuk membangun koneksi antara berbagai linguistik dan modalitas. Framework Uni-MoE mencapai ini dengan menerjemahkan data modalitas ke dalam token yang sesuai dengan membangun konektor. Tujuan utama dari tahap pelatihan pertama adalah untuk meminimalkan kerugian entropi generatif. Dalam framework Uni-MoE, model LLM dioptimalkan untuk menghasilkan deskripsi untuk input yang berbeda di seluruh modalitas, dan model hanya menyetel konektor, strategi yang memungkinkan framework Uni-MoE untuk mengintegrasikan berbagai modalitas dalam kerangka bahasa yang seragam.

Tahap 2: Pelatihan Expert Spesifik Modalitas

Pada tahap kedua, framework Uni-MoE fokus pada pengembangan expert modalitas tunggal dengan melatih model secara khusus pada data cross-modality yang spesifik. Tujuan utama adalah untuk memperbaiki kemampuan setiap expert dalam domainnya masing-masing, sehingga meningkatkan kinerja keseluruhan sistem Mixture of Expert pada berbagai dataset multimodal. Selain itu, framework Uni-MoE menyesuaikan jaringan feedforward untuk lebih sesuai dengan karakteristik modalitas sambil mempertahankan kerugian entropi generatif sebagai metrik pelatihan yang penting.

Tahap 3: Penyetelan Uni-MoE

Pada tahap ketiga dan terakhir, framework Uni-MoE mengintegrasikan bobot yang disetel oleh expert selama Tahap 2 ke dalam lapisan Mixture of Expert. Framework Uni-MoE kemudian menyetel MLLM dengan menggunakan data instruksi multimodal yang dicampur secara bersamaan. Kurva kerugian pada gambar berikut mencerminkan kemajuan proses pelatihan.

Analisis komparatif antara konfigurasi Mixture of Expert menunjukkan bahwa expert yang model rafinasi selama tahap pelatihan kedua menampilkan stabilitas yang ditingkatkan dan mencapai konvergensi yang lebih cepat pada dataset multimodal yang dicampur. Selain itu, pada tugas yang melibatkan data multimodal yang kompleks termasuk teks, gambar, audio, video, framework Uni-MoE menunjukkan kinerja pelatihan yang lebih konsisten dan variabilitas kerugian yang berkurang ketika menggunakan empat expert daripada ketika menggunakan dua expert.

Uni-MoE : Eksperimen dan Hasil

Tabel berikut merangkum spesifikasi arsitektur framework Uni-MoE. Tujuan utama framework Uni-MoE, yang dibangun di atas arsitektur LLaMA-7B, adalah untuk mengembangkan ukuran model.

Tabel berikut merangkum desain dan optimisasi framework Uni-MoE yang dipandu oleh tugas pelatihan khusus. Tugas-tugas ini sangat penting dalam memperbaiki kemampuan lapisan MLP, sehingga memanfaatkan pengetahuan khusus mereka untuk kinerja model yang ditingkatkan. Framework Uni-MoE melakukan delapan tugas expert modalitas tunggal untuk menjelaskan dampak yang berbeda dari berbagai metodologi pelatihan.

Model mengevaluasi kinerja berbagai varian model di seluruh rangkaian benchmark yang mencakup dua tugas pemahaman video, tiga tugas pemahaman audio, dan lima tugas yang terkait dengan ucapan. Pertama, model diuji pada kemampuannya untuk memahami tugas ucapan-gambar dan tugas ucapan-teks, dan hasilnya terkandung dalam tabel berikut.

Seperti yang dapat dilihat, model baseline sebelumnya memberikan hasil yang lebih rendah di seluruh tugas pemahaman ucapan, yang lebih lanjut mempengaruhi kinerja pada tugas penalaran gambar-ucapan. Hasilnya menunjukkan bahwa memperkenalkan arsitektur Mixture of Expert dapat meningkatkan generalisasi MLLM pada tugas penalaran gambar-audio yang tidak terlihat sebelumnya. Tabel berikut menyajikan hasil eksperimental pada tugas pemahaman gambar-teks. Seperti yang dapat dilihat, hasil terbaik dari model Uni-MoE mengungguli baseline dan melampaui tugas penyetelan dengan margin rata-rata 4 poin.

Pemikiran Akhir

Dalam artikel ini, kita telah membahas tentang Uni-MoE, sebuah model bahasa besar multimodal bersatu dengan arsitektur Mixture of Expert yang dapat menangani berbagai modalitas dan expert. Framework Uni-MoE juga mengimplementasikan arsitektur Mixture of Expert yang sparse dalam model bahasa besar dalam upaya membuat proses pelatihan dan inferensi lebih efisien dengan menggunakan paralelisme model dan data. Selain itu, untuk meningkatkan generalisasi dan kolaborasi multi-expert, framework Uni-MoE menyajikan strategi pelatihan progresif yang merupakan kombinasi dari tiga proses yang berbeda. Pada yang pertama, framework Uni-MoE mencapai penyelarasan cross-modality menggunakan berbagai konektor dengan data cross modality yang berbeda. Kedua, framework Uni-MoE mengaktifkan preferensi komponen expert dengan melatih expert spesifik modalitas dengan data instruksi cross modality. Terakhir, model Uni-MoE mengimplementasikan teknik pembelajaran Low-Rank Adaptation atau LoRA pada data instruksi multimodal yang dicampur untuk menyetel model.