Mistral AI’s Terbaru Mixture of Experts (MoE) 8x7B Model

Mistral AI

yang merupakan sebuah startup model open-source yang berbasis di Paris telah menantang norma-norma dengan merilis model bahasa besar (LLM) terbarunya, MoE 8x7B, melalui sebuah tautan torrent sederhana torrent link. Ini berbeda dengan pendekatan tradisional Google dengan rilis Gemini, memicu percakapan dan kegembiraan dalam komunitas AI.

Pendekatan Mistral AI dalam merilis modelnya selalu tidak konvensional. Seringkali, mereka melewati hal-hal yang biasa seperti makalah, blog, atau rilis pers, dan strategi mereka telah unik efektif dalam menarik perhatian komunitas AI.

Baru-baru ini, perusahaan ini mencapai valuasi yang luar biasa $2 miliar setelah putaran pendanaan yang dipimpin oleh Andreessen Horowitz. Putaran pendanaan ini merupakan rekor, dengan putaran benih sebesar $118 juta, yang terbesar dalam sejarah Eropa. Di luar kesuksesan pendanaan, Mistral AI juga terlibat aktif dalam diskusi sekitar Undang-Undang AI UE, yang menganjurkan pengurangan regulasi dalam AI open-source.

Mengapa MoE 8x7B Menarik Perhatian

Dijelaskan sebagai “GPT-4 yang dikurangi”, Mixtral 8x7B menggunakan kerangka Mixture of Experts (MoE) dengan delapan ahli. Setiap ahli memiliki 111B parameter, dipasangkan dengan 55B parameter perhatian bersama, sehingga total 166B parameter per model. Pilihan desain ini signifikan karena memungkinkan hanya dua ahli yang terlibat dalam inferensi setiap token, menunjukkan pergeseran menuju pemrosesan AI yang lebih efisien dan fokus.

Salah satu sorotan Mixtral adalah kemampuannya untuk mengelola konteks yang luas sebesar 32.000 token, memberikan ruang yang cukup untuk menangani tugas yang kompleks. Kemampuan multibahasa model ini termasuk dukungan yang kuat untuk bahasa Inggris, Perancis, Italia, Jerman, dan Spanyol, yang memenuhi kebutuhan komunitas pengembang global.

Pelatihan awal Mixtral melibatkan data yang bersumber dari web terbuka, dengan pendekatan pelatihan simultan untuk kedua ahli dan router. Metode ini memastikan bahwa model tidak hanya besar dalam ruang parameter tetapi juga sangat terlatih untuk nuansa data yang luas yang telah dipaparkan.

Mixtral 8x7B mencapai skor yang impresif

Mixtral 8x7B outperforms LLaMA 2 70B dan saingan GPT-3.5, terutama dalam tugas MBPP dengan tingkat keberhasilan 60,7%, yang jauh lebih tinggi daripada model lain. Bahkan dalam tugas MT-Bench yang dirancang untuk model yang mengikuti instruksi, Mixtral 8x7B mencapai skor yang impresif, hampir menyamai GPT-3.5

Mengenal Kerangka Mixture of Experts (MoE)

Model Mixture of Experts (MoE), yang baru-baru ini mendapat perhatian karena penggunaannya dalam model bahasa tercanggih seperti MoE 8x7B Mistral AI, sebenarnya berakar pada konsep dasar yang berasal dari beberapa tahun yang lalu. Mari kita tinjau kembali asal-usul ide ini melalui kertas penelitian seminal.

Konsep MoE

Mixture of Experts (MoE) mewakili pergeseran paradigma dalam arsitektur jaringan saraf. Berbeda dengan model tradisional yang menggunakan jaringan homogen tunggal untuk memproses semua jenis data, MoE mengadopsi pendekatan yang lebih spesialis dan modular. Ini terdiri dari beberapa jaringan ‘ahli’, masing-masing dirancang untuk menangani jenis data atau tugas tertentu, yang diawasi oleh jaringan ‘gating’ yang secara dinamis mengarahkan data input ke ahli yang paling sesuai.

Lapisan Mixture of Experts (MoE) yang tertanam dalam model bahasa berulang (Sumber)

Gambar di atas menyajikan pandangan tingkat tinggi dari lapisan MoE yang tertanam dalam model bahasa. Pada intinya, lapisan MoE terdiri dari beberapa sub-jaringan feed-forward, yang disebut ‘ahli’, masing-masing dengan potensi untuk mengkhususkan diri dalam memproses aspek data yang berbeda. Jaringan gating, yang ditunjukkan dalam diagram, menentukan kombinasi ahli mana yang diaktifkan untuk input tertentu. Aktivasi kondisional ini memungkinkan jaringan untuk secara signifikan meningkatkan kapasitasnya tanpa peningkatan permintaan komputasi yang sebanding.

Fungsi Lapisan MoE

Dalam praktiknya, jaringan gating mengevaluasi input (ditunjukkan sebagai G(x) dalam diagram) dan memilih himpunan ahli yang jarang untuk memprosesnya. Pemilihan ini dimodulasi oleh output jaringan gating, secara efektif menentukan ‘suara’ atau kontribusi masing-masing ahli terhadap output akhir. Sebagai contoh, seperti yang ditunjukkan dalam diagram, hanya dua ahli yang mungkin dipilih untuk menghitung output untuk setiap token input tertentu, membuat proses ini efisien dengan memusatkan sumber daya komputasi di mana mereka paling dibutuhkan.

Transformer Encoder dengan Lapisan MoE (Sumber)

Ilustrasi kedua di atas membandingkan encoder Transformer tradisional dengan yang ditingkatkan dengan lapisan MoE. Arsitektur Transformer, yang secara luas dikenal karena efektivitasnya dalam tugas terkait bahasa, secara tradisional terdiri dari lapisan perhatian diri dan lapisan feed-forward yang ditumpuk secara berurutan. Pengenalan lapisan MoE menggantikan beberapa lapisan feed-forward ini, memungkinkan model untuk berkembang dengan kapasitas yang lebih efektif.

Dalam model yang ditingkatkan, lapisan MoE dipecah melintang beberapa perangkat, menunjukkan pendekatan paralel model. Ini sangat penting ketika menskalakan model yang sangat besar, karena memungkinkan distribusi beban komputasi dan kebutuhan memori di seluruh klaster perangkat, seperti GPU atau TPU. Pemecahan ini penting untuk melatih dan mengirimkan model dengan miliaran parameter secara efisien, seperti yang dibuktikan oleh pelatihan model dengan ratusan miliar hingga lebih dari satu triliun parameter pada klaster komputasi besar.

Pendekatan MoE yang Spars dengan Pelatihan Instruksi pada LLM

Makalah yang berjudul “Sparse Mixture-of-Experts (MoE) untuk Pembelajaran Bahasa Skala Besar” membahas pendekatan inovatif untuk meningkatkan Model Bahasa Besar (LLM) dengan mengintegrasikan arsitektur Mixture of Experts dengan teknik pelatihan instruksi.

Ini menyoroti tantangan umum di mana model MoE underperform dibandingkan dengan model padat dengan kapasitas komputasi yang sama ketika difine-tune untuk tugas tertentu karena perbedaan antara pra-pelatihan umum dan fine-tuning tugas khusus.

Pelatihan instruksi adalah metode pelatihan di mana model diperbarui untuk mengikuti instruksi bahasa alami dengan lebih baik, secara efektif meningkatkan kinerja tugas. Makalah tersebut menyarankan bahwa model MoE menunjukkan peningkatan yang signifikan ketika digabungkan dengan pelatihan instruksi, lebih dari model padat. Teknik ini menyelaraskan representasi pra-pelatihan model untuk mengikuti instruksi dengan lebih efektif, mengarah ke peningkatan kinerja yang signifikan.

Peneliti melakukan studi di tiga pengaturan eksperimental, mengungkapkan bahwa model MoE awalnya underperform dalam fine-tuning tugas khusus. Namun, ketika pelatihan instruksi diterapkan, model MoE unggul, terutama ketika dilengkapi dengan fine-tuning tugas khusus. Ini menunjukkan bahwa pelatihan instruksi adalah langkah vital untuk model MoE agar dapat outperform model padat pada tugas hilir.

Efek pelatihan instruksi pada MOE

Ini juga memperkenalkan FLAN-MOE32B, sebuah model yang menunjukkan penerapan sukses dari konsep-konsep ini. Terutama, itu outperforms FLAN-PALM62B, sebuah model padat, pada tugas benchmark sambil menggunakan hanya sepertiga dari sumber daya komputasi. Ini menunjukkan potensi model MoE yang spars yang digabungkan dengan pelatihan instruksi untuk menetapkan standar baru untuk efisiensi dan kinerja LLM.

Mengimplementasikan Mixture of Experts dalam Skenario Dunia Nyata

Kelincahan model MoE membuatnya ideal untuk berbagai aplikasi:

• Pengolahan Bahasa Alami (NLP): Model MoE dapat menangani nuansa dan kompleksitas bahasa manusia dengan lebih efektif, membuatnya ideal untuk tugas NLP lanjutan.
• Pengolahan Gambar dan Video: Dalam tugas yang memerlukan pengolahan resolusi tinggi, MoE dapat mengelola aspek yang berbeda dari gambar atau bingkai video, meningkatkan kualitas dan kecepatan pengolahan.
• Solusi AI yang Dapat Disesuaikan: Bisnis dan peneliti dapat menyesuaikan model MoE untuk tugas tertentu, mengarah ke solusi AI yang lebih terarah dan efektif.

Tantangan dan Pertimbangan

Meskipun model MoE menawarkan banyak keuntungan, mereka juga menyajikan tantangan unik:

• Kompleksitas dalam Pelatihan dan Penyetelan: Sifat terdistribusi dari model MoE dapat mempersulit proses pelatihan, memerlukan keseimbangan dan penyetelan yang hati-hati dari ahli dan jaringan gating.
• Pengelolaan Sumber Daya: Mengelola sumber daya komputasi secara efisien di seluruh ahli yang berbeda sangat penting untuk memaksimalkan keuntungan dari model MoE.

Mengintegrasikan lapisan MoE ke dalam jaringan saraf, terutama dalam domain model bahasa, menawarkan jalur untuk menskalakan model ke ukuran yang sebelumnya tidak mungkin karena keterbatasan komputasi. Komputasi kondisional yang diaktifkan oleh lapisan MoE memungkinkan distribusi sumber daya komputasi yang lebih efisien, membuatnya mungkin untuk melatih model yang lebih besar dan lebih mampu. Ketika kita terus menuntut lebih dari sistem AI kita, arsitektur seperti Transformer yang dilengkapi dengan MoE kemungkinan akan menjadi standar untuk menangani tugas kompleks dan skala besar di berbagai domain.