Pengungkapan Model Multimodal Besar: Membentuk Lanskap Model Bahasa di 2024

Ketika kita mengalami dunia, indera kita (penglihatan, suara, bau) memberikan berbagai informasi, dan kita mengekspresikan diri menggunakan metode komunikasi yang berbeda, seperti ekspresi wajah dan gerakan. Indera dan metode komunikasi ini secara kolektif disebut modalitas, yang mewakili cara kita memahami dan berkomunikasi. Mengambil inspirasi dari kemampuan manusia ini, model multimodal besar (LMM), kombinasi dari model bahasa generatif dan model AI multimodal, sedang dikembangkan untuk memahami dan membuat konten menggunakan berbagai jenis seperti teks, gambar, dan audio. Dalam artikel ini, kita akan menjelajahi bidang yang baru muncul ini, mengeksplorasi apa itu LMM, bagaimana mereka dibangun, contoh yang ada, tantangan yang mereka hadapi, dan aplikasi potensial.

Evoluti Generatif AI di 2024: Dari Model Bahasa Besar ke Model Multimodal Besar

Dalam laporan terbarunya, McKinsey menunjuk 2023 sebagai tahun breakout untuk generatif AI, yang mengarah pada banyak kemajuan di bidang ini. Kami telah menyaksikan peningkatan yang signifikan dalam penggunaan model bahasa besar (LLM) yang mampu memahami dan menghasilkan bahasa seperti manusia. Selain itu, model generasi gambar telah berkembang secara signifikan, menunjukkan kemampuan mereka untuk membuat visual dari prompt teks. Namun, meskipun kemajuan yang signifikan dalam modalitas individual seperti teks, gambar, atau audio, generatif AI telah menghadapi tantangan dalam menggabungkan modalitas ini secara mulus dalam proses generasi. Karena dunia secara inheren multimodal, sangat penting bagi AI untuk mengatasi informasi multimodal. Ini sangat penting untuk interaksi yang bermakna dengan manusia dan operasi yang sukses dalam skenario dunia nyata.

Karena itu, banyak peneliti AI memprediksi munculnya LMM sebagai frontier berikutnya dalam penelitian dan pengembangan AI di 2024. Frontier yang berkembang ini fokus pada meningkatkan kapasitas generatif AI untuk memproses dan menghasilkan output yang beragam, meliputi teks, gambar, audio, video, dan modalitas lainnya. Sangat penting untuk menekankan bahwa tidak semua sistem multimodal memenuhi syarat sebagai LMM. Model seperti Midjourney dan Stable Diffusion, meskipun multimodal, tidak termasuk dalam kategori LMM terutama karena mereka tidak memiliki LLM, yang merupakan komponen fundamental dari LMM. Dengan kata lain, kita dapat menggambarkan LMM sebagai ekstensi dari LLM, memberikan mereka kemampuan untuk menangani berbagai modalitas dengan mahir.

Bagaimana LMM Bekerja?

Sementara peneliti telah menjelajahi berbagai pendekatan untuk membangun LMM, mereka biasanya melibatkan tiga komponen dan operasi esensial. Pertama, pengkode (encoder) digunakan untuk setiap modalitas data untuk menghasilkan representasi data (yang disebut sebagai embedding) khusus untuk modalitas tersebut. Kedua, berbagai mekanisme digunakan untuk menyelaraskan embedding dari berbagai modalitas ke dalam ruang embedding multimodal yang seragam. Ketiga, untuk model generatif, LLM digunakan untuk menghasilkan respons teks. Karena input dapat terdiri dari teks, gambar, video, dan audio, peneliti bekerja pada cara baru untuk membuat model bahasa mempertimbangkan berbagai modalitas saat memberikan respons.

Pengembangan LMM di 2023

Di bawah, saya telah merangkum beberapa LMM yang paling menonjol yang dikembangkan di 2023.

• LLaVA adalah LMM open-source, yang dikembangkan bersama oleh University of Wisconsin-Madison, Microsoft (MSFT ) Research, dan Columbia University. Model ini bertujuan untuk menawarkan versi open-source dari multimodal GPT4. Dengan menggunakan Meta’s Llama LLM, ia mengintegrasikan CLIP visual encoder untuk pemahaman visual yang kuat. Varian LLaVA yang fokus pada kesehatan, yang disebut LLaVA-Med, dapat menjawab pertanyaan terkait gambar biomedis.
• ImageBind adalah model open-source yang dibuat oleh Meta, yang meniru kemampuan persepsi manusia untuk menghubungkan data multimodal. Model ini mengintegrasikan enam modalitas—teks, gambar/video, audio, pengukuran 3D, data suhu, dan data gerakan—mempelajari representasi yang seragam di seluruh jenis data yang beragam. ImageBind dapat menghubungkan objek dalam foto dengan atribut seperti suara, bentuk 3D, suhu, dan gerakan. Model ini dapat digunakan, misalnya, untuk menghasilkan adegan dari teks atau suara.
• SeamlessM4T adalah model multimodal yang dirancang oleh Meta untuk memfasilitasi komunikasi antara komunitas multibahasa. SeamlessM4T unggul dalam tugas terjemahan dan transkripsi, mendukung terjemahan ucapan-ke-ucapan, ucapan-ke-teks, teks-ke-ucapan, dan teks-ke-teks. Model ini menggunakan decoder teks-ke-unit non-otoregresif untuk melakukan terjemahan ini. Versi yang ditingkatkan, SeamlessM4T v2, membentuk dasar untuk model seperti SeamlessExpressive dan SeamlessStreaming, menekankan pelestarian ekspresi di seluruh bahasa dan memberikan terjemahan dengan latensi minimal.
• GPT4, yang diluncurkan oleh OpenAI, adalah kemajuan dari pendahulunya, GPT3.5. Meskipun rincian arsitektur yang detail tidak sepenuhnya diungkapkan, GPT4 sangat dihargai karena integrasi yang mulus dari model teks-saja, visi-saja, dan audio-saja. Model ini dapat menghasilkan teks dari input teks dan grafis. Ia unggul dalam berbagai tugas, termasuk deskripsi humor dalam gambar, ringkasan teks dari screenshot, dan merespons dengan mahir pada pertanyaan ujian yang menampilkan diagram. GPT4 juga dikenal karena kemampuan adaptasinya dalam memproses berbagai format data input.
• Gemini, yang dibuat oleh Google DeepMind, membedakan diri dengan menjadi multimodal secara inheren, memungkinkan interaksi yang mulus di seluruh tugas tanpa mengandalkan komponen modalitas tunggal. Model ini dengan mudah menangani baik teks dan input audio-visual yang beragam, menunjukkan kemampuannya untuk menghasilkan output dalam format teks dan gambar.

Tantangan Model Multimodal Besar

• Mengintegrasikan Lebih Banyak Modalitas: Kebanyakan LMM yang ada beroperasi dengan teks dan gambar. Namun, LMM perlu berkembang melampaui teks dan gambar, mengakomodasi modalitas seperti video, musik, dan 3D.
• Ketersediaan Dataset yang Beragam: Salah satu tantangan utama dalam mengembangkan dan melatih model generatif AI multimodal adalah kebutuhan akan dataset yang besar dan beragam yang mencakup beberapa modalitas. Misalnya, untuk melatih model untuk menghasilkan teks dan gambar bersama, dataset perlu mencakup baik input teks dan gambar yang terkait.
• Menghasilkan Output Multimodal: Sementara LMM dapat menangani input multimodal, menghasilkan output yang beragam, seperti menggabungkan teks dengan grafis atau animasi, tetap menjadi tantangan.
• Mengikuti Instruksi: LMM menghadapi tantangan untuk menguasai dialog dan tugas mengikuti instruksi, melampaui sekadar penyelesaian.
• Penalaran Multimodal: Sementara LMM saat ini unggul dalam mengubah satu modalitas ke modalitas lain, integrasi yang mulus dari data multimodal untuk tugas penalaran yang kompleks, seperti memecahkan masalah kata yang tertulis berdasarkan instruksi auditori, tetap menjadi tantangan.
• Mengompresi LMM: Sifat LMM yang intensif sumber daya membuatnya menjadi hambatan signifikan, sehingga mereka tidak praktis untuk perangkat edge dengan sumber daya komputasi yang terbatas. Mengompresi LMM untuk meningkatkan efisiensi dan membuatnya sesuai untuk penerapan pada perangkat dengan sumber daya yang terbatas adalah area penelitian yang sedang berlangsung.

Kasus Penggunaan Potensial

• Pendidikan: LMM memiliki potensi untuk mengubah pendidikan dengan menghasilkan bahan belajar yang beragam dan menarik yang menggabungkan teks, gambar, dan audio. LMM menyediakan umpan balik komprehensif pada tugas, mempromosikan platform pembelajaran kolaboratif, dan meningkatkan pengembangan keterampilan melalui simulasi interaktif dan contoh dunia nyata.
• Kesehatan: Berbeda dengan sistem AI diagnostik tradisional yang menargetkan satu modalitas, LMM meningkatkan diagnosis medis dengan mengintegrasikan beberapa modalitas. Mereka juga mendukung komunikasi melintasi batasan bahasa antara penyedia layanan kesehatan dan pasien, bertindak sebagai repositori terpusat untuk berbagai aplikasi AI di rumah sakit.
• Generasi Seni dan Musik: LMM dapat unggul dalam pembuatan seni dan musik dengan menggabungkan berbagai modalitas untuk output yang unik dan ekspresif. Misalnya, LMM seni dapat menggabungkan elemen visual dan auditori, memberikan pengalaman yang imersif. Demikian pula, LMM musik dapat mengintegrasikan elemen instrumental dan vokal, menghasilkan komposisi yang dinamis dan ekspresif.
• Rekomendasi Personal: LMM dapat menganalisis preferensi pengguna di seluruh berbagai modalitas untuk memberikan rekomendasi yang dipersonalisasi untuk konsumsi konten, seperti film, musik, artikel, atau produk.

• Prakiraan Cuaca dan Pemantauan Lingkungan: LMM dapat menganalisis berbagai modalitas data, seperti gambar satelit, kondisi atmosfer, dan pola sejarah, untuk meningkatkan akurasi dalam prakiraan cuaca dan pemantauan lingkungan.

Bagian Bawah Garis

Lanskap Model Multimodal Besar (LMM) menandai kemajuan signifikan dalam AI generatif, menjanjikan kemajuan dalam berbagai bidang. Ketika model ini dengan mulus mengintegrasikan berbagai modalitas, seperti teks, gambar, dan audio, pengembangan mereka membuka pintu untuk aplikasi transformatif dalam kesehatan, pendidikan, seni, dan rekomendasi yang dipersonalisasi. Namun, tantangan, termasuk mengakomodasi lebih banyak modalitas data dan mengompresi model yang intensif sumber daya, menekankan upaya penelitian yang sedang berlangsung untuk merealisasikan potensi LMM sepenuhnya.