Pembelajaran Multimodal Menjadi Prominen di Kalangan Pengembang AI

Venture Beat (VB) mempersembahkan salah satu laporan mingguannya tentang kelebihan pembelajaran multimodal dalam pengembangan kecerdasan buatan. Laporan tersebut dipicu oleh laporan oleh ABI Research tentang topik tersebut.

Konsep kunci terletak pada kenyataan bahwa “set data adalah blok bangunan fundamental dari sistem AI,” dan bahwa tanpa set data, “model tidak dapat mempelajari hubungan yang menginformasikan prediksi mereka.” Laporan ABI memprediksi bahwa “meskipun total perangkat AI yang terinstal akan tumbuh dari 2,69 miliar pada 2019 menjadi 4,47 miliar pada 2024, relatif sedikit yang akan saling beroperasi dalam jangka pendek.”

Hal ini dapat mewakili pemborosan waktu, energi, dan sumber daya yang cukup besar, “daripada menggabungkan gigabyte hingga petabyte data yang mengalir melalui mereka ke dalam satu model AI atau kerangka kerja, mereka akan bekerja secara mandiri dan heterogen untuk memahami data yang mereka terima.”

Untuk mengatasi hal ini, ABI mengusulkan pembelajaran multimodal, sebuah metode yang dapat mengkonsolidasikan data “dari berbagai sensor dan input ke dalam satu sistem. Pembelajaran multimodal dapat membawa informasi komplementer atau tren, yang sering hanya menjadi jelas ketika mereka semua termasuk dalam proses pembelajaran.”

VB mempersembahkan contoh yang viable yang mempertimbangkan gambar dan teks caption. “Jika kata-kata yang berbeda dipasangkan dengan gambar yang serupa, kata-kata tersebut kemungkinan digunakan untuk menggambarkan hal-hal atau objek yang sama. Sebaliknya, jika beberapa kata muncul di sebelah gambar yang berbeda, ini mengimplikasikan bahwa gambar-gambar tersebut mewakili objek yang sama. Dengan demikian, seharusnya memungkinkan bagi model AI untuk memprediksi objek gambar dari deskripsi teks, dan memang, sebuah tubuh literatur akademis telah membuktikan bahwa ini adalah kasusnya.”

Meskipun kelebihan yang mungkin, ABI mencatat bahwa bahkan raksasa teknologi seperti IBM, Microsoft (MSFT ), Amazon (AMZN ), dan Google (GOOGL ) terus fokus pada sistem unimodal. Salah satu alasan adalah tantangan yang akan dihadapi dalam beralih ke sistem multimodal.

Namun, peneliti ABI memprediksi bahwa “jumlah perangkat yang dikirim akan tumbuh dari 3,94 juta pada 2017 menjadi 514,12 juta pada 2023, didorong oleh adopsi di segmen robotika, konsumen, perawatan kesehatan, dan media serta hiburan.” Di antara contoh perusahaan yang sudah menerapkan pembelajaran multimodal, mereka menyebutkan Waymo yang menggunakan pendekatan tersebut untuk membangun “kendaraan self-driving yang sangat sadar,” dan Intel Labs (INTC ), di mana tim insinyur perusahaan tersebut “menyelidiki teknik untuk mengumpulkan data sensor di lingkungan nyata.”

Insinyur utama Intel Labs, Omesh Tickoo, menjelaskan kepada VB bahwa “Apa yang kami lakukan adalah, dengan menggunakan teknik untuk mengetahui konteks seperti waktu hari, kami membangun sistem yang memberitahu Anda kapan data sensor tidak memiliki kualitas tertinggi. Dengan nilai kepercayaan tersebut, sistem tersebut mempertimbangkan sensor yang berbeda pada interval yang berbeda dan memilih kombinasi yang tepat untuk memberikan jawaban yang kami cari.”

VB mencatat bahwa pembelajaran unimodal akan tetap mendominasi di mana itu sangat efektif – dalam aplikasi seperti pengenalan gambar dan pemrosesan bahasa alami. Pada saat yang sama, mereka memprediksi bahwa “seiring dengan harga elektronik yang lebih murah dan komputasi yang lebih dapat diskalakan, pembelajaran multimodal kemungkinan akan meningkat dalam prominen.”