Liquid Neural Networks: Definisi, Aplikasi, & Tantangan

Neural network (NN) adalah Mesin belajar algoritma yang meniru struktur dan kemampuan operasional otak manusia untuk mengenali pola dari data pelatihan. Melalui jaringan neuron buatan yang saling berhubungan yang memproses dan mengirimkan informasi, jaringan saraf dapat melakukan tugas-tugas kompleks seperti Pengenalan Wajah, Pemahaman Bahasa Alamiah, dan analisis prediktif tanpa bantuan manusia.

Meskipun alat AI yang kuat, jaringan saraf memiliki keterbatasan tertentu, seperti:

1. Mereka membutuhkan sejumlah besar data pelatihan berlabel.
2. Mereka memproses data secara tidak berurutan, membuatnya tidak efisien dalam menangani data real-time.

Oleh karena itu, sekelompok peneliti di Laboratorium Ilmu Komputer dan Kecerdasan Buatan (CSAIL) MIT memperkenalkan "Jaringan Syaraf Cair atau LNN – jenis jaringan saraf yang belajar sambil bekerja, tidak hanya selama fase pelatihan.” 

Mari jelajahi LNN secara detail di bawah ini.

Apa itu Liquid Neural Networks (LNNs)? – Penyelaman Jauh

A Jaringan Syaraf Cair adalah kontinuitas waktu Jaringan Syaraf Berulang (RNN) yang memproses data secara berurutan, menyimpan memori input sebelumnya, menyesuaikan perilakunya berdasarkan input baru, dan dapat menangani input dengan panjang variabel untuk meningkatkan kemampuan pemahaman tugas NN. 

Arsitektur LNN berbeda dari jaringan saraf tradisional karena kemampuannya untuk memproses data kontinu atau deret waktu secara efektif. Jika data baru tersedia, LNN dapat mengubah jumlah neuron dan koneksi per layer.

Pelopor Liquid Neural Network, Ramin Hasani, Mathias Lechner, dan yang lain telah mengambil inspirasi dari nematoda mikroskopis C.elegans, cacing sepanjang 1 mm dengan sistem saraf yang terstruktur lengkap, memungkinkannya melakukan tugas kompleks seperti mencari makan, tidur, dan belajar dari lingkungan.

“Ia hanya memiliki 302 neuron dalam sistem sarafnya,” kata Hasani, “namun itu dapat menghasilkan dinamika kompleks yang tak terduga.”  

LNN meniru koneksi listrik yang saling terkait atau impuls dari worm untuk memprediksi perilaku jaringan dari waktu ke waktu. Jaringan mengekspresikan status sistem pada saat tertentu. Ini adalah penyimpangan dari pendekatan NN tradisional yang menampilkan status sistem pada waktu tertentu.

Karenanya, Liquid Neural Networks memiliki dua fitur utama:

1. Arsitektur dinamis: Neuronnya lebih ekspresif daripada neuron jaringan saraf biasa, membuat LNN lebih dapat ditafsirkan. Mereka dapat menangani data sekuensial real-time secara efektif.
2. Pembelajaran berkelanjutan & kemampuan beradaptasi: LNN beradaptasi dengan perubahan data bahkan setelah pelatihan, meniru otak organisme hidup lebih akurat dibandingkan dengan NN tradisional yang berhenti mempelajari informasi baru setelah fase pelatihan model. Oleh karena itu, LNN tidak memerlukan banyak data pelatihan berlabel untuk menghasilkan hasil yang akurat.

Karena neuron LLM menawarkan koneksi kaya yang dapat mengekspresikan lebih banyak informasi, ukurannya lebih kecil dibandingkan dengan NN biasa. Oleh karena itu, menjadi lebih mudah bagi peneliti untuk menjelaskan bagaimana sebuah LNN mencapai suatu keputusan. Selain itu, ukuran model yang lebih kecil dan komputasi yang lebih sedikit dapat membuatnya dapat diskalakan di tingkat perusahaan. Selain itu, jaringan ini lebih tahan terhadap noise dan gangguan pada sinyal input, dibandingkan dengan NN.

3 Kasus Penggunaan Utama Liquid Neural Networks

Liquid Neural Networks bersinar dalam kasus penggunaan yang melibatkan data sekuensial berkelanjutan, seperti:

1. Pemrosesan & Peramalan Data Time Series

Peneliti menghadapi beberapa tantangan saat memodelkan data deret waktu, termasuk dependensi temporal, non-stasioneritas, dan derau dalam data deret waktu.

Liquid Neural Networks dibuat khusus untuk pemrosesan dan prediksi data deret waktu. Menurut Hasani, data deret waktu sangat penting dan ada di mana-mana untuk memahami dunia dengan benar. “Dunia nyata adalah tentang urutan. Bahkan persepsi kami —- Anda tidak memahami gambar, Anda memahami urutan gambar, ” katanya.

2. Pemrosesan Gambar & Video

LNN dapat melakukan pemrosesan gambar dan tugas berbasis visi, seperti pelacakan objek, segmentasi gambar, dan pengenalan. Sifat dinamis mereka memungkinkan mereka untuk terus meningkat berdasarkan kompleksitas lingkungan, pola, dan dinamika temporal.

Misalnya, para peneliti di MIT menemukan itu drone dapat dipandu oleh model LNN kecil 20,000 parameter yang berkinerja lebih baik dalam menavigasi lingkungan yang sebelumnya tidak terlihat daripada jaringan saraf lainnya. Kemampuan navigasi yang luar biasa ini dapat digunakan dalam membangun kendaraan otonom yang lebih akurat.

3. Pemahaman Bahasa Alami

Karena kemampuan beradaptasi, kemampuan belajar waktu nyata, dan topologi dinamisnya, Liquid Neural Networks sangat baik dalam memahami urutan teks Bahasa Alami yang panjang.

Pertimbangkan analisis sentimen, tugas NLP yang bertujuan untuk memahami yang mendasarinya emosi di belakang teks. Kemampuan LNN untuk belajar dari data waktu nyata membantu mereka menganalisis dialek yang berkembang dan frasa baru yang memungkinkan analisis sentimen yang lebih akurat. Kemampuan serupa juga terbukti membantu dalam terjemahan mesin.

Kendala & Tantangan Liquid Neural Networks

Meskipun Liquid Neural Networks telah mengungguli jaringan saraf tradisional yang tidak fleksibel, bekerja pada pola tetap dan tidak tergantung konteks. Tetapi mereka memiliki beberapa kendala dan tantangan juga.

1. Menghilangnya Masalah Gradien

Seperti model kontinu waktu lainnya, LNN dapat mengalami masalah hilangnya gradien saat dilatih dengan penurunan gradien. Di jaringan saraf dalam, masalah gradien hilang terjadi ketika gradien yang digunakan untuk memperbarui bobot jaringan saraf menjadi sangat kecil. Masalah ini mencegah jaringan saraf mencapai bobot optimal. Hal ini dapat membatasi kemampuan mereka untuk mempelajari ketergantungan jangka panjang secara efektif.

2. Penyetelan Parameter

Seperti jaringan saraf lainnya, LNN juga melibatkan tantangan penyetelan parameter. Penyesuaian parameter memakan waktu dan mahal untuk Liquid Neural Networks. LNN memiliki banyak parameter, termasuk pilihan ODE (Persamaan Diferensial Biasa) solver, parameter regularisasi, dan arsitektur jaringan, yang harus disesuaikan untuk mencapai performa terbaik.

Menemukan pengaturan parameter yang sesuai seringkali membutuhkan proses berulang, yang membutuhkan waktu. Jika penyetelan parameter tidak efisien atau tidak dilakukan dengan benar, ini dapat mengakibatkan respons jaringan yang tidak optimal dan penurunan kinerja. Namun, para peneliti mencoba mengatasi masalah ini dengan mencari tahu seberapa sedikit neuron yang dibutuhkan untuk melakukan tugas tertentu.

3. Kurangnya Sastra

Liquid Neural Networks memiliki literatur yang terbatas tentang implementasi, aplikasi, dan manfaat. Penelitian terbatas membuat pemahaman tentang potensi dan keterbatasan maksimum LNN menjadi menantang. Mereka kurang dikenal secara luas dibandingkan Convolutional Neural Networks (CNNs), RNNs, atau arsitektur transformer. Para peneliti masih bereksperimen dengan potensi kasus penggunaannya.

Neural network telah berevolusi dari MLP (Multi-Layer Perceptron) menjadi Liquid Neural Networks. LNN lebih dinamis, adaptif, efisien, dan kuat daripada jaringan saraf tradisional dan memiliki banyak kasus penggunaan potensial.

Kami membangun di atas bahu raksasa; karena AI terus berkembang pesat, kita akan melihat teknik canggih baru yang mengatasi tantangan dan kendala teknik saat ini dengan manfaat tambahan.

Untuk konten terkait AI lainnya, kunjungi bersatu.ai