Peneliti Menemukan Subjaringan yang Sangat Efisien di Dalam Jaringan Saraf Deep Learning

Jaringan saraf deep learning sering kali sangat besar dan memerlukan jumlah komputasi yang sangat besar, tetapi penemuan baru menunjukkan bagaimana ini dapat dikurangi untuk menyelesaikan tugas dengan lebih efisien. Jonathan Frankle dan timnya dari MIT telah mengembangkan “hipotesis tiket lotre,” yang menunjukkan bahwa ada subjaringan yang lebih ramping di dalam jaringan saraf yang lebih besar. Subjaringan ini dapat menyelesaikan tugas yang diberikan dengan lebih efisien dan memerlukan daya komputasi yang lebih sedikit, dengan salah satu tantangan terbesar adalah menemukan subjaringan tersebut, atau tiket lotre yang menang, seperti yang disebut oleh tim.

Tim menemukan subjaringan ini di dalam BERT, teknik pembelajaran mesin top-of-the-line untuk pemrosesan bahasa alami (NLP). NLP, yang merupakan subbidang kecerdasan buatan (AI), bertanggung jawab untuk memahami dan menganalisis bahasa manusia, dan digunakan untuk aplikasi seperti generasi teks prediktif dan chatbot.

Namun, BERT sangat besar dan memerlukan daya komputasi super, yang tidak dapat diakses oleh sebagian besar pengguna. Dengan penemuan baru subjaringan ini, ini dapat membuka akses, memungkinkan lebih banyak pengguna untuk menggunakan teknologi untuk mengembangkan alat NLP.

“Kami mencapai titik di mana kami harus membuat model ini lebih ramping dan efisien,” kata Frankle.

Menurutnya, pengembangan ini dapat “mengurangi hambatan masuk” untuk NLP.

BERT – “Sangat Mahal”

BERT sangat penting untuk hal-hal seperti mesin pencari Google dan telah menerima banyak perhatian sejak Google merilisnya pada 2018. Ini adalah metode untuk membuat jaringan saraf dan dilatih dengan mencoba banyak kali untuk mengisi bagian kosong dari teks. Salah satu fitur paling impresif dari BERT adalah dataset pelatihan awal yang sangat besar.

Ini dapat disesuaikan oleh pengguna untuk tugas tertentu, seperti chatbot layanan pelanggan, tetapi sekali lagi, ini memerlukan jumlah komputasi yang sangat besar, dengan kemungkinan parameter mencapai 1 miliar.

“Model BERT standar saat ini – varietas taman – memiliki 340 juta parameter,” kata Frankle. “Ini sangat mahal. Ini jauh melampaui kemampuan komputasi Anda atau saya.”

Menurut penulis utama Tianlong Chen dari University of Texas at Austin, model seperti BERT “menderita ukuran jaringan yang sangat besar,” tetapi berkat penelitian baru, “hipotesis tiket lotre tampaknya menjadi solusi.”

Subjaringan Efisien

Chen dan tim mencari model yang lebih kecil yang terletak di dalam BERT, dan mereka membandingkan kinerja subjaringan yang ditemukan dengan model BERT asli. Ini diuji pada berbagai tugas NLP yang berbeda, termasuk menjawab pertanyaan dan mengisi kata-kata kosong dalam kalimat.

Tim menemukan subjaringan yang sukses yang 40 hingga 90 persen lebih ramping daripada model BERT asli, dengan persentase sebenarnya tergantung pada tugas. Selain itu, mereka dapat mengidentifikasi subjaringan tersebut sebelum penyesuaian tugas khusus, yang menghasilkan biaya komputasi yang lebih rendah. Kelebihan lainnya adalah bahwa beberapa subjaringan yang dipilih untuk tugas tertentu dapat digunakan kembali untuk tugas lain.

“Saya sedikit terkejut ini benar-benar berhasil,” kata Frankle. “Ini bukan sesuatu yang saya anggap sebagai kepastian. Saya mengharapkan hasil yang lebih berantakan daripada yang kami dapatkan.”

Menurut Ari Morcos, seorang ilmuwan di Facebook (META ) AI Research, penemuan ini “meyakinkan,” dan “Model ini semakin banyak digunakan. Jadi, penting untuk memahami apakah hipotesis tiket lotre berlaku.”

Morcos juga mengatakan bahwa jika subjaringan ini dapat berjalan dengan daya komputasi yang jauh lebih rendah, maka ini akan “sangat berdampak, mengingat model yang sangat besar ini saat ini sangat mahal untuk dijalankan.”

“Saya tidak tahu seberapa besar kita bisa pergi dengan menggunakan komputasi gaya superkomputer,” tambah Frankle. “Kita harus mengurangi hambatan masuk.”

“Harapan kami adalah bahwa ini akan menurunkan biaya, bahwa ini akan membuatnya lebih dapat diakses oleh semua orang… bagi mereka yang hanya memiliki laptop,” katanya saat menyimpulkan.

Penelitian ini akan disajikan pada Konferensi Sistem Pemrosesan Informasi Saraf.