Insinyur Mengembangkan Metode “Early Bird” yang Hemat Energi untuk Melatih Jaringan Saraf Dalam

Insinyur di Universitas Rice telah mengembangkan metode baru untuk melatih jaringan saraf dalam (DNNs) dengan sebagian kecil energi yang biasanya diperlukan. DNNs adalah bentuk kecerdasan buatan (AI) yang memainkan peran kunci dalam pengembangan teknologi seperti mobil self-driving, asisten pintar, pengenalan wajah, dan aplikasi lainnya.

Early Bird dijelaskan dalam sebuah makalah pada 29 April oleh peneliti dari Rice dan Universitas Texas A&M. Ini berlangsung di Konferensi Internasional tentang Representasi Pembelajaran, atau ICLR 2020.

Penulis utama studi ini adalah Haoran You dan Chaojian Li dari Laboratorium Komputasi Efisien dan Cerdas (EIC) Rice. Dalam satu studi, mereka menunjukkan bagaimana metode ini dapat melatih DNN dengan tingkat dan akurasi yang sama seperti metode saat ini, tetapi menggunakan 10,7 kali lebih sedikit energi.

Penelitian ini dipimpin oleh direktur Laboratorium EIC, Yingyan Lin, Richard Baraniuk dari Rice, dan Zhangyang Wang dari Texas A&M. Penulis lainnya termasuk Pengfei Xu, Yonggan Fu, Yue Wang, dan Xiaohan Chen.

“Sebuah kekuatan pendorong besar dalam terobosan AI baru-baru ini adalah pengenalan DNN yang lebih besar dan lebih mahal,” kata Lin. “Tapi melatih DNN ini membutuhkan energi yang cukup besar. Untuk lebih banyak inovasi yang diluncurkan, sangat penting untuk menemukan metode pelatihan ‘lebih hijau’ yang dapat mengatasi kekhawatiran lingkungan dan mengurangi hambatan keuangan penelitian AI.”

Mahal untuk Melatih DNNs

Bisa sangat mahal untuk melatih DNNs terbaik di dunia, dan harga terus meningkat. Pada 2019, sebuah studi yang dipimpin oleh Institut AI Allen di Seattle menemukan bahwa untuk melatih jaringan saraf dalam terbaik, 300.000 kali lebih banyak komputasi diperlukan dibandingkan dengan 2012-2018. Studi lain pada 2019, yang dipimpin oleh peneliti dari Universitas Massachusetts Amherst, menemukan bahwa dengan melatih satu DNN elit, sekitar jumlah emisi karbon dioksida yang sama dengan lima mobil AS.

Agar DNNs dapat melakukan tugas khusus mereka, mereka terdiri dari setidaknya jutaan neuron buatan. Mereka dapat belajar membuat keputusan, terkadang mengungguli manusia, dengan mengamati sejumlah besar contoh. Mereka dapat melakukan ini tanpa memerlukan pemrograman eksplisit.

Pangkas dan Latih

Lin adalah asisten profesor teknik elektro dan komputer di Sekolah Teknik Brown Rice.

“Cara terbaik untuk melakukan pelatihan DNN adalah dengan metode pangkas dan latih progresif,” kata Lin. “Pertama, Anda melatih jaringan raksasa yang padat, lalu menghapus bagian yang tidak terlihat penting — seperti memangkas pohon. Lalu Anda melatih kembali jaringan yang dipangkas untuk memulihkan kinerja karena kinerja memburuk setelah pemangkasan. Dan dalam prakteknya Anda perlu memangkas dan melatih kembali beberapa kali untuk mendapatkan kinerja yang baik.”

Metode ini digunakan karena tidak semua neuron buatan diperlukan untuk menyelesaikan tugas khusus. Koneksi antara neuron diperkuat karena pelatihan, dan yang lain dapat dibuang. Metode pemangkasan ini memotong biaya komputasi dan mengurangi ukuran model, sehingga DNNs yang terlatih sepenuhnya lebih terjangkau.

“Langkah pertama, melatih jaringan raksasa yang padat, adalah yang paling mahal,” kata Lin. “Gagasan kami dalam pekerjaan ini adalah untuk mengidentifikasi jaringan yang dipangkas sepenuhnya, yang kami sebut ‘tiket burung pagi,’ pada tahap awal dari langkah mahal ini.”

Peneliti melakukan ini dengan mencari pola koneksi jaringan kunci, dan mereka dapat menemukan tiket burung pagi ini. Ini memungkinkan mereka untuk mempercepat pelatihan DNN.

Burung Pagi pada Tahap Awal Pelatihan

Lin dan peneliti lainnya menemukan bahwa Burung Pagi dapat muncul satu per sepuluh atau kurang dari tahap awal pelatihan.

“Metode kami dapat mengidentifikasi tiket burung pagi secara otomatis dalam 10% atau kurang dari pelatihan jaringan raksasa yang padat,” kata Lin. “Ini berarti Anda dapat melatih DNN untuk mencapai akurasi yang sama atau bahkan lebih baik untuk tugas tertentu dalam sekitar 10% atau kurang dari waktu yang dibutuhkan untuk pelatihan tradisional, yang dapat menghemat lebih dari satu pesanan dalam komputasi dan energi.”

Selain lebih cepat dan lebih hemat energi, peneliti memiliki fokus kuat pada dampak lingkungan.

“Tujuan kami adalah membuat AI lebih ramah lingkungan dan lebih inklusif,” katanya. “Ukuran besar masalah AI yang kompleks telah menghalangi pemain kecil. AI hijau dapat membuka pintu bagi peneliti dengan laptop atau sumber daya komputasi terbatas untuk mengeksplorasi inovasi AI.”

Penelitian ini menerima dukungan dari National Science Foundation.