Pembelajaran Berkelanjutan di Perangkat Lebih Dekat Dengan Teknik Pelatihan Baru

Tim peneliti di MIT dan MIT-IBM Watson AI Lab mengembangkan teknik baru yang memungkinkan pelatihan pada perangkat menggunakan kurang dari seperempat megabyte memori. Pengembangan baru ini merupakan prestasi yang mengesankan karena solusi pelatihan lain biasanya memerlukan lebih dari 500 megabyte memori, yang melebihi kapasitas 256-kilobyte dari sebagian besar mikrokontroler.

Dengan melatih model pembelajaran mesin pada perangkat pintar edge, perangkat dapat beradaptasi dengan data baru dan membuat prediksi yang lebih baik. Namun, proses pelatihan biasanya memerlukan banyak memori, sehingga sering dilakukan dengan komputer di pusat data sebelum model diterapkan pada perangkat. Proses ini jauh lebih mahal dan menimbulkan kekhawatiran privasi dibandingkan dengan teknik baru yang dikembangkan oleh tim.

Peneliti mengembangkan algoritma dan kerangka kerja sehingga mengurangi jumlah komputasi yang diperlukan untuk melatih model, membuat proses lebih cepat dan lebih efisien memori. Teknik ini dapat membantu melatih model pembelajaran mesin pada mikrokontroler hanya dalam beberapa menit.

Teknik baru ini juga membantu dengan privasi karena menyimpan data pada perangkat, yang penting ketika data sensitif terlibat. Pada saat yang sama, kerangka kerja ini meningkatkan akurasi model dibandingkan dengan pendekatan lain.

Song Han adalah profesor asosiasi di Departemen Teknik Elektro dan Ilmu Komputer (EECS), anggota MIT-IBM Watson AI Lab, dan penulis senior makalah penelitian.

“Studi kami memungkinkan perangkat IoT untuk tidak hanya melakukan inferensi tetapi juga terus memperbarui model AI dengan data baru, membuka jalan untuk pembelajaran berkelanjutan pada perangkat,” kata Han. “Penggunaan sumber daya yang rendah membuat pembelajaran dalam lebih mudah diakses dan dapat memiliki jangkauan yang lebih luas, terutama untuk perangkat edge berdaya rendah.”

Makalah penelitian termasuk penulis utama dan mahasiswa PhD EECS Ji Lin dan Ligeng Zhu, dan peneliti pasca doktoral Wei-Ming Chen dan Wei-Chen Wang. Juga termasuk Chuang Gan, anggota staf penelitian utama di MIT-IBM Watson AI Lab.

Membuat Proses Pelatihan Lebih Efisien

Untuk membuat proses pelatihan lebih efisien dan kurang intensif memori, tim bergantung pada dua solusi algoritmik. Yang pertama dikenal sebagai pembaruan sparse, yang menggunakan algoritma yang mengidentifikasi bobot yang paling penting untuk diperbarui selama setiap putaran pelatihan. Algoritma membekukan bobot satu per satu sampai akurasi turun ke ambang batas tertentu, pada titik mana itu berhenti. Bobot yang tersisa kemudian diperbarui dan aktivasi yang sesuai dengan bobot yang membeku tidak perlu disimpan dalam memori.

“Memperbarui seluruh model sangat mahal karena ada banyak aktivasi, sehingga orang cenderung hanya memperbarui lapisan terakhir, tetapi seperti yang Anda bayangkan, ini merusak akurasi,” kata Han. “Untuk metode kami, kami memilih bobot yang penting dan memastikan akurasi sepenuhnya dipertahankan.”

Solusi kedua yang dikembangkan oleh tim melibatkan pelatihan kuantisasi dan menyederhanakan bobot. Algoritma pertama membulatkan bobot ke delapan bit melalui proses kuantisasi yang juga mengurangi jumlah memori untuk pelatihan dan inferensi, dengan inferensi menjadi proses menerapkan model pada dataset dan menghasilkan prediksi. Algoritma kemudian bergantung pada teknik yang disebut kuantisasi-kesadaran penskalaan (QAS), yang bertindak seperti pengali untuk menyesuaikan rasio antara bobot dan gradien. Ini membantu menghindari penurunan akurasi yang bisa dihasilkan dari pelatihan kuantisasi.

Peneliti mengembangkan sistem yang disebut mesin pelatihan kecil, yang menjalankan inovasi algoritma pada mikrokontroler sederhana yang tidak memiliki sistem operasi. Untuk menyelesaikan lebih banyak pekerjaan pada tahap kompilasi, sebelum penerapan model pada perangkat edge, sistem mengubah urutan langkah dalam proses pelatihan.

“Kami mendorong banyak komputasi, seperti auto-diferensiasi dan optimasi grafik, ke waktu kompilasi. Kami juga memangkas operator berlebihan untuk mendukung pembaruan sparse. Sekali pada runtime, kami memiliki beban kerja yang jauh lebih sedikit untuk dilakukan pada perangkat,” kata Han.

Teknik yang Sangat Efisien

Sementara teknik tradisional yang dirancang untuk pelatihan ringan biasanya memerlukan sekitar 300 hingga 600 megabyte memori, optimasi tim hanya memerlukan 157 kilobyte untuk melatih model pembelajaran mesin pada mikrokontroler.

Kerangka kerja ini diuji dengan melatih model visi komputer untuk mendeteksi orang dalam gambar, dan itu belajar menyelesaikan tugas ini hanya dalam 10 menit. Metode ini juga dapat melatih model lebih dari 20 kali lebih cepat daripada metode lain.

Peneliti sekarang akan menerapkan teknik ini pada model bahasa dan jenis data yang berbeda. Mereka juga ingin menggunakan pengetahuan yang diperoleh untuk mengurangi ukuran model yang lebih besar tanpa kehilangan akurasi, yang juga dapat membantu mengurangi jejak karbon dari pelatihan model pembelajaran mesin skala besar.