Diajar Ngadeukeutan Dina Alat Saumur Hirup Jeung Téhnik Pelatihan Anyar

Tim peneliti di MIT sareng MIT-IBM Watson AI Lab ngembangkeun téknik anyar anu ngamungkinkeun latihan dina alat nganggo kirang ti saparapat mégabyte mémori. Pangwangunan anyar mangrupikeun prestasi anu pikaresepeun sabab solusi latihan sanés biasana peryogi langkung ti 500 megabyte mémori, anu ngaleuwihan kapasitas 256 kilobyte kalolobaan mikrokontroler. 

Ku ngalatih modél pembelajaran mesin dina alat anu cerdas, éta tiasa adaptasi sareng data énggal sareng ngadamel prediksi anu langkung saé. Kalayan saurna, prosés pelatihan biasana peryogi seueur mémori, janten sering dilaksanakeun sareng komputer di pusat data sateuacan modél dipasang dina alat. Proses ieu jauh langkung mahal sareng nyababkeun masalah privasi dibandingkeun sareng téknik énggal anu dikembangkeun ku tim.

Panaliti ngembangkeun algoritma sareng kerangka ku cara ngirangan jumlah komputasi anu diperyogikeun pikeun ngalatih modél, ngajantenkeun prosésna langkung gancang sareng langkung éfisién. Téhnik ieu tiasa ngabantosan ngalatih modél pembelajaran mesin dina mikrokontroler dina ngan sababaraha menit. 

Téhnik anyar ogé ngabantosan privasi sabab ngajaga data dina alat, anu penting nalika aya data sénsitip. Dina waktos anu sami, kerangka ningkatkeun katepatan modél upami dibandingkeun sareng pendekatan anu sanés. 

Song Han nyaéta profésor gaul di Jurusan Téknik Eléktro sareng Élmu Komputer (EECS), anggota MIT-IBM Watson AI Lab, sareng panulis senior makalah panalungtikan. 

"Ulikan kami ngamungkinkeun alat IoT henteu ngan ukur ngalakukeun inferensi tapi ogé terus-terusan ngamutahirkeun modél AI kana data anu nembé dikumpulkeun, nyayogikeun jalan pikeun diajar dina alat saumur hirup," saur Han. "Panggunaan sumber daya anu rendah ngajantenkeun diajar jero langkung gampang diaksés sareng tiasa gaduh jangkauan anu langkung lega, khususna pikeun alat-alat anu nganggo kakuatan rendah." 

nu keretas kalebet panulis ko-lead sareng mahasiswa PhD EECS Ji Lin sareng Ligeng Zhu, sareng postdocs MIT Wei-Ming Chen sareng Wei-Chen Wang. Éta ogé kalebet Chuang Gan, anggota staf peneliti utama di MIT-IBM Watson AI Lab. 

Nyieun Prosés Pelatihan Leuwih Efisien

Pikeun nyieun prosés latihan leuwih efisien sarta kirang memori-intensif, tim relied on dua solusi algorithmic. Kahiji katelah update sparse, nu ngagunakeun hiji algoritma nu nangtukeun beurat pangpentingna pikeun ngapdet salila unggal babak latihan. Algoritma ngabekukeun beurat hiji-hiji dugi ka akurasi turun ka ambang anu tangtu, dimana waktos éta eureun. Beurat sésana teras diropéa sareng aktivasina anu cocog sareng beurat beku henteu kedah disimpen dina mémori. 

"Ngamutahirkeun sakabeh model pisan mahal sabab aya loba aktivasina, jadi jalma condong ngamutahirkeun ukur lapisan panungtungan, tapi anjeun tiasa ngabayangkeun, ieu hurts akurasi," ceuk Han. "Kanggo metode kami, kami sacara selektif ngapdet beurat-beurat anu penting sareng mastikeun akurasina dilestarikan sapinuhna." 

Solusi kadua dikembangkeun ku tim ngalibatkeun latihan kuantitatif sareng nyederhanakeun beurat. Algoritma mimitina buleud beurat kana ukur dalapan bit ngaliwatan prosés kuantisasi nu ogé motong jumlah memori pikeun latihan jeung inferensi, kalawan inferensi mangrupa prosés nerapkeun model ka susunan data sarta ngahasilkeun prediksi. Algoritma teras ngandelkeun téknik anu disebut quantization-aware scaling (QAS), anu tindakanna sapertos multiplier pikeun nyaluyukeun rasio antara beurat sareng gradién. Ieu ngabantosan ngahindarkeun turunna akurasi anu tiasa disababkeun ku latihan kuantitatif. 

Panaliti ngembangkeun sistem anu disebut mesin latihan leutik, anu ngajalankeun inovasi algoritma dina mikrokontroler saderhana anu teu aya sistem operasi. Pikeun ngarengsekeun langkung seueur padamelan dina tahap kompilasi, sateuacan panyebaran modél dina alat ujung, sistem ngarobih urutan léngkah dina prosés latihan. 

"Kami nyorong seueur komputasi, sapertos diferensiasi otomatis sareng optimasi grafik, pikeun nyusun waktos. Urang ogé agrésif prune operator kaleuleuwihan pikeun ngarojong apdet sparse. Sakali dina runtime, urang gaduh seueur beban kerja anu kedah dilakukeun dina alat, ”saur Han. 

Téhnik Kacida Efisien

Nalika téknik tradisional anu dirancang pikeun latihan ringan biasana peryogi mémori sakitar 300 dugi ka 600 megabyte, optimasi tim ngan ukur peryogi 157 kilobyte pikeun ngalatih modél pembelajaran mesin dina mikrokontroler. 

Kerangka ieu diuji ku ngalatih modél visi komputer pikeun ngadeteksi jalma dina gambar, sareng éta diajar pikeun ngarengsekeun tugas ieu dina ngan 10 menit. Métode ieu ogé tiasa ngalatih modél langkung ti 20 kali langkung gancang tibatan metode anu sanés. 

Para panalungtik ayeuna bakal ningali pikeun nerapkeun téknik kana modél basa sareng jinis data anu béda. Éta ogé hoyong nganggo pangaweruh anu kaala ieu pikeun ngaleutikan modél anu langkung ageung tanpa kaleungitan akurasi, anu ogé tiasa ngabantosan ngirangan tapak suku karbon pikeun ngalatih modél pembelajaran mesin skala ageung.