Învățarea pe dispozitiv pe tot parcursul vieții, mai aproape cu o nouă tehnică de antrenare

O echipă de cercetători de la MIT și MIT-IBM Watson AI Lab a dezvoltat o nouă tehnică care permite antrenarea pe dispozitiv folosind mai puțin de un sfert de megabyte de memorie. Noua realizare este o performanță impresionantă, deoarece alte soluții de antrenare necesită de obicei mai mult de 500 de megabyte de memorie, ceea ce depășește capacitatea de 256 de kilobiți a majorității microcontrolerelor.

Prin antrenarea unui model de învățare automată pe un dispozitiv inteligent de margine, acesta poate adapta la noi date și face previziuni mai bune. Cu toate acestea, procesul de antrenare necesită de obicei multă memorie, astfel că este adesea efectuat pe calculatoare dintr-un centru de date înainte de a fi implementat pe dispozitiv. Acest proces este mult mai costisitor și ridică probleme de confidențialitate în comparație cu noua tehnică dezvoltată de echipă.

Cercetătorii au dezvoltat algoritmii și cadrul într-un mod care reduce cantitatea de calcul necesară pentru antrenarea unui model, făcând procesul mai rapid și mai eficient din punct de vedere al memoriei. Tehnica poate ajuta la antrenarea unui model de învățare automată pe un microcontroler în doar câteva minute.

Noua tehnică ajută și la protejarea confidențialității, deoarece păstrează datele pe dispozitiv, ceea ce este important atunci când sunt implicate date sensibile. În același timp, cadrul îmbunătățește precizia modelului în comparație cu alte abordări.

Song Han este profesor asociat în Departamentul de Inginerie Electrică și Știința Calculatoarelor (EECS), membru al MIT-IBM Watson AI Lab și autor principal al lucrării de cercetare.

“Studiul nostru permite dispozitivelor IoT să nu numai să efectueze inferențe, ci și să actualizeze continuu modelele de inteligență artificială cu date noi, deschizând calea pentru învățarea pe tot parcursul vieții pe dispozitiv”, a spus Han. “Utilizarea redusă a resurselor face ca învățarea profundă să fie mai accesibilă și poate avea un impact mai larg, în special pentru dispozitivele de margine cu putere redusă.”

Lucrarea științifică a inclus co-autori și studenți doctoranzi Ji Lin și Ligeng Zhu, precum și post-doctoranzi Wei-Ming Chen și Wei-Chen Wang de la MIT. De asemenea, a inclus și pe Chuang Gan, membru principal al personalului de cercetare la MIT-IBM Watson AI Lab.

Creșterea eficienței procesului de antrenare

Pentru a face procesul de antrenare mai eficient și mai puțin intensiv din punct de vedere al memoriei, echipa s-a bazat pe două soluții algoritmice. Prima se numește actualizare rară și utilizează un algoritm care identifică cele mai importante greutăți pentru a fi actualizate în fiecare rundă de antrenare. Algoritmul îngheață greutățile una câte una până când precizia scade sub un anumit prag, în momentul în care se oprește. Greutățile rămase sunt apoi actualizate, iar activările corespunzătoare greutăților înghețate nu trebuie stocate în memorie.

“Actualizarea întregului model este foarte costisitoare, deoarece există multe activări, așa că oamenii tind să actualizeze doar ultimul strat, dar, așa cum puteți imagina, acest lucru afectează precizia”, a spus Han. “Pentru metoda noastră, selectăm greutățile importante și ne asigurăm că precizia este pe deplin păstrată.”

A doua soluție dezvoltată de echipă implică antrenarea cuantificată și simplificarea greutăților. Un algoritm rotunjește greutățile la doar opt biți prin procesul de cuantificare, care reduce și cantitatea de memorie necesară pentru antrenare și inferență, inferența fiind procesul de aplicare a unui model pe un set de date și generare a unei previziuni. Algoritmul se bazează apoi pe o tehnică numită scalare conștientă de cuantificare (QAS), care acționează ca un multiplicator pentru a ajusta raportul dintre greutate și gradient. Acest lucru ajută la evitarea oricărei scăderi a preciziei care ar putea rezulta din antrenarea cuantificată.

Cercetătorii au dezvoltat un sistem numit motor de antrenare mic, care rulează inovațiile algoritmice pe un microcontroler simplu lipsit de sistem de operare. Pentru a efectua mai multă muncă în etapa de compilare, înainte de implementarea modelului pe dispozitivul de margine, sistemul schimbă ordinea pașilor în procesul de antrenare.

“Împingem o mare parte a calculului, cum ar fi auto-diferențierea și optimizarea grafică, la momentul compilării. De asemenea, tăiem agresiv operatorii redundanți pentru a sprijini actualizările rare. Odată ajunși la momentul rulării, avem mult mai puțină muncă de făcut pe dispozitiv”, spune Han.

Tehnică foarte eficientă

În timp ce tehnicile tradiționale proiectate pentru antrenarea ușoară necesită de obicei aproximativ 300 până la 600 de megabyte de memorie, optimizarea echipei a necesitat doar 157 de kilobiți pentru a antrena un model de învățare automată pe un microcontroler.

Cadrul a fost testat prin antrenarea unui model de viziune computerizată pentru a detecta oameni în imagini, și a învățat să finalizeze această sarcină în doar 10 minute. Metoda a fost, de asemenea, capabilă să antreneze un model de peste 20 de ori mai rapid decât alte metode.

Cercetătorii vor aplica acum tehnicile la modele de limbaj și la diferite tipuri de date. Ei doresc, de asemenea, să utilizeze cunoștințele dobândite pentru a reduce dimensiunile modelelor mai mari fără a pierde precizia, ceea ce ar putea ajuta, de asemenea, la reducerea amprentei de carbon a antrenării modelelor de învățare automată la scară largă.