Livslang læring på enheten blir nærmere med ny treningsteknikk

Et team av forskere ved MIT og MIT-IBM Watson AI Lab har utviklet en ny teknikk som gjør det mulig å utføre trening på enheten med mindre enn en kvart megabyte minne. Den nye utviklingen er et imponerende gjennombrudd, da andre treningsløsninger vanligvis trenger mer enn 500 megabyte minne, som overstiger 256-kilobyte kapasiteten til de fleste mikrokontrollere.

Ved å trene en maskinlæringsmodell på en intelligent kantenheter, kan den tilpasse seg nye data og gjøre bedre prediksjoner. Med det sagt, trenger treningsprosessen vanligvis mye minne, så den utføres ofte på datamaskiner i et datasenter før modellen deployeres på enheten. Denne prosessen er mye mer kostbar og gir flere bekymringer om personvern sammenlignet med den nye teknikken utviklet av teamet.

Forskerne utviklet algoritmene og rammen på en måte som reduserer mengden beregning som trengs for å trene en modell, og gjør prosessen raskere og mer minnehensynsfull. Teknikken kan hjelpe med å trene en maskinlæringsmodell på en mikrokontroller på bare noen få minutter.

Den nye teknikken hjelper også med personvern, da den holder dataene på enheten, som er viktig når det gjelder følsomme data. Samtidig forbedrer rammen nøyaktigheten til modellen sammenlignet med andre tilnærminger.

Song Han er en assosiert professor i avdelingen for elektroteknikk og datavitenskap (EECS), medlem av MIT-IBM Watson AI Lab og seniorforfatter av forskningsrapporten.

“Vår studie muliggjør at IoT-enhetene ikke bare kan utføre inferens, men også kontinuerlig oppdatere AI-modellene med nyinnhentede data, og åpner veien for livslang læring på enheten,” sa Han. “Den lave ressursforbruket gjør dyplæring mer tilgjengelig og kan ha en bredere rekkevidde, spesielt for lavkraftige kantenheter.”

Den rapporten inkluderte med-forfattere og EECS-phd-studenter Ji Lin og Ligeng Zhu, og MIT-postdoktorer Wei-Ming Chen og Wei-Chen Wang. Den inkluderte også Chuang Gan, en hovedforskningsmedarbeider ved MIT-IBM Watson AI Lab.

Å gjøre treningsprosessen mer effektiv

For å gjøre treningsprosessen mer effektiv og mindre minnehensynsfull, la teamet til to algoritmiske løsninger. Den første er kjent som sparse oppdatering, som bruker en algoritme som identifiserer de viktigste vektingene som skal oppdateres under hver runde av trening. Algoritmen fryser vektingene en etter en til en bestemt terskel, på et punkt hvor den stopper. De gjenværende vektingene oppdateres deretter, og aktiveringen som tilsvarer de frosne vektingene trenger ikke å lagres i minnet.

“Å oppdatere hele modellen er svært dyrt fordi det er mye aktivering, så folk tenderer til å oppdatere bare den siste laget, men som du kan forestille deg, skader dette nøyaktigheten,” sa Han. “For vår metode, velger vi å oppdatere de viktigste vektingene og sikrer at nøyaktigheten er fullstendig bevart.”

Den andre løsningen utviklet av teamet involverer kvantisert trening og forenkling av vektingene. En algoritme runder vektingene ned til bare åtte biter gjennom en kvantiseringprosess som også kutte mengden minne for trening og inferens, hvor inferens er prosessen med å bruke en modell på en datasett og generere en prediksjon. Algoritmen deretter avhenger av en teknikk kalt kvantisering-bevisst skala (QAS), som fungerer som en multiplikator for å justere forholdet mellom vekt og gradient. Dette hjelper å unngå noen nedgang i nøyaktighet som kunne resultere fra kvantisert trening.

Forskerne utviklet et system kalt en liten treningsmotor, som kjører algoritme-innovasjonene på en enkel mikrokontroller uten operativsystem. For å fullføre mer arbeid i kompileringen før deployering av modellen på kantenheter, endrer systemet rekkefølgen av steg i treningsprosessen.

“Vi skyver mye av beregningen, som auto-differensiering og graf-optimisering, til kompileringstid. Vi prunerer også aggresivt redundante operatører for å støtte sparse oppdateringer. Når vi er på kjøretid, har vi mye mindre arbeid å gjøre på enheten,” sier Han.

Ekstremt effektiv teknikk

Mens tradisjonelle teknikker designet for lettvekt-trening vanligvis ville trenge rundt 300 til 600 megabyte minne, trengte teamets optimalisering bare 157 kilobyte for å trene en maskinlæringsmodell på en mikrokontroller.

Rammeverket ble testet ved å trene en datavisjonsmodell for å detektere mennesker i bilder, og den lærte å fullføre denne oppgaven på bare 10 minutter. Metoden var også i stand til å trene en modell mer enn 20 ganger raskere enn andre metoder.

Forskerne vil nå se på å anvende teknikken til språkmodeller og forskjellige typer data. De ønsker også å bruke denne kunnskapen til å krympe større modeller uten tap i nøyaktighet, noe som også kan hjelpe med å redusere karbonavtrykket av å trene store maskinlæringsmodeller.