Livslang læring på enheten kommer nærmere med ny treningsteknikk

Et team av forskere ved MIT og MIT-IBM Watson AI Lab har utviklet en ny teknikk som gjør det mulig å utføre trening på enheten med mindre enn en kvart megabyte minne. Den nye utviklingen er et imponerende gjennombrudd, da andre treningsløsninger vanligvis trenger mer enn 500 megabyte minne, som overstiger kapasiteten på 256 kilobyte til de fleste mikrokontrollere.

Ved å trene en maskinlæringsmodell på en intelligent kantenhet, kan den tilpasse seg nye data og gjøre bedre prediksjoner. Med det sagt, trenger treningsprosessen vanligvis mye minne, så den utføres ofte på datamaskiner i et datasenter før modellen tas i bruk på enheten. Denne prosessen er mye mer kostbar og gir flere bekymringer om personvern sammenlignet med den nye teknikken utviklet av teamet.

Forskerne utviklet algoritmene og rammeverket på en måte som reduserer mengden beregning som trengs for å trene en modell, og gjør prosessen raskere og mer minneeffektiv. Teknikken kan hjelpe med å trene en maskinlæringsmodell på en mikrokontroller på bare noen få minutter.

Den nye teknikken hjelper også med personvern, da den holder dataene på enheten, som er viktig når det gjelder følsomme data. Samtidig forbedrer rammeverket nøyaktigheten til modellen sammenlignet med andre tilnærminger.

Song Han er førsteamanuensis i avdelingen for elektroteknikk og datavitenskap (EECS), medlem av MIT-IBM Watson AI Lab og seniorforfatter av forskningsrapporten.

“Vår studie muliggjør at IoT-enhetene ikke bare kan utføre inferens, men også kontinuerlig oppdatere AI-modellene med nyinnhentede data, og åpner veien for livslang læring på enheten,” sa Han. “Det lave ressursforbruket gjør dyplæring mer tilgjengelig og kan ha en bredere rekkevidde, spesielt for kantenheter med lavt strømforbruk.”

rapporten inkluderte de delte førsteforfatterne og doktorgradsstudentene i EECS Ji Lin og Ligeng Zhu, samt MIT-postdoktorene Wei-Ming Chen og Wei-Chen Wang. Den inkluderte også Chuang Gan, en hovedforskningsmedarbeider ved MIT-IBM Watson AI Lab.

Å gjøre treningsprosessen mer effektiv

For å gjøre treningsprosessen mer effektiv og mindre minnekrevende, la teamet til to algoritmiske løsninger. Den første er kjent som glissen oppdatering, som bruker en algoritme som identifiserer de viktigste vektene som skal oppdateres under hver runde av trening. Algoritmen fryser vektene én etter én til nøyaktigheten faller til en bestemt terskel, hvor algoritmen stopper. De gjenværende vektene oppdateres deretter, og aktiveringene som tilsvarer de frosne vektene trenger ikke å lagres i minnet.

“Å oppdatere hele modellen er svært dyrt fordi mange aktiveringer må lagres, så folk tenderer til å oppdatere bare det siste laget, men som du kan forestille deg, skader dette nøyaktigheten,” sa Han. “For vår metode, oppdaterer vi selektivt de viktigste vektene og sikrer at nøyaktigheten er fullstendig bevart.”

Den andre løsningen utviklet av teamet involverer kvantisert trening og forenkling av vektene. En algoritme avrunder vektene til bare åtte biter gjennom en kvantiseringsprosess som også reduserer mengden minne for trening og inferens, hvor inferens er prosessen med å bruke en modell på et datasett og generere en prediksjon. Algoritmen bruker deretter en teknikk kalt kvantiseringsbevisst skalering (QAS), som fungerer som en multiplikator for å justere forholdet mellom vekt og gradient. Dette hjelper å unngå noen nedgang i nøyaktighet som kunne resultere fra kvantisert trening.

Forskerne utviklet et system kalt en liten treningsmotor, som kjører algoritme-innovasjonene på en enkel mikrokontroller uten operativsystem. For å fullføre mer arbeid i kompileringsfasen før modellen tas i bruk på kantenheten, endrer systemet rekkefølgen av steg i treningsprosessen.

“Vi skyver mye av beregningen, som automatisk derivasjon og grafoptimalisering, til kompileringstid. Vi fjerner også aggressivt redundante operatører for å støtte glisne oppdateringer. Når vi er på kjøretid, har vi mye mindre arbeid å gjøre på enheten,” sier Han.

Ekstremt effektiv teknikk

Mens tradisjonelle teknikker designet for lettvekt-trening vanligvis ville trenge rundt 300 til 600 megabyte minne, trengte teamets optimalisering bare 157 kilobyte for å trene en maskinlæringsmodell på en mikrokontroller.

Rammeverket ble testet ved å trene en datavisjonsmodell for å detektere mennesker i bilder, og den lærte å fullføre denne oppgaven på bare 10 minutter. Metoden var også i stand til å trene en modell mer enn 20 ganger raskere enn andre metoder.

Forskerne vil nå se på å anvende teknikken til språkmodeller og forskjellige typer data. De ønsker også å bruke denne kunnskapen til å krympe større modeller uten tap i nøyaktighet, noe som også kan hjelpe med å redusere karbonavtrykket av å trene store maskinlæringsmodeller.