Livslang læring på enheden nærmer sig med ny træningsteknik

Et hold af forskere ved MIT og MIT-IBM Watson AI Lab har udviklet en ny teknik, der muliggør træning på enheden med mindre end en kvart megabyte hukommelse. Den nye udvikling er en imponerende præstation, da andre træningssystemer normalt kræver mere end 500 megabyte hukommelse, hvilket overstiger de 256 kilobytes, som de fleste mikrokontrollere har.

Ved at træne en maskinelæringsmodel på en intelligent edge-enhed kan den tilpasse sig til nye data og gøre bedre forudsigelser. Med det sagt kræver træningsprocessen normalt meget hukommelse, så den udføres ofte på computere i et datacenter, før modellen deployes på enheden. Denne proces er langt mere kostbar og rejser bekymringer omkring privatlivet i forhold til den nye teknik, som holdet har udviklet.

Forskerne har udviklet algoritmerne og rammeværket på en måde, der reducerer mængden af beregninger, der er nødvendige for at træne en model, hvilket gør processen hurtigere og mere hukommelseseffektiv. Teknikken kan hjælpe med at træne en maskinelæringsmodel på en mikrocontroller på kun få minutter.

Den nye teknik hjælper også med privatlivet, da den holder dataene på enheden, hvilket er vigtigt, når følsomme data er involveret. Samtidig forbedrer rammeværket modellens nøjagtighed i forhold til andre tilgange.

Song Han er en associeret professor i afdelingen for elektroteknik og datalogi (EECS), medlem af MIT-IBM Watson AI Lab og seniorforfatter på forskningspapiret.

“Vores studie muliggør, at IoT-enheder ikke kun kan udføre inferens, men også kontinuerligt opdatere AI-modellerne til nyt indsamlet data, og baner vejen for livslang læring på enheden,” sagde Han. “Den lave ressourceforbrug gør dyb læring mere tilgængelig og kan have en bredere rækkevidde, især for lavestrøms edge-enheder.”

Den rapport inkluderer co-lead forfattere og EECS-ph.d.-studerende Ji Lin og Ligeng Zhu, og MIT-postdoktorer Wei-Ming Chen og Wei-Chen Wang. Den inkluderer også Chuang Gan, en principal research staff medlem på MIT-IBM Watson AI Lab.

At gøre træningsprocessen mere effektiv

For at gøre træningsprocessen mere effektiv og mindre hukommelseskrævende havde holdet to algoritmiske løsninger. Den første er kendt som sparse opdatering, som bruger en algoritme, der identificerer de vigtigste vægte, der skal opdateres under hver runde af træning. Algoritmen fryser vægtene en ad gangen, indtil nøjagtigheden falder til en bestemt grænse, hvorefter den stopper. De resterende vægte opdateres herefter, og aktiveringerne, der svarer til de frosne vægte, behøver ikke at gemmes i hukommelsen.

“At opdatere hele modellen er meget dyrt, fordi der er meget aktivering, så mennesker har tendens til kun at opdatere den sidste lag, men som du kan forestille dig, såret dette nøjagtigheden,” sagde Han. “For vores metode vælger vi selektivt at opdatere de vigtige vægte og sikrer, at nøjagtigheden er fuldstændig bevaret.”

Den anden løsning, som holdet har udviklet, involverer kvantificeret træning og forenkling af vægtene. En algoritme rundeder først vægtene til kun otte bit gennem en kvantificeringsproces, som også reducerer mængden af hukommelse til træning og inferens, hvor inferens er processen med at anvende en model på en dataset og generere en forudsigelse. Algoritmen afhænger herefter af en teknik kaldet kvantificeringsbevidst skala (QAS), som fungerer som en multiplikator for at justere forholdet mellem vægt og gradient. Dette hjælper med at undgå enhver nedgang i nøjagtighed, der kunne opstå som følge af kvantificeret træning.

Forskerne har udviklet et system kaldet en lille træningsmotor, som kører algoritme-innovationerne på en simpel mikrocontroller uden operativsystem. For at fuldføre mere arbejde i kompileringen før modellens deployment på edge-enheten ændrer systemet rækkefølgen af trin i træningsprocessen.

“Vi skyder en masse beregninger, såsom auto-differentiering og graf-optimering, til kompileringstidspunktet. Vi prunerer også aggressivt de redundante operatører for at understøtte sparse opdateringer. Når vi når runtime, har vi langt mindre arbejde at udføre på enheden,” siger Han.

En højst effektiv teknik

Mens traditionelle teknikker, der er designet til letvægts-træning, normalt ville kræve omkring 300 til 600 megabyte hukommelse, havde holdets optimering kun brug for 157 kilobyte for at træne en maskinelæringsmodel på en mikrocontroller.

Rammeværket blev testet ved at træne en computer-vision-model til at detektere mennesker på billeder, og den lærte at udføre denne opgave på kun 10 minutter. Metoden kunne også træne en model mere end 20 gange hurtigere end andre metoder.

Forskerne vil nu forsøge at anvende teknikkerne på sprogmodeller og forskellige typer data. De ønsker også at bruge denne erhvervede viden til at reducere større modeller uden tab af nøjagtighed, hvilket også kan hjælpe med at reducere den kulstofaftryk af træning af store maskinelæringsmodeller.