Livslang læring på enheden nærmer sig med ny træningsteknik

Et hold af forskere ved MIT og MIT-IBM Watson AI Lab har udviklet en ny teknik, der muliggør træning på enheden med mindre end en kvart megabyte hukommelse. Den nye udvikling er en imponerende præstation, da andre træningssystemer normalt kræver mere end 500 megabyte hukommelse, hvilket overstiger de 256 kilobytes, som de fleste mikrokontrollere har.

Ved at træne en maskinlæringsmodel på en intelligent edge-enhed kan den tilpasse sig til nye data og gøre bedre forudsigelser. Med det sagt kræver træningsprocessen normalt meget hukommelse, så den udføres ofte på computere i et datacenter, før modellen tages i brug på enheden. Denne proces er langt mere kostbar og rejser bekymringer omkring privatlivet i forhold til den nye teknik, som holdet har udviklet.

Forskerne har udviklet algoritmerne og rammeværket på en måde, der reducerer mængden af beregninger, der er nødvendige for at træne en model, hvilket gør processen hurtigere og mere hukommelseseffektiv. Teknikken kan hjælpe med at træne en maskinlæringsmodel på en mikrocontroller på kun få minutter.

Den nye teknik beskytter også privatlivet, da den holder dataene på enheden, hvilket er vigtigt, når følsomme data er involveret. Samtidig forbedrer rammeværket modellens nøjagtighed i forhold til andre tilgange.

Song Han er lektor i afdelingen for elektroteknik og datalogi (EECS), medlem af MIT-IBM Watson AI Lab og seniorforfatter på forskningspapiret.

“Vores studie muliggør, at IoT-enheder ikke kun kan udføre inferens, men også kontinuerligt opdatere AI-modellerne med nyindsamlede data, og baner vejen for livslang læring på enheden,” sagde Han. “Det lave ressourceforbrug gør dyb læring mere tilgængelig og kan have en bredere rækkevidde, især for edge-enheder med lavt strømforbrug.”

Den rapport inkluderer de delte førsteforfattere og EECS-ph.d.-studerende Ji Lin og Ligeng Zhu samt MIT-postdoktorerne Wei-Ming Chen og Wei-Chen Wang. Den inkluderer også Chuang Gan, et ledende medlem af forskningsstaben ved MIT-IBM Watson AI Lab.

At gøre træningsprocessen mere effektiv

For at gøre træningsprocessen mere effektiv og mindre hukommelseskrævende havde holdet to algoritmiske løsninger. Den første er kendt som sparsom opdatering, som bruger en algoritme, der identificerer de vigtigste vægte, der skal opdateres under hver runde af træning. Algoritmen fryser vægtene en ad gangen, indtil nøjagtigheden falder til en bestemt grænse, hvorefter den stopper. De resterende vægte opdateres herefter, og aktiveringerne, der svarer til de frosne vægte, behøver ikke at gemmes i hukommelsen.

“At opdatere hele modellen er meget dyrt, fordi mange aktiveringer skal gemmes, så mennesker har tendens til kun at opdatere det sidste lag, men som du kan forestille dig, skader dette nøjagtigheden,” sagde Han. “For vores metode vælger vi selektivt at opdatere de vigtige vægte og sikrer, at nøjagtigheden er fuldstændig bevaret.”

Den anden løsning, som holdet har udviklet, involverer kvantiseret træning og forenkling af vægtene. En algoritme afrunder først vægtene til kun otte bit gennem en kvantiseringsproces, som også reducerer mængden af hukommelse til træning og inferens, hvor inferens er processen med at anvende en model på et datasæt og generere en forudsigelse. Algoritmen afhænger herefter af en teknik kaldet kvantiseringsbevidst skalering (QAS), som fungerer som en multiplikator for at justere forholdet mellem vægt og gradient. Dette hjælper med at undgå enhver nedgang i nøjagtighed, der kunne opstå som følge af kvantiseret træning.

Forskerne har udviklet et system kaldet en lille træningsmotor, som kører algoritme-innovationerne på en simpel mikrocontroller uden operativsystem. For at fuldføre mere arbejde i kompileringsfasen før modellen tages i brug på edge-enheden ændrer systemet rækkefølgen af trin i træningsprocessen.

“Vi flytter mange beregninger, såsom automatisk differentiation og grafoptimering, til kompileringstidspunktet. Vi fjerner også aggressivt de redundante operatører for at understøtte sparsomme opdateringer. Under kørslen, har vi langt mindre arbejde at udføre på enheden,” siger Han.

En højst effektiv teknik

Mens traditionelle teknikker, der er designet til letvægts-træning, normalt ville kræve omkring 300 til 600 megabyte hukommelse, havde holdets optimering kun brug for 157 kilobyte for at træne en maskinlæringsmodel på en mikrocontroller.

Rammeværket blev testet ved at træne en computer-vision-model til at detektere mennesker på billeder, og den lærte at udføre denne opgave på kun 10 minutter. Metoden kunne også træne en model mere end 20 gange hurtigere end andre metoder.

Forskerne vil nu forsøge at anvende teknikkerne på sprogmodeller og forskellige typer data. De ønsker også at bruge denne erhvervede viden til at reducere større modeller uden tab af nøjagtighed, hvilket også kan hjælpe med at reducere det CO₂-aftryk af træning af store maskinlæringsmodeller.