Livslang On-Device Læring tættere på med ny træningsteknik

Et team af forskere ved MIT og MIT-IBM Watson AI Lab udviklede en ny teknik, der muliggør træning på enheden ved at bruge mindre end en kvart megabyte hukommelse. Den nye udvikling er en imponerende præstation, da andre træningsløsninger normalt har brug for mere end 500 megabyte hukommelse, hvilket overstiger de 256-kilobyte kapacitet for de fleste mikrocontrollere. 

Ved at træne en maskinlæringsmodel på en intelligent edge-enhed kan den tilpasse sig nye data og lave bedre forudsigelser. Når det er sagt, kræver træningsprocessen normalt meget hukommelse, så den udføres ofte med computere i et datacenter, før modellen implementeres på en enhed. Denne proces er langt dyrere og rejser bekymringer om privatlivets fred sammenlignet med den nye teknik udviklet af teamet.

Forskerne udviklede algoritmerne og rammeværket på en måde, der reducerer mængden af ​​beregning, der er nødvendig for at træne en model, hvilket gør processen hurtigere og mere hukommelseseffektiv. Teknikken kan hjælpe med at træne en maskinlæringsmodel på en mikrocontroller på få minutter. 

Den nye teknik hjælper også med privatlivets fred, da den holder dataene på enheden, hvilket er vigtigt, når følsomme data er involveret. Samtidig forbedrer rammen modellens nøjagtighed sammenlignet med andre tilgange. 

Song Han er lektor ved Institut for Elektroteknik og Datalogi (EECS), medlem af MIT-IBM Watson AI Lab og seniorforfatter til forskningspapiret. 

"Vores undersøgelse gør det muligt for IoT-enheder ikke kun at udføre inferens, men også løbende at opdatere AI-modellerne til nyligt indsamlede data, hvilket baner vejen for livslang læring på enheden," sagde Han. "Den lave ressourceudnyttelse gør deep learning mere tilgængelig og kan have en bredere rækkevidde, især for enheder med lavt strømforbrug." 

papir omfattede co-lead forfattere og EECS ph.d.-studerende Ji Lin og Ligeng Zhu, og MIT postdocs Wei-Ming Chen og Wei-Chen Wang. Det omfattede også Chuang Gan, en ledende forskningsmedarbejder ved MIT-IBM Watson AI Lab. 

Gør træningsprocessen mere effektiv

For at gøre træningsprocessen mere effektiv og mindre hukommelsesintensiv, stolede holdet på to algoritmiske løsninger. Den første er kendt som sparse update, som bruger en algoritme, der identificerer de vigtigste vægte, der skal opdateres under hver træningsrunde. Algoritmen fryser vægtene en ad gangen, indtil nøjagtigheden falder til en vis tærskel, hvorefter den stopper. De resterende vægte opdateres derefter, og aktiveringerne svarende til de frosne vægte behøver ikke at blive gemt i hukommelsen. 

"At opdatere hele modellen er meget dyrt, fordi der er en masse aktivering, så folk har en tendens til kun at opdatere det sidste lag, men som du kan forestille dig, skader dette nøjagtigheden," sagde Han. "For vores metode opdaterer vi selektivt disse vigtige vægte og sikrer, at nøjagtigheden bevares fuldt ud." 

Den anden løsning udviklet af teamet involverer kvantiseret træning og forenkling af vægtene. En algoritme runder først vægtene til kun otte bit gennem en kvantiseringsproces, som også reducerer mængden af ​​hukommelse til træning og inferens, hvor inferens er processen med at anvende en model til et datasæt og generere en forudsigelse. Algoritmen er så afhængig af en teknik kaldet quantization-aware scaling (QAS), der fungerer som en multiplikator til at justere forholdet mellem vægt og gradient. Dette hjælper med at undgå ethvert fald i nøjagtigheden, der kan være et resultat af kvantiseret træning. 

Forskerne udviklede et system kaldet en lille træningsmotor, som kører algoritme-innovationerne på en simpel mikrocontroller, der mangler et operativsystem. For at fuldføre mere arbejde i kompileringsfasen, før implementeringen af ​​modellen på edge-enheden, ændrer systemet rækkefølgen af ​​trin i træningsprocessen. 

"Vi presser meget af beregningen, såsom autodifferentiering og grafoptimering, for at kompilere tid. Vi beskærer også aggressivt de redundante operatører for at understøtte sparsomme opdateringer. Når vi først kører, har vi meget mindre arbejdsbyrde at udføre på enheden,” siger Han. 

Meget effektiv teknik

Mens traditionelle teknikker designet til letvægtstræning normalt ville have brug for omkring 300 til 600 megabyte hukommelse, krævede holdets optimering kun 157 kilobyte for at træne en maskinlæringsmodel på en mikrocontroller. 

Rammerne blev testet ved at træne en computervisionsmodel til at opdage mennesker i billeder, og den lærte at udføre denne opgave på kun 10 minutter. Metoden var også i stand til at træne en model mere end 20 gange hurtigere end andre metoder. 

Forskerne vil nu se på at anvende teknikkerne på sprogmodeller og forskellige typer data. De ønsker også at bruge denne erhvervede viden til at skrumpe større modeller uden tab i nøjagtighed, hvilket også kan hjælpe med at reducere COXNUMX-fodaftrykket ved at træne store maskinlæringsmodeller.