Levenslange on-device learning dichterbij met nieuwe trainingsmethode

Een team van onderzoekers aan het MIT en het MIT-IBM Watson AI Lab heeft een nieuwe techniek ontwikkeld die on-device training mogelijk maakt met minder dan een kwart megabyte aan geheugen. Deze nieuwe ontwikkeling is een indrukwekkende prestatie, aangezien andere trainingsoplossingen meestal meer dan 500 megabyte aan geheugen nodig hebben, wat de 256-kilobyte capaciteit van de meeste microcontrollers overschrijdt.

Door een machine-learningmodel te trainen op een intelligente edge-apparaat, kan het zich aanpassen aan nieuwe gegevens en betere voorspellingen doen. Met dat gezegd, het trainingsproces vereist meestal veel geheugen, dus het wordt vaak uitgevoerd met computers in een datacenter voordat het model op een apparaat wordt geïmplementeerd. Dit proces is veel duurder en roept meer privacybezwaren op dan de nieuwe techniek die door het team is ontwikkeld.

De onderzoekers hebben de algoritmes en het framework zo ontwikkeld dat de hoeveelheid berekeningen die nodig zijn om een model te trainen, wordt verminderd, waardoor het proces sneller en geheugenefficiënter wordt. De techniek kan helpen om een machine-learningmodel te trainen op een microcontroller in slechts een paar minuten.

De nieuwe techniek helpt ook met privacy, omdat deze de gegevens op het apparaat houdt, wat belangrijk is wanneer gevoelige gegevens zijn betrokken. Tegelijkertijd verbetert het framework de nauwkeurigheid van het model in vergelijking met andere benaderingen.

Song Han is een associate professor in de afdeling Elektrische Ingenieurswetenschappen en Informatica (EECS), een lid van het MIT-IBM Watson AI Lab en senior auteur van het onderzoeksrapport.

“Onze studie maakt het mogelijk voor IoT-apparaten om niet alleen inferentie uit te voeren, maar ook voortdurend de AI-modellen bij te werken met nieuw verzamelde gegevens, waardoor de weg wordt geëffend voor levenslange on-device learning,” zei Han. “De lage resource-gebruik maakt diepe leer meer toegankelijk en kan een bredere reikwijdte hebben, vooral voor low-power edge-apparaten.”

Het rapport bevat co-hoofdauteurs en EECS-promovendi Ji Lin en Ligeng Zhu, en MIT-postdocs Wei-Ming Chen en Wei-Chen Wang. Het bevat ook Chuang Gan, een principal research staff member bij het MIT-IBM Watson AI Lab.

Het trainingsproces efficiënter maken

Om het trainingsproces efficiënter en minder geheugenintensief te maken, vertrouwde het team op twee algoritmische oplossingen. De eerste wordt sparse update genoemd, die een algoritme gebruikt dat de meest belangrijke gewichten identificeert om bij te werken tijdens elke ronde van training. Het algoritme bevriest de gewichten een voor een totdat de nauwkeurigheid daalt tot een bepaalde drempel, op dat moment stopt het. De overgebleven gewichten worden vervolgens bijgewerkt en de activaties die overeenkomen met de bevroren gewichten hoeven niet in het geheugen opgeslagen te worden.

“Het bijwerken van het hele model is zeer duur omdat er veel activatie is, dus mensen hebben de neiging om alleen de laatste laag bij te werken, maar zoals je je kunt voorstellen, vermindert dit de nauwkeurigheid,” zei Han. “Voor onze methode selecteren we de belangrijkste gewichten en zorgen we ervoor dat de nauwkeurigheid volledig behouden blijft.”

De tweede oplossing die door het team is ontwikkeld, omvat gequantificeerde training en het vereenvoudigen van de gewichten. Een algoritme rondt de gewichten eerst af tot acht bits via een kwantisatieproces, wat ook de hoeveelheid geheugen voor training en inferentie vermindert, waarbij inferentie het proces is van het toepassen van een model op een dataset en het genereren van een voorspelling. Het algoritme vertrouwt vervolgens op een techniek genaamd kwantisatie-gevoelige schaling (QAS), die fungeert als een multiplier om de verhouding tussen gewicht en gradiënt aan te passen. Dit helpt om elke daling in nauwkeurigheid te voorkomen die kan optreden als gevolg van gequantificeerde training.

De onderzoekers ontwikkelden een systeem genaamd een kleine trainingsmotor, dat de algoritme-innovaties uitvoert op een eenvoudige microcontroller zonder besturingssysteem. Om meer werk te doen in de compilatie-fase, voordat het model op het edge-apparaat wordt geïmplementeerd, verandert het systeem de volgorde van de stappen in het trainingsproces.

“We duwen veel van de berekening, zoals auto-differentiatie en grafische optimalisatie, naar de compilatie-tijd. We knippen ook agressief overtollige operators om sparse updates te ondersteunen. Eenmaal in de runtime hebben we veel minder werk om te doen op het apparaat,” zegt Han.

Zeerg efficiënte techniek

Terwijl traditionele technieken die zijn ontworpen voor lichtgewicht training meestal ongeveer 300 tot 600 megabyte aan geheugen nodig zouden hebben, had de optimalisatie van het team slechts 157 kilobyte nodig om een machine-learningmodel te trainen op een microcontroller.

Het framework werd getest door een computer-visionmodel te trainen om mensen in afbeeldingen te detecteren, en het leerde deze taak te voltooien in slechts 10 minuten. De methode kon ook een model meer dan 20 keer sneller trainen dan andere methoden.

De onderzoekers zullen nu proberen de technieken toe te passen op taalmodellen en verschillende soorten gegevens. Ze willen ook deze verworven kennis gebruiken om grotere modellen te verkleinen zonder verlies van nauwkeurigheid, wat ook kan helpen om de koolstofvoetafdruk van het trainen van grote machine-learningmodellen te verkleinen.