Nytt system kan bringa AI till bärbara enheter, hushållsapparater

Ett team av forskare vid MIT arbetar med att bringa djupinlärning neurala nätverk till mikrokontroller. Genombrottet innebär att artificiell intelligens (AI) kan implementeras i små datorchip i bärbara medicinska enheter, hushållsapparater och de andra 250 miljarder föremål som utgör “internet of things” (IoT). IoT är ett nätverk av fysiska föremål som är inbäddade med sensorer, programvara och andra teknologier, som hjälper till att ansluta och utbyta data med andra enheter och system. 

Forskningen ska presenteras på konferensen om neural informationsbehandling i december. Huvudförfattare till forskningen är Ji Lin, en doktorand i Song Hans labb på MIT:s avdelning för elektroteknik och datavetenskap. Medförfattare inkluderar MIT:s Han och Yujun Lin, Wei-Ming Chen från MIT och National University Taiwan, och John Cohn och Chuan Gan från MIT-IBM Watson Lab. 

MCUNet System

Systemet kallas MCUNet, och det utformar kompakta neurala nätverk som kan köras med extrem hastighet och noggrannhet på IoT-enheter, även med begränsad minne och bearbetningskraft. Detta system kan vara mer energisnålt och förbättra datasäkerheten. 

Teamet utvecklade “tiny deep learning”-systemet genom att kombinera två komponenter – neurala nätverksoperationer och mikrokontroller. Den första komponenten är TinyEngine, en gränssnittsmotor som fungerar som ett operativsystem genom att styra resurshantering. TinyEngine är optimerad för att köra en specifik neural nätverksstruktur som valts av TinyNAS, som är den andra komponenten. TinyNAS är en neural arkitektursökalgorithm. 

Lin utvecklade TinyNAS på grund av svårigheten att tillämpa befintliga neurala arkitektursökmetoder på små mikrokontroller. Dessa befintliga metoder hittar slutligen den mest precisa och kostnadseffektiva nätverksstrukturen efter att ha startat med många möjliga strukturer baserat på en fördefinierad mall.

“Det kan fungera ganska bra för GPU:er eller smartphones”, säger Lin. “Men det har varit svårt att direkt tillämpa dessa metoder på små mikrokontroller, eftersom de är för små.”

TinyNAS kan skapa anpassningsbara nätverk. 

“Vi har många mikrokontroller som kommer med olika effektförmågor och olika minnessstorlekar”, säger Lin. “Så vi utvecklade algoritmen [TinyNAS] för att optimera sökutrymmet för olika mikrokontroller.”

Eftersom TinyNAS kan anpassas kan den generera de bästa möjliga kompakta neurala nätverken för mikrokontroller. 

“Sedan levererar vi den slutliga, effektiva modellen till mikrokontrollern”, fortsätter Lin.

En ren och slank gränssnittsmotor krävs för att en mikrokontroller ska kunna köra det lilla neurala nätverket. Många gränssnittsmotorer har instruktioner för sällan körda uppgifter, vilket kan hindra en mikrokontroller. 

“Den har inte något minne utanför chipet, och den har inte någon disk”, säger Han. “Allt som sätts samman är bara en megabyte flash, så vi måste verkligen hantera sådana små resurser.”

TinyEngine genererar den kod som behövs för att köra det anpassade neurala nätverket som utvecklats av TinyNAS. Kompileringstiden kortas ner genom att ta bort onödig kod.

“Vi behåller bara det vi behöver”, säger Han. “Och eftersom vi utformade det neurala nätverket, vet vi exakt vad vi behöver. Det är fördelen med system-algoritm-kodsdesign.” 

Tester visade att TinyEngines kompilerade binära kod var 1,9 till 5 gånger mindre än liknande mikrokontrollmotorer, inklusive de från Google och ARM. Maximal minnesanvändning minskades också med nästan hälften.

MCUNets förmåga

De första testerna för MCUNet handlade om bildklassificering. ImageNet-databasen användes för att träna systemet med märkta bilder, och dess förmåga testades sedan på nya bilder. 

När MCUNet testades på en kommersiell mikrokontroller klassificerade det framgångsrikt 70,7 procent av de nya bilderna. Detta är betydligt bättre än den tidigare bästa neurala nätverks- och störningsmotorn, som var 54 procent exakt.

“Även en 1 procents förbättring anses vara betydande”, säger Lin. “Så detta är ett jättekliv för mikrokontrollmiljöer.”

Enligt Kurt Keutzer, en datavetare vid University of California i Berkeley, utvidgar detta “gränsen för djup neural nätverksdesign ännu längre in i det beräkningsmässiga området för små energisnåla mikrokontroller”. MCUNet kunde “bringa intelligent datorseende till sogar de enklaste köksapparaterna, eller möjliggöra mer intelligent rörelsesensorer.” 

MCUNet förbättrar också datasäkerheten.  

“En nyckelfördel är att bevara integritet”, säger Han. “Du behöver inte skicka data till molnet.”

Genom att analysera data lokalt finns det en mindre chans att personlig information kommer att äventyras. 

Utöver detta kunde MCUNet analysera och ge insikt i information som hjärtslag, blodtryck och syrenivå, bringa djupinlärning till IoT-enheter i fordon och andra platser med begränsad internetåtkomst, och minska koldioxidavtrycket genom att endast använda en liten bråkdel av den energi som krävs för stora neurala nätverk.