Nytt system kan ta med AI till bärbara enheter och hushållsapparater

Ett team av forskare vid MIT arbetar med att ta med djupinlärningsneurala nätverk till mikrokontrollanter. Genombrottet innebär att artificiell intelligens (AI) kan implementeras i små datorchip i bärbara medicinska enheter, hushållsapparater och de andra 250 miljarder föremål som utgör “sakernas internet” (IoT). IoT är ett nätverk av fysiska föremål som är inbäddade med sensorer, programvara och andra teknologier, som hjälper till att ansluta och utbyta data med andra enheter och system.

Forskningen ska presenteras på konferensen om neural informationssystem i december. Huvudförfattaren till forskningen är Ji Lin, en doktorand i Song Hans labb vid MIT:s avdelning för elektroteknik och datavetenskap. Medförfattare inkluderar MIT:s Han och Yujun Lin, Wei-Ming Chen från MIT och National University Taiwan, och John Cohn och Chuan Gan från MIT-IBM Watson Lab.

MCUNet System

Systemet kallas MCUNet, och det utformar kompakta neurala nätverk som kan köras med extrem hastighet och noggrannhet på IoT-enheter, även med begränsad minne och bearbetningskraft. Detta system kan vara mer energisnålt och förbättra datasäkerheten.

Teamet utvecklade “tiny deep learning”-systemet genom att kombinera två komponenter – neurala nätverksoperationer och mikrokontrollanter. Den första komponenten är TinyEngine, en gränssnittsmotor som fungerar som ett operativsystem genom att styra resursförvaltning. TinyEngine är optimerad för att köra en specifik neural nätverksstruktur som valts av TinyNAS, som är den andra komponenten. TinyNAS är en neural arkitektursökalgorithm.

Lin utvecklade TinyNAS på grund av svårigheten att tillämpa befintliga neurala arkitektursöktekniker på små mikrokontrollanter. Dessa befintliga tekniker hittar till slut den mest exakta och kostnadseffektiva nätverksstrukturen efter att ha startat med många möjliga strukturer baserat på en fördefinierad mall.

“Det kan fungera ganska bra för GPU:er eller smartphones”, säger Lin. “Men det har varit svårt att direkt tillämpa dessa tekniker på små mikrokontrollanter, eftersom de är för små.”

TinyNAS kan skapa anpassningsbara nätverk.

“Vi har många mikrokontrollanter som kommer med olika effektförmåga och olika minnesstorlek”, säger Lin. “Så vi utvecklade algoritmen [TinyNAS] för att optimera sökutrymmet för olika mikrokontrollanter.”

Eftersom TinyNAS kan anpassas, kan det generera de bästa möjliga kompakta neurala nätverken för mikrokontrollanter.

“Sedan levererar vi den slutliga, effektiva modellen till mikrokontrollanten”, fortsätter Lin.

En ren och slank gränssnittsmotor krävs för att en mikrokontrollant ska kunna köra det lilla neurala nätverket. Många gränssnittsmotorer har instruktioner för sällan körda uppgifter, vilket kan hindra en mikrokontrollant.

“Den har inte något minne utanför chipet, och den har inte någon disk”, säger Han. “Allt som sätts samman är bara en megabyte flash, så vi måste verkligen hantera en sådan liten resurs.”

TinyEngine genererar den kod som behövs för att köra det anpassade neurala nätverket som utvecklats av TinyNAS. Sammanslagningsiden minskas genom att kasta bort död kod.

“Vi behåller bara det vi behöver”, säger Han. “Och eftersom vi utformade det neurala nätverket, vet vi exakt vad vi behöver. Det är fördelen med system-algoritm-kodsdesign.”

Testerna visade att TinyEngines sammanställda binärkod var 1,9 till 5 gånger mindre än liknande mikrokontrollantmotorer, inklusive de från Google (GOOGL ) och ARM. Den maximala minnesanvändningen minskades också nästan till hälften.

MCUNets förmåga

De första testerna för MCUNet handlade om bildklassificering. ImageNet-databasen användes för att träna systemet med märkta bilder, och dess förmåga testades sedan på nya bilder.

När MCUNet testades på en kommersiell mikrokontrollant, klassificerade det med framgång 70,7 procent av de nya bilderna. Detta är betydligt bättre än det tidigare bästa neurala nätverket och störningsmotorn, som var 54 procent exakt.

“Även en 1-procentig förbättring anses vara betydande”, säger Lin. “Så detta är ett jättekliv för mikrokontrollantinställningar.”

Enligt Kurt Keutzer, en datavetare vid University of California i Berkeley, utvidgar detta “gränsen för djup neural nätverksdesign ännu längre in i det beräkningsmässiga området för små energisnåla mikrokontrollanter.” MCUNet kunde “ta med intelligent datorseende till sogar de enklaste köksapparaterna eller möjliggöra mer intelligent rörelsesensorer.”

MCUNet förbättrar också datasäkerheten.

“En viktig fördel är att bevara sekretess”, säger Han. “Du behöver inte skicka data till molnet.”

Genom att analysera data lokalt, finns det en mindre chans att personlig information kommer att komprometteras.

Förutom det, kunde MCUNet analysera och ge insikt i information som hjärtslag, blodtryck och syrenivåer, ta med djupinlärning till IoT-enheter i fordon och andra platser med begränsad internetåtkomst och minska kolavtrycket genom att bara använda en liten bråkdel av den energi som krävs för stora neurala nätverk.