Nyt system kan bringe kunstig intelligens til bærbare enheder og husholdningsapparater

Et hold af forskere på MIT arbejder på at bringe dyb læring neurale netværk til mikrokontrollere. Fremgangen betyder, at kunstig intelligens (AI) kan implementeres i små computerchips i bærbare medicinske enheder, husholdningsapparater og de andre 250 milliarder objekter, der udgør “internet of things” (IoT). IoT er et netværk af fysiske objekter indbygget med sensorer, software og andre teknologier, der hjælper med at tilslutte og udveksle data med andre enheder og systemer.

Forskningen er planlagt til at blive præsenteret på Konferencen for Neural Information Processing Systems i december. Første forfatter på forskningen er Ji Lin, en ph.d.-studerende i Song Hans laboratorium på MIT’s afdeling for elektroteknik og datalogi. Medforfattere inkluderer MIT’s Han og Yujun Lin, Wei-Ming Chen fra MIT og National University Taiwan, og John Cohn og Chuan Gan fra MIT-IBM Watson Lab.

MCUNet System

Systemet kaldes MCUNet, og det designer kompakte neurale netværk, der kan køre med ekstrem hastighed og nøjagtighed på IoT-enheder, selv med begrænsede ressourcer og proceskraft. Dette system kan være mere energivenligt og forbedre datasikkerheden.

Holdet udviklede “tiny deep learning”-systemet ved at kombinere to komponenter – drift af neurale netværk og mikrokontrollere. Den første komponent er TinyEngine, en grænseflade, der fungerer som et operativsystem ved at styre ressourcer. TinyEngine er optimeret til at køre en bestemt neural netværksstruktur, der er valgt af TinyNAS, som er den anden komponent. TinyNAS er en neural arkitektursøgealgoritme.

Lin udviklede TinyNAS på grund af vanskelighederne ved at anvende eksisterende neurale arkitektursøgeteknikker på små mikrokontrollere. Disse eksisterende teknikker finder til sidst den mest nøjagtige og kosteffektive netværksstruktur efter at have startet med mange mulige strukturer baseret på en foruddefineret skabelon.

“Det kan fungere ret godt for GPU’er eller smartphones,” siger Lin. “Men det har været svært at direkte anvende disse teknikker på små mikrokontrollere, fordi de er for små.”

TinyNAS kan oprette brugerdefinerede netværk.

“Vi har mange mikrokontrollere med forskellige effekt kapaciteter og forskellige hukommelsesstørrelser,” siger Lin. “Så vi udviklede algoritmen [TinyNAS] for at optimere søge rummet for forskellige mikrokontrollere.”

Fordi TinyNAS kan tilpasses, kan det generere de bedst mulige kompakte neurale netværk til mikrokontrollere.

“Så leverer vi den endelige, effektive model til mikrokontrolleren,” fortsætter Lin.

En ren og slank grænseflade er nødvendig for, at en mikrokontroller kan køre det lille neurale netværk. Mange grænseflader har instruktioner for sjældent kørende opgaver, som kan hindre en mikrokontroller.

“Det har ikke noget udvendigt hukommelse, og det har ikke en disk,” siger Han. “Alt, der er samlet, er kun én megabyte flash, så vi må virkelig nøje styre sådan en lille ressource.”

TinyEngine genererer koden, der er nødvendig for at køre det tilpassede neurale netværk, der er udviklet af TinyNAS. Compile-tiden reduceres ved at fjerne dødt kode.

“Vi beholder kun, hvad vi har brug for,” siger Han. “Og da vi designede det neurale netværk, ved vi præcis, hvad vi har brug for. Det er fordelene ved system-algoritme-design.”

Testene viste, at TinyEngines kompilerede binærkode var 1,9 til fem gange mindre end lignende mikrokontroller-motorer, herunder dem fra Google (GOOGL ) og ARM. Peak-hukommelsesforbruget blev også reduceret næsten halveret.

MCUNet’s Ability

De første test af MCUNet handlede om billedklassificering. ImageNet-databasen blev brugt til at træne systemet med mærkede billeder, og dets evne blev derefter testet på nye billeder.

Da MCUNet blev testet på en kommerciel mikrokontroller, klassificerede det med succes 70,7 procent af de nye billeder. Dette er langt bedre end den tidligere bedste neurale netværk og interferensmotor-par, der var 54 procent nøjagtig.

“Selv en 1 procents forbedring betragtes som betydelig,” siger Lin. “Så dette er et kæmpe skridt for mikrokontroller-indstillinger.”

Ifølge Kurt Keutzer, en computerforsker på University of California, Berkeley, udvider dette “grænsen for dyb neuralt netværksdesign endnu længere ind i det komputationelle domæne for små energivenlige mikrokontrollere.” MCUNet kunne “bring intelligent computer-vision-kapacitet til selv de enkleste køkkenapparater eller aktivere mere intelligente bevægelsessensorer.”

MCUNet forbedrer også datasikkerheden.

“En vigtig fordel er at bevare privatliv,” siger Han. “Du behøver ikke at overføre data til skyen.”

Ved at analysere data lokalt er der mindre chance for, at personlige oplysninger bliver kompromitteret.

Derudover kunne MCUNet analysere og give indsigt i oplysninger som hjerteslag, blodtryk og iltindhold, bringe dyb læring til IoT-enheder i køretøjer og andre steder med begrænsnet internetadgang, og reducere kulstofaftrykket ved kun at bruge en lille brøkdel af den energi, der kræves for store neurale netværk.