Nytt system kan bringe kunstig intelligens til bærbare enheter og husholdningsapparater

Et team av forskere ved MIT arbeider med å bringe dypt læring til mikrokontrollere. Fremgangen betyr at kunstig intelligens (AI) kan implementeres i små datachip i bærbare medisinske enheter, husholdningsapparater og de andre 250 milliarder objekter som utgjør “internettet av ting” (IoT). IoT er et nettverk av fysiske objekter innbygget med sensorer, programvare og andre teknologier, som hjelper å koble og utveksle data med andre enheter og systemer.

Forskningen er satt til å bli presentert på Konferansen om neurale informasjonssystemer i desember. Hovedforfatteren av forskningen er Ji Lin, en ph.d.-student i Song Hans laboratorium ved MITs avdeling for elektroteknikk og datavitenskap. Medforfattere inkluderer MITs Han og Yujun Lin, Wei-Ming Chen fra MIT og Nasjonalt universitet i Taiwan, og John Cohn og Chuan Gan fra MIT-IBM Watson Lab.

MCUNet System

Systemet kalles MCUNet, og det designer kompakte neurale nettverk som kan kjøre med ekstrem hastighet og nøyaktighet på IoT-enhetene, selv med begrensede minne og prosesseringskraft. Dette systemet kan være mer energi-effektivt og forbedre datasikkerheten.

Teamet utviklet “liten dypt læring”-systemet ved å kombinere to komponenter – drift av neurale nettverk og mikrokontrollere. Den første komponenten er TinyEngine, en grensesnittsmotor som fungerer som et operativsystem ved å styre ressursforvaltning. TinyEngine er optimalisert for å kjøre en bestemt neural nettverksstruktur valgt av TinyNAS, som er den andre komponenten. TinyNAS er en neural arkitektursøkealgoritme.

Lin utviklet TinyNAS på grunn av vanskelighetene med å anvende eksisterende neurale arkitektursøketeknikker på små mikrokontrollere. Disse eksisterende teknikker finner til slutt den mest nøyaktige og kostnadseffektive nettverksstrukturen etter å ha startet med mange mulige strukturer basert på en forhåndsdefinert mal.

“Det kan fungere ganske bra for GPUer eller smarttelefoner,” sier Lin. “Men det har vært vanskelig å direkte anvende disse teknikene på små mikrokontrollere, fordi de er for små.”

TinyNAS kan lage skreddersydde nettverk.

“Vi har mange mikrokontrollere som kommer med forskjellige effektkapasiteter og forskjellige minnestørrelser,” sier Lin. “Så vi utviklet algoritmen [TinyNAS] for å optimalisere søkeområdet for forskjellige mikrokontrollere.”

Fordi TinyNAS kan tilpasses, kan den generere de beste mulige kompakte neurale nettverk for mikrokontrollere.

“Så leverer vi den endelige, effektive modellen til mikrokontrolleren,” fortsetter Lin.

En ren og slank grensesnittsmotor er nødvendig for at en mikrokontroller skal kunne kjøre det lille neurale nettverket. Mange grensesnittsmotorer har instruksjoner for sjeldent kjørte oppgaver, som kan hindre en mikrokontroller.

“Den har ikke ekstern minne, og den har ikke en disk,” sier Han. “Alt som er satt sammen, er bare en megabyte flash, så vi må virkelig håndtere så liten ressurs.”

TinyEngine genererer koden som trengs for å kjøre det tilpassede neurale nettverket utviklet av TinyNAS. Kompileringstiden kuttes ned ved å kaste bort dødt kode.

“Vi holder bare det vi trenger,” sier Han. “Og siden vi designet det neurale nettverket, vet vi eksakt hva vi trenger. Det er fordelen med system-algoritme-design.”

Tester viste at TinyEngines kompilerte binærkode var 1,9 til fem ganger mindre enn lignende mikrokontroller-motorer, inkludert de fra Google (GOOGL ) og ARM. Peak-minnebruk ble også kutta nesten halvert.

MCUNets evne

De første testene for MCUNet handlet om bildeklassifisering. ImageNet-databasen ble brukt til å trene systemet med merkte bilder, og dens evne ble deretter testet på nye bilder.

Når MCUNet ble testet på en kommersiell mikrokontroller, klassifiserte det med suksess 70,7 prosent av de nye bildene. Dette er langt bedre enn den tidligere beste neurale nettverks- og interferensmotoren-paringen, som var 54 prosent nøyaktig.

“Selv en 1 prosent forbedring anses som betydelig,” sier Lin. “Så dette er et gigantisk sprang for mikrokontroller-innstillinger.”

Ifølge Kurt Keutzer, en datavitenskapsmann ved University of California i Berkeley, utvider dette “grensen for dypt neuralt nettverksdesign enda lenger inn i det komputasjonelle domenet av små energi-effektive mikrokontrollere.” MCUNet kunne “bringe intelligente datavisningsfunksjoner til selv de enkleste kjøkkenapparatene, eller aktivere mer intelligente bevegelsessensorer.”

MCUNet forbedrer også datasikkerheten.

“En viktig fordel er å bevare personvernet,” sier Han. “Du trenger ikke å overføre dataene til skyen.”

Ved å analysere dataene lokalt, er det mindre sannsynlig at personlige opplysninger blir kompromittert.

I tillegg kan MCUNet analysere og gi innsikt i informasjon som hjertefrekvens, blodtrykk og oksygeninnhold, bringe dypt læring til IoT-enhetene i kjøretøy og andre steder med begrensede internett-tilgang, og redusere karbonavtrykket ved å bare bruke en liten brøkdel av energien som kreves for store neurale nettverk.