Nieuw systeem kan AI naar draagbare apparaten en huishoudelijke apparaten brengen

Een team van onderzoekers aan het MIT werkt aan het brengen van diepe leerneuronale netwerken naar microcontrollers. De vooruitgang betekent dat kunstmatige intelligentie (AI) kan worden geïmplementeerd in kleine computerchips in draagbare medische apparaten, huishoudelijke apparaten en de andere 250 miljard objecten die deel uitmaken van het “internet der dingen” (IoT). Het IoT is een netwerk van fysieke objecten die zijn ingebed met sensoren, software en andere technologieën, die helpen om verbonden te zijn en gegevens uit te wisselen met andere apparaten en systemen.

Het onderzoek zal worden gepresenteerd op de Conferentie over Neurale Informatieverwerkingssystemen in december. De hoofdauteur van het onderzoek is Ji Lin, een PhD-student in het lab van Song Han in de afdeling Elektrotechniek en Informatica van het MIT. Medeauteurs zijn onder andere MIT’s Han en Yujun Lin, Wei-Ming Chen van het MIT en de Nationale Universiteit van Taiwan, en John Cohn en Chuan Gan van het MIT-IBM Watson Lab.

MCUNet-systeem

Het systeem heet MCUNet en ontwerpt compacte neurale netwerken die extreem snel en nauwkeurig zijn op IoT-apparaten, zelfs met beperkte geheugen- en verwerkingscapaciteit. Dit systeem kan meer energie-efficiënt zijn en de gegevensbeveiliging verbeteren.

Het team ontwikkelde het “tiny deep learning”-systeem door twee componenten te combineren – de werking van neurale netwerken en microcontrollers. De eerste component is TinyEngine, een interface-engine die fungeert als een besturingssysteem door middel van bronbeheer. TinyEngine is geoptimaliseerd om een specifiek neurale netwerkstructuur te draaien die is geselecteerd door TinyNAS, dat de andere component is. TinyNAS is een neurale architectuurzoekalgoritme.

Lin ontwikkelde TinyNAS vanwege de moeilijkheid om bestaande neurale architectuurzoektechnieken rechtstreeks toe te passen op kleine microcontrollers. Deze bestaande technieken vinden uiteindelijk de meest nauwkeurige en kostenefficiënte netwerkstructuur na het starten met veel mogelijke structuren op basis van een vooraf gedefinieerd sjabloon.

“Het kan heel goed werken voor GPUs of smartphones,” zegt Lin. “Maar het is moeilijk om deze technieken rechtstreeks toe te passen op kleine microcontrollers, omdat ze te klein zijn.”

TinyNAS kan aangepaste netwerken maken.

“We hebben veel microcontrollers met verschillende vermogenscapaciteiten en geheugengroottes,” zegt Lin. “Dus we ontwikkelden de algoritme [TinyNAS] om de zoekruimte te optimaliseren voor verschillende microcontrollers.”

Omdat TinyNAS kan worden aangepast, kan het de beste mogelijke compacte neurale netwerken voor microcontrollers genereren.

“Dan leveren we het definitieve, efficiënte model aan de microcontroller,” gaat Lin verder.

Een schone en slanke interface-engine is vereist voor een microcontroller om het kleine neurale netwerk uit te voeren. Veel interface-engines hebben instructies voor zelden uitgevoerde taken, die een microcontroller kunnen hinderen.

“Het heeft geen off-chip-geheugen en het heeft geen schijf,” zegt Han. “Alles wat samen is gebouwd, is slechts één megabyte flash, dus we moeten echt zorgvuldig omgaan met zo’n kleine bron.”

TinyEngine genereert de code die nodig is om het aangepaste neurale netwerk te draaien dat is ontwikkeld door TinyNAS. De compileertijd wordt verkort door overbodige code te verwijderen.

“We houden alleen wat we nodig hebben,” zegt Han. “En aangezien we het neurale netwerk hebben ontworpen, weten we precies wat we nodig hebben. Dat is het voordeel van systeem-algoritme-ontwerp.”

Tests toonden aan dat de binaire code van TinyEngine 1,9 tot vijf keer kleiner was dan soortgelijke microcontroller-engines, waaronder die van Google (GOOGL ) en ARM. Het maximale geheugengebruik werd ook bijna gehalveerd.

MCUNet’s mogelijkheid

De eerste tests voor MCUNet draaiden om beeldclassificatie. De ImageNet-database werd gebruikt om het systeem te trainen met gelabelde beelden, en zijn mogelijkheid werd vervolgens getest op nieuwe beelden.

Toen MCUNet werd getest op een commerciële microcontroller, classificeerde het met succes 70,7 procent van de nieuwe beelden. Dit is veel beter dan het vorige beste neurale netwerk en interferentie-engine-paar, dat 54 procent nauwkeurig was.

“Zelfs een verbetering van 1 procent wordt als significant beschouwd,” zegt Lin. “Dus dit is een reusachtige sprong voor microcontroller-instellingen.”

Volgens Kurt Keutzer, een computerwetenschapper aan de Universiteit van Californië in Berkeley, breidt dit “de grenzen van diepe neurale netwerkontwerp nog verder uit naar het domein van kleine, energie-efficiënte microcontrollers.” MCUNet kan “intelligente computer-visie-functionaliteiten naar zelfs de eenvoudigste keukenapparaten brengen, of meer intelligente bewegingssensoren mogelijk maken.”

MCUNet verbetert ook de gegevensbeveiliging.

“Een belangrijk voordeel is het behoud van privacy,” zegt Han. “U hoeft de gegevens niet naar de cloud te verzenden.”

Door gegevens lokaal te analyseren, is er een kleinere kans dat persoonlijke informatie in gevaar komt.

Bovendien kan MCUNet gegevens analyseren en inzicht verschaffen in informatie zoals hartslag, bloeddrukmeter en zuurstofniveaus, diepe leerlingen naar IoT-apparaten in voertuigen en andere plaatsen met beperkte internettoegang brengen, en het koolstofvoetafdruk verminderen door slechts een kleine fractie van de energie te gebruiken die nodig is voor grote neurale netwerken.