Nieuw systeem kan AI naar draagbare apparaten en huishoudelijke apparaten brengen

Een team van onderzoekers aan het MIT werkt aan het brengen van diepe leerneuronale netwerken naar microcontrollers. De vooruitgang betekent dat kunstmatige intelligentie (AI) geïmplementeerd kan worden in kleine computerchips in draagbare medische apparaten, huishoudelijke apparaten en de andere 250 miljard objecten die deel uitmaken van het “internet der dingen” (IoT). Het IoT is een netwerk van fysieke objecten die zijn ingebed met sensoren, software en andere technologieën, die helpen om verbonden te zijn en gegevens uit te wisselen met andere apparaten en systemen. 

Het onderzoek zal worden gepresenteerd op de Conferentie over Neurale Informatieverwerkingssystemen in december. De eerste auteur van het onderzoek is Ji Lin, een PhD-student in de lab van Song Han in de afdeling Elektrotechniek en Informatica van het MIT. Mede-auteurs zijn MIT’s Han en Yujun Lin, Wei-Ming Chen van het MIT en de Nationale Universiteit van Taiwan, en John Cohn en Chuan Gan van het MIT-IBM Watson Lab. 

MCUNet-systeem

Het systeem heet MCUNet, en het ontwerpt compacte neurale netwerken die in staat zijn tot extreme snelheid en nauwkeurigheid op IoT-apparaten, zelfs met beperkte geheugen en verwerkingskracht. Dit systeem kan meer energie-efficiënt zijn en de gegevensbeveiliging verbeteren. 

Het team ontwikkelde het “kleine diepe leer”-systeem door twee componenten te combineren – de werking van neurale netwerken en microcontrollers. De eerste component is TinyEngine, een interface-engine die fungeert als een besturingssysteem door middel van resourcebeheer. TinyEngine is geoptimaliseerd om een specifieke neurale netwerkstructuur uit te voeren die is geselecteerd door TinyNAS, wat de andere component is. TinyNAS is een neurale architectuurzoekalgoritme. 

Lin ontwikkelde TinyNAS vanwege de moeilijkheid om bestaande neurale architectuurzoektechnieken toe te passen op kleine microcontrollers. Deze bestaande technieken vinden uiteindelijk de meest nauwkeurige en kostenefficiënte netwerkstructuur na het starten met veel mogelijke structuren op basis van een vooraf gedefinieerd sjabloon.

“Het kan heel goed werken voor GPUs of smartphones,” zegt Lin. “Maar het is moeilijk om deze technieken rechtstreeks toe te passen op kleine microcontrollers, omdat ze te klein zijn.”

TinyNAS kan aangepaste netwerken maken. 

“We hebben veel microcontrollers met verschillende vermogenscapaciteiten en verschillende geheugengroottes,” zegt Lin. “Dus we ontwikkelden de algoritme [TinyNAS] om de zoekruimte te optimaliseren voor verschillende microcontrollers.”

Omdat TinyNAS kan worden aangepast, kan het de beste mogelijke compacte neurale netwerken voor microcontrollers genereren. 

“Vervolgens leveren we het definitieve, efficiënte model aan de microcontroller,” vervolgt Lin.

Een schone en slanke interface-engine is vereist voor een microcontroller om het kleine neurale netwerk uit te voeren. Veel interface-engines hebben instructies voor zelden uitgevoerde taken, die een microcontroller kunnen hinderen. 

“Het heeft geen off-chip-geheugen en het heeft geen schijf,” zegt Han. “Alles wat samen is gebouwd is slechts één megabyte flash, dus we moeten echt zorgvuldig omgaan met zo’n kleine resource.”

TinyEngine genereert de code die nodig is om het aangepaste neurale netwerk te laten werken dat is ontwikkeld door TinyNAS. De compileertijd wordt verkort door overtollige code te verwijderen.

“We houden alleen wat we nodig hebben,” zegt Han. “En omdat we het neurale netwerk hebben ontworpen, weten we precies wat we nodig hebben. Dat is het voordeel van systeem-algoritme-ontwerp.” 

Tests toonden aan dat de binaire code die door TinyEngine is samengesteld 1,9 tot vijf keer kleiner was dan soortgelijke microcontroller-engines, waaronder die van Google en ARM. Het piekgeheugengebruik werd ook bijna gehalveerd.

MCUNet’s mogelijkheden

De eerste tests voor MCUNet draaiden om beeldclassificatie. De ImageNet-database werd gebruikt om het systeem te trainen met gelabelde beelden, en zijn mogelijkheden werden vervolgens getest op nieuwe beelden. 

Toen MCUNet werd getest op een commerciële microcontroller, classificeerde het met succes 70,7 procent van de nieuwe beelden. Dit is veel beter dan de vorige beste neurale netwerk- en interferentie-engine-combinatie, die 54 procent nauwkeurig was.

“Zelfs een verbetering van 1 procent wordt als significant beschouwd,” zegt Lin. “Dus dit is een reusachtige sprong voor microcontroller-instellingen.”

Volgens Kurt Keutzer, een computerwetenschapper aan de Universiteit van Californië in Berkeley, breidt dit “de frontier van diepe neurale netwerkdesign nog verder uit naar het computationele domein van kleine energie-efficiënte microcontrollers.” MCUNet kan “intelligente computer-visie-mogelijkheden brengen naar zelfs de eenvoudigste keukenapparaten, of meer intelligente bewegingssensoren mogelijk maken.” 

MCUNet verbetert ook de gegevensbeveiliging.  

“Een belangrijk voordeel is het behoud van privacy,” zegt Han. “U hoeft de gegevens niet naar de cloud te verzenden.”

Door gegevens lokaal te analyseren, is er een kleinere kans dat persoonlijke informatie in gevaar komt. 

Bovendien kan MCUNet gegevens analyseren en inzicht geven in informatie zoals hartslag, bloeddruk en zuurstofniveau, diepe leer brengen naar IoT-apparaten in voertuigen en andere plaatsen met beperkte internettoegang, en het koolstofvoetafdruk verminderen door alleen een klein deel van de energie te gebruiken die nodig is voor grote neurale netwerken.