Nieuw kunstmatig neuronenapparaat kan de energievraag voor neurale berekeningen aanzienlijk verminderen

Onderzoekers aan de Universiteit van San Diego hebben een nieuw kunstmatig neuronenapparaat ontwikkeld dat neurale berekeningen kan uitvoeren met 100 tot 1000 keer minder energie en oppervlakte dan de huidige CMOS-gebaseerde hardware.

Het recente rapport werd gepubliceerd in een paper op 18 maart in Nature Nanotechnology.

Om de invoer voor een van de verbonden lagen van kunstmatige neuronen in neurale netwerken te genereren, moet een wiskundige berekening genaamd een niet-lineaire activatiefunctie worden toegepast. Echter, deze toepassing vereist veel rekenkracht en schakelingen vanwege de noodzaak om gegevens tussen het geheugen en de externe processor over te dragen.

De onderzoekers aan de UC San Diego ontwikkelden een nieuw nano-meter groot apparaat dat deze activatiefunctie veel efficiënter kan uitvoeren.

Duygu Kuzum is een professor in elektrotechniek en informatica aan de UC San Diego Jacobs School of Engineering.

“Neurale netwerkberekeningen in hardware worden steeds inefficiënter naarmate de neurale netwerkmodellen groter en complexer worden”, zei Kuzum. “We ontwikkelden een enkel nanoschaal kunstmatig neuronenapparaat dat deze berekeningen in hardware op een zeer oppervlakte- en energoefficiënte manier implementeert.”

De studie werd geleid door zowel Kuzum als promovendus Shangheon Oh, en ze werkten samen met UC San Diego natuurkundeprofessor Ivan Schuller, die een DOE Energy Frontier Research Center leidt. Het centrum is betrokken bij de ontwikkeling van hardware-implementaties van energoefficiënte kunstmatige neurale netwerken.

Het nieuwe apparaat

Het nieuw ontwikkelde apparaat is gebaseerd op een rectified linear unit, wat een van de meest gebruikte activatiefuncties is in neurale netwerktraining. Het vereist hardware die geleidelijke veranderingen in weerstand kan ondergaan, wat het doel was van de ingenieurs. Het apparaat kan geleidelijk overschakelen van een isolerende naar een geleidende toestand met een kleine hoeveelheid warmte.

Genoemd een Mott-overgang, vindt deze schakeling plaats in een extreem dunne laag van vanadiumdioxide, en boven deze laag is een nanodraadverwarmer gemaakt van titanium en goud. De vanadiumdioxidelagen verwarmen langzaam op wanneer er stroom door de nanodraad stroomt, en dit veroorzaakt een langzame en gecontroleerde schakeling van isolerend naar geleidend.

Oh is de eerste auteur van de studie.

“Deze apparaatarchitectuur is zeer interessant en innovatief”, zei Oh. “In dit geval stromen we stroom door een nanodraad bovenop het materiaal om het te verwarmen en een zeer geleidelijke weerstandsverandering te induceren.”

Implementatie van het apparaat

Voor de implementatie fabriceerde het team een array van activatiedevices en een synaptische device-array, gevolgd door de integratie van de twee op een aangepaste printplaat. Ze werden vervolgens met elkaar verbonden, waardoor een hardwareversie van een neurale netwerk ontstond.

Het netwerk werd gebruikt om een afbeelding te verwerken door randdetectie, waarbij de omtrekken en randen van objecten in de afbeelding werden geïdentificeerd. Het geïntegreerde hardwaresysteem demonstreerde zijn vermogen om convolutiebewerkingen uit te voeren die belangrijk zijn voor verschillende soorten diepe neurale netwerken.

“Op dit moment is dit een bewijs van concept”, zei Kuzum. “Het is een klein systeem waarin we alleen één synaptische laag met één activatielaag hebben gestapeld. Door meer van deze samen te stapelen, kunt u een complexer systeem maken voor verschillende toepassingen.”