Ny kunstig neurondice kan reducere energibehovet for neurale beregninger betydeligt

Forskere ved University of San Diego har udviklet en ny kunstig neurondice, der kan køre neurale beregninger med 100 til 1000 gange mindre energi og areal end den nuværende CMOS-baserede hardware.

Den seneste rapport blev offentliggjort i en artikel den 18. marts i Nature Nanotechnology.

For at generere input til en af de tilkoblede lag af kunstige neuroner i neurale netværk, skal en matematisk beregning kaldet en ikke-lineær aktiveringsfunktion anvendes. Dette kræver dog meget computerkraft og kredsløb på grund af behovet for at overføre data mellem hukommelsen og ekstern processor.

Forskerne ved UC San Diego har udviklet en ny nanometerskala stor enhed, der kan udføre denne aktiveringsfunktion langt mere effektivt.

Duygu Kuzum er professor i elektroteknik og datateknik ved UC San Diego Jacobs School of Engineering.

“Neuralt netværksberegning i hardware bliver stadig mere ineffektiv, efterhånden som neurale netværksmodeller bliver større og mere komplekse,” sagde Kuzum. “Vi har udviklet en enkelt nanoskala kunstig neurondice, der implementerer disse beregninger i hardware på en meget areal- og energivenlig måde.”

Studiet blev ledet af både Kuzum og ph.d.-studerende Shangheon Oh, og de samarbejdede med UC San Diego-fysikprofessor Ivan Schuller, der leder et DOE Energy Frontier Research Center. Centeret er involveret i udviklingen af hardware-implementeringer af energivenlige kunstige neurale netværk.

Den nye enhed

Den nyligt udviklede enhed afhænger af en rektificeret lineær enhed, der er en af de mest almindelige aktiveringsfunktioner, der anvendes i neuralt netværkstræning. Den kræver hardware, der kan undergå gradvise ændringer i modstand, hvilket er, hvad ingeniørerne sigtede mod. Enheden kan gradvist skifte fra en isolerende til en ledende tilstand med en lille mængde varme.

Kaldt en Mott-overgang, sker dette skift i et ekstremt tyndt lag af vanadiumdioksid, og ovenfor dette lag er en nanotrådvarme af titanium og guld. Vanadiumdioksidlaget varmer langsomt op, når strøm flyder gennem nanotråden, og dette forårsager en langsom og kontrolleret skift fra isolerende til ledende.

Oh er studiets første forfatter.

“Denne enhedsarkitektur er meget interessant og innovativ,” sagde Oh. “I dette tilfælde flyder vi strøm gennem en nanotråd oven på materialet for at varme det op og inducere en meget gradvis modstandsændring.”

Implementering af enheden

Til implementering fabrikerede holdet en matrix af aktiveringsenheder og en synaptisk enhedsmatrix, efterfulgt af integrationen af de to på en brugerdefineret printet kredsløbskort. De blev herefter forbundet sammen, hvilket resulterede i en hardwareversion af et neuralt netværk.

Netværket blev brugt til at behandle et billede gennem kantdetektion, hvor konturerne og kanterne af objekter i billedet blev identificeret. Det integrerede hardware-system demonstrerede sin evne til at udføre convolutionoperationer, der er vigtige for forskellige typer af dybe neurale netværk.

“Lige nu er dette en bevis for begrebet,” sagde Kuzum. “Det er et lille system, hvor vi kun stablede ét synaptisk lag med ét aktiveringslag. Ved at stable flere af disse sammen, kunne man oprette et mere komplekst system til forskellige formål.”