Ny kunstig nevronteknologi kan redusere energibehovet for neurale beregninger betydelig

Forskere ved University of San Diego har utviklet en ny kunstig nevronteknologi som kan kjøre neurale beregninger med 100 til 1000 ganger mindre energi og areal enn dagens CMOS-baserte hardware.

Den nylige rapporten ble publisert i en artikkel den 18. mars i Nature Nanotechnology.

For å generere innputt for en av de tilkoblede lagene av kunstige nevroner i neurale nettverk, må en matematisk beregning kalt en ikke-lineær aktiveringsfunksjon brukes. Men denne anvendelsen krever mye datamaskinkraft og kretskort på grunn av behovet for å overføre data mellom minne og ekstern prosessor.

Forskerne ved UC San Diego utviklet en ny nanometerskala stor enhet som kan utføre denne aktiveringsfunksjonen mye mer effektivt.

Duygu Kuzum er professor i elektro- og datateknikk ved UC San Diego Jacobs School of Engineering.

“Neuralt nettverksberegning i hardware blir stadig mindre effektiv når neuralt nettverksmodell blir større og mer kompleks,” sa Kuzum. “Vi utviklet en enkelt nanoskala kunstig nevronteknologi som implementerer disse beregningene i hardware på en meget areal- og energieffektiv måte.”

Studien ble ledet av både Kuzum og Ph.D.-student Shangheon Oh, og de samarbeidet med UC San Diego fysikkprofessor Ivan Schuller, som leder et DOE Energy Frontier Research Center. Senteret er involvert i å utvikle hardware-implementeringer av energieffektive kunstige neurale nettverk.

Den nye enheten

Den nylig utviklede enheten baserer seg på en rektifisert lineær enhet, som er en av de mest vanlige aktiveringsfunksjonene som brukes i neuralt nettverks trening. Den krever hardware som kan undergå gradvis endringer i motstand, som er hva ingeniørene rettet seg mot. Enheten kan gradvis skifte fra en isolerende til en ledende tilstand med en liten mengde varme.

Betegnet som en Mott-overgang, skjer denne skiftningen i et ekstremt tynt lag av vanadiumdioksid, og over dette laget er en nanotråd-varmer av titan og gull. Vanadiumdioksid-laget varmer langsomt opp når strøm flyter gjennom nanotråden, og dette forårsaker en langsom og kontrollert skift fra isolerende til ledende.

Oh er studiens første forfatter.

“Denne enhetsarkitekturen er veldig interessant og innovativ,” sa Oh. “I dette tilfelle flyter vi strøm gjennom en nanotråd på toppen av materialet for å varme det og indusere en meget gradvis motstandsforandring.”

Implementering av enheten

For implementering, fabrikkerte teamet en array av aktiveringsenheter og en synaptisk enhetsarray, fulgt av integrering av de to på et tilpasset trykt kretskort. De ble deretter koblet sammen, noe som resulterte i en hardware-versjon av et neuralt nettverk.

Nettverket ble brukt til å prosessere et bilde gjennom kantdeteksjon, som identifiserer konturene og kantene av objekter i bildet. Det integrerte hardware-systemet demonstrerte sin evne til å utføre konvolusjonsoperasjoner som er viktige for ulike typer dype neurale nettverk.

“For øyeblikket er dette en bevis på konsept,” sa Kuzum. “Det er et lite system hvor vi bare stablet ett synapselag med ett aktiveringslag. Ved å stable flere av disse sammen, kunne du lage et mer komplekst system for ulike anvendelser.”