Nová umělá neuronová zařízení může výrazně snížit energetické nároky pro neuronové výpočty

Výzkumníci z Univerzity v San Diegu vyvinuli nové umělá neuronová zařízení, které může běžet neuronové výpočty se 100 až 1000krát nižší spotřebou energie a plochy než současné CMOS-založené hardwarové vybavení.

Tato zpráva byla zveřejněna v článku dne 18. března v Nature Nanotechnology.

Pro generování vstupu pro jednu ze spojovaných vrstev umělých neuronů v neuronových sítích je nutné použít matematický výpočet nazývaný nelineární aktivační funkce. Nicméně, toto použití vyžaduje velké množství počítačové moci a obvodů kvůli potřebě přenosu dat mezi pamětí a externím procesorem.

Výzkumníci z UC San Diego vyvinuli nové nano-metrové zařízení, které může tuto aktivační funkci provádět mnohem efektivněji.

Duygu Kuzum je profesorka elektrotechniky a počítačového inženýrství na UC San Diego Jacobs School of Engineering.

“Neuronová síťová výpočetní činnost v hardwaru se stává stále méně efektivní, jak se neuronové modely stávají většími a složitějšími,” řekla Kuzum. “Vyvinuli jsme jediné nano-měřítkové umělá neuronová zařízení, které implementuje tyto výpočty v hardwaru velmi efektivní cestou.”

Studie byla vedena Duygu Kuzum a Ph.D. studentem Shangheonem Ohem a spolupracovali s profesorem fyziky na UC San Diego Ivanem Schullerem, který vede DOE Energy Frontier Research Center. Centrum se zabývá vývojem hardwarových implementací energeticky efektivní umělých neuronových sítí.

Nové zařízení

Nově vyvinuté zařízení se spoléhá na rectifikovanou lineární jednotku, která je jednou z nejčastěji používaných aktivačních funkcí při trénování neuronových sítí. To vyžaduje hardwarové vybavení, které může podstoupit postupné změny odporu, což je cíl, na který se inženýři zaměřili. Zařízení může postupně přepnout z izolačního do vodivého stavu s malým množstvím tepla.

Tento přepínač se nazývá Mott přechod, který se vyskytuje v extrémně tenké vrstvě vanadu dioxidu a nad touto vrstvou je nanodrátový ohřívač vyrobený z titanu a zlata. Vanad dioxidová vrstva se pomalu zahřívá, když proud prochází nanodrátem, a to způsobuje pomalý a řízený přepínač z izolačního do vodivého.

Oh je prvním autorem studie.

“Tato architektura zařízení je velmi zajímavá a inovativní,” řekl Oh. “V tomto případě proudíme proud přes nanodrát na vrcholu materiálu, aby se zahřál a indukoval velmi postupnou změnu odporu.”

Implementace zařízení

Pro implementaci tým vyrobil pole aktivačních zařízení a synaptické zařízení, následované integrací obou na vlastním tištěném obvodu. Byly poté propojeny, což vedlo k hardwarové verzi neuronové sítě.

Síť byla použita pro zpracování obrazu pomocí detekce hran, identifikace obrysů a hran objektů v obraze. Integrovaný hardwarový systém prokázal svou schopnost provádět konvoluční operace, které jsou důležité pro různé typy hlubokých neuronových sítí.

“V současné době je to koncept,” řekla Kuzum. “Je to malé systému, ve kterém jsme pouze nakumulovali jednu synaptickou vrstvu s jednou aktivační vrstvou. Pokud bychom nakumulovali více z nich, mohli bychom vytvořit složitější systém pro různé aplikace.”