Forskere bruger memristorer til at skabe mere energibesparende neurale netværk

En af de mindre glamourøse aspekter af kunstig intelligens er, at det ofte kræver en stor mængde proceskraft og derfor ofte har en stor energifodaftryk. Nylig arbejde udført af forskere på UCL har fastlagt en metode til at forbedre en AIs energieffektivitet.

Neurale netværk og maskinlæring er kraftfulde værktøjer, men de mest imponerende bedrifter af kunstig intelligens har ofte en stor energiomkostning forbundet med dem. For eksempel, da OpenAI lærte en robotisk hånd at manipulere en Rubiks kube, blev det anslået, at bedriften krævede omkring 2,8 gigawatt-timer elektricitet.

Ifølge TechExplore, har forskere på UCL designede en ny metode til at generere kunstige neurale netværk. Den nye metode udnytter memristorer til at generere netværket, som er omkring 1000 gange mere energieffektive end netværk skabt med traditionelle metoder. Memristorer er enheder, der kan huske den mængde elektrisk ladning, der sidst flød gennem dem, og bevare denne hukommelsesstat efter, at de er slukket. Dette betyder, at de kan huske deres tilstand, selv hvis en enhed mister strøm. Selvom memristorer først blev teoriseret omkring 50 år siden, var det først i 2008, at en rigtig memristor blev skabt.

Memristorer kaldes af og til for “neuromorfe” beregningsenheder eller “hjerne-inspirerede” enheder. Memristorer ligner byggestenene, som hjernen bruger til at behandle information og skabe hukommelse. De er meget effektive i forhold til de fleste moderne computersystemer. Disse memristoren-enheder har aspekter af kondensatorer og resistorer, og over de sidste 10 år eller så er de blevet fremstillet og brugt i en række hukommelsesenheder. UCL-forskningsholdet håber, at deres forskning vil hjælpe med at få disse enheder brugt til at skabe AI-systemer inden for få år.

Trods deres øgede energieffektivitet er memristorer traditionelt meget mindre effektive end almindelige neurale netværk, men UCL-forskerne fandt en måde at øge nøjagtigheden af memristorer på. Forskerne fandt, at når de brugte mange memristorer, kunne de deles op i flere undergrupper og derefter deres beregninger gennemsnittet sammen. Gennemsnittet af beregningerne hjalp med at udligne fejl i undergrupperne og finde de mere relevante mønstre.

Doktor Adnan Mehonic og ph.d.-studerende Dovydas Joksas (begge UCL Electronic and Electrical Engineering) og deres medforfattere testede denne gennemsnitsmetode på forskellige memristor-typer og fandt, at teknikken syntes at forbedre nøjagtigheden i alle de memristorer, der blev testet, ikke kun en eller to af dem. Nøjagtighedsforbedringen gjaldt for alle grupper, der blev testet, uanset hvilken type materiale memristoren var lavet af.

Ifølge doktor Mehonic, som citeres af TechExplore:

“Vi håbede, at der måske ville være mere generelle tilgange, der forbedrer ikke enhed-niveau, men system-niveau-adfærd, og vi tror, vi har fundet en. Vores tilgang viser, at når det kommer til memristorer, er flere hoveder bedre end ét. At arrangere neuralt netværk i flere mindre netværk i stedet for ét stort netværk ledte til en større nøjagtighed i alt.”

Forskningsholdet var begejstret for at have taget en computer videnskabsteknik og anvendt den på memristorer, og også brugt en almindelig fejlundgåelsesmetode (gennemsnit af beregninger) til at øge nøjagtigheden af memristiske neurale netværk. Studie-medforfatter professor Tony Kenyon fra UCL Electronic & Electrical Engineering mener, at memristorer kunne “spille en førende rolle” i at skabe mere energibæredygtige edge computing-enheder og IoT-enheder.

Memristorer er ikke kun mere energieffektive end traditionelle neurale netværksmodeller, men de kan også let indarbejdes i en håndholdt, mobil enhed. Dette er forventet at være af øgende betydning i den nærmeste fremtid, da der skabes og transmitteres mere data hele tiden, selvom det er svært at øge transmissionskapaciteten ud over et visst punkt. Memristorer kunne hjælpe med at aktivere overførslen af store mængder data til en brøkdel af energiomkostningerne.