Forskere bruker memristorer til å lage mer energivennlige nevralt nettverk

En av de mindre glamorøse aspektene ved kunstig intelligens er at den ofte krever en stor mengde prosesseringskraft og derfor ofte har en stor energifotavtrykk. Nylig arbeid utført av forskere ved UCL har funnet en metode for å forbedre en AI sin energieffektivitet.

Neurale nettverk og maskinlæring er kraftfulle verktøy, men de mest imponerende bedriftene innen kunstig intelligens har vanligvis en stor energikostnaden forbundet med dem. For eksempel, da OpenAI lærte en robotisk hånd å manipulere en Rubiks kube, ble det anslått at bedriften kreve rundt 2,8 gigawatt-timer med elektrisitet.

Ifølge TechExplore, har forskere ved UCL designet en ny metode for å generere kunstige neurale nettverk. Den nye metoden bruker memristorer til å generere nettverket, som er rundt 1000 ganger mer energieffektive enn nettverk skapt med tradisjonelle metoder. Memristorer er enheter som kan huske mengden elektrisk ladning som sist strømmet gjennom dem, og bevare denne minnetilstanden etter at de er blitt slått av. Dette betyr at de kan huske sin tilstand selv om en enhet mister kraften. Selv om memristorer først ble teoretisert for rundt 50 år siden, var det ikke før 2008 at en ekte memristor ble skapt.

Memristorer omtales av og til som “neuromorfe” datamaskiner eller “hjernen-inspirerte” enheter. Memristorer er lignende på byggeklossene hjernen bruker til å prosessere informasjon og skape minner. De er svært effektive sammenlignet med de fleste moderne datamaskinsystemer. Disse memristorenhetene besitter aspekter av kondensatorer og resistanser, og over de siste ti årene eller så har de blitt produsert og brukt i en rekke minneenheter. UCL-forskningslaget håper at deres forskning vil hjelpe disse enhetene å bli brukt til å skape AI-systemer innen noen få år.

Til tross for deres økte energieffektivitet er memristorer tradisjonelt mye mindre effektive enn vanlige neurale nettverk, men UCL-forskerne fant en måte å øke nøyaktigheten til memristorer på. Forskerne fant ut at når de brukte mange memristorer, kunne de deles inn i flere undergrupper og deretter deres beregninger gjennomsnittlig sammen. Gjennomsnittlig beregning hjalp feil i undergruppene å kansellere hverandre ut og de mer relevante mønstrene å bli funnet.

Doktor Adnan Mehonic og Ph.D.-student Dovydas Joksas (begge UCL Electronic and Electrical Engineering) og deres medforfattere testet denne gjennomsnittlige tilnærmingen over flere typer memristorer og fant at teknikken syntes å forbedre nøyaktigheten i alle de forskjellige memristorene som ble testet, ikke bare en eller to av dem. Nøyaktighetsforbedringene gjaldt for alle gruppene som ble testet, uavhengig av materialet memristoren var laget av.

Ifølge doktor Mehonic, som er sitert av TechExplore:

“Vi håpet at det måtte finnes mer generiske tilnærminger som forbedrer ikke enhetsnivået, men systemnivået, og vi tror vi fant en. Vår tilnærming viser at, når det gjelder memristorer, er flere hoder bedre enn ett. Å organisere det neurale nettverket i flere mindre nettverk i stedet for ett stort nettverk ledet til større nøyaktighet totalt sett.”

Forskningslaget var ivrige etter å ha tatt en datavitenskapelig teknikk og anvendt den på memristorer, og også brukt en vanlig feilunngåelsesteknikk (gjennomsnittlig beregning) for å øke nøyaktigheten til memristiske neurale nettverk. Studie-medforfatter professor Tony Kenyon ved UCL Electronic & Electrical Engineering tror at memristorer kunne “spille en ledende rolle” i å skape mer energibærekraftige randenhet og IoT-enhet.

Memristorer er ikke bare mer energieffektive enn tradisjonelle neurale nettverksmodeller, men de kan også lett inkluderes i en håndholdt, mobil enhet. Dette er forventet å være av økende betydning i den nærmeste fremtiden, ettersom mer data blir skapt og overført hele tiden, selv om det er vanskelig å øke overføringskapasiteten utover et visst punkt. Memristorer kunne hjelpe med å muliggjøre overføring av store mengder data til en brøkdel av energikosten.