Vokser og beskjær AI-strategi ser ut til å redusere AI-energibruken

Menneskehjernen opererer med en “vokser og beskjær” strategi, som først starter med en massiv mengde neurale forbindelser og deretter beskjærer bort de ubrukte forbindelsene over tid. Nylig har et team av AI-forskere anvendt denne tilnærmingen til AI-systemer og funnet ut at det kan redusere mengden energi som trengs for å trene en AI betydelig.

Et team av forskere fra Princeton University har nylig utviklet en ny metode for å trene kunstig intelligens-systemer. Denne nye treningsmetoden ser ut til å kunne møte eller overgå bransjestandardene for nøyaktighet, men den kan gjøre dette mens den forbruker mye mindre beregningskraft og dermed mindre energi enn tradisjonelle maskinlæringsmodeller. Over to forskjellige papirer har Princeton-forskerne demonstrert hvordan de kan vokse et nettverk ved å legge til neuroner og forbindelser. De ubrukte forbindelsene ble deretter beskjåret over tid, og bare de mest effektive og effisiente delene av modellen ble igjen.

Niraj Jha, professor i elektroteknikk ved Princeton, forklarte til Princeton-nyheter at modellen utviklet av forskerne opererer på et “vokser og beskjær” paradigme. Jha forklarte at en menneskehjernen er mest kompleks den noen gang vil være rundt tre års alder, og etter dette punktet begynner hjernen å kutte bort ubrukte synaptiske forbindelser. Resultatet er at den fullt utviklede hjernen kan utføre alle de usedvanlig komplekse oppgavene vi gjør hver dag, men den bruker omtrent halvparten av alle synapsene den hadde på sitt høyeste. Jha og de andre forskerne imiterte denne strategien for å forbedre treningsmetoden for AI.

Jha forklarte:

“Vår tilnærming er det vi kaller et vokser og beskjær paradigme. Det er lignende til det en hjernen gjør fra vi er babyer til vi er småbarn. I sitt tredje år begynner menneskehjernen å kutte bort forbindelser mellom hjerneceller. Denne prosessen fortsetter inn i voksen alder, så den fullt utviklede hjernen opererer omtrent halvparten av sin synaptiske topp. Den voksne hjernen er spesialisert for det vi har lært den. Den er ikke like god til generell læring som en småbarnshjernen.”

Takk til vokse- og beskjær-teknikken kan like gode forutsigelser gjøres om mønster i data ved å bruke bare en brøkdel av den beregningskraften som tidligere var nødvendig. Forskerne søker å finne metoder for å redusere energiforbruket og beregningskostnadene, da dette er nøkkel til å bringe maskinlæring til små enheter som mobiltelefoner og smartklokker. Redusere mengden energi som forbrukes av maskinlæringsalgoritmer kan også hjelpe industrien til å redusere sin karbonfotavtrykk. Xiaoliang Dai, den første forfatteren på papirene, forklarte at modellene må trenes lokalt på grunn av at overføring til skyen krever mye energi.

I løpet av den første studien prøvde forskerne å utvikle et verktøy for å skape neurale nettverk som de kunne bruke til å konstruere neurale nettverk og gjenskape noen av de høyest presterende nettverkene fra scratch. Verktøyet het NeST (Neural network Synthesis Tool), og når det blir gitt noen få neuroner og forbindelser, øker det raskt i kompleksitet ved å legge til flere neuroner til nettverket. Når nettverket møter en valgt benchmark, begynner det å beskjære seg selv over tid. Mens tidligere nettverksmodeller har brukt beskjæringsmetoder, var metoden konstruert av Princeton-forskerne den første til å ta et nettverk og simulere utviklingsstadier, fra “baby” til “småbarn” og til slutt “voksen hjernen”.

I den andre artikkelen samarbeidet forskerne med et team fra University of California-Berkely og Facebook (META ) for å forbedre sin metode ved å bruke et verktøy kalt Chameleon. Chameleon kan starte med det ønskede sluttpunktet, de ønskede resultater, og arbeide bakover for å konstruere riktig type neuralt nettverk. Dette eliminerer mye av gjetningen som er involvert i å justere et nettverk manuelt, og gir ingeniører utgangspunkter som sannsynligvis er umiddelbart nyttige. Chameleon forutsier ytelsen til forskjellige arkitekturer under forskjellige forhold. Kombinasjon av Chameleon og NeST-rammeverket kan hjelpe forskningsorganisasjoner som mangler tung beregningskraft til å dra nytte av kraften til neurale nettverk.