Vokse og beskjære AI-strategien ser ut til å redusere AI-energibruken

Den menneskelige hjernen opererer med en "vokse og beskjære"-strategi, som først starter med en enorm mengde nevrale forbindelser og deretter beskjærer de ubrukte forbindelsene over tid. Nylig har et team av AI-forskere brukt denne tilnærmingen til AI-systemer og funnet ut at den kan redusere mengden energi som kreves for å trene en AI betydelig.

Et team av forskere fra Princeton University nylig opprettet en ny metode for å trene kunstige intelligenssystemer. Denne nye treningsmetoden ser ut til å kunne møte eller overgå bransjestandardene for nøyaktighet, men den er i stand til å oppnå dette mens den bruker mye mindre beregningskraft, og derfor mindre energi, enn tradisjonelle maskinlæringsmodeller. I løpet av to forskjellige artikler demonstrerte Princeton-forskerne hvordan man kan vokse et nettverk ved å legge til nevroner og forbindelser til det. De ubrukte forbindelsene ble deretter beskåret bort over tid, og etterlot bare de mest effektive og effektive delene av modellen.

Niraj Jha, professor i elektroteknikk ved Princeton, forklarte til Princeton News at modellen som forskerne har utviklet, opererer etter et «ro-og-beskjær-paradigme». Jha forklarte at en menneskehjerne er den mest komplekse den noen gang vil være rundt treårsalderen, og etter dette tidspunktet begynner hjernen å trimme bort unødvendige synaptiske forbindelser. Resultatet er at den fullt utviklede hjernen er i stand til å utføre alle de ekstraordinært komplekse oppgavene vi gjør hver dag, men den bruker omtrent halvparten av alle synapsene den hadde på sitt meste. Jha og de andre forskerne etterlignet denne strategien for å forbedre treningen av AI.

Jha forklarte:

«Vår tilnærming er det vi kaller et vokse-og-beskjære-paradigme. Det ligner på hva en hjerne gjør fra vi er babyer til vi er små. I sitt tredje år begynner den menneskelige hjernen å klippe bort forbindelser mellom hjerneceller. Denne prosessen fortsetter inn i voksen alder, slik at den fullt utviklede hjernen opererer på omtrent halvparten av sin synaptiske topp. Den voksne hjernen er spesialisert til den opplæringen vi har gitt den. Det er ikke like bra for generell læring som en småbarnshjerne.»

Takket være dyrkings- og beskjæringsteknikken kan like gode spådommer gjøres om mønstre i data ved å bruke bare en brøkdel av beregningskraften som tidligere var nødvendig. Forskere tar sikte på å finne metoder for å redusere energiforbruket og beregningskostnadene, siden det er nøkkelen til å bringe maskinlæring til små enheter som telefoner og smartklokker. Å redusere mengden energi som forbrukes av maskinlæringsalgoritmer kan også hjelpe industrien med å redusere karbonfotavtrykket. Xiaoliang Dai, den første forfatteren på avisene, forklarte at modellene må trenes lokalt på grunn av overføring til skyen som krever mye energi.

I løpet av den første studien prøvde forskerne å utvikle et verktøy for å lage nevrale nettverk som de kunne bruke til å konstruere nevrale nettverk og gjenskape noen av de beste nettverkene fra bunnen av. verktøyet ble kalt NeST (Neural Network Synthesis Tool), og når det er utstyrt med bare noen få nevroner og forbindelser, øker det raskt i kompleksitet ved å legge til flere nevroner til nettverket. Når nettverket oppfyller et utvalgt referanseindeks, begynner det å beskjære seg selv over tid. Mens tidligere nettverksmodeller har brukt beskjæringsteknikker, var metoden utviklet av Princeton-forskerne den første som tok et nettverk og simulerte utviklingsstadier, fra "baby" til "småbarn" og til slutt til "voksen hjerne".

Under den andre artikkelen samarbeidet forskerne med et team fra University of California-Berkely og Facebook for å forbedre teknikken deres ved å bruke et verktøy kalt Chameleon. Chameleon er i stand til å starte med det ønskede endepunktet, de ønskede resultatene og jobbe bakover for å konstruere riktig type nevrale nettverk. Dette eliminerer mye av gjettingen som er involvert i å justere et nettverk manuelt, og gir ingeniører startpunkter som sannsynligvis vil være umiddelbart nyttige. Chameleon forutsier ytelsen til forskjellige arkitekturer under forskjellige forhold. Å kombinere Chameleon og NeST-rammeverket kan hjelpe forskningsorganisasjoner som mangler tunge beregningsressurser å dra nytte av kraften til nevrale nettverk.