Vækst og beskæring af AI-strategi synes at reducere AI-energiforbrug

Menneskehjernen fungerer med en “vækst og beskæring”-strategi, hvor den først starter med en masse neurale forbindelser og derefter beskærer de ubrugte forbindelser over tid. Nyligt har et hold af AI-forskere anvendt denne tilgang på AI-systemer og fundet, at det kan reducere mængden af energi, der kræves for at træne en AI.

Et hold af forskere fra Princeton University har nyligt udviklet en ny metode til træning af kunstig intelligens-systemer. Denne nye træningsmetode synes at kunne opfylde eller overgå branchestandarderne for nøjagtighed, men den kan gøre det, mens den forbruger langt mindre beregningskraft og dermed mindre energi end traditionelle maskinelæringsmodeller. Over to forskellige artikler har Princeton-forskerne demonstreret, hvordan man kan udvikle et netværk ved at tilføje neuroner og forbindelser til det. De ubrugte forbindelser blev derefter beskåret over tid, så kun de mest effektive og effektive dele af modellen var tilbage.

Niraj Jha, professor i elektroteknik på Princeton, forklarede til Princeton News, at modellen, som forskerne har udviklet, fungerer på en “vækst og beskæring”-paradigme. Jha forklarede, at en menneskehjernes kompleksitet er størst, når vi er omkring tre år gamle, og herefter begynder hjernen at skære de unødvendige synaptiske forbindelser væk. Resultatet er, at den fuldt udviklede hjjerne kan udføre alle de ekstraordinært komplekse opgaver, vi gør hver dag, men den bruger kun omkring halvdelen af alle synapser, den havde på sit højeste. Jha og de andre forskere har efterlignet denne strategi for at forbedre træningen af AI.

Jha forklarede:

“Vores tilgang er, hvad vi kalder en vækst og beskæring-paradigme. Det er lignende med, hvad en hjernes funktion er fra, når vi er babyer til, når vi er småbørn. I det tredje år begynder den menneskelige hjernes at skære forbindelser mellem hjerneceller væk. Denne proces fortsætter ind i voksenlivet, så den fuldt udviklede hjernes fungerer omtrent halvt så godt som på sit højeste. Den voksne hjernes er specialiseret til den træning, vi har givet den. Den er ikke så god til generel læring som en babyhjernes.”

Takket være vækst- og beskærings-teknikken kan lige så gode forudsigelser om mønstre i data lavet med kun en brøkdel af den beregningskraft, der tidligere var nødvendig. Forskerne søger at finde metoder til at reducere energiforbrug og beregningsomkostninger, da det er nøgle til at bringe maskinelæring til små enheder som mobiltelefoner og smartwatche. Reduktion af mængden af energi, der forbruges af maskinelæringsalgoritmer, kan også hjælpe branchen med at reducere sin carbonaftryk. Xiaoliang Dai, den første forfatter på artiklerne, forklarede, at modellerne skal trænes lokalt på grund af, at transmission til skyen kræver meget energi.

Under den første studie forsøgte forskerne at udvikle et værktøj til skabelse af neurale netværk, som de kunne bruge til at udvikle neurale netværk og genskabe nogle af de bedst fungerende netværk fra scratch. Værktøjet hed NeST (Neural network Synthesis Tool), og når det får kun få neuroner og forbindelser, øger det hurtigt i kompleksitet ved at tilføje flere neuroner til netværket. Når netværket opfylder en valgt benchmark, begynder det at beskære sig selv over tid. Mens tidligere netværksmodeller har brugt beskærings-teknikker, var metoden, som Princeton-forskerne udviklede, den første til at tage et netværk og simulere udviklingsstadier, fra “baby” til “småbarn” og endelig til “voksenhjernes”.

Under den anden artikel samarbejdede forskerne med et hold fra University of California-Berkely og Facebook (META ) om at forbedre deres teknik ved hjælp af et værktøj kaldet Chameleon. Chameleon kan starte med det ønskede slutpunkt, de ønskede resultater, og arbejde baglæns for at konstruere det rette neurale netværk. Dette eliminerer meget af det arbejde, der er involveret i at justere et netværk manuelt, og giver ingeniører udgangspunkter, der sandsynligvis er umiddelbart nyttige. Chameleon forudser præstationen af forskellige arkitekturer under forskellige betingelser. En kombination af Chameleon og NeST-rammen kan hjælpe forskningsorganisationer, der mangler tung beregningskraft, med at udnytte kraften af neurale netværk. Ingeniører starter med udgangspunkter, der sandsynligvis er umiddelbart nyttige. Chameleon forudser præstationen af forskellige arkitekturer under forskellige betingelser. Kombinationen af Chameleon og NeST-rammen kan hjælpe forskningsorganisationer, der mangler tung beregningskraft, med at udnytte kraften af neurale netværk.