Öka och beskär AI-strategi verkar minska AI-energiförbrukning

Människohjärnan fungerar med en “väx och beskär”-strategi, som initialt börjar med en stor mängd neurala anslutningar och sedan beskär de outnyttjade anslutningarna över tid. Nyligen har ett team av AI-forskare tillämpat denna strategi på AI-system och funnit att den kan minska den mängd energi som krävs för att träna en AI.

Ett team av forskare från Princeton University skapade nyligen en ny metod för att träna artificiella intelligenssystem. Denna nya träningsmetod verkar kunna uppfylla eller överträffa branschstandarderna för noggrannhet, men den kan göra detta medan den förbrukar mycket mindre beräkningskraft och därmed mindre energi än traditionella maskinlärningsmodeller. Under två olika artiklar demonstrerade Princeton-forskarna hur man kan växa ett nätverk genom att lägga till neuroner och anslutningar till det. De outnyttjade anslutningarna beskars sedan bort över tid, vilket lämnade bara de mest effektiva och effektiva delarna av modellen.

Niraj Jha, professor i elektroteknik vid Princeton, förklarade för Princeton News att modellen som utvecklats av forskarna fungerar på ett “väx och beskär”-paradigm. Jha förklarade att en människas hjärna är som mest komplex vid cirka tre års ålder, och efter denna punkt börjar hjärnan beskära bort outnyttjade synaptiska anslutningar. Resultatet är att den fullt utvecklade hjärnan kan utföra alla de exceptionellt komplexa uppgifter vi gör varje dag, men den använder bara cirka hälften av alla synapser den hade som mest. Jha och de andra forskarna imiterade denna strategi för att förbättra AI-träningen.

Jha förklarade:

“Vår strategi är vad vi kallar ett väx och beskär-paradigm. Det är liknande det som en hjärna gör från det att vi är ett spädbarn till det att vi är ett barn. I dess tredje år börjar den mänskliga hjärnan klippa bort anslutningar mellan hjärnceller. Denna process fortsätter in i vuxen ålder, så att den fullt utvecklade hjärnan fungerar vid cirka hälften av sin synaptiska topp. Den vuxna hjärnan är specialiserad för den träning vi har gett den. Den är inte lika bra för allmän inlärning som en hjärna hos ett barn.”

Tack vare väx- och beskärtekniken kan lika bra förutsägelser göras om mönster i data med bara en bråkdel av den beräkningskraft som tidigare krävdes. Forskare syftar till att hitta metoder för att minska energiförbrukning och beräkningskostnad, eftersom detta är nyckeln till att ta med maskinlärning till små enheter som telefoner och smartklockor. Att minska den mängd energi som förbrukas av maskinlärningsalgoritmer kan också hjälpa branschen att minska sin koldioxidavtryck. Xiaoliang Dai, den första författaren på artiklarna, förklarade att modellerna måste tränas lokalt på grund av att överföring till molnet kräver mycket energi.

Under den första studien försökte forskarna utveckla ett verktyg för att skapa neurala nätverk som de kunde använda för att konstruera neurala nätverk och återskapa några av de bäst presterande nätverken från scratch. Verktyget kallades NeST (Neural network Synthesis Tool), och när det tillhandahålls med bara några neuroner och anslutningar ökar det snabbt i komplexitet genom att lägga till fler neuroner i nätverket. När nätverket uppfyller en vald benchmark börjar det beskära sig själv över tid. Medan tidigare nätverksmodeller har använt beskärtekniker var metoden som konstruerades av Princeton-forskarna den första som tog ett nätverk och simulerade utvecklingsstadier, från “spädbarn” till “barn” och slutligen till “vuxen hjärna”.

Under den andra artikeln samarbetade forskarna med ett team från University of California-Berkely och Facebook (META ) för att förbättra sin teknik med hjälp av ett verktyg som kallas Chameleon. Chameleon kan starta med det önskade slutmålet, de önskade resultaten, och arbeta bakåt för att konstruera rätt typ av neuralt nätverk. Detta eliminerar mycket av gissningen som är involverad i att justera ett nätverk manuellt, vilket ger ingenjörer utgångspunkter som sannolikt är omedelbart användbara. Chameleon förutsäger prestandan för olika arkitekturer under olika förhållanden. Att kombinera Chameleon och NeST-ramverket kan hjälpa forskningsorganisationer som saknar tunga beräkningsresurser att dra nytta av kraften i neurala nätverk.