Att växa och beskära AI-strategi verkar minska AI-energianvändningen

Den mänskliga hjärnan arbetar med en "växa och beskära"-strategi, som till en början börjar med en enorm mängd neurala kopplingar och sedan beskär de oanvända kopplingarna över tiden. Nyligen har ett team av AI-forskare tillämpat detta tillvägagångssätt på AI-system och funnit att det avsevärt kan minska mängden energi som krävs för att träna en AI.

Ett team av forskare från Princeton University skapade nyligen en ny metod för att träna artificiell intelligens. Denna nya träningsmetod verkar kunna möta eller överträffa branschstandarderna för noggrannhet, men den kan åstadkomma detta samtidigt som den förbrukar mycket mindre beräkningskraft, och därför mindre energi, än traditionella maskininlärningsmodeller. Under loppet av två olika artiklar visade Princeton-forskarna hur man odlar ett nätverk genom att lägga till neuroner och anslutningar till det. De oanvända anslutningarna beskärs sedan bort med tiden, vilket bara lämnade de mest effektiva och effektiva delarna av modellen.

Niraj Jha, professor i elektroteknik vid Princeton, förklarade för Princeton News att modellen som utvecklats av forskarna fungerar enligt ett "rad-och-rensa-paradigm". Jha förklarade att en människas hjärna är som mest komplex den någonsin kommer att vara vid ungefär tre års ålder, och efter denna tidpunkt börjar hjärnan trimma bort onödiga synaptiska kopplingar. Resultatet är att den fullt utvecklade hjärnan kan utföra alla de extremt komplexa uppgifter vi gör varje dag, men den använder ungefär hälften av alla synapser den hade som mest. Jha och de andra forskarna härmade denna strategi för att förbättra träningen av AI.

Jha förklarade:

"Vårt tillvägagångssätt är vad vi kallar ett odla-och-beskär-paradigm. Det liknar vad en hjärna gör från när vi är små till när vi är små. Under sitt tredje år börjar den mänskliga hjärnan klippa bort kopplingar mellan hjärnceller. Denna process fortsätter in i vuxen ålder, så att den fullt utvecklade hjärnan arbetar på ungefär hälften av sin synaptiska topp. Den vuxna hjärnan är specialiserad på vilken träning vi än har gett den. Det är inte lika bra för allmäninlärning som en hjärna för småbarn.”

Tack vare odlings- och beskärningstekniken kan lika bra förutsägelser göras om mönster i data med bara en bråkdel av den beräkningskraft som tidigare krävdes. Forskare siktar på att hitta metoder för att minska energiförbrukningen och beräkningskostnaderna, eftersom det är nyckeln till att föra maskininlärning till små enheter som telefoner och smarta klockor. Att minska mängden energi som förbrukas av maskininlärningsalgoritmer kan också hjälpa industrin att minska sitt koldioxidavtryck. Xiaoliang Dai, den första författaren på tidningarna, förklarade att modellerna måste tränas lokalt på grund av att överföring till molnet kräver mycket energi.

Under loppet av den första studien försökte forskarna utveckla ett verktyg för att skapa neurala nätverk som de kunde använda för att konstruera neurala nätverk och återskapa några av de högst presterande nätverken från grunden. verktyget kallades NeST (Neural Network Synthesis Tool), och när det är försett med bara några få neuroner och anslutningar ökar det snabbt i komplexitet genom att lägga till fler neuroner i nätverket. När nätverket uppfyller ett utvalt riktmärke börjar det beskära sig självt med tiden. Medan tidigare nätverksmodeller har använt beskärningstekniker, var metoden som konstruerats av Princeton-forskarna den första som tog ett nätverk och simulerade utvecklingsstadier, från "bebis" till "småbarn" och slutligen till "vuxen hjärna".

Under den andra uppsatsen samarbetade forskarna med ett team från University of California-Berkely och Facebook för att förbättra sin teknik med hjälp av ett verktyg som heter Chameleon. Chameleon kan börja med den önskade slutpunkten, de önskade resultaten och arbeta bakåt för att konstruera rätt typ av neurala nätverk. Detta eliminerar mycket av gissningarna som är involverade i att justera ett nätverk manuellt, vilket ger ingenjörer startpunkter som sannolikt kommer att vara omedelbart användbara. Chameleon förutsäger prestanda för olika arkitekturer under olika förhållanden. Att kombinera Chameleon och NeST-ramverket kan hjälpa forskningsorganisationer som saknar tunga beräkningsresurser att dra nytta av kraften i neurala nätverk.