Ingeniører udvikler energieffektiv "Early Bird"-metode til at træne dybe neurale netværk

Ingeniører ved Rice University har udviklet en ny metode til træning af dybe neurale netværk (DNN'er) med en brøkdel af den energi, der normalt kræves. DNN'er er den form for kunstig intelligens (AI), der spiller en nøglerolle i udviklingen af ​​teknologier såsom selvkørende biler, intelligente assistenter, ansigtsgenkendelse og andre applikationer.

Early Bird blev beskrevet i detaljer et papir den 29. april af forskere fra Rice og Texas A&M University. Det foregik kl International konference om læringsrepræsentationereller ICLR 2020. 

Studiets hovedforfattere var Haoran You og Chaojian Li fra Rice's Efficient and Intelligent Computing (EIC) Lab. I et studie demonstrerede de, hvordan metoden kunne træne en DNN på samme niveau og nøjagtighed som nutidens metoder, men med 10.7 gange mindre energi. 

Forskningen blev ledet af EIC Lab-direktør Yingyan Lin, Rices Richard Baraniuk og Texas A&M's Zhangyang Wang. Andre medforfattere inkluderer Pengfei Xu, Yonggan Fu, Yue Wang og Xiaohan Chen. 

"En væsentlig drivkraft i de seneste AI-gennembrud er introduktionen af ​​større, dyrere DNN'er," sagde Lin. "Men træning af disse DNN'er kræver betydelig energi. For at afsløre flere innovationer, er det bydende nødvendigt at finde 'grønnere' træningsmetoder, der både adresserer miljøhensyn og reducerer økonomiske barrierer for AI-forskning."

Dyrt at træne DNN'er

Det kan være meget dyrt at træne verdens bedste DNN'er, og prisskiltet stiger fortsat. I 2019 fandt en undersøgelse ledet af Allen Institute for AI i Seattle, at for at træne et dybt neuralt netværk på topniveau, kræves der 300,000 gange flere beregninger sammenlignet med 2012-2018. En anden undersøgelse fra 2019, denne gang ledet af forskere ved University of Massachusetts Amherst, fandt ud af, at ved at træne en enkelt, elite-DNN, frigives omtrent samme mængde kuldioxidemissioner som fem amerikanske biler. 

For at DNN'er kan udføre deres højt specialiserede opgaver, består de af mindst millioner af kunstige neuroner. De er i stand til at lære at træffe beslutninger, som nogle gange overgår mennesker, ved at observere et stort antal eksempler. De kan gøre dette uden behov for eksplicit programmering. 

Beskær og træne

Lin er assisterende professor i elektro- og computerteknik ved Rice's Brown School of Engineering. 

"Den mest avancerede måde at udføre DNN-træning på kaldes progressiv beskæring og træning," sagde Lin. "Først træner du et tæt, kæmpe netværk, og derefter fjerner du dele, der ikke ser vigtige ud – som at beskære et træ. Derefter genopretter du det beskårne netværk for at genoprette ydeevnen, fordi ydeevnen forringes efter beskæring. Og i praksis er du nødt til at beskære og genoptræne mange gange for at få god ydeevne."

Denne metode bruges, da ikke alle de kunstige neuroner er nødvendige for at fuldføre den specialiserede opgave. Forbindelserne mellem neuroner styrkes på grund af træningen, og andre kan kasseres. Denne beskæringsmetode reducerer beregningsomkostningerne og reducerer modelstørrelsen, hvilket gør fuldt trænede DNN'er mere overkommelige. 

"Det første skridt, træning af det tætte, gigantiske netværk, er det dyreste," sagde Lin. "Vores idé i dette arbejde er at identificere det endelige, fuldt funktionelle beskærede netværk, som vi kalder 'early-bird ticket', i begyndelsen af ​​dette kostbare første skridt."

Forskerne gør dette ved at lede efter vigtige netværksforbindelsesmønstre, og de var i stand til at opdage disse tidlige billetter. Dette gjorde det muligt for dem at fremskynde DNN-træningen. 

Early Bird i den begyndende fase af træning

Lin og de andre forskere fandt ud af, at Early Bird kunne dukke op en tiendedel eller mindre af vejen gennem startfasen af ​​træningen. 

"Vores metode kan automatisk identificere early-bird billetter inden for de første 10% eller mindre af træningen af ​​de tætte, gigantiske netværk," sagde Lin. "Det betyder, at du kan træne en DNN til at opnå den samme eller endnu bedre nøjagtighed for en given opgave på omkring 10 % eller mindre af den tid, der er nødvendig for traditionel træning, hvilket kan føre til mere end én ordrebesparelse i både beregning og energi."

Udover at være hurtigere og mere energieffektive har forskerne stor fokus på miljøpåvirkning. 

"Vores mål er at gøre kunstig intelligens både mere miljøvenlig og mere inkluderende," sagde hun. "Alene størrelsen af ​​komplekse AI-problemer har holdt mindre spillere ude. Grøn AI kan åbne døren og gøre det muligt for forskere med en bærbar computer eller begrænsede beregningsressourcer at udforske AI-innovationer."

Forskningen modtog støtte fra National Science Foundation.