Ingenjörer utvecklar energisnålt “Early Bird”-metod för att träna djupa neuronnätverk

Ingenjörer vid Rice University har utvecklat en ny metod för att träna djupa neuronnätverk (DNN) med en bråkdel av den energi som normalt krävs. DNN är den form av artificiell intelligens (AI) som spelar en nyckelroll i utvecklingen av teknologier som självkörande bilar, intelligenta assistenter, ansiktsigenkänning och andra tillämpningar.

Early Bird presenterades i en rapport den 29 april av forskare från Rice och Texas A&M University. Det ägde rum vid International Conference on Learning Representations, eller ICLR 2020.

Studiens huvudförfattare var Haoran You och Chaojian Li från Rice’s Efficient and Intelligent Computing (EIC) Lab. I en studie visade de hur metoden kunde träna ett DNN på samma nivå och precision som dagens metoder, men med 10,7 gånger mindre energi.

Forskningen leddes av EIC Lab-direktören Yingyan Lin, Rice’s Richard Baraniuk och Texas A&M’s Zhangyang Wang. Andra medförfattare inkluderar Pengfei Xu, Yonggan Fu, Yue Wang och Xiaohan Chen.

“En stor drivkraft bakom de senaste AI-genombrotten är introduktionen av större och dyrare DNN”, sa Lin. “Men att träna dessa DNN kräver betydande energi. För att fler innovationer ska kunna presenteras är det nödvändigt att hitta ‘grönare’ träningsmetoder som både tillgodoser miljöaspekter och minskar de ekonomiska hindren för AI-forskning.”

Dyrt att träna DNN

Det kan vara mycket dyrt att träna världens bästa DNN, och prislappen fortsätter att öka. 2019 fann en studie ledd av Allen Institute for AI i Seattle att för att träna ett toppmodernt djupt neuronnätverk behövs 300 000 gånger fler beräkningar jämfört med 2012-2018. En annan studie från 2019, denna gång ledd av forskare vid University of Massachusetts Amherst, fann att genom att träna ett enda, elit-DNN släpps ut ungefär samma mängd koldioxidutsläpp som fem amerikanska bilar.

För att DNN ska kunna utföra sina högt specialiserade uppgifter består de av minst miljontals artificiella neuroner. De kan lära sig att fatta beslut, ibland bättre än människor, genom att observera stora mängder exempel. De kan göra detta utan att behöva explicit programmering.

Beskriv och träna

Lin är biträdande professor i elektroteknik och datateknik vid Rice’s Brown School of Engineering.

“Det vanligaste sättet att utföra DNN-träning är kallat progressiv beskärning och träning”, sa Lin. “Först tränar du ett tätt, stort nätverk, sedan tar du bort delar som inte verkar viktiga – som att beskära ett träd. Sedan tränar du om det beskurna nätverket för att återställa prestanda eftersom prestanda försämras efter beskärning. Och i praktiken behöver du beskära och träna om många gånger för att få bra prestanda.”

Denna metod används eftersom inte alla artificiella neuroner behövs för att slutföra den specialiserade uppgiften. Anslutningarna mellan neuroner förstärks på grund av träningen, och andra kan kastas bort. Denna beskärningsmetod minskar beräkningskostnaderna och minskar modellens storlek, vilket gör att fullt utbildade DNN blir mer överkomliga.

“Det första steget, att träna det täta, stora nätverket, är det dyraste”, sa Lin. “Vår idé i detta arbete är att identifiera det slutliga, fullt fungerande beskurna nätverket, som vi kallar ‘early-bird-biljetten’, i början av detta dyra första steg.”

Forskarna gör detta genom att leta efter viktiga nätverksanslutningsmönster, och de kunde upptäcka dessa early-bird-biljetter. Detta möjliggjorde för dem att påskynda DNN-träningen.

Early Bird i början av träningsfasen

Lin och de andra forskarna fann att Early Bird kunde dyka upp en tiondel eller mindre av vägen genom början av träningsfasen.

“Vår metod kan automatiskt identifiera early-bird-biljetter inom de första 10% eller mindre av träningsfasen för de täta, stora nätverken”, sa Lin. “Detta innebär att du kan träna ett DNN för att uppnå samma eller ännu bättre precision för en given uppgift på ungefär 10% eller mindre av den tid som behövs för traditionell träning, vilket kan leda till mer än en ordning besparingar i både beräkning och energi.”

Förutom att vara snabbare och mer energisnål har forskarna ett starkt fokus på miljöpåverkan.

“Vårt mål är att göra AI både mer miljövänlig och mer inkluderande”, sa hon. “Den rena storleken på komplexa AI-problem har hållit små aktörer utanför. Grön AI kan öppna dörren för att möjliggöra för forskare med en laptop eller begränsade beräkningsresurser att utforska AI-innovationer.”

Forskningen fick stöd från National Science Foundation.