Ingeniører utvikler energivennlig “Early Bird”-metode for å trene dypt neurale nettverk

Ingeniører ved Rice University har utviklet en ny metode for å trene dypt neurale nettverk (DNNs) med en brøkdel av den energi som normalt kreves. DNNs er formen for kunstig intelligens (AI) som spiller en nøkkelrolle i utviklingen av teknologier som selvkjørende biler, intelligente assistenter, ansiktsgjenkjenning og andre applikasjoner.

Early Bird ble detaljert i en artikkel den 29. april av forskere fra Rice og Texas A&M University. Det skjedde på Den internasjonale konferansen om læring av representasjoner, eller ICLR 2020.

Studiets hovedforfattere var Haoran You og Chaojian Li fra Rice’s Efficient og Intelligent Computing (EIC) Lab. I en studie viste de hvordan metoden kunne trene et DNN på samme nivå og nøyaktighet som dagens metoder, men med 10,7 ganger mindre energi.

Forskningen ble ledet av EIC Lab-sjef Yingyan Lin, Rice’s Richard Baraniuk og Texas A&M’s Zhangyang Wang. Andre medforfattere inkluderer Pengfei Xu, Yonggan Fu, Yue Wang og Xiaohan Chen.

“En stor drivkraft i de seneste AI-gjennombruddene er innføringen av større, mer dyre DNNs,” sa Lin. “Men å trene disse DNNs krever betydelig energi. For å avdekke flere innovasjoner er det avgjørende å finne ‘grønnere’ treningsmetoder som både løser miljøproblemer og reduserer økonomiske barrierer for AI-forskning.”

Dyrt å trene DNNs

Det kan være svært dyrt å trene verdens beste DNNs, og prislappen fortsetter å øke. I 2019 fant en studie ledet av Allen Institute for AI i Seattle ut at for å trene et toppmoderne dypt neuralt nettverk, trengs 300 000 ganger flere beregninger enn i 2012-2018. En annen studie i 2019, denne gang ledet av forskere ved University of Massachusetts Amherst, fant ut at ved å trene et enkelt, elite-DNN, ble omtrent like mye karbondioksid utslipp som fem amerikanske biler.

For å utføre sine svært spesialiserte oppgaver består DNNs av minst millioner av kunstige nerver. De kan lære å fatte beslutninger, noen ganger bedre enn mennesker, ved å observere store mengder eksempler. De kan gjøre dette uten å trenge eksplisitt programmering.

Kutt og trene

Lin er en assistentprofessor i elektro- og datateknikk ved Rice’s Brown School of Engineering.

“Den beste måten å utføre DNN-trening på er kalt progressiv kutt og trening,” sa Lin. “Først trenes et tett, stort nettverk, deretter fjernes deler som ikke ser viktige ut – som å kutte et tre. Deretter trenes det kuttede nettverket på nytt for å gjenopprette ytelsen, fordi ytelsen forverres etter kutt. Og i praksis må du kutte og trenes mange ganger for å få god ytelse.”

Denne metoden brukes fordi ikke alle kunstige nerver er nødvendige for å fullføre den spesialiserte oppgaven. Forbindelsene mellom nerverne styrkes på grunn av treningen, og andre kan kastes. Denne kuttmetoden reduserer beregningskostnadene og minsker modellstørrelsen, noe som gjør fullt trenede DNNs mer overkommelige.

“Det første steget, å trene det tette, store nettverket, er det dyreste,” sa Lin. “Vårt ide i denne arbeidet er å identifisere det endelige, fullt funksjonelle kuttede nettverket, som vi kaller ‘early-bird-billett’, i begynnelsesfasen av dette dyre første steget.”

Forskerne gjør dette ved å se etter nøkkelnettverksmønster, og de var i stand til å oppdage disse early-bird-billettene. Dette tillot dem å påskynde DNN-treningen.

Early Bird i begynnelsesfasen av trening

Lin og de andre forskerne fant ut at Early Bird kunne dukke opp en tiendedel eller mindre gjennom begynnelsesfasen av trening.

“Vår metode kan automatisk identifisere early-bird-billetter innen de første 10% eller mindre av treningen av det tette, store nettverket,” sa Lin. “Dette betyr at du kan trene et DNN for å oppnå samme eller enda bedre nøyaktighet for en gitt oppgave på omtrent 10% eller mindre av tiden som trengs for tradisjonell trening, noe som kan føre til mer enn en rekke besparelser i både beregning og energi.”

Foruten å være raskere og mer energivennlig, har forskerne et sterkt fokus på miljøpåvirkning.

“Vårt mål er å gjøre AI både mer miljøvennlig og mer inkluderende,” sa hun. “Størrelsen på komplekse AI-problemer har holdt små spillere ute. Grønn AI kan åpne døren for å enable forskere med en bærbar datamaskin eller begrenset beregningskraft til å utforske AI-innovasjoner.”

Forskningen mottok støtte fra National Science Foundation.