Ingeniører udvikler energieffektiv “Early Bird”-metode til træning af dybe neurale netværk

Ingeniører fra Rice University har udviklet en ny metode til træning af dybe neurale netværk (DNN) med en brøkdel af den energi, der normalt kræves. DNN’er er den form for kunstig intelligens (AI), der spiller en nøglerolle i udviklingen af teknologier som selvstyrende biler, intelligente assistenter, ansigtsgenkendelse og andre anvendelser.

Early Bird blev detaljeret i en artikel den 29. april af forskere fra Rice og Texas A&M University. Det fandt sted på International Conference on Learning Representations, eller ICLR 2020.

Studiet blev ledet af Haoran You og Chaojian Li fra Rice’s Efficient and Intelligent Computing (EIC) Lab. I en studie demonstrerede de, hvordan metoden kunne træne et DNN på samme niveau og nøjagtighed som dagens metoder, men med 10,7 gange mindre energi.

Forskningen blev ledet af EIC Lab-direktør Yingyan Lin, Rice’s Richard Baraniuk og Texas A&M’s Zhangyang Wang. Andre medforfattere inkluderer Pengfei Xu, Yonggan Fu, Yue Wang og Xiaohan Chen.

“En stor drivkraft bag de seneste AI-gennembrud er introduktionen af større, mere dyre DNN’er,” sagde Lin. “Men træning af disse DNN’er kræver betydelig energi. For at flere innovationer kan offentliggøres, er det afgørende at finde ‘grønnere’ træningsmetoder, der både kan løse miljøproblemer og reducere de finansielle barrierer for AI-forskning.”

Dyrt at træne DNN’er

Det kan være meget dyrt at træne verdens bedste DNN’er, og prislappen fortsætter med at stige. I 2019 fandt en studie ledet af Allen Institute for AI i Seattle, at for at træne et top-flight dybt neuralt netværk, er 300.000 gange flere beregninger nødvendige sammenlignet med 2012-2018. En anden studie fra 2019, denne gang ledet af forskere fra University of Massachusetts Amherst, fandt, at ved at træne et enkelt, elite-DNN, udledes omkring samme mængde kulstofdioxyd som fem amerikanske biler.

For at DNN’er kan udføre deres højtspecialiserede opgaver, består de af mindst millioner af kunstige neuroner. De kan lære at træffe beslutninger, nogle gange bedre end mennesker, ved at observere store mængder af eksempler. De kan gøre dette uden at have brug for eksplicit programmering.

Beskriv og træn

Lin er adjunkt i elektroteknik og datateknik på Rice’s Brown School of Engineering.

“Den nuværende metode til at udføre DNN-træning kaldes progressiv beskæring og træning,” sagde Lin. “Først træner du et tæt, stort netværk, derefter fjerner du dele, der ikke ser vigtige ud – som at beskære et træ. Derefter træner du det beskårne netværk igen for at genskabe ydelsen, fordi ydelsen forringes efter beskæring. Og i praksis har du brug for at beskære og træne mange gange for at opnå god ydelse.”

Denne metode bruges, da ikke alle kunstige neuroner er nødvendige for at udføre den specialiserede opgave. Forbindelserne mellem neuronerne styrkes på grund af træningen, og andre kan kasseres. Denne beskæringsmetode reducerer beregningsomkostningerne og reducerer modelstørrelsen, hvilket gør fuldt trænede DNN’er mere overkommelige.

“Det første trin, træning af det tætte, store netværk, er det dyreste,” sagde Lin. “Vores idé i dette arbejde er at identificere det endelige, fuldt fungerende beskårne netværk, som vi kalder ‘early-bird-billetten’, i begyndelsen af dette dyre første trin.”

Forskerne gør dette ved at lede efter nøgle-netværksforbindelsesmønstre, og de var i stand til at opdage disse early-bird-billetter. Dette tillod dem at accelerere DNN-træningen.

Early Bird i begyndelsen af træningsfasen

Lin og de andre forskere fandt, at Early Bird kunne optræde en tiendedel eller mindre gennem begyndelsen af træningsfasen.

“Vores metode kan automatisk identificere early-bird-billetter inden for de første 10% eller mindre af træningen af de tætte, store netværk,” sagde Lin. “Dette betyder, at du kan træne et DNN for at opnå samme eller endda bedre nøjagtighed for en given opgave på omkring 10% eller mindre af den tid, der er nødvendig for traditionel træning, hvilket kan føre til mere end en ordre besparelse i både beregning og energi.”

Ud over at være hurtigere og mere energieffektiv har forskerne et stærkt fokus på miljøpåvirkningen.

“Vores mål er at gøre AI både mere miljøvenlig og mere inklusiv,” sagde hun. “Størrelsen af komplekse AI-problemer har holdt mindre spillere ude. Grøn AI kan åbne døren for at enable forskere med en bærbar computer eller begrænsede beregningsressourcer til at udforske AI-innovationer.”

Forskningen modtog støtte fra National Science Foundation.