Insinöörit kehittivät energiatehokkaan “Early Bird” -menetelmän syvän neuroverkon kouluttamiseen

Rice-yliopiston insinöörit ovat kehittäneet uuden menetelmän syvän neuroverkon (DNN) kouluttamiseen murto-osalla normaalisti tarvittavasta energiasta. DNN:t ovat tekoälymuoto, jolla on avainrooli teknologioiden kehittämisessä, kuten itseajavissa autoissa, älykkäissä avustajissa, kasvontunnistuksessa ja muissa sovelluksissa.

Early Bird -menetelmä esiteltiin tutkimusartikkelissa 29. huhtikuuta Rice-yliopiston ja Texas A&M -yliopiston tutkijoiden toimesta. Se tapahtui Kansainvälisessa konferenssissa oppimisen edustusten parissa, eli ICLR 2020.

Tutkimuksen vastuulliset tekijät olivat Haoran You ja Chaojian Li Rice-yliopiston Efficient and Intelligent Computing (EIC) -laboratoriosta. Yhdessä tutkimuksessa he osoittivat, miten menetelmällä voidaan kouluttaa DNN samalla tasolla ja tarkkuudella kuin nykyiset menetelmät, mutta käyttäen 10,7 kertaa vähemmän energiaa.

Tutkimusta johti EIC-laboratorion johtaja Yingyan Lin, Richard Baraniuk Rice-yliopistosta ja Zhangyang Wang Texas A&M -yliopistosta. Muita tekijöitä olivat Pengfei Xu, Yonggan Fu, Yue Wang ja Xiaohan Chen.

“Suuri voima viimeaikaisissa tekoälyläimkeissä on suurempien ja kalliimpien DNN:ien käyttöönotto”, Lin sanoi. “Mutta näiden DNN:ien kouluttaminen vaatii merkittävästi energiaa. Uusien innovaatioiden julkaisemiseksi on löydettävä ‘vihreämpi’ koulutusmenetelmä, joka vastaa ympäristöhuolia ja vähentää tekoälytutkimuksen taloudellisia esteitä.”

DNN:ien kouluttaminen on kallista

Maailman parhaiden DNN:ien kouluttaminen voi olla hyvin kallista, ja hinta jatkuu kasvamista. Vuonna 2019 Seattlessa sijaitsevan Allen Institute for AI:n johtama tutkimus osoitti, että huipputason syvän neuroverkon kouluttamiseen tarvitaan 300 000 kertaa enemmän laskutoimituksia kuin vuosina 2012-2018. Toisessa vuonna 2019 tehdyn tutkimuksessa, jota johti tutkija University of Massachusetts Amherstista, havaittiin, että yhden huipputason DNN:n kouluttaminen aiheuttaa noin saman määrän hiilidioksidipäästöjä kuin viisi yhdysvaltalaista autoa.

Jotta DNN:t voivat suorittaa erittäin erikoistuneita tehtäviä, ne koostuvat vähintään miljoonista tekoälyhermosolusta. Ne pystyvät oppimaan, miten tehdä päätöksiä, joskus jopa ylittäen ihmisten suorituskyvyn, tarkkailemalla suuren määrän esimerkkejä. Ne voivat tehdä tämän ilman eksplisiittistä ohjelmointia.

Prune and Train

Lin on apulaisprofessori sähkö- ja tietotekniikan laitoksessa Rice-yliopiston Brown School of Engineering -yksikössä.

“Nykyinen tapa suorittaa DNN-koulutus on kutsuttu progressiiviseksi prune and train -menetelmäksi”, Lin sanoi. “Ensinnäkin, koulutat tiheän, jättiläismäisen verkon, poistat sitten osat, jotka eivät näytä tärkeiltä – kuin leikkaamalla puuta. Sitten koulutat uudelleen leikattua verkkoa palauttamaan suorituskyvyn, koska suorituskyky heikkenee leikkaamisen jälkeen. Käytännössä sinun on leikattava ja koulutettava useita kertoja saadaksesi hyvän suorituskyvyn.”

Tätä menetelmää käytetään, koska kaikki tekoälyhermosolut eivät ole välttämättömiä erittäin erikoistuneen tehtävän suorittamiseen. Hermosolujen väliset yhteydet vahvistuvat koulutuksen aikana, ja toiset voidaan hylätä. Tämä leikkausmenetelmä vähentää laskennallisia kustannuksia ja pienentää mallin kokoa, mikä tekee täysin koulutetut DNN:t kustannustehokkaammiksi.

“Ensimmäinen vaihe, tiheän, jättiläismäisen verkon kouluttaminen, on kallein”, Lin sanoi. “Meidän ideamme tässä työssä on tunnistaa lopullinen, täysin toimiva leikattu verkko, jota kutsumme ‘early-bird-lipuksi’, kalliin ensimmäisen vaiheen alussa.”

Tutkijat tekevät tämän etsimällä avainverkkoyhteyden malleja, ja he pystyivät löytämään nämä early-bird-liput. Tämä mahdollisti heidän nopeuttaa DNN-koulutusta.

Early Bird koulutuksen alussa

Lin ja muut tutkijat totesivat, että Early Bird voi ilmestyä koulutuksen alussa, joka on kymmenesosa tai vähemmän koulutuksen alusta.

“Meidän menetelmämme voi automaattisesti tunnistaa early-bird-liput tiheän, jättiläismäisen verkon koulutuksen ensimmäisten 10 prosentin aikana”, Lin sanoi. “Tämä tarkoittaa, että voit kouluttaa DNN:n saavuttamaan saman tai jopa paremman tarkkuuden tietyssä tehtävässä noin 10 prosentissa tai vähemmän ajasta, joka tarvitaan perinteiseen koulutukseen, mikä voi johtaa yli yhden kertaluokan säästöihin sekä laskenta- että energian suhteen.”

Lisäksi nopeuden ja energiatehokkuuden, tutkijat ovat vahvasti keskittyneet ympäristövaikutuksiin.

“Meidän tavoitteemme on tehdä tekoälystä sekä ympäristöystävällisemmästä että inklusiivisemmasta”, hän sanoi. “Monimutkaisten tekoälyongelmien suuri koko on estänyt pienemmät toimijat. Vihreä tekoäly voi avata oven, jotta tutkijat voivat käyttää kannettavaa tietokonetta tai rajoitettuja laskentaresursseja tutkimaan tekoälyinnovaatioita.”

Tutkimus sai tukea National Science Foundationilta.