Inženjeri razvili energetski učinkovitu "Early Bird" metodu za treniranje dubokih neuronskih mreža

Inženjeri sa Sveučilišta Rice razvili su novu metodu za treniranje dubokih neuronskih mreža (DNN) s djelićem energije koja je inače potrebna. DNN-ovi su oblik umjetne inteligencije (AI) koji igra ključnu ulogu u razvoju tehnologija kao što su samovozeći automobili, inteligentni pomoćnici, prepoznavanje lica i druge aplikacije.

Early Bird je detaljno opisan u papir 29. travnja istraživači sa Sveučilišta Rice i Texas A&M. To se dogodilo u Međunarodna konferencija o prikazima učenja, odnosno ICLR 2020. 

Vodeći autori studije bili su Haoran You i Chaojian Li iz Riceovog Laboratorija za učinkovito i inteligentno računalstvo (EIC). U jednoj su studiji pokazali kako metoda može trenirati DNN na istoj razini i točnosti kao današnje metode, ali uz korištenje 10.7 puta manje energije. 

Istraživanje su vodili direktor laboratorija EIC Yingyan Lin, Richard Baraniuk iz Rice i Zhangyang Wang iz Texas A&M-a. Ostali koautori su Pengfei Xu, Yonggan Fu, Yue Wang i Xiaohan Chen. 

„Glavna pokretačka snaga nedavnih proboja umjetne inteligencije je uvođenje većih i skupljih dubokih neuronskih mreža (DNN)“, rekao je Lin. „No, obuka ovih DNN-ova zahtijeva znatnu energiju. Da bi se otkrilo više inovacija, nužno je pronaći 'zelenije' metode obuke koje će se baviti ekološkim problemima i smanjiti financijske barijere istraživanja umjetne inteligencije.“

Skupo trenirati DNN-ove

Može biti vrlo skupo trenirati najbolje svjetske DNN-ove, a cijena nastavlja rasti. Godine 2019. studija koju je vodio Allenov institut za umjetnu inteligenciju u Seattleu otkrila je da je za treniranje vrhunske duboke neuronske mreže potrebno 300,000 puta više izračunavanja u usporedbi s razdobljem 2012.-2018. Druga studija iz 2019., koju su ovaj put vodili istraživači sa Sveučilišta Massachusetts Amherst, otkrila je da se treniranjem jednog, elitnog DNN-a oslobađa otprilike ista količina emisija ugljičnog dioksida kao pet američkih automobila. 

Kako bi DNN-ovi mogli obavljati svoje visoko specijalizirane zadatke, sastoje se od najmanje milijuna umjetnih neurona. Oni su sposobni naučiti kako donositi odluke, ponekad i bolje od ljudi, promatrajući veliki broj primjera. Oni to mogu učiniti bez potrebe za eksplicitnim programiranjem. 

Orezati i trenirati

Lin je asistent profesora elektrotehnike i računalnog inženjerstva na Riceovoj školi inženjerstva Brown. 

„Najsuvremeniji način izvođenja DNN treninga naziva se progresivno orezivanje i treniranje“, rekao je Lin. „Prvo trenirate gustu, divovsku mrežu, a zatim uklanjate dijelove koji ne izgledaju važno - poput orezivanja stabla. Zatim ponovno trenirate orezanu mrežu kako biste vratili performanse jer se performanse smanjuju nakon orezivanja. A u praksi morate mnogo puta orezivati ​​i ponovno trenirati kako biste postigli dobre performanse.“

Ova se metoda koristi jer nisu potrebni svi umjetni neuroni za dovršenje specijaliziranog zadatka. Veze između neurona su ojačane zbog treninga, a ostale se mogu odbaciti. Ova metoda skraćivanja smanjuje računalne troškove i smanjuje veličinu modela, što potpuno obučene DNN-ove čini pristupačnijim. 

„Prvi korak, treniranje guste, divovske mreže, je najskuplji“, rekao je Lin. „Naša je ideja u ovom radu identificirati konačnu, potpuno funkcionalnu orezanu mrežu, koju nazivamo 'ulaznica za ranu prijavu', u početnoj fazi ovog skupog prvog koraka.“

Istraživači to rade tražeći ključne obrasce mrežnog povezivanja i uspjeli su otkriti ove rane ulaznice. To im je omogućilo da ubrzaju DNN obuku. 

Ranoranilac u početnoj fazi treninga

Lin i drugi istraživači otkrili su da se Early Bird može pojaviti u jednoj desetini ili manje od početne faze treninga. 

"Naša metoda može automatski identificirati rane ulaznice unutar prvih 10% ili manje treninga guste, divovske mreže", rekao je Lin. "To znači da možete uvježbati DNN da postigne istu ili čak bolju točnost za određeni zadatak za oko 10% ili manje vremena potrebnog za tradicionalnu obuku, što može dovesti do više od jedne uštede u računanju i energiji."

Osim što je brži i energetski učinkovitiji, istraživači su snažno usredotočeni na utjecaj na okoliš. 

“Naš cilj je učiniti umjetnu inteligenciju ekološki prihvatljivijom i inkluzivnijom”, rekla je. “Sama veličina složenih problema umjetne inteligencije spriječila je manje igrače. Zelena umjetna inteligencija može otvoriti vrata omogućujući istraživačima s prijenosnim računalom ili ograničenim računalnim resursima da istražuju inovacije umjetne inteligencije.”

Istraživanje je dobilo potporu Nacionalne zaklade za znanost.