Inženieri izstrādā energoefektīvu “Early Bird” metodi dziļo neironu tīklu trenēšanai

Raisa universitātes inženieri ir izstrādājuši jaunu metodi dziļo neironu tīklu (DNN) apmācībai ar daļu no parasti nepieciešamās enerģijas. DNN ir mākslīgā intelekta (AI) veids, kam ir galvenā loma tādu tehnoloģiju izstrādē kā pašbraucošas automašīnas, viedie palīgi, sejas atpazīšana un citas lietojumprogrammas.

Early Bird tika detalizēti aprakstīts papīrs 29. aprīlī Raisas un Teksasas A&M universitātes pētnieki. Tas notika plkst Starptautiskā konference par mācību pārstāvniecībāmvai ICLR 2020. 

Pētījuma galvenie autori bija Haoran You un Chaojian Li no Rice's Efficient and Intelligent Computing (EIC) laboratorijas. Vienā pētījumā viņi parādīja, kā šī metode var apmācīt DNN tādā pašā līmenī un precizitātē kā mūsdienu metodes, bet izmantojot 10.7 reizes mazāk enerģijas. 

Pētījumu vadīja EIC laboratorijas direktors Yingyan Lin, Rice's Richard Baraniuk un Texas A&M Zhangyang Wang. Citi līdzautori ir Pengfei Xu, Yonggan Fu, Yue Wang un Xiaohan Chen. 

"Svarīgs dzinējspēks nesenajos AI sasniegumos ir lielāku, dārgāku DNN ieviešana," sacīja Lins. "Bet šo DNN apmācība prasa ievērojamu enerģiju. Lai tiktu atklāts vairāk jauninājumu, ir obligāti jāatrod “zaļākas” apmācības metodes, kas risina gan vides problēmas, gan samazina mākslīgā intelekta pētniecības finansiālos šķēršļus.

Dārgi, lai apmācītu DNN

Pasaulē labāko DNN apmācīšana var būt ļoti dārga, un cenu zīme turpina pieaugt. 2019. gadā pētījums, ko vadīja Allena AI institūts Sietlā, atklāja, ka, lai apmācītu augstākā līmeņa dziļo neironu tīklu, ir nepieciešams 300,000 2012 reižu vairāk aprēķinu, salīdzinot ar 2018.–2019. gadu. Vēl viens XNUMX. gada pētījums, kuru šoreiz vadīja Masačūsetsas Universitātes Amherstas pētnieki, atklāja, ka, apmācot vienu elites DNN, tiek atbrīvots aptuveni tāds pats oglekļa dioksīda emisiju daudzums kā piecām ASV automašīnām. 

Lai DNN varētu veikt savus ļoti specializētos uzdevumus, tie sastāv no vismaz miljoniem mākslīgo neironu. Viņi spēj iemācīties pieņemt lēmumus, dažkārt pārspējot cilvēkus, novērojot lielu skaitu piemēru. Viņi to var izdarīt bez īpašas programmēšanas. 

Apgriezt un apmācīt

Lins ir elektrotehnikas un datortehnikas docents Raisa Brauna inženierzinātņu skolā. 

"Modernākais veids, kā veikt DNN apmācību, tiek saukts par progresīvo plūmēm un apmācību," sacīja Lins. “Vispirms jūs apmācāt blīvu, milzīgu tīklu, pēc tam noņemiet daļas, kas neizskatās svarīgas, piemēram, koka atzarošanu. Pēc tam jūs atkārtoti apmācāt apgriezto tīklu, lai atjaunotu veiktspēju, jo pēc atzarošanas veiktspēja pasliktinās. Un praksē jums ir vairākas reizes jāapgriež un jāpārtrenējas, lai iegūtu labu sniegumu.

Šo metodi izmanto, jo ne visi mākslīgie neironi ir nepieciešami specializētā uzdevuma veikšanai. Savienojumi starp neironiem ir nostiprināti apmācības dēļ, un citus var izmest. Šī atzarošanas metode samazina skaitļošanas izmaksas un modeļa izmēru, kas padara pilnībā apmācītus DNN pieejamākus. 

"Pirmais solis, blīvā, milzīgā tīkla apmācība, ir visdārgākais," sacīja Lins. "Mūsu ideja šajā darbā ir šī dārgā pirmā soļa sākuma posmā noteikt galīgo, pilnībā funkcionālo atzaroto tīklu, ko mēs saucam par "early-bird biļeti".

Pētnieki to dara, meklējot galvenos tīkla savienojamības modeļus, un viņi varēja atklāt šīs agrīnās biļetes. Tas viņiem ļāva paātrināt DNN apmācību. 

Early Bird apmācības sākuma fāzē

Lins un citi pētnieki atklāja, ka Early Bird var parādīties vienu desmito daļu vai mazāk no apmācības sākuma posma. 

"Mūsu metode var automātiski identificēt agrīnās biļetes pirmajos 10% vai mazāk no blīvo, milzīgo tīklu apmācības," sacīja Lins. "Tas nozīmē, ka jūs varat apmācīt DNN, lai sasniegtu tādu pašu vai pat labāku precizitāti konkrētam uzdevumam aptuveni 10% vai mazāk no laika, kas nepieciešams tradicionālajai apmācībai, kas var radīt vairāk nekā viena pasūtījuma ietaupījumu gan aprēķinos, gan enerģijā."

Papildus tam, ka pētnieki ir ātrāki un energoefektīvāki, viņi lielu uzmanību pievērš ietekmei uz vidi. 

"Mūsu mērķis ir padarīt AI videi draudzīgāku un iekļaujošāku," viņa teica. “Sarežģīto AI problēmu milzīgais apjoms ir atturējis mazākus spēlētājus. Zaļais AI var atvērt durvis, ļaujot pētniekiem ar klēpjdatoru vai ierobežotiem skaitļošanas resursiem izpētīt AI inovācijas.

Pētījums saņēma atbalstu no Nacionālā zinātnes fonda.