Inġiniera Żviluppaw Metodu "Early Bird" Effiċjenti fl-Enerġija biex iħarrġu Netwerks Newrali Fondi

Inġiniera fl-Università Rice żviluppaw metodu ġdid għat-taħriġ ta 'netwerks newrali profondi (DNNs) bi frazzjoni tal-enerġija normalment meħtieġa. DNNs huma l-forma ta 'intelliġenza artifiċjali (AI) li għandha rwol ewlieni fl-iżvilupp ta' teknoloġiji bħal karozzi li jsuqu waħedhom, assistenti intelliġenti, rikonoxximent tal-wiċċ, u applikazzjonijiet oħra.

Early Bird kien dettaljat fi karta fid-29 ta’ April minn riċerkaturi minn Rice u Texas A&M University. Sar fil- Konferenza Internazzjonali dwar ir-Rappreżentazzjonijiet tat-Tagħlim, jew ICLR 2020. 

L-awturi ewlenin tal-istudju kienu Haoran You u Chaojian Li mil-Lab tal-Kompjuter Effiċjenti u Intelliġenti (EIC) ta' Rice. Fi studju wieħed, huma wrew kif il-metodu jista 'jħarreġ DNN fl-istess livell u preċiżjoni bħall-metodi tal-lum, iżda bl-użu ta' 10.7 darbiet inqas enerġija. 

Ir-riċerka tmexxiet mid-direttur tal-EIC Lab Yingyan Lin, Richard Baraniuk ta' Rice, u Zhangyang Wang ta' Texas A&M. Ko-awturi oħra jinkludu Pengfei Xu, Yonggan Fu, Yue Wang, u Xiaohan Chen. 

"Forza ewlenija f'kisbiet riċenti fl-AI hija l-introduzzjoni ta 'DNNs akbar u aktar għaljin," qal Lin. “Imma t-taħriġ ta’ dawn id-DNNs jitlob enerġija konsiderevoli. Biex jiġu żvelati aktar innovazzjonijiet, huwa imperattiv li jinstabu metodi ta' taħriġ 'aktar ekoloġiċi' li kemm jindirizzaw it-tħassib ambjentali kif ukoll inaqqsu l-ostakli finanzjarji tar-riċerka tal-IA.”

Għali biex tħarreġ DNNs

Jista 'jkun għali ħafna li tħarreġ l-aqwa DNNs tad-dinja, u l-prezz ikompli jiżdied. Fl-2019, studju mmexxi mill-Istitut Allen għall-AI f'Seattle sab li sabiex jitħarreġ netwerk newrali profond tal-ogħla titjira, huma meħtieġa 300,000 darba aktar komputazzjonijiet meta mqabbla mal-2012-2018. Studju ieħor tal-2019, din id-darba mmexxi minn riċerkaturi fl-Università ta 'Massachusetts Amherst, sab li bit-taħriġ ta' DNN wieħed elite, madwar l-istess ammont ta 'emissjonijiet tad-dijossidu tal-karbonju huma rilaxxati bħal ħames karozzi tal-Istati Uniti. 

Sabiex id-DNNs iwettqu l-kompiti speċjalizzati ħafna tagħhom, huma jikkonsistu f'mill-inqas miljuni ta 'newroni artifiċjali. Huma kapaċi jitgħallmu kif jieħdu deċiżjonijiet, xi drabi jissuperaw lill-bnedmin, billi josservaw għadd kbir ta 'eżempji. Jistgħu jagħmlu dan mingħajr il-bżonn ta' programmazzjoni espliċita. 

Pruna u Ferrovija

Lin huwa assistent professur tal-inġinerija elettrika u tal-kompjuter fl-Iskola Brown tal-Inġinerija ta' Rice. 

"Il-mod avvanzat biex twettaq taħriġ DNN jissejjaħ pruna u ferrovija progressiva," qal Lin. “L-ewwel, tħarreġ netwerk dens u ġgant, imbagħad tneħħi partijiet li ma jidhrux importanti — bħal żbir ta’ siġra. Imbagħad int tħarreġ mill-ġdid in-netwerk imqaxxar biex tirrestawra l-prestazzjoni minħabba li l-prestazzjoni tiddegrada wara żbir. U fil-prattika trid taqbad u titħarreġ mill-ġdid ħafna drabi biex tikseb prestazzjoni tajba.”

Dan il-metodu jintuża peress li mhux in-newroni artifiċjali kollha huma meħtieġa biex jitlesta l-kompitu speċjalizzat. Il-konnessjonijiet bejn in-newroni huma msaħħa minħabba t-taħriġ, u oħrajn jistgħu jintremew. Dan il-metodu ta 'żbir inaqqas l-ispejjeż tal-komputazzjoni u jnaqqas id-daqs tal-mudell, li jagħmel DNNs imħarrġa bis-sħiħ aktar affordabbli. 

"L-ewwel pass, it-taħriġ tan-netwerk dens u ġgant, huwa l-aktar għali," qal Lin. "L-idea tagħna f'dan ix-xogħol hija li nidentifikaw in-netwerk finali, kompletament funzjonali mnaddaf, li aħna nsejħu l-'early-bird ticket', fl-istadju tal-bidu ta 'dan l-ewwel pass għali."

Ir-riċerkaturi jagħmlu dan billi jfittxu mudelli ewlenin ta 'konnettività tan-netwerk, u setgħu jiskopru dawn il-biljetti ta' għasafar kmieni. Dan ippermettahom li jħaffu t-taħriġ DNN. 

Early Bird fil-Fażi tal-Bidu tat-Taħriġ

Lin u r-riċerkaturi l-oħra sabu li Early Bird jista 'jidher f'wieħed minn għaxra jew inqas mill-fażi tal-bidu tat-taħriġ. 

"Il-metodu tagħna jista 'jidentifika awtomatikament biljetti ta' għasafar kmieni fl-ewwel 10% jew inqas tat-taħriġ tan-netwerks densi u ġganti," qal Lin. "Dan ifisser li tista' tħarreġ DNN biex tikseb l-istess preċiżjoni jew saħansitra aħjar għal biċċa xogħol partikolari f'madwar 10% jew inqas tal-ħin meħtieġ għat-taħriġ tradizzjonali, li jista' jwassal għal iffrankar ta' aktar minn ordni waħda kemm fil-komputazzjoni kif ukoll fl-enerġija."

Minbarra li huma aktar veloċi u aktar effiċjenti fl-enerġija, ir-riċerkaturi għandhom fokus qawwi fuq l-impatt ambjentali. 

"L-għan tagħna huwa li nagħmlu l-AI kemm aktar favur l-ambjent kif ukoll aktar inklużiva," qalet. “Id-daqs kbir tal-problemi kumplessi tal-IA żamm lil atturi iżgħar. L-AI ħadra tista’ tiftaħ il-bieb li tippermetti lir-riċerkaturi b’laptop jew riżorsi komputazzjonali limitati biex jesploraw l-innovazzjonijiet tal-IA.”

Ir-riċerka rċeviet appoġġ mill-Fondazzjoni Nazzjonali tax-Xjenza.