Ingineri dezvoltă o metodă “Early Bird” energetică pentru a antrena rețele neuronale profunde

Inginerii de la Universitatea Rice au dezvoltat o nouă metodă pentru a antrena rețele neuronale profunde (DNN) cu o fracțiune din energia normal necesară. DNN-urile sunt forma de inteligență artificială (IA) care joacă un rol cheie în dezvoltarea tehnologiilor precum mașinile autonome, asistenții inteligenți, recunoașterea facială și alte aplicații.

Early Bird a fost detaliat în un articol pe 29 aprilie de către cercetători de la Rice și Universitatea Texas A&M. Acesta a avut loc la Conferința Internațională privind Reprezentările de Învățare, sau ICLR 2020.

Autorii principali ai studiului au fost Haoran You și Chaojian Li de la Laboratorul de Calcul Eficient și Inteligent (EIC) al Universității Rice. Într-un studiu, ei au demonstrat cum metoda poate antrena un DNN la același nivel și acuratețe ca metodele actuale, dar utilizând de 10,7 ori mai puțină energie.

Cercetarea a fost condusă de directorul Laboratorului EIC, Yingyan Lin, Richard Baraniuk de la Universitatea Rice și Zhangyang Wang de la Universitatea Texas A&M. Alți co-autori includ Pengfei Xu, Yonggan Fu, Yue Wang și Xiaohan Chen.

“Un factor important care a condus la progresele recente în IA este introducerea unor DNN-uri mai mari și mai scumpe”, a spus Lin. “Dar antrenarea acestor DNN-uri necesită o cantitate considerabilă de energie. Pentru a fi posibile mai multe inovații, este esențial să se găsească metode de antrenare ‘mai verzi’ care să abordeze atât preocupările de mediu, cât și barierelor financiare ale cercetării IA.”

Costisitor de antrenat DNN-urile

Poate fi foarte costisitor să se antreneze cele mai bune DNN-uri din lume, iar prețul continuă să crească. În 2019, un studiu condus de Institutul Allen pentru IA din Seattle a constatat că pentru a antrena o rețea neuronală profundă de top, sunt necesare de 300.000 de ori mai multe calcule comparativ cu perioada 2012-2018. Un alt studiu din 2019, condus de cercetători de la Universitatea Massachusetts Amherst, a constatat că prin antrenarea unei singure rețele neuronale profunde de elită, sunt eliberate aproximativ aceeași cantitate de emisii de dioxid de carbon ca și cinci automobile din Statele Unite.

Pentru a-și îndeplini sarcinile foarte specializate, DNN-urile sunt alcătuite din cel puțin milioane de neuroni artificiali. Ei sunt capabili să învețe cum să ia decizii, uneori depășind oamenii, prin observarea unui număr mare de exemple. Ei pot face acest lucru fără a necesita programare explicită.

Pune și antrenează

Lin este profesor asistent de inginerie electrică și informatică la Școala de Inginerie Brown a Universității Rice.

“Modalitatea de a efectua antrenarea DNN-urilor este ceea ce se numește ‘pune și antrenează progresiv'”, a spus Lin. “Mai întâi, antrenezi o rețea densă și uriașă, apoi înlături părțile care nu par importante – ca și cum ai tăia un copac. Apoi reantrenezi rețeaua tăiată pentru a restaura performanța, deoarece performanța se degradează după tăiere. Și, în practică, este nevoie să tăiați și să reantrenați de multe ori pentru a obține o performanță bună.”

Această metodă se utilizează deoarece nu toți neuronii artificiali sunt necesari pentru a finaliza sarcina specializată. Conexiunile dintre neuroni sunt consolidate datorită antrenării, iar altele pot fi eliminate. Metoda de tăiere reduce costurile computaționale și dimensiunea modelului, ceea ce face ca DNN-urile complet antrenate să fie mai accesibile.

“Primul pas, antrenarea rețelei dense și uriașe, este cel mai costisitor”, a spus Lin. “Ideea noastră în acest lucru este de a identifica rețeaua tăiată finală și complet funcțională, pe care o numim ‘biletul de early-bird’, la începutul acestui prim pas costisitor.”

Cercetătorii fac acest lucru prin căutarea unor modele de conectivitate a rețelei cheie și au reușit să descopere aceste bilete de early-bird. Acest lucru le-a permis să accelereze antrenarea DNN-urilor.

Early Bird în faza inițială de antrenare

Lin și ceilalți cercetători au constatat că Early Bird poate apărea la o zecime sau mai puțin din faza inițială de antrenare.

“Metoda noastră poate identifica automat biletele de early-bird în primele 10% sau mai puțin din antrenarea rețelelor dense și uriașe”, a spus Lin. “Acest lucru înseamnă că puteți antrena un DNN pentru a obține aceeași sau o acuratețe și mai bună pentru o sarcină dată în aproximativ 10% sau mai puțin din timpul necesar pentru antrenarea tradițională, ceea ce poate duce la economii de peste o ordine de magnitudine atât în ceea ce privește calculul, cât și energia.”

Pe lângă faptul că este mai rapid și mai eficient din punct de vedere energetic, cercetătorii au o puternică focalizare pe impactul asupra mediului.

“Scopul nostru este de a face IA atât mai prietenoasă cu mediul, cât și mai incluzivă”, a spus ea. “Dimensiunea uriașă a problemelor complexe de IA a ținut la distanță jucători mai mici. IA verde poate deschide ușa, permițând cercetătorilor cu un laptop sau resurse computaționale limitate să exploreze inovațiile IA.”

Cercetarea a primit sprijin din partea Fundației Naționale pentru Știință.