Crește și taie strategia IA pare să reducă consumul de energie al IA

Creierul uman funcționează cu o strategie “crește și taie”, începând inițial cu o cantitate masivă de conexiuni neuronale și apoi tăind conexiunile nefolosite în timp. Recent, o echipă de cercetători în domeniul inteligenței artificiale a aplicat această abordare sistemelor de inteligență artificială și a descoperit că ar putea reduce semnificativ cantitatea de energie necesară pentru antrenarea unei inteligențe artificiale.

O echipă de cercetători de la Universitatea Princeton a creat recent o nouă metodă de antrenare a sistemelor de inteligență artificială. Această nouă metodă de antrenare pare să poată îndeplini sau să depășească standardele industriale de acuratețe, dar reușește să o facă consumând mult mai puțină putere de calcul și, prin urmare, mai puțină energie decât modelele tradiționale de învățare automată. Pe parcursul a două lucrări diferite, cercetătorii de la Princeton au demonstrat cum să crească o rețea adăugând neuroni și conexiuni la aceasta. Conexiunile nefolosite au fost apoi tăiate în timp, lăsând doar părțile cele mai eficiente și eficace ale modelului.

Niraj Jha, profesor de inginerie electrică la Princeton, a explicat pentru știrile de la Princeton că modelul dezvoltat de cercetători funcționează pe un paradigma “crește și taie”. Jha a explicat că creierul uman este cel mai complex la vârsta de aproximativ trei ani și, după acest punct, creierul începe să taie conexiunile sinaptice nefolosite. Rezultatul este că creierul complet dezvoltat poate efectua toate sarcinile extraordinar de complexe pe care le facem în fiecare zi, dar folosește aproximativ jumătate din toate sinapsele pe care le avea la vârful său. Jha și ceilalți cercetători au imitat această strategie pentru a îmbunătăți antrenarea inteligenței artificiale.

Jha a explicat:

“Abordarea noastră se numește paradigma crește și taie. Este similară cu ceea ce face creierul de la naștere până la vârsta de copil. În al treilea an de viață, creierul uman începe să taie conexiunile dintre celulele creierului. Acest proces continuă până la maturitate, astfel încât creierul complet dezvoltat funcționează la aproximativ jumătate din vârful sinaptic. Creierul adult este specializat pentru orice antrenament pe care i l-am oferit. Nu este la fel de bun pentru învățarea generală ca un creier de copil.”

Grație tehnicii de creștere și tăiere, pot fi făcute predicții la fel de bune despre modelele din date folosind doar o fracțiune din puterea de calcul care a fost necesară anterior. Cercetătorii își propun să găsească metode de reducere a consumului de energie și a costului computațional, deoarece aceasta este cheia pentru a aduce învățarea automată pe dispozitive mici, cum ar fi telefoanele și ceasurile inteligente. Reducerea cantității de energie consumată de algoritmii de învățare automată poate ajuta, de asemenea, industria să-și reducă amprenta de carbon. Xiaoliang Dai, primul autor al lucrărilor, a explicat că modelele trebuie antrenate local din cauza faptului că transmiterea către cloud necesită multă energie.

În timpul primei lucrări, cercetătorii au încercat să dezvolte un instrument de creare a rețelelor neuronale pe care să-l poată folosi pentru a proiecta rețele neuronale și pentru a recrea unele dintre cele mai bune rețele de la zero. Instrumentul a fost numit NeST (Instrument de sinteză a rețelelor neuronale) și, atunci când i se oferă doar câteva neuroni și conexiuni, crește rapid în complexitate prin adăugarea de neuroni la rețea. Odată ce rețeaua atinge un anumit benchmark, începe să se taie pe sine în timp. În timp ce modelele de rețele anterioare au folosit tehnici de tăiere, metoda inginerită de cercetătorii de la Princeton a fost prima care a luat o rețea și a simulat stadii de dezvoltare, de la “copil” la “adult”.

În a doua lucrare, cercetătorii au colaborat cu o echipă de la Universitatea California-Berkely și Facebook (META ) pentru a-și îmbunătăți tehnica folosind un instrument numit Chameleon. Chameleon este capabil să pornească de la punctul de destinație dorit, de la rezultatele dorite și să lucreze înapoi pentru a construi tipul corect de rețea neuronală. Acest lucru elimină multă încercare și eroare implicată în ajustarea manuală a unei rețele, oferind inginerilor puncte de plecare care sunt probabil să fie imediat utile. Chameleon prezice performanța diferitelor arhitecturi în diferite condiții. Combinarea lui Chameleon și a cadrului NeST ar putea ajuta organizațiile de cercetare care lipsesc resurse computaționale grele să profite de puterea rețelelor neuronale.