Strategia AI de creștere și tăiere pare să reducă utilizarea energiei AI

Creierul uman operează cu o strategie de „creștere și tăiere”, inițial pornind cu o cantitate masivă de conexiuni neuronale și apoi eliminând conexiunile neutilizate în timp. Recent, o echipă de cercetători AI a aplicat această abordare sistemelor AI și a descoperit că ar putea reduce substanțial cantitatea de energie necesară pentru a antrena o IA.

O echipă de cercetători de la Universitatea Princeton a creat recent o nouă metodă de instruire a sistemelor de inteligență artificială. Această nouă metodă de antrenament pare capabilă să îndeplinească sau să depășească standardele din industrie pentru acuratețe, dar este capabilă să realizeze acest lucru în timp ce consumă mult mai puțină putere de calcul și, prin urmare, mai puțină energie decât modelele tradiționale de învățare automată. Pe parcursul a două lucrări diferite, cercetătorii de la Princeton au demonstrat cum să crească o rețea prin adăugarea de neuroni și conexiuni la aceasta. Conexiunile neutilizate au fost apoi tăiate în timp, lăsând doar cele mai eficiente și mai eficiente porțiuni ale modelului.

Niraj Jha, profesor de Inginerie Electrică la Princeton, a explicat pentru Princeton News că modelul dezvoltat de cercetători funcționează pe o „paradigma rânduri și prune”. Jha a explicat că creierul unui om este cel mai complex care va fi vreodată la vârsta de aproximativ trei ani, iar după acest moment, creierul începe să elimine conexiunile sinaptice inutile. Rezultatul este că creierul complet dezvoltat este capabil să îndeplinească toate sarcinile extraordinar de complexe pe care le facem în fiecare zi, dar folosește aproximativ jumătate din toate sinapsele pe care le avea la apogeu. Jha și ceilalți cercetători au imitat această strategie pentru a îmbunătăți pregătirea AI.

Jha a explicat:

„Abordarea noastră este ceea ce numim o paradigmă de creștere și tăiere. Este similar cu ceea ce face un creier de când suntem bebeluși până când suntem un copil mic. În al treilea an, creierul uman începe să rupă conexiunile dintre celulele creierului. Acest proces continuă până la vârsta adultă, astfel încât creierul complet dezvoltat funcționează la aproximativ jumătate din vârful sinaptic. Creierul adult este specializat pentru orice antrenament i-am oferit-o. Nu este la fel de bun pentru învățarea cu scop general ca creierul unui copil mic.”

Datorită tehnicii de creștere și tăiere, se pot face predicții la fel de bune despre modelele din date folosind doar o fracțiune din puterea de calcul necesară anterior. Cercetătorii urmăresc să găsească metode de reducere a consumului de energie și a costurilor de calcul, deoarece acest lucru este esențial pentru a aduce învățarea automată pe dispozitive mici, cum ar fi telefoanele și ceasurile inteligente. Reducerea cantității de energie consumată de algoritmii de învățare automată poate ajuta, de asemenea, industria să își reducă amprenta de carbon. Xiaoliang Dai, primul autor al lucrărilor, a explicat că modelele trebuie antrenate la nivel local, deoarece transmiterea către nor necesită multă energie.

Pe parcursul primului studiu, cercetătorii au încercat să dezvolte un instrument de creare a rețelelor neuronale pe care l-ar putea folosi pentru a proiecta rețele neuronale și a recrea unele dintre cele mai performante rețele de la zero. Instrumentul a fost numit NeST (Instrument de sinteză a rețelei neuronale), iar atunci când este prevăzut cu doar câțiva neuroni și conexiuni, crește rapid în complexitate prin adăugarea mai multor neuroni în rețea. Odată ce rețeaua îndeplinește un punct de referință selectat, începe să se tundă în timp. În timp ce modelele de rețea anterioare au folosit tehnici de tăiere, metoda concepută de cercetătorii de la Princeton a fost prima care a luat o rețea și a simulat etapele de dezvoltare, mergând de la „bebeluș” la „copilul mic” și în cele din urmă la „creierul adult”.

În timpul celei de-a doua lucrări, cercetătorii au colaborat cu o echipă de la Universitatea din California-Berkely și Facebook pentru a-și îmbunătăți tehnica folosind un instrument numit Chameleon. Chameleonul este capabil să înceapă cu punctul final dorit, cu rezultatele dorite și să lucreze înapoi pentru a construi tipul potrivit de rețea neuronală. Acest lucru elimină o mare parte din presupunerile implicate în modificarea manuală a unei rețele, oferind inginerilor puncte de plecare care pot fi imediat utile. Chameleon prezice performanța diferitelor arhitecturi în diferite condiții. Combinarea Chameleon și cadrul NeST ar putea ajuta organizațiile de cercetare care nu au resurse de calcul grele să profite de puterea rețelelor neuronale.