Crescita e potatura della strategia di intelligenza artificiale sembra ridurre l’utilizzo di energia dell’IA

Il cervello umano funziona con una strategia di “crescita e potatura”, inizialmente partendo da una grande quantità di connessioni neurali e poi eliminando le connessioni inutilizzate nel tempo. Recentemente, un team di ricercatori di intelligenza artificiale ha applicato questo approccio ai sistemi di intelligenza artificiale e ha scoperto che potrebbe ridurre notevolmente la quantità di energia necessaria per addestrare un’IA.

Un team di ricercatori dell’Università di Princeton ha recentemente creato un nuovo metodo per addestrare i sistemi di intelligenza artificiale. Questo nuovo metodo di addestramento sembra in grado di raggiungere o superare gli standard di settore per l’accuratezza, ma è in grado di farlo consumando molto meno potere di calcolo e, quindi, meno energia, rispetto ai modelli di apprendimento automatico tradizionali. Nel corso di due diversi articoli, i ricercatori di Princeton hanno dimostrato come crescere una rete aggiungendo neuroni e connessioni ad essa. Le connessioni inutilizzate sono state poi eliminate nel tempo, lasciando solo le parti più efficaci e efficienti del modello.

Niraj Jha, professore di Ingegneria Elettrica a Princeton, ha spiegato al Princeton News che il modello sviluppato dai ricercatori funziona su un “paradigma di crescita e potatura”. Jha ha spiegato che il cervello umano è il più complesso che sarà mai intorno ai tre anni di età e, dopo questo punto, il cervello inizia a eliminare le connessioni sinaptiche inutilizzate. Il risultato è che il cervello completamente sviluppato è in grado di eseguire tutte le compiti estremamente complessi che facciamo ogni giorno, ma utilizza circa la metà di tutte le sinapsi che aveva al suo picco. Jha e gli altri ricercatori hanno mimato questa strategia per migliorare l’addestramento dell’IA.

Jha ha spiegato:

“Il nostro approccio è ciò che chiamiamo un paradigma di crescita e potatura. È simile a ciò che fa il cervello da quando siamo un bambino a quando siamo un bambino di due anni. Nel suo terzo anno, il cervello umano inizia a tagliare le connessioni tra le cellule cerebrali. Questo processo continua fino all’età adulta, in modo che il cervello completamente sviluppato funzioni a circa la metà del suo picco sinaptico. Il cervello adulto è specializzato per qualsiasi addestramento che gli abbiamo fornito. Non è così buono per l’apprendimento generale come il cervello di un bambino di due anni.”

Grazie alla tecnica di crescita e potatura, possono essere fatte previsioni altrettanto buone sui modelli di dati utilizzando solo una frazione del potere di calcolo che era precedentemente necessario. I ricercatori stanno cercando di trovare metodi per ridurre il consumo di energia e il costo computazionale, poiché questo è fondamentale per portare l’apprendimento automatico su dispositivi piccoli come i telefoni e gli smartwatch. Ridurre la quantità di energia consumata dagli algoritmi di apprendimento automatico può anche aiutare l’industria a ridurre la sua impronta di carbonio. Xiaoliang Dai, il primo autore degli articoli, ha spiegato che i modelli devono essere addestrati localmente a causa della trasmissione al cloud che richiede molta energia.

Durante il corso del primo studio, i ricercatori hanno cercato di sviluppare uno strumento di creazione di reti neurali che potessero utilizzare per progettare reti neurali e ricreare alcune delle reti più performanti da zero. Lo strumento si chiamava NeST (Strumento di Sintesi di Reti Neurali) e, quando gli viene fornito con pochi neuroni e connessioni, aumenta rapidamente la complessità aggiungendo più neuroni alla rete. Una volta che la rete raggiunge un benchmark selezionato, inizia a potarsi nel tempo. Sebbene i modelli di rete precedenti abbiano utilizzato tecniche di potatura, il metodo progettato dai ricercatori di Princeton è stato il primo a prendere una rete e simulare le fasi di sviluppo, andando dal “bambino” al “bambino di due anni” e infine al “cervello adulto”.

Durante il secondo articolo, i ricercatori hanno collaborato con un team dell’Università della California-Berkeley e Facebook (META ) per migliorare la loro tecnica utilizzando uno strumento chiamato Chameleon. Chameleon è in grado di iniziare con il punto di arrivo desiderato, i risultati desiderati, e lavorare a ritroso per costruire il tipo giusto di rete neurale. Ciò elimina gran parte del lavoro di prova e errore necessario per regolare manualmente una rete, fornendo agli ingegneri punti di partenza che sono probabilmente utili immediatamente. Chameleon prevede le prestazioni di diverse architetture in diverse condizioni. Combinare Chameleon e il framework NeST potrebbe aiutare le organizzazioni di ricerca che mancano di risorse computazionali pesanti a sfruttare il potere delle reti neurali.