Gli ingegneri sviluppano il metodo “Early Bird” a basso consumo energetico per addestrare le reti neurali profonde

Gli ingegneri dell’Università di Rice hanno sviluppato un nuovo metodo per addestrare le reti neurali profonde (DNN) con una frazione dell’energia normalmente richiesta. Le DNN sono la forma di intelligenza artificiale (AI) che svolge un ruolo chiave nello sviluppo di tecnologie come le auto a guida autonoma, gli assistenti intelligenti, il riconoscimento facciale e altre applicazioni.

Early Bird è stato descritto in un articolo il 29 aprile da ricercatori di Rice e dell’Università del Texas A&M. Si è svolto alla Conferenza internazionale sulle rappresentazioni di apprendimento, o ICLR 2020.

Gli autori principali dello studio sono stati Haoran You e Chaojian Li del Laboratorio di calcolo efficiente e intelligente (EIC) di Rice. In uno studio, hanno dimostrato come il metodo potesse addestrare una DNN allo stesso livello e precisione dei metodi attuali, ma utilizzando 10,7 volte meno energia.

La ricerca è stata guidata dal direttore del Laboratorio EIC, Yingyan Lin, da Richard Baraniuk di Rice e da Zhangyang Wang dell’Università del Texas A&M. Altri coautori includono Pengfei Xu, Yonggan Fu, Yue Wang e Xiaohan Chen.

“Una forza trainante importante nei recenti progressi dell’AI è l’introduzione di DNN più grandi e più costosi”, ha detto Lin. “Tuttavia, l’addestramento di questi DNN richiede notevoli quantità di energia. Per ulteriori innovazioni, è fondamentale trovare metodi di addestramento ‘più verdi’ che affrontino le preoccupazioni ambientali e riducano le barriere finanziarie della ricerca sull’AI”.

Costoso addestrare le DNN

Può essere molto costoso addestrare le migliori DNN del mondo, e il prezzo continua ad aumentare. Nel 2019, uno studio condotto dall’Istituto Allen per l’AI di Seattle ha scoperto che per addestrare una rete neurale profonda di alta qualità, sono necessarie 300.000 volte più operazioni rispetto al 2012-2018. Un altro studio del 2019, condotto da ricercatori dell’Università del Massachusetts ad Amherst, ha scoperto che addestrare una singola DNN di élite produce circa la stessa quantità di emissioni di anidride carbonica rilasciate da cinque automobili statunitensi.

Perché le DNN possano svolgere i loro compiti altamente specializzati, sono composte da almeno milioni di neuroni artificiali. Sono in grado di imparare a prendere decisioni, a volte superando le prestazioni umane, osservando grandi quantità di esempi. Possono farlo senza necessità di programmazione esplicita.

Potare e addestrare

Lin è professore assistente di ingegneria elettrica e informatica alla Scuola di ingegneria Brown di Rice.

“Il modo attuale per eseguire l’addestramento delle DNN si chiama potare e addestrare progressivamente”, ha detto Lin. “Innanzitutto, si addestra una rete densa e gigante, quindi si rimuovono le parti che non sembrano importanti – come potare un albero. Quindi si riaddestra la rete potata per ripristinare le prestazioni perché le prestazioni peggiorano dopo la potatura. E nella pratica è necessario potare e riaddestrare più volte per ottenere buone prestazioni”.

Questo metodo viene utilizzato poiché non tutti i neuroni artificiali sono necessari per completare il compito specializzato. Le connessioni tra i neuroni vengono rafforzate a causa dell’addestramento e altre possono essere scartate. Questo metodo di potatura riduce i costi computazionali e riduce le dimensioni del modello, il che rende le DNN completamente addestrate più accessibili.

“Il primo passo, l’addestramento della rete densa e gigante, è il più costoso”, ha detto Lin. “La nostra idea in questo lavoro è quella di identificare la rete potata completamente funzionale, che chiamiamo ‘biglietto early-bird’, nella fase iniziale di questo costoso primo passo”.

I ricercatori fanno ciò cercando modelli di connettività di rete chiave e sono stati in grado di scoprire questi biglietti early-bird. Ciò ha consentito loro di accelerare l’addestramento delle DNN.

Early Bird nella fase iniziale dell’addestramento

Lin e gli altri ricercatori hanno scoperto che Early Bird potrebbe apparire un decimo o meno della strada attraverso la fase iniziale dell’addestramento.

“Il nostro metodo può identificare automaticamente i biglietti early-bird all’interno del primo 10% o meno dell’addestramento delle reti dense e giganti”, ha detto Lin. “Ciò significa che è possibile addestrare una DNN per raggiungere la stessa o anche migliore precisione per un determinato compito in circa il 10% o meno del tempo necessario per l’addestramento tradizionale, il che può portare a risparmi di oltre un ordine di grandezza sia in termini di calcolo che di energia”.

Oltre ad essere più veloce e più efficiente in termini energetici, i ricercatori hanno una forte attenzione per l’impatto ambientale.

“Il nostro obiettivo è rendere l’AI più ecocompatibile e più inclusiva”, ha detto. “La dimensione delle problematiche AI complesse ha tenuto fuori i giocatori più piccoli. L’AI verde può aprire la porta ai ricercatori con un laptop o risorse computazionali limitate per esplorare le innovazioni AI”.

La ricerca ha ricevuto il sostegno della National Science Foundation.