Gli ingegneri sviluppano un metodo "Early Bird" ad alta efficienza energetica per addestrare reti neurali profonde

Gli ingegneri della Rice University hanno sviluppato un nuovo metodo per addestrare reti neurali profonde (DNN) con una frazione dell'energia normalmente richiesta. I DNN sono la forma di intelligenza artificiale (AI) che svolge un ruolo chiave nello sviluppo di tecnologie come auto a guida autonoma, assistenti intelligenti, riconoscimento facciale e altre applicazioni.

Early Bird è stato dettagliato in un documento il 29 aprile dai ricercatori della Rice e della Texas A&M University. Si è svolto presso il Conferenza internazionale sulle rappresentazioni dell'apprendimentoo ICLR 2020. 

Gli autori principali dello studio sono stati Haoran You e Chaojian Li dell'Efficient and Intelligent Computing (EIC) Lab di Rice. In uno studio, hanno dimostrato come il metodo potrebbe addestrare un DNN allo stesso livello e precisione dei metodi odierni, ma utilizzando 10.7 volte meno energia. 

La ricerca è stata condotta dal direttore dell'EIC Lab Yingyan Lin, da Richard Baraniuk di Rice e da Zhangyang Wang di Texas A&M. Altri coautori includono Pengfei Xu, Yonggan Fu, Yue Wang e Xiaohan Chen. 

"Una delle principali forze trainanti delle recenti scoperte dell'intelligenza artificiale è l'introduzione di reti neurali distinte (DNN) più grandi e costose", ha affermato Lin. "Ma addestrare queste reti neurali distinte richiede notevoli energie. Per svelare ulteriori innovazioni, è fondamentale trovare metodi di addestramento più 'green' che tengano conto delle problematiche ambientali e riducano gli ostacoli finanziari alla ricerca sull'intelligenza artificiale".

Costoso per addestrare i DNN

Può essere molto costoso addestrare i migliori DNN del mondo e il prezzo continua ad aumentare. Nel 2019, uno studio condotto dall'Allen Institute for AI di Seattle ha scoperto che per addestrare una rete neurale profonda di alto livello, sono necessari 300,000 volte più calcoli rispetto al 2012-2018. Un altro studio del 2019, questa volta condotto da ricercatori dell'Università del Massachusetts Amherst, ha scoperto che addestrando un singolo DNN d'élite, viene rilasciata circa la stessa quantità di emissioni di anidride carbonica di cinque automobili statunitensi. 

Affinché i DNN possano svolgere i loro compiti altamente specializzati, sono costituiti da almeno milioni di neuroni artificiali. Sono in grado di imparare a prendere decisioni, a volte superando gli umani, osservando un gran numero di esempi. Possono farlo senza bisogno di una programmazione esplicita. 

Potare e addestrare

Lin è un assistente professore di ingegneria elettrica e informatica presso la Brown School of Engineering di Rice. 

"Il metodo più avanzato per eseguire l'addestramento DNN si chiama "prune and train progressivo", ha affermato Lin. "Innanzitutto, si addestra una rete densa e gigantesca, quindi si rimuovono le parti che non sembrano importanti, come potare un albero. Quindi si riaddestra la rete potata per ripristinare le prestazioni, perché queste diminuiscono dopo la potatura. E in pratica, è necessario potare e riaddestrare più volte per ottenere buone prestazioni".

Questo metodo viene utilizzato poiché non tutti i neuroni artificiali sono necessari per completare l'attività specializzata. Le connessioni tra i neuroni vengono rafforzate grazie all'allenamento e altre possono essere scartate. Questo metodo di potatura riduce i costi computazionali e riduce le dimensioni del modello, il che rende i DNN completamente addestrati più convenienti. 

"Il primo passo, l'addestramento della rete densa e gigantesca, è il più costoso", ha affermato Lin. "La nostra idea in questo lavoro è identificare la rete finale, completamente potata e funzionante, che chiamiamo 'early-bird ticket', nella fase iniziale di questo costoso primo passo".

I ricercatori lo fanno cercando i principali modelli di connettività di rete e sono stati in grado di scoprire questi biglietti anticipati. Ciò ha permesso loro di accelerare l'addestramento DNN. 

Early Bird nella fase iniziale dell'addestramento

Lin e gli altri ricercatori hanno scoperto che Early Bird potrebbe apparire a un decimo o meno della fase iniziale dell'addestramento. 

"Il nostro metodo è in grado di identificare automaticamente i biglietti early bird entro il primo 10% o meno dell'addestramento delle reti fitte e giganti", ha detto Lin. "Ciò significa che puoi addestrare un DNN a ottenere la stessa o addirittura migliore precisione per una determinata attività in circa il 10% o meno del tempo necessario per la formazione tradizionale, il che può portare a più di un ordine di risparmio sia in termini di calcolo che di energia."

Oltre ad essere più veloce e più efficiente dal punto di vista energetico, i ricercatori si concentrano fortemente sull'impatto ambientale. 

"Il nostro obiettivo è rendere l'IA più rispettosa dell'ambiente e più inclusiva", ha affermato. “L'enorme dimensione dei complessi problemi di intelligenza artificiale ha tenuto lontani i giocatori più piccoli. L'intelligenza artificiale verde può aprire la porta consentendo ai ricercatori con un laptop o risorse computazionali limitate di esplorare le innovazioni dell'IA ".

La ricerca ha ricevuto il sostegno della National Science Foundation.