I ricercatori scoprono sottoreti altamente efficienti all’interno delle reti neurali di apprendimento profondo

Le reti neurali di apprendimento profondo sono spesso massive e richiedono enormi quantità di potenza di calcolo, ma una nuova scoperta dimostra come ciò possa essere ridotto per completare i compiti in modo più efficiente. Jonathan Frankle e il suo team del MIT hanno elaborato l’ipotesi del “biglietto della lotteria”, che mostra come ci siano sottoreti più magre all’interno delle reti neurali più grandi. Queste sottoreti possono completare il compito in mano in modo più efficiente con meno potenza di calcolo richiesta, con una delle sfide più grandi che consiste nel trovare queste sottoreti, o biglietti vincenti della lotteria, come li chiama il team.

Il team ha scoperto queste sottoreti all’interno di BERT, la tecnica di apprendimento automatico di punta per l’elaborazione del linguaggio naturale (NLP). L’NLP, che è un sottocampo dell’intelligenza artificiale (AI), è responsabile dell’interpretazione e dell’analisi del linguaggio umano e viene utilizzato per applicazioni come la generazione di testo predittivo e i chatbot.

Tuttavia, BERT è grande e richiede potenza di calcolo di tipo supercomputer, che è inaccessibile alla maggior parte degli utenti. Con la nuova scoperta di queste sottoreti, potrebbe aprirsi l’accesso, consentendo a più utenti di utilizzare la tecnologia per sviluppare strumenti NLP.

“Stiamo raggiungendo il punto in cui dovremo rendere questi modelli più magri e efficienti”, afferma Frankle.

Secondo lui, questo sviluppo potrebbe “ridurre le barriere di ingresso” per l’NLP.

BERT – “Obscenamente costoso”  

BERT è fondamentale per cose come il motore di ricerca di Google e ha ricevuto molta attenzione dal momento in cui Google lo ha rilasciato nel 2018. È un metodo per creare reti neurali e viene addestrato tentando molte volte di riempire i passaggi mancanti di pezzi di scrittura. Una delle caratteristiche più impressionanti di BERT è il suo enorme set di dati di addestramento iniziale.

Può quindi essere regolato dagli utenti per compiti specifici, come ad esempio i chatbot del servizio clienti, ma ancora una volta, richiede enormi quantità di potenza di calcolo, con la possibilità di raggiungere 1 miliardo di parametri.

“Un modello BERT standard di questi tempi – il tipo da giardino – ha 340 milioni di parametri”, afferma Frankle. “Questo è semplicemente oscenamente costoso. Questo è ben al di là della capacità di calcolo di te o me.”

Secondo l’autore principale Tianlong Chen dell’Università del Texas ad Austin, modelli come BERT “soffrono di una dimensione di rete enorme”, ma grazie alla nuova ricerca, “l’ipotesi del biglietto della lotteria sembra essere una soluzione”.

Sottoreti efficienti 

Chen e il team hanno cercato un modello più piccolo all’interno di BERT e hanno confrontato le prestazioni delle sottoreti scoperte con il modello BERT originale. Ciò è stato testato su una varietà di compiti NLP diversi, tra cui la risposta a domande e il riempimento di parole mancanti in una frase.

Il team ha scoperto sottoreti di successo che erano impressionanti dal 40 al 90% più magre del modello BERT originale, con il percentuale reale che dipende dal compito. Inoltre, sono stati in grado di identificarle prima della regolazione specifica del compito, il che comporta ulteriori costi di calcolo ridotti. Un altro vantaggio è stato che alcune delle sottoreti selezionate per un compito specifico potevano poi essere riutilizzate per un altro.

“Ero un po’ scioccato che funzionasse”, afferma Frankle. “Non è qualcosa che ho dato per scontato. Mi aspettavo un risultato molto più confusionale di quanto abbiamo ottenuto.”

Secondo Ari Morcos, uno scienziato di Facebook (META ) AI Research, questa scoperta è “convincente” e “Questi modelli stanno diventando sempre più diffusi. Quindi è importante capire se l’ipotesi del biglietto della lotteria si mantiene”.

Morcos afferma anche che se queste sottoreti potessero funzionare utilizzando drasticamente meno potenza di calcolo, allora ciò “sarebbe molto impattante, considerando che questi modelli enormi sono attualmente molto costosi da eseguire”.

“Non so quanto più grandi possiamo andare utilizzando questi calcoli di tipo supercomputer”, aggiunge Frankle. “Dovremo ridurre la barriera di ingresso.”

“La speranza è che ciò riduca i costi, che ciò lo renda più accessibile a tutti…ai piccoli che hanno solo un laptop”, conclude.

La ricerca sarà presentata alla Conferenza sui sistemi di elaborazione dell’informazione neurale.