Nuova Libreria Neural Tangent di Google Fornisce ai Data Scientist una “Insight senza Precedenti” sui Modelli

Google ha progettato una nuova libreria open-source destinata a svelare il mistero della macchina del machine learning e fornire agli ingegneri una maggiore comprensione di come funzionano i loro sistemi di machine learning. Come riportato da VentureBeat, il team di ricerca di Google afferma che la libreria potrebbe fornire un’ “insight senza precedenti” su come funzionano i modelli di machine learning.

Le reti neurali funzionano attraverso neuroni che contengono funzioni matematiche che trasformano i dati in vari modi. I neuroni nella rete sono collegati tra loro in strati, e le reti neurali hanno profondità e larghezza. La profondità di una rete neurale è controllata dal numero di strati che ha, e gli strati diversi della rete regolano le connessioni tra i neuroni, influenzando come i dati vengono gestiti mentre si spostano tra gli strati. Il numero di neuroni nello strato è la larghezza dello strato. Secondo l’ingegnere di ricerca di Google Roman Novak e il senior research scientist di Google Samuel S. Schoenholz, la larghezza dei modelli è strettamente correlata con un comportamento regolare e ripetibile. In un post del blog, i due ricercatori hanno spiegato che rendere le reti neurali più larghe rende il loro comportamento più regolare e più facile da interpretare.

Esiste un tipo diverso di modello di machine learning chiamato processo gaussiano. Un processo gaussiano è un processo stocastico che può essere rappresentato come una distribuzione normale multivariata. Con un processo gaussiano, ogni insieme/combinazione lineare finita di variabili sarà distribuita normalmente. Ciò significa che è possibile rappresentare interazioni estremamente complesse tra variabili come equazioni algebriche lineari interpretabili, e quindi è possibile studiare il comportamento di un’intelligenza artificiale attraverso questa lente. Come sono esattamente correlati i modelli di machine learning ai processi gaussiani? I modelli di machine learning che sono infinitamente larghi in larghezza convergono su un processo gaussiano.

Tuttavia, mentre è possibile interpretare i modelli di machine learning attraverso la lente di un processo gaussiano, ciò richiede la derivazione del limite di larghezza infinita di un modello. Ciò è una serie complessa di calcoli che devono essere eseguiti per ogni architettura separata. Al fine di semplificare e velocizzare questi calcoli, il team di ricerca di Google ha progettato Neural Tangents. Neural Tangents consente a uno scienziato dei dati di utilizzare solo poche righe di codice e addestrare più reti infinite in larghezza contemporaneamente. Spesso vengono addestrate più reti neurali sugli stessi set di dati e le loro previsioni vengono mediate, al fine di ottenere una previsione più robusta e immune ai problemi che potrebbero verificarsi in qualsiasi modello individuale. Una tale tecnica è chiamata ensemble learning. Uno degli svantaggi dell’ensemble learning è che spesso è computazionalmente costoso. Tuttavia, quando una rete che è infinitamente larga viene addestrata, l’ensemble è descritto da un processo gaussiano e la varianza e la media possono essere calcolate.

Tre diverse architetture di reti neurali infinite sono state confrontate come test, e i risultati del confronto sono stati pubblicati nel post del blog. In generale, i risultati delle reti ensemble guidate da processi gaussiani sono simili alle prestazioni delle reti neurali finite regolari:

Come spiega il team di ricerca in un post del blog:

“Vediamo che, imitando le reti neurali finite, le reti infinite in larghezza seguono una gerarchia di prestazioni simile, con reti completamente connesse che si comportano peggio delle reti convoluzionali, che a loro volta si comportano peggio delle reti residue ampie. Tuttavia, a differenza dell’addestramento regolare, la dinamica di apprendimento di questi modelli è completamente tracciabile in forma chiusa, il che consente [nuove] informazioni sul loro comportamento”.

La release di Neural Tangents sembra essere stata programmata per coincidere con il TensorFlow Dev Summit. Il dev summit vede gli ingegneri di machine learning che utilizzano la piattaforma TensorFlow di Google riunirsi insieme. L’annuncio di Neural Tangents arriva anche poco dopo l’annuncio di TensorFlow Quantum.

Neural Tangents è stato reso disponibile tramite GitHub e c’è un notebook e un tutorial di Google Colaboratory che gli interessati possono accedere.