Nuova Libreria Neural Tangent di Google: “Insight senza precedenti” per gli scienziati dei dati

Google (GOOGL ) ha progettato una nuova libreria open-source destinata a sbloccare la “scatola nera” dell’apprendimento automatico e a fornire agli ingegneri maggiore insight su come funzionano i sistemi di apprendimento automatico. Come riportato da VentureBeat, il team di ricerca di Google afferma che la libreria potrebbe fornire “insight senza precedenti” su come funzionano i modelli di apprendimento automatico.

I reti neurali funzionano attraverso neuroni che contengono funzioni matematiche che trasformano i dati in vari modi. I neuroni nella rete sono collegati tra loro in strati, e le reti neurali hanno profondità e larghezza. La profondità di una rete neurale è controllata dal numero di strati che ha, e i diversi strati della rete regolano le connessioni tra i neuroni, influenzando come i dati vengono gestiti mentre si muovono tra gli strati. Il numero di neuroni in uno strato è la larghezza dello strato. Secondo l’ingegnere di ricerca di Google Roman Novak e il senior research scientist di Google Samuel S. Schoenholz, la larghezza dei modelli è strettamente correlata con un comportamento regolare e ripetibile. In un post del blog, i due ricercatori hanno spiegato che rendere le reti neurali più larghe rende il loro comportamento più regolare e più facile da interpretare.

Esiste un tipo diverso di modello di apprendimento automatico chiamato processo gaussiano. Un processo gaussiano è un processo stocastico che può essere rappresentato come una distribuzione normale multivariata. Con un processo gaussiano, ogni insieme/combinazione lineare finita di variabili sarà normalmente distribuita. Ciò significa che è possibile rappresentare interazioni estremamente complesse tra variabili come equazioni di algebra lineare interpretabili, e quindi è possibile studiare il comportamento di un’intelligenza artificiale attraverso questa lente. Come sono collegati i modelli di apprendimento automatico ai processi gaussiani? I modelli di apprendimento automatico che sono infinitamente larghi convergono verso un processo gaussiano.

Tuttavia, sebbene sia possibile interpretare i modelli di apprendimento automatico attraverso la lente di un processo gaussiano, ciò richiede la derivazione del limite di larghezza infinita di un modello. Si tratta di una serie complessa di calcoli che devono essere eseguiti per ogni architettura separata. Al fine di semplificare e velocizzare questi calcoli, il team di ricerca di Google ha progettato Neural Tangents. Neural Tangents consente a uno scienziato dei dati di utilizzare solo alcune righe di codice e di addestrare più reti neurali di larghezza infinita contemporaneamente. Spesso vengono addestrate più reti neurali sugli stessi set di dati e le loro previsioni vengono mediate, al fine di ottenere una previsione più robusta e immune ai problemi che potrebbero verificarsi in un modello individuale. Una tale tecnica è chiamata apprendimento ensemble. Uno degli svantaggi dell’apprendimento ensemble è che spesso è computazionalmente costoso. Tuttavia, quando una rete di larghezza infinita viene addestrata, l’ensemble è descritto da un processo gaussiano e la varianza e la media possono essere calcolate.

Tre diverse architetture di reti neurali di larghezza infinita sono state confrontate come test e i risultati del confronto sono stati pubblicati nel post del blog. In generale, i risultati delle reti ensemble guidate da processi gaussiani sono simili alle prestazioni delle reti neurali finite:

Come spiega il team di ricerca in un post del blog:

“Vediamo che, imitando le reti neurali finite, le reti di larghezza infinita seguono una gerarchia di prestazioni simile, con reti completamente connesse che si comportano peggio delle reti convoluzionali, che a loro volta si comportano peggio delle reti residue ampie. Tuttavia, a differenza dell’addestramento regolare, la dinamica di apprendimento di questi modelli è completamente tracciabile in forma chiusa, il che consente nuove insight sul loro comportamento.”

La release di Neural Tangents sembra essere stata programmata per coincidere con il TensorFlow Dev Summit. Il summit vede gli ingegneri di apprendimento automatico che utilizzano la piattaforma TensorFlow di Google riunirsi insieme. L’annuncio di Neural Tangents arriva poco dopo l’annuncio di TensorFlow Quantum.

Neural Tangents è stata resa disponibile tramite GitHub e c’è un notebook e un tutorial di Google Colaboratory che gli interessati possono accedere.