La ricerca di Google identifica un collo di bottiglia negli approcci iperscalari all’IA

Un nuovo articolo di ricerca di Google indica che l’attuale tendenza alla creazione di dataset ad alto volume potrebbe essere controproducente per lo sviluppo di sistemi di intelligenza artificiale efficaci. In realtà, la ricerca suggerisce che prodotti di apprendimento automatico migliori potrebbero emergere dall’addestramento su dataset meno precisi (cioè tecnicamente “peggiori”).

Se i principi ottenuti dai ricercatori sono validi, significa che i dataset “iperscalari” come il recentemente rilasciato LAION-400M (che contiene 400 milioni di coppie testo-immagine) e i dati dietro il motore neurale linguistico GPT-3 (contenente 175 miliardi di parametri) potrebbero essere soggetti a un tipo di “limite termico” nelle architetture e nelle metodologie di apprendimento automatico tradizionali e popolari, in cui il volume di dati “satura” le applicazioni a valle e impedisce loro di generalizzare in modo utile.

I ricercatori propongono anche metodi alternativi per rivedere l’architettura dei dataset iperscalari, al fine di riequilibrare la situazione.

L’articolo afferma:

‘Approfondendo ulteriormente per comprendere le ragioni che danno origine a questi fenomeni, mostriamo che il comportamento di saturazione che osserviamo è strettamente legato al modo in cui le rappresentazioni evolvono attraverso i livelli dei modelli. Presentiamo uno scenario ancora più estremo in cui le prestazioni a monte e a valle sono in conflitto tra loro. Ciò significa che, per avere una migliore prestazione a valle, dobbiamo danneggiare l’accuratezza a monte.’

Lo studio è intitolato Esplorare i limiti della pre-elaborazione su larga scala e proviene da quattro autori di Google Research.

Indagare sulla ‘saturazione’

Gli autori sfidano le ipotesi prevalenti relative alle relazioni tra macchina e dati nell’era dei dati iperscalari: che l’aumento delle dimensioni dei modelli e dei dati migliori notevolmente le prestazioni (una convinzione che si è consolidata nell’entusiasmo per GPT-3 dalla sua uscita); e che queste prestazioni migliorate “passano” alle attività a valle in modo lineare (cioè desiderabile), in modo che gli algoritmi sul dispositivo che vengono infine lanciati sul mercato, derivati dai dataset e dai modelli addestrati a monte, traggano completamente beneficio dalle intuizioni delle architetture a monte complete.

‘Queste vedute,’ notano i ricercatori ‘suggeriscono che spendere risorse di calcolo e sforzi di ricerca per migliorare le prestazioni su un corpus enorme sarebbe utile perché ci permetterebbe di risolvere molti compiti a valle quasi gratuitamente.’

Ma l’articolo sostiene che la mancanza di risorse di calcolo e i metodi “economici” di valutazione dei modelli stanno contribuendo a una falsa impressione delle dinamiche di relazione tra volume di dati e sistemi di intelligenza artificiale utili. Gli autori identificano questa abitudine come “un grande limite”, poiché la comunità di ricerca presume generalmente che i risultati locali (positivi) si tradurranno in implementazioni utili successive:

‘[A causa] delle limitazioni di calcolo, le prestazioni per diverse scelte di valori di iperparametri non vengono riportate. I grafici di scala sembrano più favorevoli se l’iperparametro scelto per ogni scala è fisso o determinato da una semplice funzione di scala.’

I ricercatori affermano inoltre che molti studi di scala vengono misurati non in base a scale assolute, ma come miglioramenti incrementali rispetto allo stato dell’arte (SotA), osservando che ‘non c’è alcun motivo, a priori, per cui la scala debba valere al di fuori dell’intervallo di studio’.

Pre-elaborazione

L’articolo affronta la pratica della “pre-elaborazione”, una misura progettata per risparmiare risorse di calcolo e ridurre i tempi di addestramento dei modelli su larga scala. Le istantanee di pre-elaborazione gestiscono gli “ABC” del modo in cui i dati all’interno di un dominio diventano generalizzati durante l’addestramento, e vengono comunemente utilizzate in vari settori e specializzazioni di apprendimento automatico, dalla elaborazione del linguaggio naturale (NLP) ai deepfake.

La ricerca accademica precedente ha trovato che la pre-elaborazione può migliorare notevolmente la robustezza e l’accuratezza del modello, ma il nuovo articolo suggerisce che la complessità delle caratteristiche, anche in modelli di pre-elaborazione relativamente brevi, potrebbe essere più utile se “spostata” verso processi successivi nella pipeline.

Tuttavia, ciò non può accadere se i ricercatori continuano a dipendere da modelli pre-addestrati che utilizzano le migliori pratiche attuali nell’applicazione dei tassi di apprendimento, che, secondo la ricerca, possono notevolmente influenzare l’accuratezza finale delle applicazioni del lavoro. A questo proposito, gli autori notano che ‘non si può sperare di trovare un unico punto di controllo pre-addestrato che funzioni bene su tutti i possibili compiti a valle’.

Lo studio

Per stabilire l’effetto di saturazione, gli autori hanno condotto 4800 esperimenti su Vision Transformer, ResNet e MLP-Mixer, ciascuno con un numero variabile di parametri, da 10 milioni a 10 miliardi, tutti addestrati sui dataset ad alto volume disponibili nei rispettivi settori, inclusi ImageNet21K e il dataset JFT-300M di Google.

I risultati, afferma l’articolo, mostrano che la diversità dei dati dovrebbe essere considerata come un’ulteriore dimensione quando si tenta di “scalare” i dati, i parametri del modello e il tempo di calcolo. Come stanno le cose, la forte concentrazione di risorse di addestramento (e dell’attenzione dei ricercatori) sulla sezione a monte di una pipeline di IA sta effettivamente bombardando le applicazioni a valle con un’avalanche di parametri fino a un punto di “saturazione”, riducendo la capacità degli algoritmi distribuiti di navigare attraverso le caratteristiche e di eseguire inferenze o trasformazioni.

L’articolo conclude:

‘Attraverso uno studio approfondito, stabiliamo che, man mano che miglioriamo le prestazioni del compito a monte, sia aumentando la scala o le scelte di iperparametri e architetture, le prestazioni dei compiti a valle mostrano un comportamento di saturazione. Inoltre, forniamo forti prove empiriche che, contrariamente al racconto comune, la scala non porta a una soluzione “uno-modello-va-tutto”.’