Addestrare modelli di visione computerizzata con rumore casuale anziché immagini reali

I ricercatori del MIT Computer Science & Artificial Intelligence Laboratory (CSAIL) hanno sperimentato l’utilizzo di immagini di rumore casuale in dataset di visione computerizzata per addestrare modelli di visione computerizzata e hanno scoperto che, invece di produrre spazzatura, il metodo è sorprendentemente efficace:

Modelli generativi dell’esperimento, ordinati per prestazioni. Fonte: https://openreview.net/pdf?id=RQUl8gZnN7O

Alimentare apparenti “spazzature visive” in architetture di visione computerizzata popolari non dovrebbe produrre questo tipo di prestazioni. A destra dell’immagine sopra, le colonne nere rappresentano punteggi di accuratezza (su Imagenet-100) per quattro dataset “reali”. Mentre i dataset di “rumore casuale” precedenti (rappresentati in vari colori, vedi indice in alto a sinistra) non possono eguagliare questo, sono quasi tutti all’interno di limiti di accuratezza rispettabili (linee rosse tratteggiate).

In questo senso “accuratezza” non significa che un risultato debba necessariamente assomigliare a un viso, una chiesa, una pizza, o qualsiasi altro dominio specifico per cui potresti essere interessato a creare un sistema di sintesi di immagini, come una rete generativa avversariale o un framework encoder/decoder.

Al contrario, significa che i modelli CSAIL hanno derivato verità centrali ampiamente applicabili da dati di immagini apparentemente non strutturati che non dovrebbero essere in grado di fornirle.

Diversità vs. Naturalismo

Né possono questi risultati essere attribuiti a sovrapprendimento: una vivace discussione tra gli autori e i revisori su Open Review rivela che mescolare diversi contenuti da dataset visivamente diversi (come “foglie morte”, “frattali” e “rumore procedurale” – vedi immagine sotto) in un dataset di addestramento migliora effettivamente l’accuratezza in questi esperimenti.

Ciò suggerisce (ed è un po’ una nozione rivoluzionaria) un nuovo tipo di “sottoprendimento”, in cui la “diversità” supera il “naturalismo”.

La pagina del progetto permette di visualizzare interattivamente i diversi tipi di dataset di immagini casuali utilizzati nell’esperimento. Fonte: https://mbaradad.github.io/learning_with_noise/

I risultati ottenuti dai ricercatori mettono in discussione la relazione fondamentale tra reti neurali basate su immagini e le immagini del “mondo reale” che vengono loro presentate in volumi allarmanti crescenti ogni anno, e implicano che la necessità di ottenere, curare e gestire dataset di immagini iperscalari potrebbe eventualmente diventare ridondante. Gli autori affermano:

‘I sistemi di visione attuali sono addestrati su enormi dataset, e questi dataset comportano costi: la cura è costosa, ereditano pregiudizi umani e ci sono preoccupazioni sulla privacy e i diritti di utilizzo. Per contrastare questi costi, è aumentato l’interesse per l’apprendimento da fonti di dati più economiche, come immagini non etichettate.’

‘In questo articolo, andiamo un passo oltre e chiediamo se possiamo fare a meno completamente di dataset di immagini reali, imparando da processi di rumore procedurale.’

I ricercatori suggeriscono che l’attuale crop di architetture di apprendimento automatico potrebbe essere inferita qualcosa di molto più fondamentale (o, almeno, inaspettato) dalle immagini di quanto si pensasse in precedenza, e che immagini “senza senso” possono potenzialmente impartire una grande quantità di questa conoscenza molto più a buon mercato, anche con l’uso possibile di dati sintetici ad hoc, tramite architetture di generazione di dataset che generano immagini casuali durante l’addestramento:

‘Noi identifichiamo due proprietà chiave che rendono buoni dati sintetici per l’addestramento di sistemi di visione: 1) naturalismo, 2) diversità. È interessante notare che i dati più naturalistici non sono sempre i migliori, poiché il naturalismo può essere a scapito della diversità.

‘Il fatto che i dati naturalistici aiutino non dovrebbe essere sorprendente, e suggerisce che, in effetti, i grandi dataset reali hanno valore. Tuttavia, scopriamo che ciò che è cruciale non è che i dati siano reali ma che siano naturalistici, cioè devono catturare alcune proprietà strutturali dei dati reali.

‘Molte di queste proprietà possono essere catturate in semplici modelli di rumore.’

Visualizzazioni di caratteristiche risultanti da un encoder derivato da AlexNet su alcuni dei vari dataset di ‘immagini casuali’ utilizzati dagli autori, coprendo il 3° e il 5° (ultimo) strato convoluzionale. La metodologia utilizzata qui segue quella descritta in Google AI research del 2017.

L’articolo, presentato alla 35a Conferenza su Neural Information Processing Systems (NeurIPS 2021) a Sydney, è intitolato Learning to See by Looking at Noise e proviene da sei ricercatori di CSAIL, con contributo uguale.

Il lavoro è stato raccomandato all’unanimità per una selezione spotlight a NeurIPS 2021, con commentatori peer che caratterizzano l’articolo come ‘una svolta scientifica’ che apre un ‘grande settore di studio’, anche se solleva tante domande quante ne risponde.

Nell’articolo, gli autori concludono:

‘Abbiamo dimostrato che, quando progettati utilizzando risultati della ricerca passata su statistiche di immagini naturali, questi dataset possono addestrare con successo rappresentazioni visive. Speriamo che questo articolo motivi lo studio di nuovi modelli generativi in grado di produrre rumore strutturato che raggiunga prestazioni ancora più elevate quando utilizzato in una varietà di compiti visivi.

‘Sarebbe possibile eguagliare le prestazioni ottenute con il pre-addestramento su ImageNet? Forse, in assenza di un grande set di addestramento specifico per una particolare attività, il miglior pre-addestramento potrebbe non essere l’utilizzo di un dataset reale standard come ImageNet.’