Valutazione dell’accuratezza storica di ImageNet

Uno studio recente di Google Research e UC Berkeley aggiunge alle critiche di lunga data riguardanti il settore della ricerca sulla visione artificiale (CV) e la sua dipendenza dal dataset ImageNet, venerabile e dalle molte diramazioni. Dopo una grande quantità di valutazione manuale laboriosa, gli autori concludono che quasi il 50% degli errori supposti che i migliori modelli commettono sulla sottoparte di valutazione multi-etichetta di ImageNet (dove i modelli di punta attuali raggiungono più del 97% di accuratezza top-1) non sono in realtà errori.

Dal paper:

‘La nostra analisi rivela che quasi la metà degli errori supposti non sono errori affatto, e scopriamo nuove etichette multi-valore valide, dimostrando che, senza una revisione attenta, stiamo sottostimando significativamente le prestazioni di questi modelli.

‘D’altra parte, scopriamo anche che i migliori modelli di oggi commettono ancora un numero significativo di errori (40%) che sono ovviamente sbagliati per i revisori umani.’

La misura in cui l’etichettatura errata dei set di dati – in particolare da parte di lavoratori di crowdsourcing non qualificati – potrebbe influenzare il settore, è stata rivelata dall’approccio meticoloso dello studio alla valutazione delle coppie di immagini/testo su una vasta parte della storia di ImageNet.

Nella riga superiore, esempi di gravità degli errori: nei primi due esempi, il nuovo modello semplicemente ottiene l’etichetta prevista errata; nel terzo esempio, il nuovo modello identifica un’etichetta multi-valore precedentemente mancante (un’etichetta che affronta una nuova categorizzazione dell’immagine); nell’ultima immagine della riga superiore, la previsione del modello è ambigua, poiché l’immagine è una mosca-bee e non una mosca. Tuttavia, la mosca media appartiene all’ordine di insetti Diptera, quindi questa eccezione sarebbe quasi impossibile da rilevare, anche per un annotatore esperto. Nella riga sottostante ci sono quattro categorie di errori, con esempi.  Fonte: https://arxiv.org/pdf/2205.04596.pdf

I ricercatori hanno impiegato un piccolo numero di valutatori dedicati per valutare meticolosamente i registri di errori storici nel set di dati ImageNet, scoprendo che molti dei giudizi di errore sono essi stessi in errore – una scoperta che potrebbe revisionare alcune delle valutazioni scadenti che molti progetti hanno ottenuto sui benchmark di ImageNet nel corso degli anni.

Man mano che ImageNet si consolida nella cultura CV, i ricercatori sostengono che i miglioramenti dell’accuratezza sono considerati produrre rendimenti decrescenti, e che nuovi modelli che superano l’accuratezza delle etichette stabilite e che suggeriscono nuove etichette (cioè aggiuntive) potrebbero essere puniti, essenzialmente, per non conformità.

‘Ad esempio,’ gli autori osservano. ‘dovremmo penalizzare i modelli per essere i primi a prevedere che un bagel precotto possa essere un bagel, come fa uno dei modelli che esaminiamo in questo lavoro?’

Dal paper, un modello più recente sfida la previsione precedente che l’oggetto nella foto è pasta, e suggerisce che l’oggetto è in realtà già un bagel).

Dal punto di vista di un lavoratore di crowdsourcing incaricato di identificare un tale oggetto, si tratta di un dilemma semantico e anche filosofico che può essere risolto solo con l’etichettatura multi-valore (come spesso accade in sottoparti successive e iterazioni successive di ImageNet); nel caso sopra, l’oggetto è in realtà sia pasta che almeno un bagel nascente.

Errori maggiori (sopra) e minori (sotto) emersi durante la sperimentazione di modelli personalizzati nella ricerca. Le etichette originali di ImageNet sono le prime immagini a sinistra.

Le due soluzioni ovvie sono assegnare più risorse all’etichettatura (il che è una sfida, all’interno dei vincoli di budget della maggior parte dei progetti di ricerca sulla visione artificiale); e, come sottolineano gli autori, aggiornare regolarmente i set di dati e le sottoparti di valutazione delle etichette (il che, tra gli altri ostacoli, rischia di rompere la continuità storica ‘like for like’ dei benchmark e di lettere nuove ricerche con qualifiche e dichiarazioni riguardo all’equivalenza).

Come passo per rimediare alla situazione, i ricercatori hanno sviluppato un nuovo sottodataset di ImageNet chiamato ImageNet-Major (ImageNet-M), che descrivono come ‘un esempio di 68 errori “maggiori” ovvi commessi dai migliori modelli di oggi – un esempio in cui i modelli dovrebbero raggiungere la perfezione, ma oggi sono lontani dal farlo.’

Il paper è intitolato Quando la pasta diventa un bagel? Analisi degli errori rimanenti su ImageNet, e è scritto da quattro autori di Google Research, insieme a Sara Fridovich-Keil di UC Berkeley.

Debito tecnico

I risultati sono importanti perché gli errori rimanenti identificati (o mal identificati) in ImageNet, nei 16 anni dalla sua creazione, possono rappresentare la differenza tra un modello deployabile e uno che è sufficientemente soggetto a errori da non poter essere utilizzato su dati live. Come sempre, l’ultimo miglio è critico.

Il settore della ricerca sulla visione artificiale e sulla sintesi di immagini ha effettivamente ‘auto-selezionato’ ImageNet come metrica di benchmark, per una serie di motivi – non ultimo perché un gruppo di primi adottanti, in un momento in cui i set di dati ad alto volume e ben etichettati erano più rari di quanto non lo siano ora, ha prodotto così tante iniziative di ricerca che testare contro ImageNet è diventato rapidamente l’unico ‘standard’ storico ampiamente applicabile per il benchmarking di nuovi framework.

Metodo

Cercando gli ‘errori rimanenti’ in ImageNet, i ricercatori hanno utilizzato un modello standard ViT (in grado di raggiungere un’accuratezza del 89,5%) con 3 miliardi di parametri, Vit-3B, pre-addestrato su JFT-3B e fine-tuning su ImageNet-1K.

Utilizzando il dataset ImageNet2012_multilabel, i ricercatori hanno registrato l’accuratezza multi-etichetta iniziale (MLA) di ViT-3B come 96,3%, durante il quale il modello ha commesso 676 errori apparenti. Sono stati questi errori (e anche errori prodotti da un modello Greedy Soups) che gli autori hanno cercato di indagare.

Per valutare gli errori rimanenti 676, gli autori hanno evitato i lavoratori di crowdsourcing, osservando che errori di questo tipo possono essere difficili per gli annotatori medi da rilevare, ma hanno raccolto un panel di cinque revisori esperti e creato uno strumento dedicato per consentire a ciascun revisore di vedere a colpo d’occhio la classe prevista; il punteggio previsto; le etichette di verità fondanti; e l’immagine stessa.

L’interfaccia utente costruita per il progetto.

In alcuni casi, ulteriori ricerche sono state necessarie per risolvere dispute all’interno del panel, e la ricerca di immagini di Google è stata utilizzata come strumento ausiliario.

‘[In] un caso interessante ma non isolato, una previsione di un taxi (con nessun indicatore di taxi ovvio oltre al colore giallo) era presente nell’immagine; abbiamo determinato che la previsione era corretta e non solo un veicolo standard identificando un ponte di riferimento sullo sfondo per localizzare la città, e una ricerca di immagini successiva per taxi in quella città ha prodotto immagini dello stesso modello di taxi e design di targa, validando la previsione effettivamente corretta del modello.’

Dopo la revisione iniziale degli errori trovati in diverse fasi della ricerca, gli autori hanno formulato quattro nuovi tipi di errori: errore fine-grained, dove la classe prevista è simile a un’etichetta di verità fondante; fine-grained con out-of-vocabulary (OOV), dove il modello identifica un oggetto la cui classe è corretta ma non presente in ImageNet; correlazione spuria, dove l’etichetta prevista è letta fuori contesto dell’immagine; e non-prototipico, dove l’oggetto di verità fondante è un esempio specioso della classe che assomiglia all’etichetta prevista.

In alcuni casi, la verità fondante non era essa stessa ‘vera’:

‘Dopo la revisione degli errori originali 676 [trovati in ImageNet], abbiamo scoperto che 298 erano corretti o poco chiari, o abbiamo determinato che la verità fondante originale era errata o problematica.’

Dopo un round esauriente e complesso di esperimenti su una serie di set di dati, sottoparti e set di convalida, gli autori hanno scoperto che i due modelli in studio erano effettivamente considerati corretti (dai revisori umani) per la metà degli ‘errori’ che commettevano con tecniche convenzionali.

Il paper conclude:

‘In questo paper, abbiamo analizzato ogni errore rimanente che i modelli ViT-3B e Greedy Soups commettono sul set di convalida multi-etichetta di ImageNet.

‘Nel complesso, abbiamo scoperto che: 1) quando un modello di grandi dimensioni e alta accuratezza fa una previsione nuova non fatta da altri modelli, si rivela essere una nuova etichetta multi-valore corretta quasi la metà delle volte; 2) i modelli di accuratezza più alta non mostrano un modello ovvio nelle nostre categorie e gravità degli errori che risolvono; 3) i modelli SOTA di oggi stanno in gran parte eguagliando o superando le prestazioni del miglior esperto umano sulla sottoparte di valutazione multi-etichetta umana; 4) i dati di formazione rumorosi e le classi non specificate possono essere un fattore che limita la misurazione efficace dei miglioramenti nella classificazione delle immagini.’

Pubblicato per la prima volta il 15 maggio 2022.