La sovrainterpretazione potrebbe essere una minaccia più grande e più intractabile dell’overfitting

Se il tuo buon amico Alice ama indossare maglioni gialli, vedrai molti più maglioni gialli della persona media. Dopo un po’, è possibile che quando vedi una donna diversa che indossa un maglione giallo, il concetto fondamentale Alice ti venga in mente.

Se vedi una donna che indossa un maglione giallo che assomiglia un po’ ad Alice, potresti addirittura scambiarla per la tua amica per un attimo.

Ma non è Alice. Alla fine, ti renderai conto che maglione giallo non è una chiave utile per identificare Alice, poiché lei non li indossa in estate e non li indossa sempre in inverno. In qualche modo, durante l’amicizia, inizierai a declassare maglione giallo come possibile identificatore di Alice, perché la tua esperienza con esso è stata insoddisfacente e l’energia cognitiva utilizzata per mantenere questo shortcut non è frequentemente gratificata.

Se sei un sistema di riconoscimento basato su computer vision, tuttavia, è possibile che tu veda Alice ovunque tu veda un maglione giallo.

Non è colpa tua; sei stato incaricato di identificare Alice a tutti i costi, con il minimo di informazioni disponibili, e non c’è carenza di risorse cognitive per mantenere questo Alice cribs.

Discernimento inquietante

Secondo un recente articolo del MIT Computer Science & Artificial Intelligence Laboratory (CSAIL) e di Amazon Web Services, questo sindrome, chiamato sovrainterpretazione, è diffuso nel campo della ricerca sulla visione computerizzata (CV); non può essere mitigato affrontando l’overfitting (poiché non è un diretto ausilio dell’overfitting); è comunemente evinto nella ricerca che utilizza i due set di dati più influenti nel riconoscimento e trasformazione di immagini, CIFAR-10 e ImageNet; e non ha rimedi facili – certamente non rimedi economici.

I ricercatori hanno scoperto che quando riducono le immagini di addestramento di input a solo il 5% del loro contenuto coerente, una vasta gamma di framework popolari continua a classificare correttamente le immagini, che appaiono, nella maggior parte dei casi, come “gibberish” visivo per qualsiasi osservatore umano:

Immagini di addestramento originali da CIFAR-10, ridotte a solo il 5% del contenuto di pixel originale, ma classificate correttamente da una gamma di framework di visione computerizzata molto popolari con un’accuratezza tra il 90-99%. Fonte: https://arxiv.org/pdf/2003.08907.pdf

In alcuni casi, i framework di classificazione trovano queste immagini ridotte più facili da classificare correttamente rispetto ai frame completi nei dati di addestramento originali, con gli autori che osservano ‘[CNN] sono più confidenti su questi subset di pixel che su immagini complete’.

Questo indica un tipo potenzialmente destabilizzante di “trucco” che si verifica come pratica comune per i sistemi di visione computerizzata che utilizzano set di dati di riferimento come CIFAR-10 e ImageNet, e framework di riferimento come VGG16, ResNet20 e ResNet18.

La sovrainterpretazione ha ramificazioni notevoli per i sistemi di veicoli autonomi basati sulla visione computerizzata, che sono stati recentemente messi in evidenza dalla decisione di Tesla di favorire l’interpretazione delle immagini rispetto a LiDAR e altri sistemi di rilevamento basati su raggi per gli algoritmi di guida autonoma.

Sebbene l'”apprendimento di scorciatoie” sia una sfida nota, e un campo di ricerca attiva nella visione computerizzata, gli autori del paper commentano che la ricerca tedesco-canadese che ha inquadrato il problema nel 2019 non riconosce che i subset di pixel “spurio” che caratterizzano la sovrainterpretazione sono “dati statisticamente validi”, che potrebbero dover essere affrontati in termini di architettura e approcci di alto livello, piuttosto che attraverso una curation più attenta dei set di dati.

L’articolo si intitola La sovrainterpretazione rivela le patologie dei modelli di classificazione di immagini, e proviene da Brandon Carter, Siddhartha Jain e David Gifford presso CSAIL, in collaborazione con Jonas Mueller di Amazon Web Services. Il codice per l’articolo è disponibile su https://github.com/gifford-lab/overinterpretation.

Ridurre i dati

Le immagini private dei dati che i ricercatori hanno utilizzato sono definite da loro come Sufficient Input Subsets (SIS) – in effetti, un’immagine SIS contiene il minimo “involucro esterno” che può delineare un’immagine abbastanza bene da permettere a un sistema di visione computerizzata di identificare il soggetto originale dell’immagine (ad esempio cane, nave, ecc.).

Nella riga superiore, vediamo immagini di validazione complete di ImageNet; in basso, i subset SIS, classificati correttamente da un modello Inception V3 con una fiducia del 90%, basato, apparentemente, su tutto ciò che rimane dell’immagine – contesto di sfondo. Naturalmente, l’ultima colonna ha implicazioni notevoli per il riconoscimento di segnali stradali negli algoritmi di guida autonoma dei veicoli.

Commentando i risultati ottenuti nell’immagine sopra, i ricercatori osservano:

‘Troviamo che i pixel SIS sono concentrati al di fuori dell’oggetto reale che determina l’etichetta di classe. Ad esempio, nell’immagine “pizza”, il SIS è concentrato sulla forma del piatto e sullo sfondo del tavolo, piuttosto che sulla pizza stessa, suggerendo che il modello potrebbe generalizzare male su immagini che contengono oggetti circolari diversi su un tavolo. Nell’immagine “panda gigante”, il SIS contiene bambù, che probabilmente è apparso nella raccolta di immagini ImageNet per questa classe.

‘Nelle immagini “semaforo” e “segnaletica stradale”, il SIS consiste di pixel nel cielo, suggerendo che i sistemi di guida autonoma dei veicoli che potrebbero dipendere da questi modelli dovrebbero essere valutati con attenzione per le patologie della sovrainterpretazione.’

Le immagini SIS non sono state ridotte a caso, ma sono state create per il progetto attraverso un processo di selezione dei gradienti batchati, su Inception V3 e ResNet50 via PyTorch. Le immagini sono derivate da una routine di ablazione che tiene conto della relazione tra la capacità del modello di classificare correttamente un’immagine e le aree in cui i dati originali vengono rimossi iterativamente.

Per confermare la validità di SIS, gli autori hanno testato un processo di rimozione casuale dei pixel, e hanno trovato i risultati “significativamente meno informativi” nei test, indicando che le immagini SIS rappresentano effettivamente i dati minimi necessari per le previsioni accettabili dei modelli popolari.

Un’occhiata a una delle immagini ridotte suggerisce che questi modelli dovrebbero fallire in linea con i livelli di discernimento visivo umano, che porterebbe a un’accuratezza media inferiore al 20%.

Con immagini SIS ridotte a solo il 5% dei pixel originali, gli esseri umani raggiungono a malapena un tasso di classificazione “maggiore del caso”, rispetto al tasso di successo del 90-99% dei set di dati e dei framework popolari studiati nell’articolo.

Oltre l’overfit

L’overfitting si verifica quando un modello di apprendimento automatico si addestra così estensivamente su un set di dati che diventa esperto nel fare previsioni per quei dati specifici, ma è molto meno efficace (o addirittura completamente inefficace) su dati freschi che gli vengono presentati dopo l’addestramento (dati fuori distribuzione).

Gli autori notano che l’attuale interesse accademico e industriale nel combattere l’overfitting non risolverà simultaneamente la sovrainterpretazione, perché i subset di pixel ridotti che rappresentano immagini identificabili per i computer e macchie insensate per gli esseri umani sono effettivamente dati applicabili, piuttosto che una concentrazione “ossessiva” su dati poveramente curati o anemici:

‘La sovrainterpretazione è legata all’overfitting, ma l’overfitting può essere diagnosticato attraverso un’accuratezza dei test ridotta. La sovrainterpretazione può derivare da segnali statistici veri nel dataset sottostante che possono derivare da proprietà specifiche del set di dati (ad esempio, le regole dei dermatologi).

‘Pertanto, la sovrainterpretazione può essere più difficile da diagnosticare poiché ammette decisioni che sono prese in base a criteri statistici validi, e i modelli che utilizzano tali criteri possono eccellere nei benchmark.’

Soluzioni possibili

Gli autori suggeriscono che l’ensemble di modelli, dove più architetture contribuiscono al processo di valutazione e addestramento, potrebbe andare qualche modo a mitigare la sovrainterpretazione. Hanno anche trovato che applicare input dropout, originariamente progettato per impedire l’overfitting, ha portato a “una piccola diminuzione” dell’accuratezza del test CIFAR-10 (che è probabilmente desiderabile), ma a un “aumento significativo” (∼ 6%) dell’accuratezza dei modelli su dati non visti. Tuttavia, i bassi numeri suggeriscono che eventuali cure successive per l’overfitting sono improbabili a risolvere completamente la sovrainterpretazione.

Gli autori ammettono la possibilità di utilizzare mappe di salienza per indicare quali aree di un’immagine sono pertinenti per l’estrazione di caratteristiche, ma notano che ciò sconfigge l’obiettivo dell’analisi delle immagini automatizzata, e richiede un’annotazione umana che è impraticabile su larga scala. Osservano inoltre che le mappe di salienza sono state trovate essere solo stime grezze in termini di insight nelle operazioni del modello.

L’articolo conclude:

‘Data l’esistenza di subset di pixel non salienti che da soli sono sufficienti per la classificazione corretta, un modello può affidarsi esclusivamente a tali modelli. In questo caso, un metodo di interpretazione che descrive fedelmente il modello dovrebbe produrre queste razionalizzazioni insensate, mentre i metodi di interpretazione che tendono a razionalizzare verso i priori umani possono produrre risultati che ingannano gli utenti facendogli pensare che i loro modelli si comportino come inteso.’

Pubblicato per la prima volta il 13 gennaio 2022.