I modelli di apprendimento profondo potrebbero avere difficoltà a riconoscere le immagini generate dall’AI

I risultati di un nuovo studio indicano che l’AI all’avanguardia è significativamente meno in grado di riconoscere e interpretare le immagini sintetizzate dall’AI rispetto alle persone, il che potrebbe essere motivo di preoccupazione in un futuro in cui i modelli di apprendimento automatico saranno sempre più addestrati su dati sintetici e non sarà noto se i dati sono “reali” o meno.

Qui vediamo il modello di previsione resnext101_32x8d_wsl che fatica nella categoria ‘bagel’. Nei test, si è considerato un fallimento di riconoscimento se la parola chiave principale (in questo caso ‘bagel’) non era presente tra i cinque risultati previsti. Fonte: https://arxiv.org/pdf/2208.10760.pdf

La nuova ricerca ha testato due categorie di framework di riconoscimento basati su computer vision: riconoscimento di oggetti e risposta a domande visive (VQA).

A sinistra, successi e fallimenti dell’inferenza da un sistema di riconoscimento di oggetti; a destra, compiti VQA progettati per sondare la comprensione dell’AI di scene e immagini in modo più esplorativo e significativo. Fonti: https://arxiv.org/pdf/2105.05312.pdf e https://arxiv.org/pdf/1505.00468.pdf

Su dieci modelli all’avanguardia testati su set di dati curati generati da framework di sintesi di immagini come DALL-E 2 e Midjourney, il modello migliore è stato in grado di raggiungere solo il 60% e l’80% di accuratezza top-5 nei due tipi di test, mentre ImageNet, addestrato su dati reali non sintetici, può raggiungere rispettivamente il 91% e il 99% nelle stesse categorie, mentre le prestazioni umane sono generalmente molto più elevate.

Affrontando questioni relative al shift di distribuzione (noto anche come ‘deriva del modello’, dove i modelli di previsione sperimentano una capacità predittiva ridotta quando si spostano dai dati di addestramento ai ‘dati reali’), il documento afferma:

‘Gli esseri umani sono in grado di riconoscere le immagini generate e rispondere a domande su di esse facilmente. Concludiamo che a) i modelli profondi faticano a comprendere il contenuto generato e potrebbero migliorare dopo una fine-tuning, e b) c’è un grande shift di distribuzione tra le immagini generate e le fotografie reali. Lo shift di distribuzione sembra essere dipendente dalla categoria.’

Date le grandi quantità di immagini sintetiche che già inondano internet dopo l’open-sourcing della potente modello di sintesi di immagini Stable Diffusion, si pone naturalmente la possibilità che, poiché le ‘immagini false’ inondano set di dati standard dell’industria come Common Crawl, le variazioni di accuratezza nel corso degli anni potrebbero essere influenzate in modo significativo da ‘immagini non reali’.

Sebbene i dati sintetici siano stati salutati come il potenziale salvatore del settore di ricerca della visione computerizzata, che spesso manca di risorse e budget per la cura su larga scala, il nuovo torrente di immagini Stable Diffusion (insieme alla generale crescita di immagini sintetiche dalla nascita e commercializzazione di DALL-E 2) sono improbabili a venire tutti con etichette, annotazioni e hashtag che li distinguono come ‘falsi’ nel momento in cui i sistemi di visione macchina li raccolgono da internet.

La velocità di sviluppo dei framework di sintesi di immagini open source ha notevolmente superato la nostra capacità di categorizzare le immagini da questi sistemi, portando a un crescente interesse per i sistemi di rilevamento di ‘immagini false’, simili ai sistemi di rilevamento di deepfake, ma incaricati di valutare intere immagini piuttosto che sezioni di volti.

Il nuovo documento è intitolato Quanto sono bravi i modelli profondi nel comprendere le immagini generate?, e proviene da Ali Borji di Quintic AI, una startup di apprendimento automatico con sede a San Francisco.

Dati

Lo studio precede il rilascio di Stable Diffusion, e gli esperimenti utilizzano dati generati da DALL-E 2 e Midjourney su 17 categorie, tra cui elefante, fungo, pizza, pretzel, tractor e coniglio.

Esempi di immagini dalle quali i sistemi di riconoscimento e VQA testati sono stati sfidati a identificare il concetto chiave più importante.

Le immagini sono state ottenute attraverso ricerche web e Twitter, e, in conformità con le politiche di DALL-E 2 (almeno, al momento), non includevano immagini con volti umani. Sono state scelte solo immagini di buona qualità, riconoscibili dagli esseri umani.

Sono stati curati due set di immagini, uno per il riconoscimento di oggetti e uno per il compito VQA.

Numero di immagini presenti in ogni categoria testata per il riconoscimento di oggetti.

Test di riconoscimento di oggetti

Per i test di riconoscimento di oggetti, sono stati testati dieci modelli, tutti addestrati su ImageNet: AlexNet, ResNet152, MobileNetV2, DenseNet, ResNext, GoogleNet, ResNet101, Inception_V3, Deit, e ResNext_WSL.

Alcune delle classi nei sistemi testati erano più granulari di altre, richiedendo l’applicazione di approcci medi. Ad esempio, ImageNet contiene tre classi relative a ‘orologi’, e fu necessario definire una sorta di metrica arbitraria, dove l’inclusione di qualsiasi ‘orologio’ di qualsiasi tipo tra i cinque etichette ottenute per ogni immagine era considerata un successo in quell’istanza.

Prestazioni per modello su 17 categorie.

Il modello migliore in questa fase è stato resnext101_32x8d_ws, che ha raggiunto quasi il 60% per top-1 (cioè le volte in cui la sua previsione preferita su cinque ipotesi era il concetto corretto rappresentato nell’immagine) e l’80% per top-five (cioè il concetto desiderato era almeno elencato da qualche parte nelle cinque ipotesi del modello sull’immagine).

L’autore suggerisce che le buone prestazioni di questo modello sono dovute al fatto che è stato addestrato per la previsione debole di hashtag su piattaforme di social media. Tuttavia, questi risultati di punta, nota l’autore, sono notevolmente al di sotto di quanto ImageNet possa raggiungere su dati reali, cioè il 91% e il 99%. Sostiene che ciò è dovuto a una grande disparità tra la distribuzione delle immagini ImageNet (che sono anch’esse raccolte dal web) e le immagini generate.

Le cinque categorie più difficili per il sistema, in ordine di difficoltà, sono state aquiloni, tartarughe, scoiattoli, occhiali da sole e elmetti. Il documento nota che la classe aquiloni è spesso confusa con palloni, paracadute e ombrelli, sebbene queste distinzioni siano facilmente individuabili dagli osservatori umani.

Certe categorie, tra cui aquiloni e tartarughe, hanno causato un fallimento universale in tutti i modelli, mentre altre (in particolare pretzel e tractor) hanno portato a un successo quasi universale in tutti i modelli testati.

Categorie polarizzanti: alcune delle categorie di destinazione scelte hanno o ingannato tutti i modelli o sono state abbastanza facili per tutti i modelli da identificare.

Gli autori ipotizzano che questi risultati indichino che tutti i modelli di riconoscimento di oggetti condividano punti di forza e debolezza simili.

Test di risposta a domande visive

Successivamente, l’autore ha testato i modelli VQA su domande aperte e libere VQA, con domande binarie (cioè domande alle quali la risposta può essere solo ‘sì’ o ‘no’). Il documento nota che i modelli VQA all’avanguardia sono in grado di raggiungere il 95% di accuratezza sul set di dati VQA-v2.

Per questa fase di testing, l’autore ha curato 50 immagini e formulato 241 domande su di esse, 132 delle quali avevano risposte positive e 109 negative. La lunghezza media delle domande era di 5,12 parole.

Questa fase ha utilizzato il modello OFA, un framework agnostico rispetto al compito e alla modalità per testare la completezza del compito, e recentemente il punteggio più alto nel set di test VQA-v2 test-std. Il modello OFA ha raggiunto il 77,27% di accuratezza sulle immagini generate, rispetto al suo punteggio del 94,7% nel set di test VQA-v2.

Esempi di domande e risultati dalla sezione VQA dei test. ‘GT” è ‘Verità di riferimento’, cioè la risposta corretta.

L’autore del documento suggerisce che parte del motivo potrebbe essere che le immagini generate contengono concetti semantici assenti nel set di dati VQA-v2, e che le domande scritte per i test VQA potrebbero essere più impegnative rispetto allo standard generale delle domande VQA-v2, sebbene ritenga che la prima ragione sia più probabile.

LSD nel flusso di dati?

Opinione

La nuova proliferazione di immagini sintetizzate dall’AI, che possono presentare congiunzioni e astrazioni di concetti fondamentali che non esistono in natura, e che sarebbero proibitivamente lunghe da produrre con metodi convenzionali, potrebbe presentare un particolare problema per i sistemi di raccolta di dati debolmente supervisionati, che potrebbero non essere in grado di fallire in modo elegante – in gran parte perché non sono stati progettati per gestire grandi volumi di dati sintetici non etichettati.

In tali casi, potrebbe esserci il rischio che questi sistemi canalizzino una percentuale di ‘strane’ immagini sintetiche in categorie errate semplicemente perché le immagini presentano oggetti distinti che non appartengono realmente insieme.

‘Astronauta che cavalca un cavallo’ è forse diventata la visualizzazione più emblematica della nuova generazione di sistemi di sintesi di immagini – ma queste ‘relazioni non reali’ potrebbero entrare in sistemi di rilevamento reali a meno che non si prendano precauzioni. Fonte: https://twitter.com/openai/status/1511714545529614338?lang=en

A meno che ciò non possa essere prevenuto nella fase di pre-elaborazione prima dell’addestramento, tali pipeline automatizzate potrebbero portare a associazioni improbabili o addirittura grottesche addestrate nei sistemi di apprendimento automatico, degradandone l’efficacia e rischiando di trasmettere associazioni di alto livello in sistemi e sottocategorie a valle.

Alternativamente, le immagini sintetiche disgiunte potrebbero avere un ‘effetto di raffreddamento’ sull’accuratezza dei sistemi successivi, nel caso in cui emergessero nuove o modificate architetture che tentano di tenere conto di immagini sintetiche ad hoc, e gettassero una rete troppo ampia.

In entrambi i casi, le immagini sintetiche nell’era post-Stable Diffusion potrebbero rivelarsi un incubo per il settore di ricerca della visione computerizzata, le cui attività hanno reso possibili queste strane creazioni e capacità – non da ultimo perché mettono in pericolo la speranza del settore che la raccolta e la cura dei dati possano essere eventualmente molto più automatizzate di quanto non lo siano attualmente, e molto meno costose e lunghe.

Pubblicato per la prima volta il 1° settembre 2022.