I sistemi di visione AI spesso non stanno realmente “guardando” per niente

I sistemi di visione AI potrebbero spiegare le immagini con stereotipi invece di ciò che vedono realmente. Rimuovere l’etichetta e le loro presunte spiegazioni visive collassano.

Dal momento che le piattaforme AI di frontiera stanno costantemente sanguinando denaro nella speranza di un orizzonte degli eventi AI, piccole economie nella loro fornitura e servizi equivalgono a enormi risparmi: ad esempio, ogni volta che un LLM può fornire una risposta dalla sua stessa matrice di addestramento invece di fare un viaggio RAG basato sul web per ottenere informazioni correnti che dovranno essere distillate e raffinate, risponde più velocemente e risparmia denaro al fornitore.

Certo, è più probabile che allucini, senza spendere token ed energia extra per contestualizzare e verificare le sue supposizioni.

Allo stesso modo, anche quando un LLM raggiunge il web, molto spesso cita URL vaghi, inadeguati o addirittura senza senso e non correlati, perché ha risparmiato energia valutando solo i metadati di quelle pagine, invece di leggerle realmente.

Similmente, se si carica un PDF su un LLM e si desidera discuterlo, l’LLM potrebbe eventualmente cancellare il contenuto del PDF dalla sua memoria e utilizzare solo metadati sparsi su di esso per rispondere alle domande, senza nemmeno dichiarare che si dovrebbe caricarlo di nuovo – portando a errori, supposizioni errate e ulteriori allucinazioni.

Prove industriali

Queste sono economie pragmatiche, se non del tutto oneste, imposte all’utente per motivi operativi. Nel mondo upstream della raccolta dei dati e dell’addestramento del modello, dove milioni – anche centinaia di milioni – di immagini devono essere elaborate en masse, e non possono essere annotate manualmente dagli esseri umani, la pressione per minimizzare la spesa di energia e tempo è altrettanto intensa.

Un tale “shortcut” è utilizzare un modello di linguaggio visione intermedio come Contrastive Language Image Pretraining (CLIP), che mappa sia immagini che testo in uno spazio semantico condiviso, in modo che i concetti visivi possano essere confrontati utilizzando il linguaggio, anziché etichette esplicite.

Cosa significa? Bene, immaginate un bambino che impara da milioni di immagini con didascalia fino a quando non sviluppa un senso approssimativo di quali immagini e parole vanno naturalmente insieme.

Il problema è che molto spesso le didascalie sono state scritte da proprietari di siti web e altre entità che erano più interessate a un buon SEO che a una buona etichettatura, portando a una grande quantità di “rumore” o etichettatura inaccurata.

Comunque, la scala alla quale un concetto e una parola correlata ricorrono in enormi set di dati di solito significa che le parole chiave saranno associate all’immagine corretta, poiché il numero minore di etichette “senza senso” sarà normalmente costretto in un ghetto di outlier, e non guadagnerà normalmente associazione con l’immagine. Quindi funziona più o meno, la maggior parte del tempo.

L’annotazione dei dati viene fatta in questo modo perché è economica e funzionale al minimo, non perché sia buona.

Fuori etichetta

In questo scenario problematico arriva un nuovo documento da Carnegie Mellon, che illustra in modo netto che molte didascalie assegnate alle immagini – ad esempio da CLIP – sono semplicemente stereotipi basati sul riferimento all’etichetta dell’immagine (basata sul testo), anziché guardando attivamente l’immagine stessa.

In un esempio sorprendente del documento, CLIP è accoppiato con descrittori generati dal nome di classe ImageNet fragola, quindi testato su ImageNet-Sketch, dove ogni fragola è un disegno in bianco e nero – eppure i descrittori insistono ancora che il frutto è ‘rosso’ e ‘maturo’:

I descrittori del nome di classe falliscono su ImageNet-Sketch: i priors linguistici dicono ‘rosso’ e ‘maturo’, mentre gli attributi basati sull’immagine corrispondono al disegno in bianco e nero. Fonte

Qui, CLIP è accoppiato con descrittori generati solo dal nome di classe fragola, tramite GPT-3 o conoscenza esterna. Questi non vedono l’immagine, quindi si basano sui tratti canonici come rosso e con foglie. Quando applicati alle illustrazioni monocromatiche in ImageNet-Sketch, il processo fallisce.

Al contrario, gli attributi derivati dalle immagini stesse selezionano caratteristiche che rimangono vere sotto lo spostamento, come puntinato o a forma di cuore.

Quindi possiamo vedere che l’oggetto identificato è pubblicizzato non per ciò che è, ma, per così dire, ‘per reputazione’; gli aggettivi ‘rosso’ e ‘con foglie’ sono accurati per il sottodominio fragola, ma superano i limiti dell’immagine (istanza) in questione.

Gli autori del nuovo lavoro – intitolato Gli attributi dovrebbero provenire dalle immagini, non dai nomi di classe: selezione di attributi condizionata dalla distribuzione per modelli di linguaggio visione – sostengono che questo è un problema persistente e diffuso, e suggeriscono di selezionare gli attributi direttamente dalle immagini stesse, in modo che riflettano ciò che è effettivamente visibile sotto spostamento della distribuzione, anziché affidarsi ai priors del nome di classe.

Gli autori affermano:

‘Un percorso popolare per la classificazione zero-shot interpretabile chiede a un grande modello di linguaggio (LLM) di descrivere ogni nome di classe e promette CLIP con i descrittori risultanti. Mostriamo che questi descrittori portano poca evidenza visiva di per sé: rimuovere il nome di classe dal prompt fa collassare l’accuratezza di ImageNet dal 59,5% al 15,5%.

‘La diagnosi è che i descrittori sono condizionati sull’etichetta anziché sulle immagini, quindi descrivono il concetto in generale e ingannano esattamente quando i dati si spostano; un LLM insiste che le fragole sono rosse, ma ogni fragola in ImageNet-Sketch è un disegno in bianco e nero.

‘Quindi selezioniamo gli attributi dalla raccolta di immagini bersaglio invece: valutiamo un grande pool di attributi contro le immagini nello spazio di incapsulamento congiunto di CLIP e manteniamo solo gli attributi con punteggio più alto per classe.’

La loro proposta di rimedio è che il modello rimane lo stesso, ma invece di affidarsi alle descrizioni del nome di classe, controlla un pool di attributi candidati contro le immagini, e mantiene solo quelli che effettivamente si adattano a ciò che è visibile.

Il costo di questo è arguibilmente accettabile, poiché non suggerisce di reinvocare l’energia salvata dei metodi “truffaldini” che hanno portato al problema iniziale. Piuttosto, aggiunge un passaggio di punteggio su attributi candidati per classe, in modo che la latenza aumenti leggermente – ma molto meno di quanto non faccia il ritraining o i pipeline RAG completi. In teoria, il costo energetico sarebbe accettabile, pesato contro il miglioramento dell’allineamento.

Metodo

Poiché la metodologia dei test degli autori è particolarmente arcana, e poiché non si guadagnerebbe alcun insight utile esaminandoli in profondità, considereremo solo una panoramica abbreviata del loro approccio.

Il lavoro caratterizza il problema centrale come conflitto del nome di classe: una situazione in cui le prestazioni sembrano provenire da descrittori significativi, ma in realtà dipendono dal nome di classe stesso, con i descrittori che aggiungono poco – e falliscono non appena quel supporto viene rimosso

Il documento sostiene poi che questo fallimento è inevitabile, poiché i descrittori generati da un nome di classe possono solo descrivere ciò che una cosa di solito sembra, anziché ciò che è effettivamente presente in una particolare immagine. Non appena i dati si discostano da quelle aspettative, i descrittori diventano non solo inutili, ma attivamente fuorvianti, votando efficacemente contro la risposta corretta.

I ricercatori hanno anche considerato se CLIP potesse semplicemente essere scarsamente efficace nel rilevamento degli attributi senza l’aiuto delle etichette di classe, o se i descrittori generati da GPT fossero troppo generici per essere utili. Tuttavia, i loro esperimenti successivi hanno refutato entrambe le spiegazioni.

Per affrontare questo problema, è stato utilizzato un modello CLIP congelato per confrontare le immagini con un grande pool di descrittori candidati tratti da VAW, LSA e output GPT-3, mantenendo solo gli attributi che meglio corrispondevano alle immagini, senza richiedere alcun ritraining o ulteriore supervisione immagine-testo:

Panoramica del sistema proposto: un modello CLIP congelato codifica sia immagini che testi di attributi candidati, utilizzando la similarità coseno per misurare quanto fortemente ogni descrittore corrisponda al contenuto visivo. Gli attributi con punteggio più alto vengono quindi mantenuti su base per classe, producendo un set di prompt interpretabili mentre si mantengono fissi sia il codificatore di immagini che quello di testo durante l’intero processo.

Dati e test

Gli esperimenti degli autori hanno utilizzato CLIP con un ResNet-50 come backbone e hanno valutato le prestazioni su ImageNet insieme a quattro varianti con spostamento della distribuzione: ImageNetV2; ImageNet-Sketch; ImageNet-A; e ImageNet-R.

Gli attributi sono stati selezionati utilizzando solo le immagini di addestramento di ImageNet originali – consentendo ai set di dati spostati di servire come test out-of-distribution per verificare se gli attributi derivati dalle immagini rimangono utili quando le apparenze visive cambiano:

Accuratezza di classificazione Top-1 su ImageNet e quattro benchmark con spostamento della distribuzione. I risultati mostrano che le prestazioni rimangono ampiamente simili quando i nomi di classe sono inclusi nei prompt, ma collassano quando i descrittori sono costretti a stare in piedi da soli, suggerendo che gran parte della loro apparente efficacia deriva dall’etichetta di classe stessa. Al contrario, gli attributi selezionati direttamente dalle immagini rimangono sostanzialmente più informativi in tutti i set di dati testati.

La selezione degli attributi dallo stesso pool generato da GPT, ma condizionati sulle immagini di ImageNet, ha aumentato l’accuratezza senza etichetta di classe dal 15,5% al 19,4%. Poiché il modello, il pool di attributi e il protocollo di valutazione sono rimasti invariati, il guadagno può essere attribuito interamente alla selezione condizionata dall’immagine.

Il risultato ha anche indicato che CLIP può identificare gli attributi senza etichette di classe, e che il pool generato da GPT contiene già descrittori utili. Il principale fallimento sembra invece essere nella generazione condizionata dall’etichetta, che spesso non rivela gli attributi più rilevanti per le immagini stesse.

Sebbene gli autori continuino con una serie di esperimenti aggiuntivi, dobbiamo rimandare il lettore al materiale di origine per ulteriori dettagli, poiché, anziché ampliare l’ambito dei risultati, confermano solo le ipotesi centrali delineate finora – che l’affidarsi alle etichette può potenzialmente compromettere il potenziale dei dati di immagine reali nelle applicazioni di visione computerizzata moderne, con una dipendenza economica da “probabilità di reputazione” come pericolo per l’accuratezza dei risultati.

Conclusione

È interessante considerare il debito che l’AI generativa moderna ha nei confronti dei milioni di immagini descritte a mano che sono state inghiottite in enormi set di dati come Common Crawl, all’inizio dell’era hyperscale.

Ogni volta che un sistema di riconoscimento di immagini o di etichettatura automatica tenta di classificare o ri-etichettare un’immagine vecchia o nuova, la provenienza di quella conoscenza risale a qualche fornitore che scrive ‘Rivista calda degli anni ’70!’ nell’etichetta alt di una lista di eBay nel 2004, o un evento simile.

Sebbene molti credano che l’era d’oro del riempimento di parole chiave sia stata spazzata via dall’algoritmo PageRank di Google più sofisticato quasi tre decenni fa, l’approccio “muro di testo, speriamo che qualcosa funzioni” rimane ancora molto vivo: solo ieri, in testa all’HTML della pagina di rilascio del modello Qwen-Image-3.0, c’era un attacco di follia (potrebbe ancora esserci!) di follia di riempimento di parole chiave:

Il codice HTML per il rilascio di Qwen Image 3 è un muro di testo di parole chiave non completamente SFW, almeno al momento della scrittura. Fonte

Se non altro, questo è un esempio primario delle origini grezze del sistema AI generativo moderno, con un significato che porta spesso un enorme carico di interesse personale che dovrà essere rimosso o almeno preso in considerazione in qualche modo, quando tali termini interferiscono con o ostacolano sistemi e applicazioni razionali.

Pubblicato per la prima volta mercoledì 22 luglio 2026