L’illusione ‘Scarica più etichette!’ nella ricerca sull’intelligenza artificiale

Una visione comune nella ricerca sull’apprendimento automatico attuale è che l’apprendimento automatico stesso possa essere utilizzato per migliorare la qualità delle annotazioni dei set di dati dell’IA – in particolare le didascalie delle immagini destinate all’uso nei modelli di linguaggio e visione (VLM). Questo modo di pensare è guidato dal alto costo dell’annotazione umana e dal peso aggiuntivo della sorveglianza delle prestazioni degli annotatori.

Questo potrebbe essere considerato l’equivalente dell’IA della meme “download di più RAM” dei primi anni 2000, che satirizzava l’idea che un limite hardware potesse essere risolto con una soluzione basata sul software.

È anche un problema trascurato; mentre i nuovi modelli di IA attirano un’ampia attenzione sia nella sfera pubblica che in quella commerciale, l’annotazione spesso sembra essere un dettaglio banale nelle pipeline di apprendimento automatico, oscurato dall’eccitazione che circonda i framework più ampi.

In realtà, la capacità dei sistemi di apprendimento automatico di riconoscere e riprodurre modelli (il caso d’uso centrale di quasi tutti i sistemi di IA) dipende dalla qualità e dalla coerenza delle annotazioni del mondo reale – etichette e frasi create o giudicate da persone reali, spesso facendo giudizi soggettivi su singoli punti di dati in circostanze non ideali.

Inevitabilmente, i sistemi che cercano di osservare e riprodurre modelli nel comportamento degli annotatori (e quindi sostituire gli annotatori umani e facilitare l’etichettatura precisa su larga scala) non possono sperare di funzionare bene sui dati non contenuti negli esempi presi da osservatori umani. Nulla di “simile” è proprio lo stesso, e l’equivalenza tra domini rimane un pursuit problematico nella visione computerizzata.

Il “dollaro dell’annotazione” deve fermarsi da qualche parte, e in questo caso, è esattamente dove si ferma – con un cervello umano che fa una sorta di distinzione soggettiva per codificare i dati per un sistema artificiale.

Il commercio della stoffa

Fino a poco tempo fa, le inesattezze derivanti da annotazioni di set di dati non curate erano, forse, viste come un danno collaterale accettabile nel contesto dei risultati imperfetti ma ancora commercializzabili ottenuti dai sistemi di IA generativi.

Infatti, solo quest’anno uno studio di Singapore ha concluso che le allucinazioni – cioè le occasioni in cui i sistemi di IA inventano cose che minano le nostre intenzioni – sono inevitabili e legate all’architettura concettuale di tali sistemi.

Per contrastare ciò, gli agenti basati su RAG – che possono “verificare” i fatti attraverso ricerche su Internet – stanno diventando popolari nella ricerca e nelle soluzioni commerciali applicate. Tuttavia, aggiungono al costo delle risorse e alla latenza delle query; inoltre, le informazioni nuove applicate a un modello addestrato non possono competere con le connessioni più intricate e profondamente intrecciate che caratterizzano i livelli nativi di un modello addestrato.

Sarebbe quindi meglio se i dati di annotazione che informano questi modelli fossero significativamente meno difettosi fin dall’inizio, anche se non possono essere perfetti (non ultimo perché questa attività si intromette nel regno della soggettività umana).

RePOPE

Un nuovo articolo di ricerca della Germania mette in evidenza i problemi che derivano dal affidarsi a set di dati più vecchi e ampiamente utilizzati, concentrandosi in particolare sull’accuratezza e sull’affidabilità delle loro didascalie delle immagini. I risultati degli studiosi suggeriscono che gli errori di etichettatura nei benchmark possono mascherare o rappresentare in modo errato l’allucinazione nei modelli di linguaggio e visione.

Dall’articolo di ricerca, alcuni esempi in cui le didascalie originali non hanno identificato correttamente gli oggetti nel set di dati di immagini MSCOCO. La revisione manuale del benchmark POPE da parte degli studiosi affronta queste carenze, dimostrando il costo del risparmio sulla cura dell’annotazione. Fonte: https://arxiv.org/pdf/2504.15707

Immagina che un modello venga mostrato un’immagine di una scena stradale e gli venga chiesto se c’è una bicicletta. Il modello risponde sì. Se il set di dati di riferimento dice che non c’è una bicicletta, il modello viene segnato come sbagliato. Ma se una bicicletta è chiaramente visibile nell’immagine e fu semplicemente mancata durante l’annotazione, allora la risposta del modello era corretta e il set di dati di riferimento ha fallito. Errori come questo possono accumularsi in un set di dati, dando un’immagine distorta di quali modelli sono accurati e quali sono propensi all’allucinazione.

Quindi, quando le annotazioni corrette o ambigue vengono trattate come verità di riferimento, i modelli possono sembrare allucinare quando sono corretti, o sembrare accurati quando non lo sono, distorcendo sia la misura dell’allucinazione che la classifica delle prestazioni del modello, e rendendo più difficile diagnosticare o affrontare il problema con certezza.

L’articolo di ricerca riprende un benchmark ampiamente utilizzato chiamato Polling-based Object Probing Evaluation (POPE), che testa se i modelli di linguaggio e visione possano dire correttamente cosa c’è o non c’è in un’immagine.

POPE si basa su etichette del set di dati influente Microsoft COCO: Common Objects in Context (MSCOCO), una raccolta di immagini annotate che è stata a lungo considerata come offrendo un buon livello di accuratezza delle annotazioni.

POPE valuta l’allucinazione degli oggetti nei modelli di linguaggio e visione riformulando il problema come un compito di classificazione binaria. Invece di analizzare le didascalie generate, il sistema pone domande semplici sì/no al modello su oggetti specifici presenti in un’immagine, utilizzando modelli come ‘C’è un <oggetto> nell’immagine?’.

Esempi di allucinazione di oggetti nei modelli di linguaggio e visione. Le etichette in grassetto indicano oggetti segnalati come presenti nelle annotazioni originali, mentre le etichette rosse mostrano oggetti allucinati dai modelli. Fonte: https://aclanthology.org/2023.emnlp-main.20.pdf

Le domande con risposta sì (oggetti presenti) vengono abbinate con oggetti non esistenti campionati (risposta no), scelti attraverso strategie casuali, frequenti (popolari) o basate sulla co-occorrenza (avversarie). Questo setup consente una valutazione più stabile e insensibile alle prompt dell’allucinazione senza affidarsi all’analisi delle didascalie basata su regole complesse.

Gli autori dell’articolo di ricerca – intitolato RePOPE: Impatto degli errori di annotazione sul benchmark POPE – sfidano l’accuratezza presunta di POPE ricontrollando le etichette sulle immagini del benchmark (cioè MSCOCO) – e trovando che un numero sorprendente di esse sono errate o poco chiare.

Esempi dal set di dati MSCOCO del 2014. Fonte: https://arxiv.org/pdf/1405.0312

Questi errori cambiano il modo in cui i modelli vengono classificati, con alcuni che inizialmente hanno prestazioni elevate che scendono in classifica quando giudicati con etichette corrette.

Nelle prove, gli autori hanno valutato una serie di modelli di linguaggio e visione aperti su entrambi il benchmark POPE originale e la loro versione ri-etichettata RePOPE.

Secondo l’articolo, le annotazioni corrette hanno portato a cambiamenti notevoli nella classifica dei modelli, in particolare nei punteggi F1, con diversi modelli ad alte prestazioni che scendono in classifica sotto RePOPE.

Gli autori sostengono che questo spostamento illustra l’estensione in cui gli errori di annotazione possono oscurare il comportamento reale di allucinazione dei modelli e presentano RePOPE come uno strumento più affidabile per valutare la vulnerabilità all’allucinazione.

In un altro esempio dall’articolo di ricerca, vediamo come le didascalie originali del benchmark POPE non riescono a identificare oggetti sottili, come una persona seduta accanto alla cabina di un tram nell’immagine più a destra, o la sedia oscurata dal giocatore di tennis nella seconda immagine da sinistra.

Metodo e prove

I ricercatori hanno ri-etichettato tutte le annotazioni nel set di dati MSCOCO originale, con due annotatori umani assegnati a ogni istanza di dati. Quando si è verificata un’ambiguità riguardo alla qualità delle etichette originali (come negli esempi seguenti), questi risultati sono stati messi da parte dal turno di prova.

Casi ambigui, in cui le incoerenze di etichettatura in POPE riflettono confini di categoria poco chiari.

L’articolo afferma:

‘Gli annotatori originali hanno mancato di notare le persone sullo sfondo o dietro il vetro, il giocatore di tennis oscura le ‘sedie’ sullo sfondo e il cole slaw contiene solo una striscia visibile di carota.

‘Per alcuni oggetti, le annotazioni di COCO sono altamente incoerenti, probabilmente a causa di definizioni diverse di quegli oggetti utilizzate dagli annotatori originali. La classificazione di un ‘orsacchiotto’ come ‘orso’, una motocicletta come ‘bicicletta motorizzata’, o un veicolo aeroportuale come ‘automobile’ dipende da definizioni specifiche, portando a incoerenze nelle annotazioni di verità di riferimento di POPE. Pertanto, abbiamo annotato le coppie di immagini-domande come ‘ambigue’.’

Risultati della ri-annotazione: le domande positive sono condivise tra tutte e tre le varianti di POPE.

Gli autori hanno valutato una serie di modelli aperti su POPE e su RePOPE, su diverse architetture e dimensioni di modello. I modelli scelti includevano alcune delle principali architetture nella classifica OpenVLM: InternVL2.5 (8B/26B/38B/78B e 8B-MPO/26B-MPO); LLaVA-NeXT; Vicuna; Mistral 7b; Llama; LLaVA-OneVision; Ovis2 (1B/2B/4B/8B); PaliGemma-3B; e PaliGemma2 (3B/10B).

Risultati iniziali: il tasso di errore elevato nelle etichette positive originali porta a una forte diminuzione dei veri positivi in tutti i modelli.

I risultati dei grafici mostrano come il numero di veri positivi e falsi positivi cambia dopo la correzione delle etichette nel benchmark.

I veri positivi sono diminuiti in tutti i modelli, mostrando che spesso venivano accreditati per risposte corrette quando quelle risposte erano corrette solo sotto etichette difettose, mentre i falsi positivi hanno seguito un modello più variabile.

Sul ‘sottinsieme casuale’ di POPE, i falsi positivi sono quasi raddoppiati per molti modelli, indicando che un numero significativo di oggetti segnalati come allucinazioni erano in realtà presenti nelle immagini ma erano stati mancati durante l’annotazione originale. In questo caso, molti presunti errori del modello erano in realtà errori di etichettatura del set di dati.

Per il ‘sottinsieme avversario’ di POPE, dove le domande erano basate su oggetti che frequentemente co-occorrono, i falsi positivi sono diminuiti. Ciò probabilmente riflette una maggiore probabilità che l’oggetto apparentemente assente sia effettivamente presente nell’immagine ma lasciato non etichettato.

Sebbene questi spostamenti abbiano influenzato la precisione e la recall, la classifica dei modelli è rimasta relativamente stabile per entrambe le metriche.

Il punteggio F1 – la principale misura di valutazione di POPE – è stato molto più sensibile alle correzioni delle etichette. Nel sottinsieme casuale, i modelli che inizialmente si sono classificati vicino alla vetta, come InternVL2.5-8B e -26B, sono scesi in fondo quando valutati con RePOPE. Altri, come Ovis2-4B e -8B, sono saliti in cima.

Un modello simile è emerso nei punteggi di accuratezza, sebbene gli autori notino che questi potrebbero essere ora distorti, poiché il set di dati corretto contiene un numero diseguale di esempi positivi e negativi.

Gli autori sostengono che l’impatto forte degli errori di annotazione sui risultati del benchmark sottolinea la necessità di dati di alta qualità. Per supportare una valutazione più affidabile dell’allucinazione degli oggetti, hanno rilasciato le etichette corrette su GitHub.

Tuttavia, notano che questa ri-etichettatura non risolve completamente il problema della saturazione del benchmark, poiché molti modelli raggiungono ancora tassi di veri positivi e veri negativi superiori al 90%. Suggeriscono che benchmark aggiuntivi, come DASH-B, che utilizza un set di esempi negativi più impegnativo, dovrebbero essere utilizzati insieme a RePOPE.

Conclusione

Questo esperimento particolare è stato possibile grazie alla piccola scala del set di dati coinvolto. Dimostrare la stessa ipotesi su set di dati iperscalari richiederebbe di lavorare su porzioni molto limitate dei dati; in set di dati grandi e diversificati, potrebbe essere quasi impossibile isolare gruppi statisticamente rappresentativi e semanticamente coerenti – potenzialmente distorti i risultati.

Anche se fosse possibile, quale rimedio ci sarebbe sotto lo stato attuale dell’arte? L’argomentazione si sposta inevitabilmente verso la necessità di una migliore e più copiosa annotazione umana.

In questo senso, ‘migliore’ e ‘più copiosa’ esistono come problemi separati, poiché è possibile ottenere un volume maggiore di annotazioni attraverso economie di tipo ‘corsa al ribasso’ come Amazon Mechanical Turk (AMT). Ovviamente, questa sottoeconomia potenzialmente sfruttatrice porta spesso a risultati inferiori.

In alternativa, si potrebbero affidare compiti di annotazione a regioni economiche dove lo stesso esborso di denaro produrrebbe una quantità maggiore di annotazioni. Tuttavia, più l’annotatore è lontano dall’uso previsto del modello che le sue etichette modelleranno, meno probabile è che il modello risultante si allinei con le esigenze o le aspettative del dominio di destinazione.

Questo rimane quindi una delle sfide più persistenti e irrisolte nell’economia dello sviluppo dell’intelligenza artificiale.

Pubblicato per la prima volta mercoledì, 23 aprile 2025