I dati ‘Rogue’ che inquinano le prestazioni dei modelli di intelligenza artificiale generativa

Uno studio recente ha scoperto che molti set di dati di immagini popolari utilizzati per addestrare i modelli di intelligenza artificiale sono contaminati con immagini di test o near-duplicate, consentendo ai modelli di barare memorizzando le risposte invece di imparare. La perdita di dati è diffusa ma generalmente non rilevata, gonfiando silenziosamente i punteggi e dando vantaggi ingiusti ai modelli addestrati su dati su larga scala.

Quando si svolge un test di guida, non si è solitamente informati in anticipo esattamente quali strade saranno utilizzate per il test. Se lo si facesse (e si fosse un po’ carenti di integrità), si potrebbe “ottimizzare” per il test praticando ripetutamente su quella rotta, invece di sviluppare capacità di guida più ampie che possano gestire qualsiasi rotta in modo ragionevole.

Nell’addestramento dei modelli di apprendimento automatico, questo è un’analogia ragionevole per una divisione del set di test – una divisione dei dati del set di addestramento tra (di solito) una divisione del 70% per i dati che saranno utilizzati per addestrare il modello, con il restante 30% utilizzato come dati “in libertà”.

Dal momento che i dati “in libertà” non sono mai stati visti dal modello, se il modello si esegue bene su quei dati, può essere considerato efficace e performante; se non lo fa, il modello potrebbe aver sovradostruito su un set di dati ben bilanciato – o il set di dati necessita di ulteriore cura e definizione.

In ogni caso, non valutare i modelli sui loro dati di addestramento è il fondamento del metodo attuale nella ricerca e sviluppo di intelligenza artificiale.

Stessa cosa, per favore

Secondo un nuovo studio di ricerca del Giappone, il settore della visione artificiale e dell’intelligenza artificiale generativa non ha affatto eguagliato gli sforzi degli sforzi dei ricercatori di LLM per assicurarsi che i dati di test non inquinino i dati di addestramento; nei test, i ricercatori hanno scoperto che ogni set di dati di visione su larga scala che hanno esaminato, compresi quelli che alimentano alcuni dei più grandi sistemi di intelligenza artificiale generativa attuali, ha in qualche misura consentito ai suoi dati di test di sovrapporsi ai suoi dati di addestramento – il che significa che le valutazioni e i rapporti di prestazioni dei modelli addestrati su queste divisioni non saranno più precisi di un risultato di esame di qualcuno che ha nascosto un foglio di appunti nella sala di esame, e non rifletteranno le prestazioni nel mondo reale su dati veramente nuovi.

Esempi di contaminazione dei dati trovati dai ricercatori, dove punti di dati duplicati o quasi-duplicati esistono sia nel set di addestramento che nel set di test. Fonte: https://arxiv.org/pdf/2508.17416

Nell’immagine sopra, dal nuovo studio, vediamo esempi di punti di dati duplicati o quasi-duplicati trovati sia nel set di addestramento che nel set di test di una varietà di modelli – abbastanza da invalidare le prestazioni del modello su quei dati e gonfiare leggermente i punteggi generali, facilitando l’apparenza di un livello di generalizzazione che il modello potrebbe non aver realmente raggiunto.

Per complicare ulteriormente le cose, la contaminazione sembra verificarsi in una varietà di scenari possibili, compresa la ‘pre-addestramento‘, dove i pesi dei modelli ancestrali più vecchi vengono utilizzati per “avviare” un nuovo modello. Se il modello upstream, più vecchio, ha alcuni dei dati dello stesso dataset che viene utilizzato per il pre-addestramento, allora la contaminazione dei dati può verificarsi anche se la divisione 70/30 o 80/20 è pulita.

Cumulative Effect

Questo è quasi certamente destinato a verificarsi anche nei set di dati più recenti: l’ambito dei set di dati di visione e linguaggio è cresciuto enormemente negli ultimi cinque anni, includendo non solo i nuovi dati di immagini presenti sul web, ma anche il ri-raccolto di gran parte dei dati che popolavano quei set di dati più vecchi e storici.

Inoltre, le routine automatizzate progettate per setacciare e filtrare miliardi di immagini per duplicati e quasi-duplicati sono ora di fronte a un compito così oneroso che la cura stessa – il suo costo in termini di tempo e denaro – deve ora essere considerata nel contesto di limitazioni di budget

Nel frattempo, la duplicazione di immagini è una conseguenza inevitabile del tipo di ad hoc di web-trawling dietro enormi raccolte come Common Crawl, a causa della pratica comune di ripubblicazione e ricompressione di immagini, e applicazione di modifiche come ritagli e persino capovolgimento (per evitare la rilevazione, quando l’immagine potrebbe essere stata utilizzata senza autorizzazione, ad esempio).

Gli autori osservano*:

‘La perdita di dati è un problema diffuso, presente nella maggior parte dei set di dati visivi. La perdita di dati può oscurare la capacità di generalizzazione dei modelli, il che è particolarmente problematico quando si confrontano modelli addestrati su set di dati diversi, portando a confronti ingiusti.

‘Esortiamo i progettatori di set di dati a considerare attentamente le implicazioni di queste valutazioni. Per una valutazione dei modelli più equa, raccomandiamo l’uso di rilevatori di duplicati che considerino sia la perdita di dati dura che morbida.

‘Idealmente, le immagini perse dovrebbero essere rimosse dal set di addestramento e, se non è possibile, dovrebbero almeno essere rimosse dal set di test.’

Lo studio si sofferma su una serie di test che i ricercatori hanno condotto su set di dati enormi e popolari – ognuno dei quali ha mostrato un certo livello di contaminazione.

Il nuovo studio è intitolato Perdita di dati nei set di dati visivi e proviene da tre ricercatori dell’Università di Osaka.

Metodo

Gli autori del documento definiscono la perdita di dati in termini di tre dimensioni: modalità, copertura e grado.

Modalità distingue se solo le immagini sono perse o se sia le immagini che le etichette sono esposte; copertura identifica se la sovrapposizione si verifica all’interno dello stesso set di dati o tra set di dati diversi; e grado definisce se il contenuto duplicato è esattamente lo stesso o solo adiacente.

Riguardo alla perdita di dati, i due scenari considerati nel lavoro sono perdita di dati all’interno del set di dati (dove le immagini di valutazione riappaiono nella divisione di addestramento dello stesso set di dati), e perdita di dati tra set di dati (dove le immagini di valutazione di un set di dati sono presenti in un diverso set di dati utilizzato per l’addestramento).

Riguardo al grado, i due livelli definiti sono perdita di dati morbida (dove le immagini non sono identiche ma mostrano variazioni minori), e perdita di dati dura (dove le immagini sono esattamente le stesse tra addestramento e valutazione).

I ricercatori affrontano la rilevazione della perdita di dati in termini di recupero di immagini, utilizzando encoder di immagini per rappresentare ogni immagine come un vettore di caratteristiche. Il set di query è il set di valutazione, mentre la raccolta è il set di addestramento.

Per set di dati più piccoli, ogni vettore di query è stato confrontato direttamente con tutti i vettori di addestramento utilizzando similarità coseno. Per set di dati più grandi, un indice Faiss è stato creato per consentire una ricerca più veloce, K-Nearest Neighbors (KNN) ricerca.

Dal momento che l’encoder deve catturare abbastanza informazioni visive per rilevare somiglianze sottili, ma rimanere efficiente di fronte a volumi di dati molto elevati, gli autori si sono affidati a caratteristiche precalcolate CLIP rese disponibili dai creatori del set di dati, nel caso della raccolta LAION che sostiene Stable Diffusion, e progetti successivi.

Gli autori notano che consentire a CLIP di utilizzare la sua comprensione distillata del set di dati (invece di sondare i file effettivi su larga scala) ha notevolmente accelerato il processo e offerto maggiore coerenza tra confronti.

Dati e test

L’encoder di immagini CLIP utilizzato nei test per il nuovo lavoro era il CLIP predefinito CLIP ViT-B/32 originariamente utilizzato per setacciare LAION. Per stabilire se immagini diverse erano correlate tra loro, KNN è stato utilizzato sotto AutoFaiss.

I set di dati sono stati raggruppati in tre tipi: set di dati di pre-addestramento – grandi raccolte web-scraped utilizzate per addestrare modelli generalisti; set di dati di addestramento – raccolte più piccole, spesso annotate, destinate all’addestramento diretto del modello; e set di dati di benchmark – manualmente annotati e utilizzati esclusivamente per la valutazione.

L’analisi ha coperto venti divisioni in sette set di dati: Microsoft COCO è stato utilizzato sia come set di addestramento che come set di valutazione, incorporando le divisioni di addestramento, convalida, test e non etichettate; Flickr30k ha servito esclusivamente come set di benchmark; e la raccolta Google Conceptual Captions (GCC) è stata trattata come fonte di pre-addestramento, con la sua porzione di convalida anche utilizzata per la valutazione.

Inoltre, ImageNet è stato utilizzato per l’addestramento e il benchmarking, mentre il set di dati LAION-400M è stato utilizzato solo per il pre-addestramento.

OpenImages v4 ha contribuito con dati di addestramento e benchmark, e TextCaps ha fornito sia divisioni di addestramento che di test per la valutazione.

Esempi di annotazioni di immagini dal set di dati Open Images di Google, esaminati nel nuovo lavoro. Fonte: https://arxiv.org/pdf/1811.00982

Per valutare quanto bene il metodo possa rilevare la perdita di dati quando le immagini sono state sottilmente alterate attraverso il ridimensionamento, il ritaglio o trasformazioni non semantiche simili, gli autori hanno testato su Flickr30k, selezionando casualmente 5.000 immagini come query e utilizzando l’intero set di dati come raccolta di riferimento.

Ogni immagine di query è stata trasformata prima di essere codificata (ad esempio, sottoposta a una modifica non semantica come il ridimensionamento o il ritaglio) e quindi abbinata all’elemento più simile nella raccolta utilizzando la similarità coseno; un abbinamento è stato contato solo se l’immagine originale è stata recuperata come risultato principale.

I tre encoder confrontati sono stati ResNet-152; DINOv2 ViT-B/14; e CLIP ViT-B/32.

Quattro tipi di trasformazioni di immagini non semantiche sono stati utilizzati: geometriche (capovolgimenti e rotazioni); ritaglio (rimozione di 20, 50 o 100 pixel da ogni bordo); pixelizzazione (sfocatura gaussiana, aggiunta di rumore o campionamento a 128 o 256 pixel); e colore (grigio, inversione o sovrapposizioni rosse, verdi o blu).

Dai materiali supplementari, esempi delle trasformazioni applicate ai dati – routine tipiche anche nella pre-elaborazione dell’augmentazione dei dati.

Gli autori hanno quindi testato la rilevazione della perdita di dati nel recupero di immagini:

Precisione della rilevazione della perdita di dati su 5.000 immagini di query Flickr30k sottoposte a varie trasformazioni non semantiche.

Tutti e tre gli encoder hanno raggiunto prestazioni perfette su immagini inalterate e CLIP è rimasto affidabile attraverso il ritaglio, i capovolgimenti orizzontali, il rumore e il ridimensionamento, superando ResNet nelle modifiche a livello di pixel e colore.

DINOv2 ha mostrato una forte resistenza alle trasformazioni di colore (probabilmente a causa della sua progettazione auto-supervisionata, ipotizzano gli autori), ma è stato notevolmente più debole su modifiche geometriche e ritaglio – entrambe comuni in set di dati duplicati.

Dal momento che LAION include già le caratteristiche CLIP, e data la sua coerenza e velocità costanti, CLIP è stato scelto come encoder predefinito per l’analisi principale.

Perdita di dati dura e morbida

Le prestazioni sono state valutate attraverso diversi soglie di similarità coseno per distinguere tra immagini esatte e quasi-duplicate (perdita di dati dura e morbida).

Una soglia di 0,98 è stata selezionata per definire la perdita di dati dura, risultando in nessun falso positivo e rilevamento perfetto di immagini identiche.

Per la perdita di dati morbida, una soglia di 0,95 è stata scelta, consentendo di recuperare più quasi-duplicati mentre si mantiene una quota di falsi positivi quasi zero. È stata data priorità alla precisione rispetto alla ricordanza e i risultati sono stati quindi stimati in modo conservativo:

Curve ROC sono state utilizzate per guidare la selezione delle soglie di rilevamento della perdita di dati. I punteggi AUC alti in condizioni trasformate e non trasformate dimostrano che i quasi-duplicati possono essere affidabilmente distinti da immagini non correlate, anche quando sono presenti alterazioni minime.

Perdita di dati all’interno del set di dati

La perdita di dati all’interno del set di dati è stata calcolata identificando la sovrapposizione di immagini tra le divisioni di addestramento e valutazione all’interno dello stesso set di dati. Solo i set di dati con sia divisioni di benchmark che di addestramento o pre-addestramento sono stati presi in considerazione, limitando l’analisi a COCO, GCC, ImageNet, OpenImages e TextCaps.

Per COCO, il set di test è stato confrontato con il set di addestramento, il set di valutazione e le sottodivisioni non etichettate, e il set di valutazione è stato confrontato con il set di addestramento e le sottodivisioni non etichettate.

I tassi più alti di perdita di dati all’interno del set di dati sono stati osservati nelle divisioni di test e valutazione di ImageNet, con perdita di dati dura che raggiungeva fino al 1,58% e perdita di dati morbida appena al di sotto del 2%. GCC e COCO hanno seguito, con COCO val2017 che mostrava una perdita di dati morbida del 3% e le sue divisioni di test che variavano tra l’1,35% e l’1,38%. OpenImages ha mostrato una perdita di dati dura bassa allo 0,05%, ma la perdita di dati morbida ha superato l’1,3% in entrambe le divisioni di test e valutazione. TextCaps ha mostrato la perdita di dati complessiva più bassa, allo 0,69%, con nessuna perdita di dati dura rilevata:

Tassi di perdita di dati all’interno del set di dati, mostrando la proporzione di ogni divisione di valutazione che si sovrappone con i suoi dati di addestramento associati.

Riguardo a questi risultati, gli autori affermano^†:

‘Questi risultati mostrano che la perdita di dati all’interno del set di dati si verifica in tutti i set di dati analizzati, sia nel grado duro che morbido.

‘Considerato che la perdita di dati può compromettere la valutazione del modello e che i set di dati sono progettati specificamente a questo scopo, la perdita di dati all’interno del set di dati è un rischio che per design non dovrebbe esistere.

‘Eppure, abbiamo identificato più istanze in tutti i set di dati.’

Perdita di dati tra set di dati

Per misurare la perdita di dati tra set di dati (dove un modello è addestrato su un set di dati e valutato su un altro), quattro set di dati sono stati utilizzati come fonti di dati di addestramento: addestramento GCC, addestramento ImageNet, addestramento OpenImages e LAION.

Questi sono stati abbinati ai dati di valutazione tratti dalla divisione di test e valutazione di COCO 2014, Flickr30K, test di TextCaps, la divisione di test e valutazione di OpenImages e la divisione di test e valutazione di ImageNet.

Le caratteristiche CLIP ViT-B/32 sono state estratte per tutti i set di dati tranne LAION, che fornisce le proprie caratteristiche precalcolate. Tuttavia, poiché quelle caratteristiche differiscono leggermente da quelle generate utilizzando l’implementazione ufficiale di CLIP, le immagini di query sono state ridimensionate in base al metodo utilizzato nel repository clip-retrieval per garantire la compatibilità.

Il recupero è stato eseguito utilizzando una ricerca KNN, sebbene la scala di LAION abbia richiesto la suddivisione in blocchi di un milione di immagini, con ogni blocco indicizzato separatamente:

Perdita di dati tra set di dati di benchmark (colonne) e set di dati di pre-addestramento (righe). A sinistra vediamo la ‘perdita di dati dura’ (immagini identiche), e a destra la ‘perdita di dati morbida’ (quasi-duplicati).

La perdita di dati tra set di dati è stata osservata in tutti i set di dati di benchmark, con gradi di gravità variabili. LAION ha mostrato i tassi più alti di perdita di dati dura (immagini identiche), in particolare per i dati di test di OpenImages e TextCaps, ognuno superiore al 3%. OpenImages ha anche contribuito a una perdita di dati dura più piccola per COCO.

Sebbene meno grave, ImageNet ha contenuto duplicati duri da ogni set di benchmark esaminato; e GCC ha mostrato la perdita di dati dura complessiva più bassa, rimanendo al di sotto dell’1%.

La perdita di dati morbida (quasi-duplicati) è stata più diffusa: LAION ha nuovamente prodotto i tassi più alti, con fino al 7,9% di sovrapposizione per alcuni benchmark; OpenImages e TextCaps sono stati i set di benchmark più colpiti; e Flickr30k ha mostrato la perdita di dati più bassa.

Sebbene tali sovrapposizioni possano rappresentare solo una piccola parte dei set di valutazione, gli autori notano che la loro presenza può consentire la memorizzazione e compromettere la validità del test:

Esempi di immagini perse. A sinistra ci sono casi di ‘perdita di dati dura’, dove le immagini sono identiche all’interno di un set di dati (in alto) o tra set di dati (in basso); a destra, casi di ‘perdita di dati morbida’, dove le immagini sono quasi identiche.

Effetto sulla valutazione downstream

Lo studio considera poi come la perdita di dati influisce sulla valutazione downstream (ovvero le prestazioni su attività standard quando modelli pre-addestrati vengono testati su benchmark che contengono dati di addestramento duplicati).

Tre attività sono state prese in considerazione: classificazione zero-shot; classificazione supervisionata; e recupero di immagini-testo.

Per ogni attività, le prestazioni del modello sono state valutate su un set di benchmark per il quale campioni persi erano già stati identificati all’interno dei dati di pre-addestramento. I risultati sono stati confrontati tra quattro sottinsiemi: l’intero set di benchmark; un sottinsieme di campioni persi; un sottinsieme di campioni non persi; e un sottinsieme casuale della stessa dimensione del gruppo perso (utilizzato come controllo).

L’effetto della perdita di dati su tre attività downstream è stato misurato utilizzando sottinsiemi di benchmark noti per contenere immagini perse. Nella classificazione zero-shot, un modello pre-addestrato su LAION ha raggiunto un’accuratezza notevolmente più alta su immagini perse nel set di valutazione di ImageNet, confermando che l’esposizione a quasi-duplicati durante l’addestramento fornisce un vantaggio misurabile:

Precisione di classificazione zero-shot sul set di valutazione di ImageNet tra sottinsiemi con e senza perdita di dati. L’ultima colonna riporta i guadagni di accuratezza relativi al set completo, e le righe evidenziate corrispondono ai sottinsiemi persi.

Per la classificazione supervisionata, la perdita di dati in ImageNet ha causato un calo di prestazioni drammatico – a meno che l’immagine persa non avesse lo stesso etichetta in entrambe le divisioni, nel qual caso il modello ha raggiunto un’accuratezza quasi perfetta, rivelando un forte effetto di memorizzazione:

Precisione di classificazione supervisionata sul set di valutazione di ImageNet per sottinsiemi con e senza perdita di dati. Le colonne dei guadagni mostrano il cambiamento relativo al set completo. I sottinsiemi persi sono evidenziati.

Nel recupero di immagini-testo, le prestazioni sono nuovamente migliorate per i campioni persi, con sia la perdita di dati dura che morbida che porta a un richiamo più alto, e con i sottinsiemi persi che producono anche risultati più coerenti tra le esecuzioni:

Prestazioni di recupero di immagini-testo su Flickr30k tra sottinsiemi con e senza perdita di dati, con sottinsiemi persi evidenziati.

Gli autori concludono:

‘Nel complesso, [mostriamo] prove coerenti che la perdita di dati rappresenta una minaccia seria per una valutazione equa dei modelli in set di dati visivi, compromettendo uno dei principi di apprendimento automatico più fondamentali: non valutare i modelli sui loro dati di addestramento.’

Conclusione

Un aspetto scioccante del documento, sebbene non sia una novità, è il resoconto della necessità di utilizzare CLIP per ottenere caratteristiche per la vasta quantità di dati di immagini in LAION, rappresentando una scala che non può più essere affrontata in alcun altro modo se non aggregato, trattando i metadati tokenizzati invece delle caratteristiche più dettagliate che possono essere ispezionate quando un set di dati è più gestibile.

È un’illustrazione cruda della portata in cui l’addestramento dei modelli di visione-linguaggio ha definitivamente superato i limiti e le capacità della supervisione umana, o qualsiasi tipo di cura manuale oltre i campioni rappresentativi.

* Forse un po’ confusamente, il problema della duplicazione è definito nel documento come ‘perdita di dati’.

† Enfasi degli autori.

Pubblicato per la prima volta martedì, 26 agosto 2025