De ‘Rogue’ Data die de Prestaties van Generatieve AI Verontreinigt

Een nieuwe studie ontdekt dat veel populaire beeld datasets die worden gebruikt om AI-modellen te trainen, zijn verontreinigd met testafbeeldingen of near-duplicates, waardoor modellen kunnen vals spelen door antwoorden te onthouden in plaats van te leren. De lekkage is wijdverbreid maar meestal onopgemerkt, en zwijgt scores op en geeft oneerlijke voordelen aan modellen die zijn getraind op web-schaalgegevens.

Wanneer je een rijexamen aflegt, wordt je meestal niet van tevoren exact verteld welke wegen er voor het examen zullen worden gebruikt. Als je dat wel wist (en je was een beetje gebrek aan integriteit), zou je het examen kunnen ‘optimaliseren’ door herhaaldelijk op die route te oefenen, in plaats van bredere rijvaardigheden te ontwikkelen die elke route redelijk goed aankunnen.

Bij het trainen van machine learning-modellen is dit een redelijke analogie voor een testsplit – een opsplitsing van de trainingsgegevens in (meestal) een 70% split voor de gegevens die zullen worden gebruikt om het model te trainen, met de resterende 30% die wordt gebruikt als ‘in het wild’ gegevens.

Aangezien ‘in het wild’ gegevens nooit eerder door het model zijn gezien, kan worden aangenomen dat het model effectief en presteert goed als het goed presteert op die gegevens; als dat niet het geval is, kan het model overfit op een goed gebalanceerde set – of anders kan de gegevens extra curatie en definitie nodig hebben.

Op welke manier dan ook, niet het evalueren van modellen op hun trainingsgegevens is de hoeksteen van de huidige methode in AI-onderzoek en -ontwikkeling.

Weer hetzelfde, alstublieft

Volgens een nieuw onderzoeksrapport uit Japan, heeft de computer vision en generatieve AI-onderzoekssector niet in de buurt gekomen van de inspanningen van LLM-onderzoekers om ervoor te zorgen dat testgegevens de trainingsgegevens niet verontreinigen; in tests vonden de onderzoekers dat elk hyperschaalvisiedataset dat ze bestudeerden, inclusief die welke de grootste huidige generatieve AI-systemen aandrijven, tot op zekere hoogte toeliet dat hun testgegevens oversloegen naar hun trainingsgegevens – wat betekent dat benchmarks en prestatierapporten voor modellen getraind op deze splits niet nauwkeuriger zullen zijn dan een examenresultaat van iemand die een spiekbriefje meeneemt naar de examenzaal, en niet de werkelijke prestatie in de echte wereld op echt nieuwe gegevens zullen weerspiegelen.

Voorbeelden van gegevensverontreiniging gevonden door de onderzoekers, waarbij duplicate of near-duplicate datapunten bestaan in zowel de trainings- als testgegevens. Bron: https://arxiv.org/pdf/2508.17416

In de afbeelding hierboven, uit het nieuwe rapport, zien we voorbeelden van ofwel duplicate of near-duplicate datapunten die zijn gevonden in zowel de core trainingsgegevens als testgegevens van een verscheidenheid aan modellen – genoeg om de prestatie van het model op die gegevens te delegitimeren en licht te infleren hun algemene scores over het hele bord, waardoor het lijkt alsof het model een niveau van generalisatie heeft bereikt dat het mogelijk niet daadwerkelijk heeft bereikt.

Om zaken nog ingewikkelder te maken, lijkt de verontreiniging te gebeuren in een diversiteit aan mogelijke scenario’s, inclusief ‘pre-training‘, waarbij de gewichten van oudere ancestrale modellen worden gebruikt om een nieuw model te ‘kick-starten’. Als het upstream, oudere model enkele van dezelfde gegevens heeft als het nieuwere dataset dat wordt gebruikt voor pre-training, kan cross-verontreiniging optreden, zelfs als de 70/30 of 80/20 split schoon is.

Cumulatief Effect

Dit is bijna zeker om te gebeuren, zelfs in de allernieuwste datasets: het bereik van visie/tal datasets is enorm gegroeid in de afgelopen vijf jaar, en omvat niet alleen de nieuwste beeldgegevens op het web, maar ook het opnieuw oogsten van veel van dezelfde gegevens die oude, historische datasets bevolkten.

Verder zijn geautomatiseerde routines die zijn ontworpen om miljarden afbeeldingen te doorzoeken en te filteren op duplicates en near-duplicates, nu geconfronteerd met zo’n zware taak dat curatie op zich – de kosten in termen van tijd en geld – nu moet worden overwogen in de context van begrotingsbeperkingen

Ondertussen is beeld duplicatie een onvermijdelijke consequentie van het soort ad hoc web-doorzoeken achter massive collecties zoals Common Crawl, vanwege de gebruikelijke praktijk van herpubliceren en opnieuw comprimeren van afbeeldingen, en het toepassen van bewerkingen zoals bijsnijden, en zelfs omdraaien (om detectie te vermijden, wanneer de afbeelding mogelijk zonder toestemming is gebruikt, bijvoorbeeld).

De auteurs observeren*:

‘Gegevenslekkage is een wijdverbreid probleem, aanwezig in de meeste visuele datasets. Lekkage kan de generalisatiecapaciteit van modellen verhullen, wat bijzonder problematisch is wanneer modellen getraind op verschillende datasets worden vergeleken, waardoor oneerlijke vergelijkingen ontstaan.

‘Wij dringen er bij datasetontwerpers op aan om de implicaties van deze evaluaties zorgvuldig te overwegen. Voor een eerlijkere modelbeoordeling raden wij het gebruik aan van duplicaatdetectoren die zowel harde als zachte lekkage in overweging nemen.

‘Ideaal gezien zouden gelekte afbeeldingen uit de trainingsset verwijderd moeten worden, en als dat niet mogelijk is, zouden ze ten minste uit de testset verwijderd moeten worden.’

Het rapport gaat dieper in op een aantal tests die de onderzoekers hebben uitgevoerd op massive en populaire datasets – elk van welke enige vorm van verontreiniging vertoonde.

Het nieuwe rapport heet Gegevenslekkage in Visuele Datasets, en komt van drie onderzoekers aan de Universiteit van Osaka.

Methode

De auteurs van het rapport definiëren lekkage in termen van drie dimensies: modaliteit, dekking, en graad.

Modaliteit onderscheidt of alleen afbeeldingen worden gelekt of of zowel afbeeldingen als labels worden blootgesteld; dekking identificeert of de overlap optreedt binnen dezelfde dataset of tussen verschillende datasets; en graad definieert of de gedupliceerde inhoud exact hetzelfde is of slechts nabij.

Wat betreft lekkage, worden in het werk twee scenario’s overwogen: intra-dataset lekkage (waar evaluatieafbeeldingen opnieuw verschijnen in de trainingsplits van dezelfde dataset), en inter-dataset lekkage (waar evaluatieafbeeldingen uit één dataset aanwezig zijn in een andere dataset die wordt gebruikt voor training).

Wat betreft graad, worden twee niveaus gedefinieerd: zachte lekkage (waar afbeeldingen niet identiek zijn maar kleine variaties vertonen), en harde lekkage (waar afbeeldingen exact hetzelfde zijn over trainings- en evaluatiegegevens heen).

De onderzoekers behandelen de detectie van lekkage in termen van afbeeldingopname, met behulp van afbeeldingencoders om elke afbeelding te representeren als een functievector. De queryset is de evaluatiegegevens, terwijl de collectie de trainingsgegevens is.

Voor kleinere datasets werd elke queryvector rechtstreeks vergeleken met alle trainingsvectoren met behulp van cosinusgelijkheid. Voor grotere datasets werd een Faiss-index gemaakt om snellere, K-Nearest Neighbors (KNN) zoekopdrachten mogelijk te maken.

Aangezien de encoder voldoende visuele informatie moet vastleggen om subtiele overeenkomsten te detecteren, maar nog steeds efficiënt moet blijven in het gezicht van zeer grote hoeveelheden gegevens, vertrouwden de auteurs op vooraf berekende CLIP-functies die beschikbaar werden gesteld door datasetmakers, in het geval van de LAION-collectie die ten grondslag ligt aan Stable Diffusion, en latere projecten.

De auteurs merken op dat het toelaten van CLIP om zijn gedistilleerde begrip van de dataset te gebruiken (in plaats van de feitelijke bestanden op grote schaal te peilen) het proces aanzienlijk versnelde en een verbeterde consistentie over vergelijkingen bood.

Gegevens en Tests

De CLIP-afbeeldingencoder die in de tests voor het nieuwe werk werd gebruikt, was de standaard CLIP ViT-B/32 die oorspronkelijk werd gebruikt om LAION te zeven. Om te bepalen of diverse afbeeldingen aan elkaar verwant waren, werd KNN gebruikt onder AutoFaiss.

De datasets werden onderverdeeld in drie typen: pre-training datasets – grote, web-geëxtraheerde collecties die worden gebruikt om generalistische modellen te trainen; trainings datasets – kleinere, vaak geannoteerde collecties, bedoeld voor directe modelafstemming; en benchmark datasets – handmatig geannoteerd, en alleen gebruikt voor evaluatie.

De analyse omvatte twintig splits over zeven datasets: Microsoft COCO werd gebruikt als zowel trainings- als evaluatieset, met inbegrip van de train, validatie, test en ongelabelde splits; Flickr30k diende uitsluitend als benchmark; en de Google Conceptual Captions (GCC) collectie werd behandeld als een pre-trainingbron, met zijn validatiegedeelte ook gebruikt voor evaluatie.

Bovendien werd ImageNet gebruikt voor zowel training als benchmarking, terwijl de LAION-400M dataset uitsluitend werd gebruikt voor pre-training.

OpenImages v4 droeg trainings- en benchmarkgegevens bij, en TextCaps leverde zowel trainings- als test_splits voor evaluatie.

Voorbeelden van afbeeldingsannotaties uit Google’s Open Images-dataset, onderzocht in het nieuwe werk. Bron: https://arxiv.org/pdf/1811.00982

Om te beoordelen hoe goed de methode lekkage kan detecteren wanneer afbeeldingen zijn subtiel gewijzigd door herschaling, bijsnijden of soortgelijke niet-semantische transformaties, testten de auteurs op Flickr30k, door willekeurig 5.000 afbeeldingen te selecteren als queries, en de hele dataset te gebruiken als referentiecollectie.

Elke queryafbeelding werd getransformeerd voordat deze werd gecodeerd (d.w.z. onderworpen aan een niet-semantische modificatie zoals herschaling of bijsnijden), en vervolgens gematcht met het meest vergelijkbare item in de collectie met behulp van cosinusgelijkheid; een match werd alleen geteld als de oorspronkelijke afbeelding als het beste resultaat werd geretourneerd.

De drie encoders die werden vergeleken waren ResNet-152; DINOv2 ViT-B/14; en CLIP ViT-B/32.

Vier soorten niet-semantische afbeeldingstransformaties werden gebruikt: geometrisch (flips en rotaties); bijsnijden (verwijdering van 20, 50 of 100 pixels van elke rand); pixelisatie (Gaussian blur, toegevoegd ruis of downsampling naar 128 of 256 pixels); en kleur (grijswaarden, inversie of rode, groene of blauwe overlays).

Uit het aanvullende materiaal, voorbeelden van de transformaties die op de gegevens zijn toegepast – typische routines die ook in data-augmentatievoorbewerking worden gebruikt.

De auteurs testten vervolgens op lekkagedetectie in afbeeldingopname:

Lekkagedetectie-accuratesse op 5.000 Flickr30k-queryafbeeldingen die aan verschillende niet-semantische transformaties zijn onderworpen.

Alle drie de encoders behaalden perfecte prestaties op ongewijzigde afbeeldingen, en CLIP bleef betrouwbaar over bijsnijden, horizontale flips, ruis en herschaling, en overtrof ResNet op pixelniveau en kleurveranderingen.

DINOv2 toonde sterke weerstand tegen kleurtransformaties (waarschijnlijk vanwege zijn zelf-supervised ontwerp, menen de auteurs), maar was opvallend zwakker op geometrische bewerkingen en bijsnijden – beide veel voorkomend in gedupliceerde datasets.

Aangezien LAION al CLIP-embeddings bevat, en gezien de consistentie en snelheid ervan, werd CLIP gekozen als de standaardencoder voor de hoofdanalyse.

Harde en Zachte Lekkage

Prestaties werden geëvalueerd over verschillende cosinusgelijkheidsshresholds om exacte en near-duplicate afbeeldingen (harde en zachte lekkage) te onderscheiden.

Een drempel van 0,98 werd geselecteerd om harde lekkage te definiëren, wat resulteerde in geen valse positieven en perfecte detectie van identieke afbeeldingen.

Voor zachte lekkage werd een drempel van 0,95 gekozen, waardoor meer near-duplicates konden worden opgehaald terwijl een near-nul valse positieve rate werd behouden; prioriteit werd gegeven aan precisie boven recall, en de bevindingen werden daarom conservatief geschat:

Ontvanger-operatiekarakteristieke curves werden gebruikt om de selectie van harde en zachte drempels voor lekkagedetectie te leiden. Hoge AUC-scores onder zowel getransformeerde als ongetransformeerde omstandigheden laten zien dat near-duplicates betrouwbaar kunnen worden onderscheiden van niet-gerelateerde afbeeldingen, zelfs wanneer minimale wijzigingen aanwezig zijn.

Intra-Database Lekkage

Intra-database lekkage werd berekend door afbeeldingsoverlap te identificeren tussen trainings- en evaluatiesplits binnen dezelfde dataset. Alleen datasets met zowel benchmark- als trainings- of pre-training splits waren in aanmerking, waardoor de analyse werd beperkt tot COCO, GCC, ImageNet, OpenImages en TextCaps.

Voor COCO werd de testset vergeleken met de trainingsset, evaluatieset en ongelabelde subsets, en de validatieset tegen de trainings- en ongelabelde subsets.

De hoogste tarieven van intra-database lekkage werden waargenomen in de ImageNet test- en validatiesplits, met harde lekkage tot 1,58% en zachte lekkage net onder 2%. GCC en COCO volgden, met COCO val2017 die een zachte lekkage van 3% vertoonde en zijn test_splits tussen 1,35% en 1,38%. OpenImages vertoonde lage harde lekkage van 0,05%, maar zachte lekkage overschreed 1,3% in zowel test- als validatiesets. TextCaps vertoonde de laagste totale lekkage, op 0,69%, met geen harde lekkage gedetecteerd:

Intra-database lekkagetarieven, die het percentage van elke evaluatiesplit aangeven dat overlapt met de bijbehorende trainingsgegevens.

Wat deze resultaten betreft, verklaren de auteurs^†:

‘Deze resultaten laten zien dat intra-database lekkage optreedt in alle geanalyseerde datasets, hetzij in hun harde of zachte vorm.

‘Gezien dat gegevenslekkage modelbeoordeling kan compromitteren en dat datasets specifiek voor dit doel zijn ontworpen, is intra-database lekkage een risico dat per ontwerp niet zou moeten bestaan.

‘Toch hebben we meerdere voorbeelden in alle datasets gevonden.’

Inter-Database Lekkage

Om inter-database lekkage te meten (waar een model wordt getraind op één dataset en geëvalueerd op een andere), werden vier datasets gebruikt als bron van trainingsgegevens: GCC train, ImageNet train, OpenImages train, en LAION.

Deze werden gematcht tegen evaluatiegegevens afkomstig van de COCO 2014 test- en validatiesplits, Flickr30K, TextCaps test, de OpenImages test- en validatiesplits, en de ImageNet test- en validatiesplits.

CLIP ViT-B/32-embeddings werden geëxtraheerd voor alle datasets behalve LAION, die zijn eigen vooraf berekende embeddings biedt. Echter, aangezien die embeddings enigszins afwijken van die gegenereerd met de officiële CLIP-implementatie, werden queryafbeeldingen opnieuw geschaald volgens de methode gebruikt in de clip-retrieval repository om compatibiliteit te garanderen.

Opname werd uitgevoerd met behulp van een KNN-zoekopdracht, hoewel de omvang van LAION vereiste dat deze werd onderverdeeld in blokken van één miljoen afbeeldingen, met elk blok afzonderlijk geïndexeerd:

Inter-database lekkage tussen benchmarkdatasets (kolommen) en pre-training datasets (rijen). Aan de linkerkant zien we ‘harde’ lekkage (identieke afbeeldingen), en aan de rechterkant ‘zachte’ lekkage (near-duplicates).

Inter-database lekkage werd waargenomen over alle benchmarkdatasets, met variabele gradaties van ernst. LAION vertoonde de hoogste tarieven van harde lekkage (identieke afbeeldingen), met name voor OpenImages en TextCaps testgegevens, elk boven de 3%. OpenImages droeg ook een kleinere hoeveelheid harde lekkage bij aan COCO.

Hoewel minder ernstig, bevatte ImageNet nog steeds harde duplicates van elk benchmark dat werd onderzocht; en GCC vertoonde de laagste totale harde lekkage, onder de 1%.

Zachte lekkage (near-duplicates) was meer wijdverbreid: LAION produceerde opnieuw de hoogste tarieven, met maximaal 7,9% overlap voor bepaalde benchmarks; OpenImages en TextCaps waren de meest getroffen benchmarks; en Flickr30k vertoonde de minste lekkage.

Hoewel dergelijke overlaps mogelijk slechts een klein deel van de evaluatiesets uitmaken, merken de auteurs op dat hun aanwezigheid memorisatie en testvaliditeit kan compromitteren:

Voorbeelden van gelekte afbeeldingen. Aan de linkerkant zijn gevallen van ‘harde’ lekkage, waar afbeeldingen identiek zijn binnen een dataset (boven) of tussen datasets (onder); aan de rechterkant, gevallen van ‘zachte’ lekkage, waar afbeeldingen visueel near-identiek zijn.

Effect op Downstream Evaluatie

Het rapport gaat verder in op de manier waarop gegevenslekkage de downstream evaluaties beïnvloedt (d.w.z. prestaties op standaardtaken wanneer pre-getrainde modellen worden getest op benchmarks die gedupliceerde trainingsgegevens bevatten).

Drie taken werden overwogen: zero-shot classificatie; supervised classificatie; en tekst-afbeeldingopname.

Voor elke taak werd modelprestatie geëvalueerd op een benchmarkdataset waarvan eerder was vastgesteld dat deze gelekte voorbeelden bevatte in de pre-training gegevens. Resultaten werden vergeleken over vier subsets: de volledige benchmark; een subset van gelekte voorbeelden; een subset van niet-gelekte voorbeelden; en een willekeurig geselecteerde subset van dezelfde grootte als de gelekte groep (gebruikt als controle).

Het effect van gegevenslekkage op drie downstream taken werd gemeten met behulp van benchmarksubsets die bekend waren om gelekte afbeeldingen te bevatten. Bij zero-shot classificatie behaalde een model getraind op LAION aanzienlijk hogere nauwkeurigheid op gelekte afbeeldingen uit de ImageNet evaluatieset, bevestigend dat blootstelling aan zelfs near-duplicates tijdens training een meetbare voorsprong biedt:

Zero-shot classificatienauwkeurigheid op de ImageNet validatieset over subsets met en zonder lekkage. De laatste kolom rapporteert nauwkeurigheidswinsten ten opzichte van de volledige set, en gemarkeerde rijen komen overeen met gelekte subsets.

Bij supervised classificatie veroorzaakte lekkage in ImageNet een dramatische prestatiedaling – tenzij het gelekte beeld dezelfde label had in beide splits, in welk geval het model bijna perfecte nauwkeurigheid behaalde, een sterk memorisatie-effect onthullend:

Supervised classificatienauwkeurigheid op de ImageNet validatieset voor subsets, met en zonder lekkage. Winstkolommen tonen de verandering ten opzichte van de volledige set. Gelekte subsets zijn gemarkeerd.

Bij tekst-afbeeldingopname verbeterde de prestatie opnieuw voor gelekte voorbeelden, met zowel harde als zachte lekkage die leidde tot hogere recall, en met gelekte subsets die ook consistentere resultaten opleverden over runs:

Tekst-afbeeldingopnameprestaties op Flickr30k over subsets met en zonder lekkage, met gelekte subsets gemarkeerd.

De auteurs concluderen:

‘Al met al [laten we] consistent bewijs zien dat lekkage een ernstige bedreiging vormt voor eerlijke modelbeoordeling in visuele datasets, waardoor een van de meest fundamentele principes van machine learning in gevaar komt: het niet evalueren van modellen op hun trainingsgegevens.’

Conclusie

Een schokkend aspect van het rapport, hoewel het geen novum is, is het verslag van het gebruik van CLIP om embeddings te verkrijgen voor de enorme berg aan beeldgegevens in LAION, wat een schaal vertegenwoordigt die niet langer op enige andere manier kan worden aangepakt dan in aggregate, waarbij men te maken heeft met getokeniseerde metadata in plaats van de meer gedetailleerde kenmerken die kunnen worden geïnspecteerd wanneer een dataset beheersbaar is.

Het is een scherp voorbeeld van de mate waarin de training van visie-taalmmodellen definitief de grenzen en mogelijkheden van menselijke toezicht en enige vorm van handmatige curatie buiten representatieve subsamples is ontstegen.

* Misschien enigszins verwarrend, het probleem van duplicatie wordt in het rapport gedefinieerd als ‘lekkage’.

† Auteurs’ nadruk.

Eerst gepubliceerd op dinsdag 26 augustus 2025