De ‘Download More Labels!’-Illusie in AI-onderzoek

Een veel voorkomende opvatting in het huidige machine learning-onderzoek is dat machine learning zelf kan worden gebruikt om de kwaliteit van AI-datasetannotaties te verbeteren – met name beeldonderschriften die zijn bedoeld voor gebruik in vision-language-modellen (VLM’s). Deze manier van denken wordt gedreven door de hoge kosten van menselijke annotatie en de extra last van toezicht op de prestaties van annotators.

Men kan betogen dat dit het AI-equivalent is van de vroege 2000s ‘download meer RAM’ meme, die de notie satireerde dat een hardwarebeperking kon worden opgelost met een software-gebaseerde oplossing.

Het is ook een ondergewaardeerd probleem; terwijl nieuwe AI-modellen breed aandacht trekken in zowel publieke als commerciële sferen, lijkt annotatie vaak een triviaal detail in machine learning-pijpleidingen, overschaduwd door de opwinding rondom bredere kaders.

In werkelijkheid is de capaciteit van machine learning-systemen om patronen te herkennen en te reproduceren (de centrale toepassing van bijna alle AI-systemen) afhankelijk van de kwaliteit en consistentie van echte annotaties – labels en zinnen die zijn gemaakt of beoordeeld door echte mensen, vaak subjectieve oordelen vellend over individuele gegevenspunten in niet-ideale omstandigheden.

Onvermijdelijk, systemen die proberen patronen in annotatorgedrag te observeren en te reproduceren (en daarmee menselijke annotators te vervangen en nauwkeurige labeling op grote schaal te faciliteren) kunnen niet hopen goed te presteren op gegevens niet opgenomen in de voorbeelden genomen van menselijke observatoren. Niets ‘soortgelijks’ is helemaal hetzelfde, en cross-domein-equivalentie blijft een probleematische onderneming in computerzicht.

De ‘upstream data-buck’ moet ergens stoppen, en in dit geval is dat precies waar het stopt – met een menselijk cerebellum dat een soort subjectieve onderscheid maakt om gegevens te coderen voor een kunstmatig systeem.

De RAG-Handel

Tot voor kort werden de onnauwkeurigheden die voortkwamen uit onder-gecurateerde dataset-annotaties misschien beschouwd als acceptabele collaterale schade in de context van de onvolmaakte maar nog steeds marktbaar resultaten die werden behaald met generatieve AI-systemen.

Inderdaad, alleen dit jaar concludeerde een studie uit Singapore dat hallucinaties – d.w.z. de gelegenheden waarop AI-systemen dingen verzinnen die onze bedoelingen ondermijnen – onvermijdelijk zijn en inherent zijn aan de conceptuele architectuur van dergelijke systemen.

Om dit te counteren, worden RAG-gebaseerde agenten – die feiten kunnen ‘verifiëren’ via internetzoekopdrachten – steeds populairder in onderzoek en toegepaste commerciële oplossingen. Echter, ze voegen toe aan de resourcekosten en de latentie in queries; bovendien kan nieuwe informatie die wordt toegepast op een getraind model niet concurreren met de meer ingewikkelde en diep verweven connecties die kenmerkend zijn voor de native lagen in een getraind model.

Het zou daarom beter zijn als de annotatiegegevens die deze modellen informeren aanzienlijk minder gebrekkig waren in de eerste plaats, zelfs als ze niet perfect kunnen zijn (niet in de laatste plaats omdat deze activiteit de grenzen van menselijke subjectiviteit overschrijdt).

RePOPE

Een nieuw artikel uit Duitsland benadrukt de problemen die ontstaan door te vertrouwen op oudere, breed gebruikte datasets, met name de nauwkeurigheid en betrouwbaarheid van hun beeldonderschriften. De onderzoekers stellen dat label fouten in benchmarks hallucinaties in vision-language-modellen kunnen maskeren of verkeerd voorstellen.

Uit het nieuwe artikel, enkele voorbeelden waarin de oorspronkelijke onderschriften niet in staat waren om objecten correct te identificeren in de MSCOCO-dataset van beelden. De onderzoekers’ handmatige herziening van de POPE-benchmarkdataset adresseert deze tekortkomingen, en toont de kosten van het besparen van geld op annotatiecuratie. Bron: https://arxiv.org/pdf/2504.15707

Stel dat een model een beeld van een straatbeeld wordt getoond en wordt gevraagd of er een fiets in zit. Het model antwoordt ja. Als de benchmark-dataset zegt dat er geen fiets is, wordt het model fout gemarkeerd. Maar als een fiets duidelijk zichtbaar is in het beeld en werd simpelweg gemist tijdens annotatie, dan was het antwoord van het model correct, en heeft de benchmark gefaald. Fouten zoals deze kunnen zich opstapelen over een dataset, waardoor een vertekend beeld ontstaat van welke modellen nauwkeurig zijn en welke hallucinaties vertonen.

Dus, wanneer onjuiste of dubbelzinnige annotaties worden behandeld als grondwaarheid, kunnen modellen lijken te hallucineren wanneer ze correct zijn, of lijken nauwkeurig te zijn wanneer ze dat niet zijn, waardoor zowel de meting van hallucinatie als de rangschikking van modelprestaties wordt vertekend, en het moeilijker wordt om het probleem met zekerheid te diagnosticeren of aan te pakken.

Het nieuwe artikel herziet een breed gebruikte benchmark genaamd Polling-based Object Probing Evaluation (POPE), die test of vision-language-modellen correct kunnen zeggen wat er wel of niet in een beeld zit.

POPE is gebaseerd op labels uit de invloedrijke Microsoft COCO: Common Objects in Context (MSCOCO)-dataset, een collectie van geannoteerde beelden die lange tijd als een goed niveau van annotatie-accuratesse werd beschouwd.

POPE evalueert objecthallucinatie in grote vision-language-modellen door het probleem te herformuleren als een binaire classificatietaken. In plaats van gegenereerde onderschriften te parseren, stelt het systeem eenvoudige ja/nee-vragen aan het model over of specifieke objecten aanwezig zijn in een beeld, met behulp van sjablonen zoals ‘Is er een <object> in het beeld?’.

Voorbeelden van objecthallucinatie in vision-language-modellen. Vetgedrukte labels geven objecten aan die als aanwezig zijn gemarkeerd in de oorspronkelijke annotaties, terwijl rode labels objecten aangeven die door de modellen worden gehallucineerd. Het linker voorbeeld weerspiegelt een traditionele instructie-gebaseerde evaluatie, terwijl de drie voorbeelden rechts zijn afgeleid van verschillende POPE-benchmarkvarianten. Bron: https://aclanthology.org/2023.emnlp-main.20.pdf

Grondwaarheidsobjecten (antwoord: Ja) worden gepaard met bemonsterde niet-bestaande objecten (antwoord: Nee), gekozen via willekeurige, frequente (populaire) of co-occurrerende (adversarial) strategieën. Deze setup maakt een meer stabiele, prompt-insensitive evaluatie van hallucinatie mogelijk zonder te vertrouwen op complexe regel-gebaseerde onderschriftenanalyse.

De auteurs van het nieuwe artikel – getiteld RePOPE: Impact van annotatiefouten op de POPE-benchmark – betwisten de veronderstelde nauwkeurigheid van POPE door de labels op de beelden van de benchmark (d.w.z. MSCOCO) opnieuw te controleren – en ontdekken dat een verrassend aantal hiervan onjuist of onduidelijk is.

Voorbeelden uit de 2014 MSCOCO-dataset. Bron: https://arxiv.org/pdf/1405.0312

Deze fouten veranderen de manier waarop modellen worden gerangschikt, waarbij sommige modellen die aanvankelijk goed presteerden, achterblijven wanneer ze worden beoordeeld met de gecorrigeerde labels.

In tests, hebben de auteurs een reeks open-weight vision-language-modellen geëvalueerd op zowel de oorspronkelijke POPE-benchmark als hun heretiketteerde RePOPE-versie.

Volgens het artikel leidden de gecorrigeerde annotaties tot opmerkelijke veranderingen in modelrangschikkingen, met name in F1-scores, waarbij verschillende high-performing modellen onder POPE daalden in positie onder RePOPE.

De auteurs beweren dat deze verschuiving de mate illustreert waarin annotatiefouten de werkelijke hallucinatiegedrag van modellen kunnen verhullen, en presenteren RePOPE als een betrouwbaarder instrument voor het evalueren van hallucinatiekwetsbaarheid.

In een ander voorbeeld uit het nieuwe artikel, zien we hoe de oorspronkelijke POPE-onderschriften niet in staat waren om subtiele objecten te onderscheiden, zoals een persoon die naast de cabine van een tram zit in de meest rechtse foto, of de stoel die wordt verborgen door de tennisspeler in de tweede foto van links.

Methode en Tests

De onderzoekers hebben alle annotaties in de oorspronkelijke MSCOCO-dataset opnieuw gelabeld, met twee menselijke labelers toegewezen aan elke gegevensinstantie. Waar twijfel bestond over de kwaliteit van de oorspronkelijke labels (zoals in de onderstaande voorbeelden), werden deze resultaten buiten de testronde gehouden.

Ambigue gevallen, waarbij inconsistenties in POPE-labels onduidelijke categoriegrenzen weerspiegelen. Bijvoorbeeld, een teddybeer gelabeld als een beer, een motorfiets als een fiets, of vliegtuigvoertuigen als auto’s. Deze gevallen werden uit RePOPE gehaald vanwege de subjectieve aard van dergelijke classificaties, evenals de inconsistenties in de oorspronkelijke labels van MSCOCO.

Het artikel vermeldt:

‘De oorspronkelijke annotators misten personen op de achtergrond of achter glas, de tennisspeler verhult de ‘stoelen’ op de achtergrond en de koolsla bevat alleen een kleine zichtbare streep van een wortel.

‘Voor sommige objecten zijn de COCO-annotaties hoogst inconsistent, waarschijnlijk vanwege de verschillende definities van die objecten die door de oorspronkelijke annotators werden gebruikt. De classificatie van een ‘teddybeer’ als een ‘beer’, een motorfiets als een gemotoriseerde ‘fiets’, of een vliegtuigvoertuig als een ‘auto’ hangt af van specifieke definities, wat leidt tot inconsistenties in POPE-grondwaarheidsannotaties. Daarom annoteren we de corresponderende beeld-vraagparen als ‘ambigu’. ‘

Resultaten van de herannotatie: de positieve vragen zijn gedeeld over alle drie POPE-varianten. Onder degenen die als ‘Ja’ waren gelabeld in POPE, werden 9,3 procent onjuist bevonden en 13,8 procent als ambigu geclassificeerd. Voor de ‘Nee’-vragen waren 1,7 procent onjuist gelabeld en 4,3 procent ambigu.

De auteurs hebben een reeks open-weight modellen geëvalueerd op POPE en op RePOPE, over diverse architectuur en modelgroottes. De modellen die werden gekozen, omvatten enkele van de leidende architectuur op de OpenVLM-leaderboard: InternVL2.5 (8B/26B/38B/78B en 8B-MPO/26B-MPO); LLaVA-NeXT; Vicuna; Mistral 7b; Llama; LLaVA-OneVision; Ovis2 (1B/2B/4B/8B); PaliGemma-3B; en PaliGemma2 (3B/10B).

Initiële resultaten: de hoge foutenratio in de oorspronkelijke positieve labels leidt tot een scherpe daling in ware positieven over alle modellen. Valse positieven variëren over subsets, bijna verdubbeld op de willekeurige subset, maar grotendeels ongewijzigd op de populaire subset, en laten een lichte daling zien op de adversarial subset. De heretikettering heeft een aanzienlijk effect op F1-gebaseerde rangschikkingen. Modellen zoals Ovis2-4B en Ovis2-8B, die goed presteerden op de populaire en adversarial splits in POPE, stijgen ook naar de top op de willekeurige subset onder RePOPE.. Ga naar de bron-PDF voor een betere resolutie.

De resultaten grafieken hierboven laten zien hoe het aantal ware positieven en valse positieven verandert na het corrigeren van de labels in de benchmark.

Ware positieven daalden over alle modellen, wat aantoont dat ze vaak credit kregen voor correcte antwoorden wanneer die antwoorden alleen correct waren onder foutieve labels, terwijl valse positieven een meer variabel patroon volgden.

Op de ‘willekeurige’ versie van POPE, verdubbelden valse positieven bijna voor veel modellen, wat aangaf dat een aanzienlijk aantal objecten die als hallucinaties werden gemarkeerd, eigenlijk aanwezig waren in de beelden maar waren gemist tijdens de annotatie. In dit geval waren veel vermeende model fouten in feite dataset-label fouten.

Voor de ‘adversarial’ versie van POPE, waar vragen waren gebaseerd op objecten die frequent co-occurreren, daalden valse positieven. Dit weerspiegelt waarschijnlijk een hogere kans dat het vermeend afwezige object daadwerkelijk in het beeld was, maar ongelabeld werd gelaten.

Hoewel deze verschuivingen invloed hadden op precisie en recall, bleven modelrangschikkingen relatief stabiel voor beide metrieken.

De F1-score – POPE’s hoofdevaluatiemaat – was veel gevoeliger voor de labelcorrecties. Op de willekeurige subset, modellen die dicht bij de top stonden onder de oorspronkelijke labels, zoals InternVL2.5-8B en -26B, daalden naar de onderkant toen ze werden beoordeeld met RePOPE. Anderen, zoals Ovis2-4B en -8B, stegen naar de top.

Een soortgelijk patroon ontstond in de nauwkeurigheidsscores, hoewel de auteurs opmerken dat deze nu mogelijk vertekend zijn, aangezien de gecorrigeerde dataset een oneven aantal positieve en negatieve voorbeelden bevat.

De auteurs beweren dat de sterke invloed van annotatiefouten op benchmarkresultaten de noodzaak van hoogwaardige gegevens onderstreept. Om een meer betrouwbare evaluatie van objecthallucinatie te ondersteunen, hebben ze de gecorrigeerde labels op GitHub vrijgegeven.

Echter, ze merken op dat deze heretikettering de verzadiging van de benchmark niet volledig adresseert, aangezien veel modellen nog steeds ware positieve en ware negatieve tarieven boven de 90% behalen. Ze suggereren dat aanvullende benchmarks, zoals DASH-B, die een meer uitdagende set negatieve voorbeelden gebruikt, naast RePOPE moeten worden gebruikt.

Conclusie

Dit specifieke experiment was mogelijk vanwege de zeer kleine schaal van de betrokken dataset. Het bewijzen van dezelfde hypothese op hyperschaal datasets zou het werken met zeer beperkte fragmenten van de gegevens inhouden; in zeer diverse grote datasets kan het bijna onmogelijk zijn om statistisch representatieve en semantisch coherente groeperingen te isoleren – wat de resultaten kan vertekenen.

Als het al mogelijk zou zijn, wat zou dan de oplossing zijn onder de huidige stand van de techniek? Het argument keert onvermijdelijk terug naar de noodzaak van betere en meer omvattende menselijke annotatie.

In dit opzicht bestaan ‘beter’ en ‘meer omvattend’ als afzonderlijke problemen in hun eigen recht, aangezien men een grotere hoeveelheid annotaties kan verkrijgen via race-to-the-bottom-economieën zoals Amazon Mechanical Turk (AMT). Het is duidelijk dat deze potentieel uitbuitende sub-economie vaak leidt tot inferieure resultaten.

Alternatief kan men annotatietaken uitbesteden aan economische regio’s waar dezelfde uitgaven een grotere hoeveelheid annotaties zouden opleveren. Echter, hoe verder de annotator verwijderd is van het beoogde gebruik van het model dat hun labels zullen vormen, hoe minder waarschijnlijk het is dat het resulterende model zal aansluiten bij de behoeften of verwachtingen van het doeldomein. Dit blijft daarom een van de meest persistente en onopgeloste uitdagingen in de economie van machine learning-ontwikkeling.

Publicatie op woensdag 23 april 2025