‘Download More Labels!’ Illusionen i AI-forskning

En udbredt opfattelse i nuværende maskinlæringsforskning er, at maskinlæring selv kan bruges til at forbedre kvaliteten af AI-datasætannoteringer – især billedtekster, der er beregnet til brug i vision-sprogmodeller (VLM’er). Denne tankegang er drevet af den høje omkostning af menneskelig annotering og den ekstra byrde af overvågning af annotatorpræstation.

Det kan argumenteres for, at dette er AI-ækvivalenten til den tidlige 2000’ers ‘download mere RAM’ meme, som satiriserer over ideen om, at en hardwarebegrænsning kan løses med en softwarebaseret løsning.

Det er også et underestimeret problem; mens nye AI-modeller tiltrækker bred opmærksomhed i både offentlige og kommercielle sfærer, synes annotering ofte at være en trivial detalje i maskinlæringspipeliner, overskygget af begejstringen omkring bredere rammer.

I virkeligheden er maskinlæringsystemers evne til at genkende og reproducere mønstre (den centrale brugsanvisning for næsten alle AI-systemer) afhængig af kvaliteten og konsistensen af virkelige annoteringer – mærker og fraser, der er skabt eller fastsat af virkelige mennesker, ofte med subjektive domme om enkeltdata i ikke-ideelle omstændigheder.

Uundgåeligt kan systemer, der søger at observere og reproducere mønstre i annotatoradfærd (og dermed erstatte menneskelige annotatorer og facilitere præcis mærkning i stor skala) ikke håbe at fungere godt på data ikke indeholdt i eksemplerne fra menneskelige observatører. Intet ‘lignende’ er helt det samme, og cross-domæneækvivalens forbliver et problematiske forfølgelse i computer vision.

RAG-handlen

Indtil for nylig blev fejlene, der opstod fra under-kuraterede datasætannoteringer, måske set som acceptabelt bifald i sammenhængen med de ufuldkomne, men stadig markedsførte resultater, der blev opnået fra generative AI-systemer.

Det er faktisk kun i år, at en studie fra Singapore konkluderede, at hallucinationer – dvs. tilfældene, hvor AI-systemer opfinder ting, der undergraver vores intentioner – er uundgåelige og forbundet med den konceptuelle arkitektur af sådanne systemer.

For at modvirke dette er RAG-baserede agenter – som kan ‘verificere’ fakta gennem internetsøgninger – blevet populære i forskning og anvendt kommercielle løsninger. Men de tilføjer til ressourceomkostningerne og til latent i forespørgsler; desuden kan nyt information, der anvendes på en trænet model, ikke konkurrere med de mere intrikate og dybt forbundne forbindelser, der kendetegner de native lag i en trænet model.

RePOPE

En ny artikel fra Tyskland fremhæver de problemer, der opstår fra at afhænge af ældre, bredt anvendte datasæt, med fokus på nøjagtigheden og pålideligheden af deres billedtekster. Forskerne mener, at fejl i mærker i benchmarks kan skjule eller misrepræsentere hallucination i vision-sprogmodeller.

Forestil dig, at en model vises et billede af en gade og bedes om at sige, om der er en cykel i det. Modellen svarer ja. Hvis benchmark-datasættet siger, at der ikke er en cykel, bliver modellen markeret som forkert. Men hvis en cykel klart er synlig på billedet og blot blev overset under annotering, så var modellens svar korrekt, og benchmarket har fejlet. Fejl som disse kan akkumuleres over et datasæt og give en forvrængt billed af, hvilke modeller der er nøjagtige og hvilke der er tilbøjelige til hallucination.

Metode og tests

Forskerne genmærkede alle annoteringerne i det originale MSCOCO-datasæt, med to menneskelige mærkere tildelt til hver dataforekomst. Hvor der opstod tvivl om kvaliteten af de originale mærker (som i eksemplerne nedenfor), blev disse resultater sat til side fra testrunden.

Forskerne evaluerede en række åbne-vægtmodeller på POPE og på RePOPE, på tværs af diverse arkitekturer og modellstørrelser. Modellerne omfattede nogle af de førende arkitekturer på OpenVLM-listen: InternVL2.5 (8B/26B/38B/78B og 8B-MPO/26B-MPO); LLaVA-NeXT; Vicuna; Mistral 7b; Llama; LLaVA-OneVision; Ovis2 (1B/2B/4B/8B); PaliGemma-3B; og PaliGemma2 (3B/10B).

Konklusion

Dette eksperiment var muligt, fordi datasættet var meget lille. At bevise den samme hypotese på hyperskale datasæt ville kræve at arbejde på meget begrænsede fragmenter af data; i højst varierede store datasæt kunne det være næsten umuligt at isolere statistisk repræsentative og semantisk kohærente grupper – potentielt forvanskende resultaterne.

Endda hvis det var muligt, hvilken løsning ville der så være under den nuværende stand af kunst? Argumentet bevæger sig tilbage uundgåeligt mod behovet for bedre og mere omfattende menneskelig annotering.

I denne henseende eksisterer ‘bedre’ og ‘mere omfattende’ som separate problemer i deres egen ret, da man kan opnå en større mængde annoteringer gennem race-til-bunden-økonomier som Amazon Mechanical Turk (AMT). Det er åbenlyst, at denne potentielt udnyttende subøkonomi ofte fører til ringe resultater.

Alternativt kunne man uddelegere annoteringstasks til økonomiske regioner, hvor den samme udgift ville give en større mængde annoteringer. Men jo længere væk annotatoren er fra det ønskede brug af modellen, som deres mærker vil forme, desto mindre sandsynligt er det, at den resulterende model vil være i overensstemmelse med behovene eller forventningerne i måldomænet. Dette forbliver en af de mest vedvarende og uløste udfordringer i økonomien af maskinlæringsudvikling.

Offentliggjort første gang onsdag, 23. april 2025