AI-visionssystemer ser ofte ikke rigtigt efter alt

AI-visionssystemer kan være ved at forklare billeder med stereotyper i stedet for det, de faktisk ser. Fjern mærkat, og deres påståede visuelle forklaringer bryder sammen.

Siden frontier AI-platforme konstant taber penge i håb om en AI-eventhorisont, små økonomier i deres udbytte og tjenester svarende til enorme besparelser: for eksempel hver gang en LLM kan give et svar fra sin egen trænet matrix i stedet for at foretage en RAG-baseret rejse til webben for at få aktuel information, der skal destilleres og raffineres, svarer den hurtigere og sparer udbyderen penge.

Det er naturligvis mere sandsynligt, at den hallucinerer, uden at bruge ekstra tokens og energi på at kontekstualisere og kontrollere sine antagelser.

Ligeledes, selv når en LLM når ud til webben, vil den meget ofte citerer vage, upassende eller endda meningsløse og ikke-relaterede URLs, fordi den sparede energi ved kun at evaluere metadata for disse sider, i stedet for faktisk at læse dem.

Tilsvarende, hvis du uploader en PDF til en LLM og ønsker at diskutere den, kan LLM’en til sidst slette PDF-indholdet fra sin hukommelse og kun bruge sparse metadata om det til at besvare dine spørgsmål, uden selv at nævne, at du skal uploade det igen – hvilket fører til fejl, forkerte antagelser og endnu flere hallucinationer.

Industrielle forsøg

Disse er pragmatiske, om end ikke helt ærlige økonomier, der pålægges brugeren af operationelle årsager. I den opstrømmende verden af dataindsamling og modeltræning, hvor millioner – selv hundredvis af millioner – af billeder skal behandles en masse, og ikke kan annoteres manuelt af mennesker, er presset for at minimere energi- og tidsforbrug lige så intens.

En sådan “genvej” er at bruge en mellemmands Vision Language Model som Contrastive Language Image Pretraining (CLIP), som mapper både billeder og tekst ind i et fælles semantisk rum, så visuelle begreber kan sammenlignes ved hjælp af sprog i stedet for eksplisitte mærkater.

Hvad betyder det? Nu, forestil dig et barn, der lærer af millioner af billedtekster, indtil det udvikler en grov fornemmelse af, hvilke billeder og ord naturligt hører sammen.

Problemet er, at billedteksterne ofte er skrevet af webstedsejere og andre selvoptagne enheder, der var mere interesseret i god SEO end god mærkning, hvilket fører til en stor mængde “støj” eller urigtig mærkning.

Ikke desto mindre betyder, at et begreb og et relateret ord gentager sig i enorme datasæt, at de centrale ord vil blive associeret med det korrekte billede, da det mindre antal “nonsens”-mærkater normalt vil blive tvunget ind i en outlier-getto, og ikke vil opnå association med billedet. Så det fungerer mere eller mindre, det meste af tiden.

Dataannotation bliver gjort på denne måde, fordi det er billigt og minimalt fungerende, ikke fordi det er godt.

Off-Label

Ind i denne problematiske situation kommer en ny artikel fra Carnegie Mellon, der illustrerer skarpt, at mange billedtekster – for eksempel ved CLIP – blot er stereotyper baseret på henvisning til billedets (tekstbaserede) mærke, i stedet for aktivt at se på billedet selv.

I et slående eksempel fra artiklen er CLIP parret med beskrivelser genereret fra ImageNet-klassens navn jordbær, derefter testet på ImageNet-Sketch, hvor hvert jordbær er en sort-hvid tegning – dog insisterer beskrivelserne stadig på, at frugten er ‘rød’ og ‘moden’:

Klassens navn beskrivelser fejler på ImageNet-Sketch: sprog-priorer siger ‘rød’ og ‘moden’, mens billedbaserede attributter matcher den sort-hvide tegning. Kilde

Her er CLIP parret med beskrivelser genereret kun fra klassens navn jordbær, via GPT-3 eller ekstern viden. Disse ser aldrig billedet, så de falder tilbage til kanoniske træk som ‘rød’ og ‘bladfuld’. Når de anvendes på de monokrome linjebaserede illustrationer i ImageNet-Sketch, fejler processen.

Derimod vælger attributter, der er afledt af billederne selv, træk, der forbliver sande under skiftet, såsom ‘prikket’ eller ‘hjerteformet’.

Således kan vi se, at det genkendte objekt bliver annonceret ikke for, hvad det er, men, som det var, ‘rygte’; tilføjelserne ‘rød’ og ‘bladfuld’ er nøjagtige for underdomænet jordbær, men overstiger grænserne for billedet (instancen) i spørgsmålet.

Artikelens forfattere – med titlen Attributter skal komme fra billeder, ikke fra klassens navn: Distribution-betinget attributvalg til vision-sprog-modeller – argumenterer for, at dette er et vedvarende og udbredt problem, og foreslår at vælge attributter direkte fra billederne selv, så de reflekterer, hvad der faktisk er synligt under distributionsskift, i stedet for at stole på klassens navn priorer.

Forfatterne skriver:

‘En populær vej til fortolkbar nul-skud-klassificering beder en stor sprogmodel (LLM) om at beskrive hver klassens navn og prompter CLIP med de resulterende beskrivelser. Vi viser, at disse beskrivelser bærer lidt visuelt bevis for deres egen: fjernelse af klassens navn fra prompten kollapser ImageNet-nøjagtighed fra 59,5% til 15,5%.

‘Diagnosen er, at beskrivelserne er betinget af mærket i stedet for af billederne, så de beskriver begrebet generelt og misleder netop, når data skifter; en LLM insisterer på, at jordbær er røde, men hvert jordbær i ImageNet-Sketch er en farveløs linjetegning.

‘Vi vælger derfor attributter fra det målrettede billedsamling i stedet: vi scorer en stor attributpool mod billederne i CLIP’s fælles indlejringsspace og beholder kun de top-scoring attributter per klasse.’

Deres foreslåede remedie er, at modellen forbliver den samme, men i stedet for at stole på klassens navnsbeskrivelser, kontrollerer den en pool af kandidatattributter mod billederne og beholder kun de, der faktisk passer med, hvad der er synligt.

Kosten for dette er sandsynligvis acceptabelt, da det ikke foreslår at genkalde den gemte energi fra de “snyd”-metoder, der førte til problemet i første omgang. I stedet tilføjer det en scoringspass over kandidatattributter per klasse, så ventetiden øges lidt – men langt mindre end omtræning eller fuld RAG-stil-pipelines. I teorien ville energiomkostningerne være acceptable, vejet mod forbedringen af nøjagtighed.

Metode

Da metodens test er særligt arkane, og da minimalt ekstra nyttigt indsigt ville blive opnået ved at undersøge dem i dybden, vil vi, usædvanligt, kun overveje en forkortet oversigt over deres tilgang.

Arbejdet karakteriserer det centrale problem som Klassens navn-forvirring: en situation, hvor præstationen synes at komme fra meningsfulde beskrivelser, men i virkeligheden afhænger af klassens navn selv, med beskrivelserne tilføjer lidt – og fejler, så snart denne støtte fjernes

Artiklen argumenterer derefter for, at denne fejl er uundgåelig, fordi beskrivelser genereret fra et klassens navn kun kan beskrive, hvordan noget normalt ser ud, i stedet for hvad der faktisk er til stede i et bestemt billede. Så snart dataene afviger fra disse forventninger, bliver beskrivelserne ikke kun unyttige, men aktivt misledende, effektivt stemmer imod det korrekte svar.

Forskere overvejede også, om CLIP blot var dårlig til at registrere attributter uden klassens navns hjælp, eller om GPT-genererede beskrivelser var for generiske til at være nyttige. Deres efterfølgende eksperimenter ville dog afvise begge forklaringer.

For at adresse dette problem blev en frosset CLIP-model brugt til at sammenligne billeder mod en stor pool af kandidatbeskrivelser trukket fra VAW, LSA og GPT-3-udgange, og kun beholdt de attributter, der bedst matchede billederne, uden at kræve omtræning eller yderligere billed-tekst-overvågning:

En oversigt over det foreslåede system: en frosset CLIP-model encoderer både billeder og en stor pool af kandidat-attribut-tekster, ved hjælp af cosinus-lighed til at måle, hvor stærkt hver beskrivelse matcher det visuelle indhold. De højest scorende attributter beholdes på en per-klasse-basis, og producerer en fortolkbar samling af prompts, mens både billed- og tekst-encoderne forbliver faste under hele processen.

Data og tests

Forfatternes eksperimenter brugte CLIP med en ResNet-50-ryg og evaluerede præstationen på ImageNet sammen med fire distributionsskiftede varianter: ImageNetV2; ImageNet-Sketch; ImageNet-A; og ImageNet-R.

Attributter blev valgt ved hjælp af kun de originale ImageNet-træningsbilleder – hvilket tillod de skiftede datasæt at fungere som en udenfor-distribution-test for, om billed-afledte attributter forblev nyttige, når visuelle fremtoninger ændrede sig:

Top-1 klassificeringsnøjagtighed på tværs af ImageNet og fire distributionsskiftede benchmarks. Resultaterne viser, at præstationen forbliver bredt lignende, når klassens navne er inkluderet i prompts, men kollapser, når beskrivelserne er tvunget til at stå på egne ben, hvilket antyder, at meget af deres tilsyneladende effektivitet stammer fra klassens navn selv. I modsætning hertil forbliver attributter, der er valgt direkte fra billeder, væsentligt mere informativ på tværs af alle testede datasæt.

Genvalg af attributter fra den samme GPT-genererede pool, men betinget af ImageNet-billeder, øgede klassens navn-fri nøjagtighed fra 15,5% til 19,4%. Da modellen, attributpoolen og evalueringprotokollen forblev uændret, kunne gevinsten tilskrives helt til billed-betinget udvælgelse.

Resultatet antydede også, at CLIP kan identificere attributter uden klassens navne, og at den GPT-genererede pool allerede indeholdt nyttige beskrivelser. Den primære fejl lå i stedet i label-betinget generation, som ofte ikke afslørede de attributter, der var mest relevante for billederne selv.

Selv om forfatterne fortsætter med en række omfattende yderligere eksperimenter, må vi henviser læseren til kildematerialet for yderligere detaljer om disse, da de ikke udvider omfanget af resultaterne, men kun bekræfter de centrale hypoteser, der er nævnt hidtil – at afhængighed af mærker potentielt kan undergrave potentialet for rigtige billeddata i moderne computer-vision-applikationer, med billig afhængighed af “rygte”-sandsynlighed som en fare for nøjagtighed af resultater.

Konklusion

Det er interessant at overveje den gæld, som moderne generativ AI skylder til de millioner af håndbeskrevne billeder, der blev indtaget i enorme datasæt som Common Crawl, tilbage ved starten af hyperskala-æraen.

Hver gang et billedgenkendelses- eller automatisk mærkningsystem forsøger at klassificere eller om-mærke et gammelt eller nyt billede, henfører herkomsten af denne viden tilbage til en leverandør, der skrev ‘Hot 1970’er-magasin!’ i alt-mærkatet på en eBay-listing i 2004, eller en lignende begivenhed.

Skønt mange tror, at den gyldne æra for nøgleords-stuffing blev fejet væk af Googles mere sofistikerede PageRank-algoritme for næsten tre årtier siden, er den ‘mur af tekst, lad os håbe, at noget holder’-tilgang stadig meget levende: kun i går var der en release-side for Qwen-Image-3.0-modellen, der havde en atavistisk eksplosion af nøgleords-stuffing-galskab:

HTML-koden for Qwen Image 3 er en ikke-fuldstændig-SFW-mur af nøgleordstekst, i hvert fald på tidspunktet for skrivning. Kilde

Uanset om denne lavine af ofte ikke-SFW-nøgleord på Qwen Image 3-siden er systematisk trukket fra mål-lister eller skrevet af SEO-specialister, er dette et primært eksempel på de rå oprindelser af det moderne generative AI-system, med mening, der ofte bærer en enorm last af selvinteresse, der senere skal fjernes eller i hvert fald tages i betragtning, når sådanne termer forstyrrer eller hindrer rationelle systemer og applikationer.

Først udgivet onsdag, 22. juli 2026