AI-visjonssystemer ser ofte ikke virkelig etter alt

AI-visjonssystemer kan forklare bilder med stereotyper i stedet for hva de faktisk ser. Fjern merket, og deres påståtte visuelle forklaringer kollapser.

Siden frontier AI-plattformer konstant tapte penger i håp om en AI-hendelsehorisont, lille økonomi i deres forsyning og tjenester liker enorme besparelser: for eksempel, hver gang en LLM kan gi et svar fra sin egen trent matrise i stedet for å gjøre en RAG-basert reise til nettet for å få aktuell informasjon som vil trenge destillering og raffinering, svarer den raskere og sparer leverandøren penger.

Selvfølgelig er det mer sannsynlig å hallusinere, uten å bruke ekstra token og energi på kontekstualisering og sjekking av sine antakelser.

Likewise, selv når en LLM faktisk når ut til nettet, vil den veldig ofte sitere vag, upassende eller til og med meningsløse og ikke-relaterte URL-er, fordi den sparte energi ved bare å evaluere metadata for disse sidene, i stedet for å faktisk lese dem.

Tilsvarende, hvis du laster opp en PDF til en LLM og ønsker å diskutere den, kan LLM-eventuelt slette PDF-innholdet fra sin minne og bruke bare sparse metadata om det til å svare dine spørsmål, uten å angi at du bør laste det opp igjen – noe som fører til feil, feilantagelser og enda flere hallusinasjoner.

Industrielle prøver

Disse er pragmatiske, om ikke helt ærlige økonomier pålagt brukeren av operasjonelle motiver. I den oppstrømmende verden av datainnsamling og modelltrening, der millioner – ja, selv hundre millioner – av bilder må prosesseres en masse, og ikke kan annoteres manuelt av mennesker, er presset for å minimere energi- og tidsutgifter like intens.

En slik ‘kortvei’ er å bruke en mellomliggende Vision Language Model som Contrastive Language Image Pretraining (CLIP), som kartlegger både bilder og tekst inn i et felles semantisk rom, så at visuelle konsepter kan sammenlignes ved hjelp av språk, i stedet for eksplisitte merker.

Hva betyr det? Vel, tenk deg et barn som lærer fra millioner av bildetekster til den utvikler en grov forståelse av hvilke bilder og ord som naturlig hører sammen.

Problemet er at bildetekstene ofte ble skrevet av nettstedseiere og andre selvinteresserte enheter som var mer interessert i god SEO enn god merking, noe som fører til en stor del ‘støy’ eller nøyaktig merking.

Likevel betyr skalaen på hvilken konsept og et relatert ord gjentas i enorme datasett at de grunnleggende ordene vanligvis vil bli assosiert med det riktige bildet, siden den mindre mengden ‘vanskelige’ merker vanligvis vil bli tvunget inn i en outlier-getto, og ikke vanligvis vil bli assosiert med bildet. Så det fungerer omtrent, mesteparten av tiden.

Data-merking gjøres på denne måten fordi det er billig og minimalt funksjonelt, ikke fordi det er bra.

Utenfor merke

Inn i denne problematiske scenariot kommer en ny artikkel fra Carnegie Mellon, som illustrerer sterkt at mange bildetekster – for eksempel ved CLIP – bare er stereotyper basert på henvisning til bildets (tekstbaserte) merke, i stedet for å aktivt se på bildet selv.

I et slående eksempel fra artikkelen er CLIP parret med beskrivelser generert fra ImageNet-klassenavnet jordbær, deretter testet på ImageNet-Sketch, hvor hvert jordbær er en sort-hvit tegning – likevel insisterer beskrivelsene på at frukten er ‘rød’ og ‘moden’:

Klassenavnbeskrivelser feiler på ImageNet-Sketch: språklig prioritet sier ‘rød’ og ‘moden’, mens bildetbaserte attributter matcher den sort-hvite tegningen. Kilde

Her er CLIP parret med beskrivelser generert bare fra klassenavnet jordbær, via GPT-3 eller ekstern kunnskap. Disse ser aldri bildet, så de defaulter til kanoniske trekk som rød og bladete. Når de brukes på de monokrome linjeteckningene i ImageNet-Sketch, feiler prosessen.

I motsetning til dette velger attributter som er avledet fra bildene selv trekk som forblir sanne under skiftet, som prikket eller hjerteformet.

Således kan vi se at objektet som er identifisert, blir annonsert ikke for hva det er, men, som det var, ‘etter rykte’; adjektivene ‘rød’ og ‘bladete’ er nøyaktige for underdomenet jordbær, men overstiger grensene for bildet (instansen) i spørsmål.

Forfatterne av den nye artikkelen – med tittelen Attributter bør komme fra bilder, ikke klassenavn: Distribusjonsbetinget attributtvalg for visjon-språkmodeller – argumenterer for at dette er et varig og utbredt problem, og foreslår å velge attributter direkte fra bildene selv, så de reflekterer hva som faktisk er synlig under distribusjonsskift, i stedet for å stole på klassenavn priors.

Forfatterne sier:

‘En populær rute til tolkbar nullskuddsklassifisering ber en stor språkmodell (LLM) om å beskrive hver klassenavn og prompter CLIP med de resulterende beskrivelsene. Vi viser at disse beskrivelsene bærer lite visuell bevis for seg selv: fjerningen av klassenavnet fra prompten kollapser ImageNet-nøyaktigheten fra 59,5% til 15,5%.

‘Diagnosen er at beskrivelsene er betinget av merket i stedet for bildene, så de beskriver konseptet generelt og misleder nettopp når dataene skifter; en LLM insisterer på at jordbær er røde, men hvert jordbær i ImageNet-Sketch er en fargeløs linjeteckning.

‘Vi velger derfor attributter fra målbildesamlingen i stedet: vi scorer en stor attributtpool mot bildene i CLIPs felles innkapslingsrom og beholder bare de øverste attributtene per klasse.’

Deres foreslåtte kur er at modellen forblir den samme, men i stedet for å stole på klassenavnbeskrivelser, sjekker den en pool av kandidatattributter mot bildene, og beholder bare de som faktisk passer hva som er synlig.

Kosten for dette er antageligvis akseptabel, siden det ikke foreslår å gjøre om den sparede energien fra de ‘juksende’ metodene som ledet til problemet i første omgang. I stedet legger det til en scoringspass over kandidatattributter per klasse, så latency øker litt – men langt mindre enn om-trening eller fullstendig RAG-stil pipelines. I teorien ville energikosten være akseptabel, veid mot forbedringen i justering.

Metode

Siden metodologien til forfatternes tester er spesielt arkane, og siden minimalt ekstra nyttig innsikt ville bli gjort ved å undersøke dem i dybden, vil vi, uvanlig, bare vurdere en forkortet oversikt over deres tilnærming.

Arbeidet karakteriserer det grunnleggende problemet som Klassenavnforvirring: en situasjon der ytelse synes å komme fra meningsfulle beskrivelser, men i virkeligheten avhenger av klassenavnet selv, med beskrivelsene som legger til lite – og feiler så snart støtten fjernes

Artikkelen argumenterer deretter for at denne feilen er uunngåelig, fordi beskrivelser generert fra et klassenavn bare kan beskrive hva en ting vanligvis ser ut, i stedet for hva som faktisk er til stede i et bestemt bilde. Så snart dataene avviker fra disse forventningene, blir beskrivelsene ikke bare unyttige, men også aktivt misledende, effektivt stemmer mot det riktige svaret.

Forskerne vurderte også om CLIP bare kunne være dårlig til å detektere attributter uten støtte fra klasselabel, eller om GPT-genererte beskrivelser var for generiske til å være nyttige. Imidlertid ville deres påfølgende eksperimenter motbevise begge forklaringer.

For å løse dette problemet, ble en frozen CLIP-modell brukt til å sammenligne bilder mot en stor pool av kandidatbeskrivelser trukket fra VAW, LSA og GPT-3-utdata, og bare beholdt de attributter som best matchet bildene, uten å kreve noen om-trening eller ekstra bilde-tekstovervåking:

En oversikt over det foreslåtte systemet: en frozen CLIP-modell koder både bilder og en stor pool av kandidatattributttekster, ved hjelp av cosinus-ligning til å måle hvor sterkt hver beskrivelse matcher det visuelle innholdet. De øverste beskrivelsene beholdes på en per-klasse-basis, og produserer en tolkbar sett av promter mens både bilde- og tekstkodere forblir faste gjennom hele prosessen.

Data og tester

Forfatternes eksperimenter brukte CLIP med en ResNet-50-rygg og evaluerte ytelse på ImageNet sammen med fire distribusjonsskiftede varianter: ImageNetV2; ImageNet-Sketch; ImageNet-A; og ImageNet-R.

Attributter ble valgt ved hjelp av bare de originale ImageNet-treningbildene – og lot de skiftede datasettene tjene som en utenfor-distribusjon-test for å se om bilde-avledede attributter forble nyttige når visuelle fremtreden endret seg:

Top-1 klassifiseringsnøyaktighet over ImageNet og fire distribusjonsskiftede benchmark. Resultatene viser at ytelse forblir omtrent lik når klassenavn er inkludert i promter, men kollapser når beskrivelsene tvinges til å stå på egen hånd, noe som antyder at mye av deres åpenbare effektivitet kommer fra klasselabel selv. I motsetning til dette forblir attributter valgt direkte fra bilder vesentlig mer informativ over alle datasett testet.

Om-valg av attributter fra samme GPT-genererte pool, men betinget av ImageNet-bilder, økte klassenavn-fri nøyaktighet fra 15,5% til 19,4%. Fordi modellen, attributtpoolen og evalueringprotokollen forble uendret, kunne gevinsten tilskrives helt til bilde-betinget valg.

Resultatet indikerte også at CLIP kan identifisere attributter uten klasselabel, og at GPT-genererte poolen allerede inneholdt nyttige beskrivelser. Hovedfeilen synes å ligge i label-betinget generering, som ofte feiler i å avsløre de attributter som er mest relevante for bildene selv.

Til tross for at forfatterne fortsetter på en runde av omfattende ekstra eksperimenter, må vi henvisende leseren til kilde-materialet for ytterligere detaljer om disse, siden de ikke utvider omfanget av resultater, men bare bekrefter de sentrale hypoteser som er fremmet hittil – at avhengighet av merker potensielt kan undergrave potensialet for ekte bilde-data i moderne datavisjonsapplikasjoner, med billig avhengighet av ‘reputasjons’-sannsynlighet som en fare for nøyaktighet i resultater.

Konklusjon

Det er interessant å vurdere den gjeld moderne generativ AI skylder til de millioner av håndbeskrevne bilder som ble inntatt i enorme datasett som Common Crawl, tilbake ved starten av hyperskala-æraen.

Hver gang et bilde-gjenkjennelsessystem eller auto-merkingssystem prøver å klassifisere eller re-merke et gammelt eller nytt bilde, stammer provenansen av denne kunnskapen tilbake til noen leverandør som skrev ‘Hot 1970s magasin!’ i alt-merket på noen eBay-listing i 2004, eller lignende hendelse.

Selv om mange tror at den gyldne alderen for nøkkelords-stuffing ble svept bort av Googles mer sofistikerte PageRank-algoritme nesten tre tiår siden, er ‘vegg av tekst, la oss håpe noe stikker’ -tilnærmingen fremdeles meget levende: bare i går, ledet HTML-koden for utgivelsessiden for Qwen-Image-3.0-modellen en atavistisk blast (det kan fortsatt være der!) av nøkkelords-stuffing-galskap:

HTML-koden for utgivelsen av Qwen Image 3 er en ikke-heel-SFW-vegg av nøkkelords-tekst, minst, på tidspunktet for skriving. Kilde

Uansett om, som det er sannsynlig, denne lavinen av ofte ikke-SFW-nøkkelord i Qwen Image 3-siden er trukket systematisk fra mållister, eller skrevet for hånd av SEO-eksperter, er dette et primært eksempel på de rå opprinnelsene til det moderne generative AI-systemet, med mening som ofte bærer en enorm last av selvinteresse som senere må fjernes eller i det minste regnes med på noen måte, når slike termer forstyrer eller hindrer rasjonelle systemer og applikasjoner.

Først publisert onsdag, 22. juli 2026