AI-visiesystemen kijken vaak niet echt

AI-visiesystemen kunnen beelden verklaren met stereotypes in plaats van wat ze daadwerkelijk zien. Verwijder het label, en hun vermeende visuele verklaringen implodeert.

Sinds frontier AI-platforms constant geld verliezen in de hoop op een AI-evenementhorizon, zijn kleine besparingen in hun provisioning en diensten gelijk aan grote besparingen: bijvoorbeeld, elke keer dat een LLM een antwoord kan geven uit zijn eigen getrainde matrix in plaats van een RAG-gebaseerde reis naar het web om huidige informatie te verkrijgen die moet worden gedistilleerd en verfijnd, antwoordt het sneller en bespaart de provider geld.

Het is natuurlijk waarschijnlijker dat het hallucineert, zonder extra tokens en energie te besteden aan contextualisering en het controleren van zijn veronderstellingen.

Evenzo, zelfs als een LLM naar het web reikt, zal het heel vaak vage, ongepaste of zelfs betekenisloze en ongerelateerde URLs citeren, omdat het energie bespaart door alleen de metadata van die pagina’s te evalueren, in plaats van ze daadwerkelijk te lezen.

Evenzo, als je een PDF naar een LLM uploadt en erover wilt praten, kan de LLM uiteindelijk de PDF-inhoud uit zijn geheugen wissen en alleen sparse metadata gebruiken om je vragen te beantwoorden, zonder zelfs maar te zeggen dat je het opnieuw moet uploaden – wat leidt tot fouten, verkeerde veronderstellingen en nog meer hallucinaties.

Industriële proeven

Dit zijn pragmatische, als niet geheel eerlijke besparingen die aan de gebruiker worden opgelegd om operationele redenen. In de upstreamwereld van dataverzameling en modeltraining, waar miljoenen – zelfs honderden miljoenen – beelden moeten worden verwerkt en masse, en niet handmatig kunnen worden geannoteerd door mensen, is de druk om energieverbruik en tijdsbesteding te minimaliseren eveneens intens.

Een van deze ‘snelwegen’ is het gebruik van een tussenliggend Visueel Taalmodel zoals Contrastive Language Image Pretraining (CLIP), dat zowel beelden als tekst in een gedeelde semantische ruimte kaart, zodat visuele concepten kunnen worden vergeleken met behulp van taal, in plaats van expliciete labels.

Wat betekent dat? Nou, stel je voor dat een kind leert van miljoenen onderschriften tot het een ruwe notie ontwikkelt van welke beelden en woorden van nature bij elkaar horen.

Probleem is, heel vaak waren de onderschriften geschreven door website-eigenaren en andere zelfbedienende entiteiten die meer geïnteresseerd waren in goede SEO dan in goede labeling, wat leidde tot een grote hoeveelheid ‘ruis’ of onnauwkeurige labeling.

Toch betekent de schaal waarop een concept en een gerelateerd woord in enorme datasets terugkeren, dat de core-woorden meestal geassocieerd zullen worden met het juiste beeld, aangezien de kleinere hoeveelheid ‘onzin’-labels normaal gesproken in een outlier-getto zullen worden gedwongen en geen associatie zullen krijgen met het beeld. Dus het werkt meer of minder, meestal.

Data-annotatie wordt op deze manier gedaan omdat het goedkoop en minimaal functioneel is, niet omdat het goed is.

Off-label

In deze problematische situatie komt een nieuw artikel van Carnegie Mellon, dat sterk illustreert dat veel onderschriften die aan beelden zijn toegewezen – bijvoorbeeld door CLIP – eenvoudigweg stereotypes zijn op basis van verwijzing naar de tekstuele label van het beeld, in plaats van door daadwerkelijk naar het beeld zelf te kijken.

In een opvallend voorbeeld uit het artikel wordt CLIP gekoppeld aan descriptors gegenereerd uit de ImageNet-klasse aardbei, en getest op ImageNet-Sketch, waar elke aardbei een zwart-wit tekening is – maar de descriptors blijven er nog steeds van overtuigd dat het fruit ‘rood’ en ‘rijp’ is:

Class-name descriptors falen op ImageNet-Sketch: taalpriors zeggen ‘rood’ en ‘rijp’, terwijl beeldgebaseerde attributen overeenkomen met de zwart-wit tekening. Bron

Hier is CLIP gekoppeld aan descriptors gegenereerd uit de klasse aardbei, via GPT-3 of externe kennis. Deze zien het beeld nooit, dus ze vallen terug op canonieke kenmerken zoals rood en bladerig. Wanneer ze worden toegepast op de monochrome lijntekeningen in ImageNet-Sketch, faalt het proces.

Daarentegen selecteren attributen die zijn afgeleid van de beelden zelf, kenmerken die waar blijven onder de verschuiving, zoals gestippeld of hartvormig.

Zo kunnen we zien dat het geïdentificeerde object niet wordt geadverteerd voor wat het is, maar, zogezegd, ‘uit reputatie’; de bijvoeglijke naamwoorden ‘rood’ en ‘bladerig’ zijn nauwkeurig voor de subdomein aardbei, maar gaan de grenzen van het beeld (instantie) in kwestie te boven.

De auteurs van de nieuwe studie – getiteld Attributen moeten uit beelden komen, niet uit klasse-namen: distributie-geconditioneerde attribuutselectie voor visueel-talige modellen – betogen dat dit een hardnekkig en wijdverspreid probleem is, en suggereren dat attributen rechtstreeks uit de beelden zelf moeten worden geselecteerd, zodat ze weerspiegelen wat daadwerkelijk zichtbaar is onder distributieverschuiving, in plaats van te vertrouwen op klasse-naam priors.

De auteurs verklaren:

‘Een populaire route naar interpreteerbare zero-shot classificatie vraagt een groot taalmodel (LLM) om elke klasse-naam te beschrijven en CLIP te prompten met de resulterende descriptors. We laten zien dat deze descriptors weinig visueel bewijs van hun eigen hebben: verwijdering van de klasse-naam uit de prompt laat de ImageNet-nauwkeurigheid van 59,5% tot 15,5% imploderen.

‘De diagnose is dat de descriptors zijn geconditioneerd op het label en niet op de beelden, dus ze beschrijven het concept in het algemeen en misleiden precies wanneer de data verschuift; een LLM houdt vol dat aardbeien rood zijn, maar elke aardbei in ImageNet-Sketch is een kleurloze lijntekening.

‘We selecteren daarom attributen uit de doelbeeldcollectie in plaats daarvan: we scoren een grote attributenpool tegen de beelden in CLIP’s gezamenlijke insluitingsruimte en behouden alleen de top-scoring attributen per klasse.’

Hun voorgestelde remedie is dat het model hetzelfde blijft, maar in plaats van te vertrouwen op klasse-naam beschrijvingen, controleert het een pool van kandidaat-attributen tegen de beelden, en behoudt alleen die welke daadwerkelijk passen bij wat zichtbaar is.

De kosten hiervan zijn naar alle waarschijnlijkheid acceptabel, aangezien het niet suggereert dat de bespaarde energie van de ‘vals spelende’ methoden die tot het probleem leidden, opnieuw wordt aangeroepen. In plaats daarvan voegt het een scoring-pass toe over kandidaat-attributen per klasse, zodat de latentie iets toeneemt – maar veel minder dan opnieuw trainen of volledige RAG-achtige pijpleidingen. In theorie zou de energiekosten acceptabel zijn, afgewogen tegen de verbetering in uitlijning.

Methode

Aangezien de methodologie van de auteurs’ tests bijzonder esoterisch zijn, en aangezien minimale extra bruikbare inzichten zouden worden verkregen door ze in detail te onderzoeken, zullen we, ongebruikelijk, alleen een verkorte overzicht van hun aanpak overwegen.

Het werk karakteriseert het centrale probleem als Klasse-Naam-Verwarring: een situatie waarin prestaties lijken te komen van betekenisvolle descriptors, maar in werkelijkheid afhankelijk zijn van de klasse-naam zelf, met de descriptors die weinig toevoegen – en falen zodra die ondersteuning wordt verwijderd

Het artikel betoogt vervolgens dat deze mislukking onvermijdelijk is, omdat descriptors gegenereerd uit een klasse-naam alleen kunnen beschrijven wat een ding meestal lijkt, in plaats van wat daadwerkelijk aanwezig is in een bepaald beeld. Zodra de data afwijkt van die verwachtingen, worden de descriptors niet alleen onnut, maar actief misleidend, effectief stemmen tegen het juiste antwoord.

De onderzoekers hebben ook onderzocht of CLIP mogelijk slecht is in het detecteren van attributen zonder de hulp van klasse-labels, of of GPT-gegenereerde descriptors te algemeen waren om nuttig te zijn. Hun latere experimenten zouden beide verklaringen echter weerleggen.

Om dit probleem aan te pakken, werd een bevroren CLIP-model gebruikt om beelden te vergelijken met een grote pool van kandidaat-descriptors gegenereerd uit VAW, LSA en GPT-3-uitvoer, waarbij alleen die attributen werden behouden die het beste overeenkwamen met de beelden, zonder enige hertraining of extra beeld-teksttoezicht:

Overzicht van het voorgestelde systeem: een bevroren CLIP-model codeert zowel beelden als een grote pool van kandidaat-attribuutteksten, met behulp van cosinusgelijkenis om te meten hoe sterk elke descriptor overeenkomt met de visuele inhoud. De hoogst scorende attributen worden vervolgens behouden op basis van elke klasse, waardoor een interpreteerbare set van prompts wordt gegenereerd, terwijl zowel de beeld- als de tekst-encoder vast blijven gedurende het hele proces.

Gegevens en tests

De auteurs’ experimenten gebruikten CLIP met een ResNet-50-backbone en evalueerden de prestaties op ImageNet samen met vier distributieverschoven varianten: ImageNetV2; ImageNet-Sketch; ImageNet-A; en ImageNet-R.

Attributen werden geselecteerd met behulp van alleen de oorspronkelijke ImageNet-trainingsbeelden – waardoor de verschoven datasets konden dienen als een buiten-de-distributie-test of of beeld-afgeleide attributen nog steeds nuttig waren wanneer de visuele verschijning veranderde:

Top-1 classificatie-accuratesse over ImageNet en vier distributieverschoven benchmarks. De resultaten laten zien dat de prestaties over het algemeen hetzelfde blijven wanneer klasse-namen in prompts worden opgenomen, maar instorten wanneer descriptors worden gedwongen om op eigen benen te staan, wat suggereert dat een groot deel van hun schijnbare effectiviteit afkomstig is van het klasse-label zelf. In tegenstelling tot attributen die rechtstreeks uit beelden worden geselecteerd, blijven deze aanzienlijk meer informatief over alle geteste datasets.

Opnieuw selecteren van attributen uit dezelfde GPT-gegenereerde pool, maar deze voorwaardelijk maken op ImageNet-beelden, verhoogde de klasse-naam-vrije nauwkeurigheid van 15,5% tot 19,4%. Omdat het model, de attributenpool en de evaluatieprotocol ongewijzigd bleven, kon de winst geheel worden toegeschreven aan beeld-geconditioneerde selectie.

Het resultaat gaf ook aan dat CLIP attributen kan identificeren zonder klasse-labels, en dat de GPT-gegenereerde pool al bruikbare descriptors bevatte. De belangrijkste mislukking leek in plaats daarvan te liggen in label-geconditioneerde generatie, die vaak faalde om de attributen te onthullen die het meest relevant waren voor de beelden zelf.

Hoewel de auteurs doorgaan met een reeks uitgebreide aanvullende experimenten, moeten we de lezer verwijzen naar het bronmateriaal voor verdere details van deze, aangezien ze, in plaats van de reikwijdte van de resultaten uit te breiden, alleen de centrale hypothesen die tot nu toe zijn uiteengezet bevestigen – dat het vertrouwen op labels potentieel de potentie van echte beeldgegevens in moderne computer-visie-toepassingen kan ondermijnen, met goedkope afhankelijkheid van ‘reputatie’-waarschijnlijkheid als een gevaar voor de nauwkeurigheid van de resultaten.

Conclusie

Het is interessant om te overwegen welke schuld de moderne generatieve AI heeft aan de miljoenen handbeschreven beelden die zijn opgenomen in enorme getrokken datasets zoals Common Crawl, aan het begin van de hyperschaal-era.

Elke keer dat een beeldherkenningssysteem of een auto-labeling-systeem probeert om een oud of nieuw beeld te classificeren of opnieuw te labelen, wijst de herkomst van die kennis terug naar een leverancier die ‘Hot 1970s magazine!’ schreef in de alt -label van een eBay-lijst in 2004, of een soortgelijke gebeurtenis.

Hoewel veel mensen denken dat de gouden eeuw van trefwoord-stuffing werd weggevaagd door Google’s meer geavanceerde PageRank-algoritme bijna drie decennia geleden, blijft de ‘muur van tekst, laten we hopen dat iets werkt’-aanpak nog steeds zeer actueel: gisteren stond bovenaan de HTML van de release-pagina voor het Qwen-Image-3.0-model een atavistische blast (het kan nog steeds daar zijn!) van trefwoord-stuffing-waanzin:

De HTML-code voor de release van Qwen Image 3 is een niet-geheel-SFW-muur van trefwoord-tekst, tenminste op het moment van schrijven. Bron

Of dit nu systematisch wordt gegenereerd uit doellijsten, of handmatig wordt geschreven door SEO-specialisten, dit is een voorbeeld van de rauwe oorsprong van het moderne generatieve AI-systeem, met betekenis die vaak een enorme lading van zelfbelang met zich meebrengt die later moet worden verwijderd of op zijn minst op de een of andere manier moet worden geaccounteerd, wanneer dergelijke termen interfereren met of hinderen rationele systemen en toepassingen.

Eerst gepubliceerd op woensdag 22 juli 2026