Endring av skriftfarger kan kapre AI‑resonnering

En ny studie finner at vanlig formatering kan stille påvirke AI‑resonnering, slik at den overser ord, misforstår betydning og trekker andre konklusjoner – uten å endre selve teksten.

Menneskers kulturelle koding av farger kan variere verden over, men de vestlige forestillingene – dvs. rød for ‘fare’, grønn for ‘ok’ – har en tendens til å dominere selv i asiatiske Vision Language Models (VLMs), av ulike strategiske og/eller tilfeldige årsaker.

Vi er ikke annerledes; å farge ‘dårlige’ ting i positive farger, og ‘gode’ ting i negative farger, får mennesker til å reagere annerledes på dem. Det samme gjelder å endre lysstyrke og kontrast.

Et nytt forskningssamarbeid har undersøkt i hvilken grad dette også gjelder AI‑modeller, og avdekket foreløpige indikasjoner på at VLM-er kan påvirkes ved å manipulere tekstens farge, samt ved å endre relativ kontrast og lysstyrke.

‘Våre eksperimenter gir en systematisk analyse av hvordan lavnivå visuell stilering av tekst forvrenger de semantiske representasjonene i en VLMs visjonskoder. I tillegg undersøker vi hvordan disse latente romskiftene manifesterer seg som atferdsendringer i ende‑til‑ende VLM-er på både subjektive (sentimentanalyse) og objektive (spørsmål‑svar) oppgaver.

‘Disse resultatene viser at visuell stilering avdekker en kritisk, tidligere lite utforsket sårbarhet i VLM-er, og vi diskuterer implikasjonene for robusthet og sikkerhet i VLM‑pipelines.’

Fra det nye arbeidet sin prosjektside, en illustrasjon av hvordan tekstfarge alene kan endre en AI sin interne tolkning av et ord. Eksemplet viser ordet ‘bad’ gjengitt i forskjellige farger, hvor grønn forskyver den semantiske representasjonen mot en mer positiv tolkning, til tross for at teksten selv forblir uendret. Kilde

Farg meg overrasket

For øyeblikket, for milliarder av bedrifter og enkeltpersoner hvis viktige søketrafikk har blitt brutalt redusert av innføringen av AI‑sammendrag i søkeresultater, samt overgangen til LLM som søkeoracle, er angrepsflater av denne typen for tiden svært attraktive.

Fordi Reddit sin stadige summing av menneskelig diskusjon er avgjørende for å holde AI‑kunnskapen oppdatert, har den sosiale medieplattformen blitt et hovedmål for bedrifter og enkeltpersoner som ønsker å bli inkludert i LLM‑kunnskap; guider har allerede dukket opp om å ‘spille’ Reddit som en proxy‑metode for å påvirke LLM-er.

I en lignende ånd finnes den gamle triksingen med å inkludere tekst som kun maskiner ser, slik at du kan sende skjulte, selvbetjente instruksjoner til en LLM, for å vinne en akademisk turnering, eller påvirke eksamensresultater.

Nylig begynte Time‑magasinet å plassere annonser i en ‘hemmelig’ versjon av nettstedet sitt som kun er synlig for AI‑nettlesere som konstant skanner nettsteder for nye data, og dermed potensielt lar annonsører kjøpe seg til større fremtredelse (eller en mer positiv vinkling) i AI‑svar.

Derfor er enhver ny LLM/VLM‑svakhet, som fargekodede svar som kan ‘byttes’ for å manipulere resultater, et åpenbart mål for en verden som desperat prøver å gjenvinne kontrollen over medienarrativet fra grenseløs AI.

For eksempel kan et selskap som ønsker å bygge en forurensende fabrikk som sannsynligvis vil redusere kvaliteten på lokalt vann, legge til fargekoding i sitt språkbruk av spin, i markedsføringsmateriell eller pressemeldinger, som et ekstra avskjæringsmiddel for nyheter som de fleste ville anse som ‘negative’.

Strategisk bruk av CSS og/eller SEO‑teknikker kan til og med skjule fargemanipulasjonene for vanlige menneskelige lesere, ved å serve opp kun‑AI stilark som pålegger fargebetoning i tekst som er skjult for mennesker, som kun vil se svart tekst.

‘Disse sensitivitetene innebærer en pålitelighets‑ og sikkerhetsrisiko for VLM‑pipelines som inntar dokumenter eller UI‑skjermbilder: godartet eller ondsinnet stilering kan styre modellens beslutninger uten å endre den underliggende teksten.

‘Praktiske sikkerhetstiltak inkluderer normalisering av gjengitt tekst før inferens, kryssjekking av bildebaserte svar med OCR‑utvunnet tekst, og å legge til stil‑invarians‑kontroller i evalueringspakker.’

Det nye arbeidet har tittelen Se rødt, tenke dårlig: Fargebias i Vision Language Models, og kommer fra fem forskere fra Japans National Institute of Advanced Industrial Science and Technology (AIST), University of Tsukuba, University of Technology Nuremberg, og University of Oxford. Initiativet kommer med et GitHub‑depot og en prosjektside.

Metode

For å finne ut hvor mye visuell presentasjon alene kan påvirke modellene, utviklet forskerne ‘Stealth Visual Prompts’ – tilsynelatende vanlige endringer i tekstformatering, som ikke inneholder noen eksplisitt instruksjon til AI.

Dette kan være så enkelt som å endre fargen på positive eller negative ord, eller få et feil svar til å skille seg tydeligere ut enn det korrekte, mens selve ordlyden forblir urørt.

Ulike tekster ble generert for hver oppgave, med sentimenttestene som brukte nøytrale maler fylt med positive og negative ord, mens Visual Question Answering (VQA)-testene hentet spørsmål‑kontekst‑par fra SQuAD:

Eksempler på maskin‑rettede spørsmål fra SQuAD‑datasettet brukt i det nye arbeidet. Kilde

Den resulterende kuraterte samlingen ble kalt VQA Stealth Set.

Tekst ble gjengitt på et standardisert 800×600 px lerret, med et fast oppsett, slik at kun den målrettede visuelle stileringen ble endret. Farge og kontrast ble manipulert uavhengig, med fargetesting av lærte semantiske assosiasjoner, og kontrasttesting av visuell saliens.

Utvalgte ord ble farget på nytt, og hele avsnitt ble gjengitt med lavere kontrast; eller, i Saliency-konkurranse‑oppsettet, ble feil svar gjort visuelt mer fremtredende enn korrekte svar.

Enhver påfølgende endring i modellens svar kan derfor tilskrives utelukkende visuell stilering snarere enn endringer i den underliggende teksten.

Data og tester

Tre ulike testsett ble laget for å representere forskjellige måter VLM-er behandler tekst presentert som bilder på:

Illustrasjon av de tre visuelle testdesignene. Eksemplene viser stimuli brukt for å teste om visuell presentasjon alene kan påvirke modellens resonnering: (a) blandet sentiment‑tekst med utvalgte ord farget på nytt for å teste fargebias; (b) et lengre avsnitt som skiller positiv og negativ språkbruk for å vurdere om dokumentstruktur endrer effekten; og (c) et visuelt spørsmål‑svar‑eksempel hvor et feil, men semantisk likt avledningssvar (‘twenty miles’) gjøres mer visuelt fremtredende gjennom høyere kontrast.” Kilde

Short‑sentence Sentiment Set tester ord‑nivå fargebias ved å bruke 100 korte setninger generert fra nøytrale maler som inneholder positive eller negative ord. Hver setning ble gjengitt i 37 visuelle versjoner, bestående av en svart‑tekst basislinje pluss kombinasjoner av seks farger (rød, grønn, blå, gul, cyan og magenta), i tre intensitetsnivåer.

Long‑sentence Sentiment Set brukte lengre avsnitt, hvor positiv og negativ språkbruk ble separert i ulike deler av teksten. Dette var ment å fastslå om bredere dokumentstruktur og posisjonelle effekter, som primacy eller recency (posisjonsbaserte skjevheter, der informasjon som vises tidligere eller senere i et dokument kan få større vekt), ville oppveie eventuell fargeindusert bias. De samme 37 fargebetingelsene ble anvendt.

I VQA Stealth Set ble spørsmål og tilhørende kontekst gjengitt som bilder, hvoretter to kontrast‑baserte betingelser ble testet: i Global Contrast ble lesbarheten til hele dokumentet redusert ved å gjengi det med gradvis lavere kontrastnivåer; og i Saliency Competition ble enten det korrekte svaret, eller et semantisk likt avledningsord (valgt ved hjelp av CLIP-likhet) gjengitt i høy kontrast, mens resten av teksten ble bleket – slik at visuell betoning kunne konkurrere med bevisene i teksten.

Måleparametere

Hvert eksempel ble klassifisert som POSITIVE, NEUTRAL eller NEGATIVE. De resulterende klassifiseringene ble deretter sammenlignet med en helt svart basislinje (svart tekst på hvit bakgrunn) for å fastslå i hvilken grad farge alene forskjøvte prediksjonene mot mer positive eller mer negative resultater.

VQA‑eksperimentene ble evaluert via token‑nivå F1‑score, hvor predikerte svar ble sammenlignet med de aksepterte sannhetsverdiene.

Induced Error Rate (IER), en ny målemetode, ble introdusert spesielt for Saliency Competition‑testen, og var ment å måle hvor ofte et visuelt uthevet avledningssvar ble valgt (i stedet for det korrekte svaret), når tekstens synlighet var redusert.

I tillegg ble en CLIP‑representasjonsprobe brukt for å måle hvordan fargeendringer endret et ords semantiske representasjon innen CLIP‑embedings‑rommet.

Videre ble en VLM‑basert Optical Character Recognition (OCR)‑proxy brukt for å vurdere hvor pålitelig individuelle ord kunne leses ved gradvis lavere kontrastnivåer, slik at punktet hvor gjengitt tekst ble effektivt ulæselig kunne estimeres.

Evalueringen ble utført med fire åpen‑kilde VLM-er: LLaVA-v1.6-Mistral-7B; LLaVA-v1.6-Vicuna-7B; Qwen2-VL-7B-Instruct; og IDEFICS2-8B. Forfatterne understreker at åpne modeller ble valgt for å sikre at eksperimentene kunne reproduseres med faste prompts, gjengivelsesinnstillinger og deterministisk dekoding.

Resultater

Forfatterne evaluerte først fargepromptene på Short‑Sentence Sentiment Set, ved å utnytte ord‑nivå fargebias, hvor sentiment‑bærende ord var spredt:

Testresultater som viser de største sentimentforskyvningene forårsaket av fargeformatering på tvers av fire Vision Language Models. Verdiene er målt relativt til den helt svarte basislinjen, med positive og negative kolonner som viser den største bevegelsen i hver retning, mens området oppsummerer hver modells samlede mottakelighet for fargeindusert bias.

‘Qwen2-VL-7B viser sin største positive bias når positive ord er farget grønn/blå (opptil +0.42), og sin største negative bias når negative ord er farget rød (ned til -0.48).’

‘Den samlede mottakeligheten varierer betydelig mellom modeller: Qwen2-VL-7B viser den største totale rekkevidden (0.90), etterfulgt av IDEFICS2-8B (0.52), mens LLaVA‑variantene viser mye mindre rekkevidder (0.04–0.12), noe som indikerer relativt svakere følsomhet for ord‑nivå fargestilering i dette oppsettet.’

‘Vi observerer et tydelig spekter av mottakelighet: Qwen2-VL-7B viser de største fargeinduserte forskyvningene, mens LLaVA‑variantene er relativt robuste.’

Videre resultater nedenfor viser at fargeeffekten langt fra er uniform: Qwen2-VL-7B viste seg mest mottakelig, med grønn og blå tekst som konsekvent skjøv sentimentet mot mer positive vurderinger når positive ord ble fremhevet, mens rød tekst skjøv prediksjonene i en mer negativ retning når negative ord ble fremhevet:

Testresultater som sammenligner fargeinduserte sentimentforskyvninger på tvers av fire Vision Language Models. Grafene viser hvordan ulike tekstfarger endret sentimentprediksjoner relativt til en helt svart basislinje, med den vertikale aksen som indikerer størrelsen og retningen på hver forskyvning. Qwen2-VL-7B viste den sterkeste fargesensitiviteten, mens begge LLaVA‑modellene forble relativt stabile.

Sterkere fargeintensitet forsterket generelt disse effektene, rapporterer artikkelen: IDEFICS2-8B viste et lignende mønster, men i mindre grad, mens begge LLaVA‑variantene holdt seg nær sin basislinje på tvers av de fleste farger og intensiteter, noe som indikerer mye større motstand mot fargebasert manipulering.

Forskerne testet deretter lengre avsnitt ved å dele positiv og negativ språkbruk i to halvdeler av Long‑sentence Sentiment Set, slik at dokumentstruktur kunne måles sammen med fargebias. Eksperimentene fastslo om hver modell stolte mer på begynnelsen (primacy) eller slutten (recency) av et avsnitt.

Dokumentstruktur overgikk ofte fargehint: Qwen2-VL-7B og LLaVA-Mistral-7B foretrakk den andre halvdelen av teksten, mens IDEFICS2-8B og LLaVA-Vicuna-7B oftere stolte på den første:

Testresultater som viser hvordan fire Vision Language Models avhang av dokumentposisjon ved analyse av lengre avsnitt. ‘Positional Strategy’ indikerer om prediksjonene fulgte første halvdel (primacy) eller andre halvdel (recency) av teksten; ‘Adherence’ viser hvor konsekvent den strategien ble fulgt; og ‘Color Bias Range’ måler den gjenværende påvirkningen fra tekstfarge under disse strukturerte forholdene.

Farge påvirket fortsatt noen modeller, spesielt IDEFICS2-8B, men ble mindre innflytelsesrik i strukturert tekst.

For å forstå hvorfor fargeendringer kunne endre sentiment uten å endre selve ordene, undersøkte forskerne hvordan farge påvirket modellens interne visuelle representasjoner ved hjelp av en CLIP‑semantisk projeksjonsanalyse. Som vist nedenfor, endret endring av et ords nyanse systematisk dets semantiske representasjon over flere konseptuelle dimensjoner:

Testresultater som viser hvordan tekstfarge endret den interne semantiske representasjonen av seks ord. Grafene sporer ordene ‘warm’, ‘cold’, ‘safe’, ‘dangerous’, ‘good’ og ‘bad’ over akser for sikkerhet, valens, temperatur og følelser, og demonstrerer at endring av farge alene systematisk forskyver deres interne representasjoner, selv om teksten selv forblir uendret.

De største endringene dukket opp på ‘good’ versus ‘bad’-aksen. Som demonstrert ovenfor, førte enkel endring av et ord fra svart til grønn ofte til at den interne betydningen flyttet seg i en mer positiv retning, mens blå førte den motsatte veien – selv om ordet selv aldri endret seg. Mindre, men konsistente forskyvninger dukket også opp for emotion, safety og temperature.

CLIP ble kun brukt for å undersøke disse interne representasjonene, ikke for å forklare nøyaktig hvordan hver Vision Language Model fungerer. Likevel samsvarte det samme mønsteret som ble sett i CLIP tett med de farge‑drevede sentimentendringene observert i de tidligere eksperimentene.

Forskerne undersøkte deretter om endring av tekstkontrast, i stedet for farge, også kunne villede Vision Language Models under Visual Question Answering (VQA). Et plausibelt, men feilaktig ‘decoy’-svar ble uthevet mens den omkringliggende teksten ble bleket:

Testresultater som sammenligner Visual Question Answering‑ytelse under tre tekst‑saliencibetingelser. Resultatene er gjennomsnittet over seks lav‑kontrast gråtonenivåer, og den eneste forskjellen mellom kolonnene er om ingen tekst, det korrekte svaret, eller decoy‑svaret ble gjengitt i høy‑kontrast svart. Utheving av det korrekte svaret økte konsekvent F1‑scoren, mens utheving av decoy‑svaret reduserte den.

Resultatene ovenfor indikerer at utheving av det korrekte svaret forbedret nøyaktigheten, mens fremheving av decoy‑svaret reduserte den. Denne effekten ble deretter målt via den nevnte IER:

Testresultater som viser hvor ofte hver Vision Language Model valgte et visuelt fremtredende, men feil svar. Kolonnene viser seks lav‑kontrast gråtonenivåer anvendt på den omkringliggende teksten i ‘Decoy Salient’-betingelsen, med høyere verdier som indikerer lavere synlighet. Etter hvert som den omkringliggende teksten ble vanskeligere å lese, økte de induserte feilratene generelt, mens Qwen2-VL-7B forble konsekvent mer motstandsdyktig enn de andre modellene.

Konklusjon

Det vil være interessant å se om denne spesielle vrien vil bli utnyttet, ikke minst fordi det vil være interessant å se hvordan ‘farge‑misdireksjon’ kan injiseres uten å bli åpenbar for menneskelige lesere.

Selv om AI‑nettlesere som faktisk gjengir sider kan få servert ‘alternativ’ CSS som endrer fargene i utvalgte deler av teksten, avhenger mye av nettleserens skarphet; hvis scraperen bare trekker ut HTML og leter etter kode (HTML) og tekst (sideinnhold), kan den ignorere CSS og aldri bli klar over fargeleggingen. Imidlertid vil den grådige scraperen sannsynligvis også ønske ny CSS, noe som tillater gjengivelse og fargeendring.

Alternativt kan bøker eller magasiner med selektivt recolored tekst lastes opp til pålitelige arkiver som The Internet Archive (et svært populært mål), selv om de utgir seg for å være skanninger av eldre verk. Det finnes mange injeksjonsveier under dagens praksis, og ikke bare for denne nye og spesielt fargerike tilnærmingen.

Først publisert mandag 17. august 2026