Att ändra teckensnittsfärger kan kapra AI‑resonemang

En ny studie visar att vanlig formatering tyst kan styra AI‑resonemang, vilket får den att förbise ord, missförstå betydelse och nå olika slutsatser – utan att själva texten ändras.

Människors kulturella kodning av färg kan variera världen över, men de västerländska föreställningarna – dvs. rött för ‘fara’, grönt för ‘ok’ – tenderar att dominera även i asiatiska Vision Language Models (VLMs), av olika strategiska och/eller tillfälliga skäl.

Vi är inte annorlunda; att färga ‘dåliga’ saker i positiva färger och ‘bra’ saker i negativa färger, gör att människor reagerar annorlunda på dem. Detsamma gäller att ändra ljusstyrka och kontrast.

Ett nytt forskningssamarbete har undersökt i vilken grad detta även gäller AI‑modeller och har avslöjat preliminära indikationer på att VLMs kan påverkas genom att manipulera textens färg, samt genom att ändra relativ kontrast och ljusstyrka.

‘Våra experiment ger en systematisk analys av hur låg‑nivå visuell formatering av text förvränger de semantiska representationerna i en VLM:s vision‑encoder. Dessutom undersöker vi hur dessa förändringar i latent‑rummet manifesteras som beteendeförändringar i end‑to‑end‑VLMs för både subjektiva (sentimentanalys) och objektiva (fråge‑svar) uppgifter.’

‘Dessa resultat visar att visuell formatering avslöjar en kritisk, tidigare outforskat sårbarhet i VLMs, och vi diskuterar dess implikationer för robusthet och säkerhet i VLM‑pipeline‑er.’

Från det nya arbetets projektsida, en illustration av hur enbart textfärg kan förändra en AI:s interna tolkning av ett ord. Exemplet visar ordet ‘bad’ renderat i olika färger, där grönt flyttar dess semantiska representation mot en mer positiv tolkning trots att själva texten förblir oförändrad. Source – https://kohsukeide.github.io/color-bias-vlm/Source

Färga mig förvånad

Just nu, för de miljarder företag och individer vars viktiga söktrafik har klippats brutalt ner av framväxten av AI‑sammanfattningar i sökresultat, samt övergången till LLM som en sök‑orakel, är sådana attackytor för närvarande mycket attraktiva.

Eftersom Redits ständiga surr av mänsklig diskussion är avgörande för att hålla AI:s kunskap aktuell, har den sociala medieplattformen blivit ett primärt mål för företag och individer som vill inkluderas i LLM‑kunskap; guider har redan dykt upp om att ‘spela’ Reddit som en proxy‑metod för att påverka LLMs.

I liknande anda finns det gamla tricket att inkludera text som bara maskiner ser, så att du kan överföra dolda, egenintresse‑instruktioner till en LLM, för att vinna en akademisk turnering, eller påverka tentamensresultat.

Senast har Time Magazine börjat placera annonser i en ‘hemlig’ version av sin webbplats som endast är synlig för AI‑webbcrawlare som ständigt genomsöker webbplatser för ny data, vilket potentiellt kan låta annonsörer köpa sig till större framträdande (eller en mer positiv tolkning) i AI‑svar.

Därför är varje ny LLM/VLM‑svaghet, såsom färgkodade svar som kan ‘växlas’ för att manipulera resultat, ett uppenbart mål för en värld som desperat försöker återta kontrollen över medienarrativet från frontier‑AI.

Till exempel kan ett företag som vill bygga en förorenande fabrik som sannolikt försämrar den lokala vattnets kvalitet lägga till färgkodning i sin spin‑lexikon, i marknadsföringsmaterial eller pressmeddelanden, som ett extra avledningsmanöver för nyheter som de flesta skulle betrakta som ‘negativa’.

Strategisk användning av CSS och/eller SEO‑tekniker kan till och med dölja färgmanipulationerna för vanliga mänskliga läsare, genom att leverera endast AI‑stilmallar som påtvingar färgbetoningar i text som är dolda för människor, som bara ser svart text.

‘Dessa känsligheter innebär en pålitlighets‑ och säkerhetsrisk för VLM‑pipeline‑er som tar emot dokument eller UI‑skärmdumpar: godartad eller fientlig stil kan styra modellbeslut utan att ändra den underliggande texten.’

‘Praktiska skyddsåtgärder inkluderar att normalisera renderad text före inferens, korskontrollera bildbaserade svar med OCR‑extraherad text, och lägga till stil‑invarians‑kontroller i utvärderingssviter.’

Det nya arbetet heter Seeing Red, Thinking Bad: Color Bias in Vision Language Models och kommer från fem forskare från Japans National Institute of Advanced Industrial Science and Technology (AIST), University of Tsukuba, University of Technology Nuremberg och University of Oxford. Initiativet har ett GitHub‑arkiv och en projektsida.

Metod

För att ta reda på hur mycket enbart visuell presentation kan påverka modellerna utvecklade forskarna ‘Stealth Visual Prompts’ – till synes vanliga förändringar av textformatering som inte innehåller någon explicit instruktion till AI.

Det kan vara så enkelt som att ändra färgen på positiva eller negativa ord, eller att låta ett felaktigt svar framträda tydligare än det korrekta, samtidigt som den faktiska formuleringen lämnas orörd.

Olika texter genererades för varje uppgift, där sentimenttesterna använde neutrala mallar fyllda med positiva och negativa ord, medan Visual Question Answering (VQA)-testerna hämtade fråge‑kontext‑par från SQuAD:

Exempel på maskin‑inriktade frågor från SQuAD‑datasetet som användes i det nya arbetet. Source

Den resulterande kuraterade samlingen fick namnet VQA Stealth Set.

Text renderades på en standardiserad 800×600 px‑canvas med en fast layout, så att endast den målade visuella stilen förändrades. Färg och kontrast manipulerades oberoende, med färgtestning av inlärda semantiska associationer och kontrasttestning av visuell framträdande.

Utvalda ord återfärgades, och hela avsnitt renderades med lägre kontrast; eller, i Saliency-tävlingens upplägg, gjordes felaktiga svar visuellt mer framträdande än korrekta.

Eventuell förändring i modellens svar kan därför hänföras enbart till visuell formatering snarare än förändringar i den underliggande texten.

Data och tester

Tre distinkta testuppsättningar skapades för att representera olika sätt som VLMs bearbetar text presenterad som bilder:

Illustration av de tre visuella testdesignerna. Exemplen visar stimuli som användes för att testa huruvida enbart visuell presentation kan påverka modellens resonemang: (a) blandad sentiment‑text med utvalda ord återfärgade för att testa färgbias; (b) ett längre avsnitt som separerar positivt och negativt språk för att bedöma om dokumentstruktur förändrar effekten; och (c), ett visuellt fråge‑svar‑exempel där ett felaktigt men semantiskt liknande lockbete (‘twenty miles’) görs mer visuellt framträdande genom högre kontrast.Source

Short-sentence Sentiment Set testar färgbias på ordnivå med 100 korta meningar genererade från neutrala mallar som innehåller positiva eller negativa ord. Varje mening renderades i 37 visuella versioner, bestående av en svart‑text‑baslinje plus kombinationer av sex färger (röd, grön, blå, gul, cyan och magenta) i tre intensitetsnivåer.

Long-sentence Sentiment Set använde längre avsnitt där positivt och negativt språk separerades i olika delar av texten. Detta syftade till att avgöra om bredare dokumentstruktur och positions‑effekter, såsom primacy eller recency (positionsbaserade bias, där information som visas tidigare eller senare i ett dokument kan ges större vikt), skulle överväga någon färginducerad bias. Samma 37 färgförhållanden tillämpades.

I VQA Stealth Set renderades frågor och deras tillhörande kontext som bilder, varefter två kontrastbaserade villkor testades: i Global Contrast minskades läsbarheten för hela dokumentet genom att rendera det med successivt lägre kontrastnivåer; och i Saliency Competition renderades antingen det korrekta svaret eller ett semantiskt liknande lockbeteord (valt med CLIP-likhet) i hög kontrast, medan resterande text tonades ner – vilket låter visuell betoning konkurrera med bevisen i texten.

Mått

Varje exempel klassificerades som POSITIVE, NEUTRAL eller NEGATIVE. De resulterande klassificeringarna jämfördes sedan med en helt svart baslinje (svart text på vit bakgrund) för att bestämma i vilken grad färg ensam skiftade förutsägelser mot mer positiva eller mer negativa resultat.

VQA‑experimenten utvärderades via token‑nivå F1‑score, där förutsagda svar jämfördes med de accepterade sanningsvärdena.

Induced Error Rate (IER), ett nytt mått, introducerades specifikt för Saliency Competition‑testet och syftade till att mäta hur ofta ett visuellt markerat lockbete‑svar valdes (istället för det korrekta svaret) när textens synlighet minskades.

Dessutom användes en CLIP‑representationsprobe för att mäta hur färgförändringar ändrade ett ords semantiska representation inom CLIPs inbäddningsrum.

Vidare användes en VLM‑baserad Optical Character Recognition (OCR)‑proxy för att bedöma hur pålitligt enskilda ord kunde läsas vid successivt lägre kontrastnivåer, vilket möjliggjorde en uppskattning av den punkt då renderad text blev praktiskt taget oläslig.

Utvärderingen utfördes med fyra öppen‑källkod VLMs: LLaVA-v1.6-Mistral-7B; LLaVA-v1.6-Vicuna-7B; Qwen2-VL-7B-Instruct; och IDEFICS2-8B. Författarna betonar att öppna modeller valdes för att säkerställa att experimenten kan reproduceras under fasta prompts, renderingsinställningar och deterministisk avkodning.

Resultat

Författarna utvärderade först färgpromptar på Short‑Sentence Sentiment Set, med utnyttjande av färgbias på ordnivå, där sentimentbärande ord blandades:

Testresultat som visar de största sentimentförändringarna orsakade av färgformatering över fyra Vision Language Models. Värdena mäts relativt den helt svarta baslinjen, med positiva och negativa kolumner som visar den största rörelsen i varje riktning, medan intervallet sammanfattar varje modells övergripande mottaglighet för färginducerad bias.

‘Qwen2-VL-7B visar sin största positiva bias när positiva ord färgas gröna/blå (upp till +0.42), och sin största negativa bias när negativa ord färgas röda (ned till -0.48).’

‘Den övergripande mottagligheten skiljer sig avsevärt mellan modeller: Qwen2-VL-7B visar den största totala räckvidden (0.90), följt av IDEFICS2-8B (0.52), medan LLaVA‑varianterna uppvisar mycket mindre räckvidder (0.04–0.12), vilket indikerar relativt svagare känslighet för färgstilisering på ordnivå i detta sammanhang.’

‘Vi observerar ett tydligt spektrum av mottaglighet: Qwen2-VL-7B uppvisar de största färginducerade skiftena, medan LLaVA‑varianterna är relativt robusta.’

Ytterligare resultat nedan visar att färgeffekten långt ifrån är enhetlig: Qwen2-VL-7B visade sig vara mest mottaglig, med grön och blå text som konsekvent förde sentimentet mot mer positiva bedömningar när positiva ord markerades, medan röd text förde förutsägelserna i en mer negativ riktning när negativa ord markerades:

Testresultat som jämför färginducerade sentimentförändringar över fyra Vision Language Models. Graferna visar hur olika textfärger förändrade sentimentförutsägelser relativt en helt svart baslinje, med den vertikala axeln som indikerar storlek och riktning för varje skiftning. Qwen2-VL-7B visade den starkaste färgsensitiviteten, medan båda LLaVA‑modellerna förblev relativt stabila.

Starkare färgintensitet förstärkte generellt dessa effekter, rapporterar papperet: IDEFICS2-8B visade ett liknande mönster, men i mindre grad, medan båda LLaVA‑varianterna förblev nära sin baslinje över de flesta färger och intensiteter, vilket indikerar mycket större motståndskraft mot färgbaserad manipulation.

Forskarnas testade sedan längre avsnitt genom att separera positivt och negativt språk i olika halvor av Long‑sentence Sentiment Set, vilket möjliggjorde mätning av dokumentstruktur tillsammans med färgbias. Experimenten avgjorde om varje modell förlitade sig mer på början (primacy) eller slutet (recency) av ett avsnitt.

Dokumentstruktur övervägde ofta färgindikationer: Qwen2-VL-7B och LLaVA-Mistral-7B föredrog den andra halvan av texten, medan IDEFICS2-8B och LLaVA-Vicuna-7B oftare förlitade sig på den första:

Testresultat som visar hur fyra Vision Language Models förlitade sig på dokumentposition vid analys av längre avsnitt. ‘Positional Strategy’ indikerar om förutsägelser följde den första halvan (primacy) eller den andra halvan (recency) av texten; ‘Adherence’ visar hur konsekvent den strategin följdes; och ‘Color Bias Range’ mäter den återstående påverkan av textfärg under dessa strukturerade förhållanden.

Färg påverkade fortfarande vissa modeller, särskilt IDEFICS2-8B, men blev mindre inflytelserik i strukturerad text.

För att förstå varför färgförändringar kunde förändra sentiment utan att ändra själva orden, undersökte forskarna hur färg påverkade modellernas interna visuella representationer med en CLIP‑semantisk projektionanalys. Som visas nedan, skiftade förändring av ett ords nyans konsekvent dess semantiska representation över flera konceptuella dimensioner:

Testresultat som visar hur textfärg förändrade den interna semantiska representationen av sex ord. Graferna följer orden ‘warm’, ‘cold’, ‘safe’, ‘dangerous’, ‘good’ och ‘bad’ över axlarna säkerhet, valens, temperatur och känsla, vilket demonstrerar att enbart färgförändring systematiskt skiftade deras interna representationer, även om texten själv förblev oförändrad.

De största förändringarna uppträdde på ‘good’‑vs‑’bad’-axeln. Som demonstrerats ovan, tenderade en enkel färgändring från svart till grönt att flytta ordets interna betydelse i en mer positiv riktning, medan blått tenderade att flytta den åt motsatt håll – även om ordet självt aldrig ändrades. Mindre men konsekventa skiftningar observerades även för emotion, safety och temperature.

CLIP användes endast för att undersöka dessa interna representationer, inte för att exakt förklara hur varje Vision Language Model fungerar. Trots detta matchade samma mönster som ses i CLIP noggrant de färgdrivna sentimentförändringarna som observerades i de tidigare experimenten.

Forskarna undersökte sedan om förändring av textkontrast, snarare än färg, också kunde vilseleda Vision Language Models under Visual Question Answering (VQA). Ett plausibelt men felaktigt ‘lockbete’-svar markerades medan den omgivande texten tonades ner:

Testresultat som jämför Visual Question Answering‑prestanda under tre text‑saliency‑villkor. Resultaten är medelvärden över sex låg‑kontrast gråskale‑nivåer, och den enda skillnaden mellan kolumnerna är om ingen text, det korrekta svaret eller lockbetet renderades i högkontrast svart. Markering av det korrekta svaret ökade konsekvent F1‑poängen, medan markering av lockbetet minskade den.

Resultaten ovan indikerar att markering av det korrekta svaret förbättrade noggrannheten, medan betoning av lockbetet minskade den. Denna effekt mättes sedan via den tidigare nämnda IER:

Testresultat som visar hur ofta varje Vision Language Model valde ett visuellt framträdande men felaktigt svar. Kolumnerna visar sex låg‑kontrast gråskale‑nivåer som applicerades på den omgivande texten i ‘Decoy Salient’-villkoret, där högre värden indikerar lägre synlighet. När den omgivande texten blev svårare att läsa ökade de inducerade felräntorna generellt, medan Qwen2-VL-7B förblev konsekvent mer motståndskraftig än de andra modellerna.

Slutsats

Det blir intressant att se om detta specifika kryp kommer att utnyttjas, inte minst eftersom det vore intressant att se hur ‘färgförvirring’ kan injiceras utan att bli uppenbar för mänskliga läsare.

Även om AI‑webbsökare som faktiskt renderar sidor kan få ‘alternativ’ CSS som ändrar färger i utvalda textdelar, beror mycket på sökarnas skärpa; om sökaren bara extraherar HTML för kod (HTML) och text (sidinnehåll) kan den ignorera CSS och aldrig bli medveten om färgningen. Däremot är det sannolikt att den giriga sökaren också vill ha ny CSS, vilket möjliggör rendering och återfärgning.

Alternativt kan böcker eller tidskrifter med selektivt återfärgad text laddas upp till pålitliga arkiv som The Internet Archive (ett mycket populärt mål), även under sken av att vara skannade äldre verk. Det finns många injektionsvägar under nuvarande praxis, och inte bara för detta nya och särskilt färgglada tillvägagångssätt.

Först publicerad måndag 17 augusti 2026