Letterkleur Veranderen Kan AI‑Redenering Overnemen

Een nieuwe studie toont aan dat gewone opmaak stilletjes het AI‑redeneren kan sturen, waardoor het woorden over het hoofd ziet, betekenis verkeerd interpreteert en tot andere conclusies komt – zonder de tekst zelf te wijzigen.

De culturele codering van kleur door mensen kan wereldwijd verschillen, maar de westerse opvattingen – bijvoorbeeld rood voor ‘gevaar’, groen voor ‘oké’ – blijven zelfs in Aziatische Vision Language Models (VLM’s) overheersen, om verschillende strategische en/of toevallige redenen.

Wij zijn niet anders; het kleuren van ‘slechte’ zaken in positieve kleuren en van ‘goede’ zaken in negatieve kleuren, zorgt ervoor dat mensen anders reageren op die zaken. Hetzelfde geldt voor het aanpassen van helderheid en contrast.

Een nieuw onderzoeksproject heeft onderzocht in hoeverre dit ook op AI‑modellen van toepassing is, en heeft voorlopige aanwijzingen gevonden dat VLM’s beïnvloed kunnen worden door de kleur van tekst te manipuleren, evenals door het aanpassen van relatieve contrasten en helderheid.

The authors state:

‘Onze experimenten bieden een systematische analyse van hoe laag‑niveau visuele opmaak van tekst de semantische representaties binnen de vision‑encoder van een VLM vervormt. Bovendien onderzoeken we hoe deze verschuivingen in de latente ruimte zich manifesteren als gedragsveranderingen in end‑to‑end VLM’s bij zowel subjectieve (sentimentanalyse) als objectieve (vraag‑antwoord) taken.’

‘Deze resultaten tonen aan dat visuele opmaak een kritieke, tot nu toe onderbelichte kwetsbaarheid in VLM’s blootlegt, en we bespreken de implicaties voor de robuustheid en veiligheid van VLM‑pijplijnen.’

Van de projectsite van het nieuwe werk, een illustratie van hoe alleen de tekstkleur de interne interpretatie van een woord door een AI kan veranderen. Het voorbeeld toont het woord ‘bad’ weergegeven in verschillende kleuren, waarbij groen de semantische representatie naar een positievere interpretatie verschuift, ondanks dat de tekst zelf ongewijzigd blijft.Bron

Verbaas Mij Met Kleur

Op dit moment, voor de miljarden bedrijven en individuen waarvan het cruciale zoekverkeer brutaal is teruggebracht door de opkomst van AI‑samenvattingen in zoekresultaten, evenals de verschuiving naar LLM als zoekorakel, zijn aanvalsvectoren van dit type momenteel zeer aantrekkelijk.

Omdat de voortdurende stroom van menselijke discussies op Reddit essentieel is om de kennis van AI actueel te houden, is dat sociale mediaplatform een primair doelwit geworden voor bedrijven en individuen die opgenomen willen worden in LLM‑kennis; er zijn al gidsen verschenen over het ‘gamen’ van Reddit als een proxy‑methode om LLM’s te beïnvloeden.

In een vergelijkbare trant bestaat de oude truc om tekst toe te voegen die alleen machines zien, zodat je verborgen, zelfzuchtige instructies aan een LLM kunt doorgeven, om een academisch toernooi te winnen, of examenuitslagen te beïnvloeden.

Onlangs begon Time magazine advertenties te plaatsen in een ‘geheime’ versie van haar site die alleen zichtbaar is voor de AI‑webcrawlers die continu sites doorzoeken voor nieuwe data, waardoor adverteerders mogelijk hun weg kunnen kopen naar meer prominentie (of een positievere toon) in AI‑antwoorden.

Daarom is elke nieuwe LLM/VLM‑zwakte, zoals kleurgecodeerde antwoorden die ‘geschakeld’ kunnen worden om resultaten te manipuleren, een duidelijk doelwit voor een wereld die wanhopig probeert de controle over het mediasNarratief terug te winnen van grensverleggende AI.

Bijvoorbeeld, een bedrijf dat een vervuilende fabriek wil bouwen die de kwaliteit van lokaal water zou verminderen, zou kleurcodering kunnen toevoegen aan haar spin‑lexicon, in marketingmateriaal of persberichten, als een extra afleiding van nieuws dat de meesten als ‘negatief’ zouden beschouwen.

Strategisch gebruik van CSS en/of SEO‑technieken kan de kleuraanpassingen zelfs verbergen voor gewone menselijke lezers, door AI‑alleen stijlen te serveren die kleuremphases in tekst opleggen die voor mensen verborgen blijven, die alleen zwarte tekst zien.

The authors of the new work state:

‘Deze gevoeligheden duiden op een betrouwbaarheid‑ en veiligheidsrisico voor VLM‑pijplijnen die documenten of UI‑screenshots verwerken: onschuldige of vijandige opmaak kan modelbeslissingen sturen zonder de onderliggende tekst te wijzigen.’

‘Praktische beveiligingsmaatregelen omvatten het normaliseren van gerenderde tekst vóór inferentie, het cross‑checken van op afbeeldingen gebaseerde antwoorden met OCR‑geëxtraheerde tekst, en het toevoegen van stijl‑invariantiecontroles aan evaluatiesuites.’

Het nieuwe werk draagt de titel Seeing Red, Thinking Bad: Color Bias in Vision Language Models, en komt van vijf onderzoekers van het National Institute of Advanced Industrial Science and Technology (AIST) in Japan, de Universiteit van Tsukuba, de Technische Universiteit Nuremberg, en de Universiteit van Oxford. Het initiatief wordt geleverd met een GitHub‑repository en een projectsite.

Methode

Om te achterhalen hoeveel visuele presentatie alleen de modellen kan beïnvloeden, ontwikkelden de onderzoekers ‘Stealth Visual Prompts’ – ogenschijnlijk gewone wijzigingen in tekstopmaak, die geen expliciete instructie aan de AI bevatten.

Dit kan zo simpel zijn als het wijzigen van de kleur van positieve of negatieve woorden, of een fout antwoord duidelijker laten opvallen dan het correcte, terwijl de eigenlijke bewoording ongewijzigd blijft.

Voor elke taak werd verschillende tekst gegenereerd, waarbij de sentimenttests neutrale sjablonen gebruikten die werden gevuld met positieve en negatieve woorden, terwijl de Visual Question Answering (VQA)-tests gebruik maakten van vraag‑contextparen uit SQuAD:

Voorbeelden van machinegerichte vragen uit de SQuAD-dataset die werden gebruikt voor het nieuwe werk. Bron

De resulterende samengestelde collectie kreeg de naam VQA Stealth Set.

Tekst werd gerenderd op een gestandaardiseerd canvas van 800×600 px, met een vaste lay-out, zodat alleen de gerichte visuele opmaak werd aangepast. Kleur en contrast werden onafhankelijk gemanipuleerd, waarbij kleurtests leerde semantische associaties, en contrasttests visuele opvallendheid.

Geselecteerde woorden werden opnieuw gekleurd, en volledige passages werden weergegeven met lager contrast; of, in de Saliency-competitie‑setting, werden onjuiste antwoorden visueel prominenter gemaakt dan de correcte.

Elke resulterende wijziging in modelantwoorden kan dus uitsluitend worden toegeschreven aan visuele opmaak en niet aan veranderingen in de onderliggende tekst.

Gegevens en Tests

Drie verschillende testsets werden gecreëerd om verschillende manieren te vertegenwoordigen waarop VLM’s tekst gepresenteerd als afbeeldingen verwerken:

Illustratie van de drie visuele testontwerpen. De voorbeelden tonen de stimuli die werden gebruikt om te testen of alleen visuele presentatie het modelredeneren kan beïnvloeden: (a) gemengde‑sentimenttekst met geselecteerde woorden opnieuw gekleurd om kleurbias te testen; (b) een langere passage die positieve en negatieve taal scheidt om te beoordelen of documentstructuur het effect verandert; en (c), een visuele vraag‑antwoord‑voorbeeld waarin een onjuist maar semantisch vergelijkbaar lokantwoord (‘twintig mijl’) visueel prominenter wordt gemaakt door hoger contrast.Bron

De Short-sentence Sentiment Set test de kleurbias op woordniveau met behulp van 100 korte zinnen gegenereerd uit neutrale sjablonen die positieve of negatieve woorden bevatten. Elke zin werd gerenderd in 37 visuele versies, bestaande uit een zwart‑tekst basislijn plus combinaties van zes kleuren (rood, groen, blauw, geel, cyaan en magenta), op drie intensiteitsniveaus.

De Long-sentence Sentiment Set gebruikte langere passages, waarbij positieve en negatieve taal in verschillende delen van de tekst werden gescheiden. Dit was bedoeld om te bepalen of bredere documentstructuur en positionele effecten, zoals primacy of recency (positie‑gebaseerde vooroordelen, waarbij informatie die eerder of later in een document verschijnt meer gewicht kan krijgen), zwaarder zouden wegen dan elke kleur‑geïnduceerde bias. Dezelfde 37 kleurcondities werden toegepast.

In de VQA Stealth Set werden vragen en hun bijbehorende context als afbeeldingen gerenderd, waarna twee contrast‑gebaseerde condities werden getest: in Global Contrast werd de leesbaarheid van het volledige document verminderd door het geleidelijk op lagere contrastniveaus te renderen; en in Saliency Competition werd of het correcte antwoord, of een semantisch vergelijkbaar lokantwoord (geselecteerd met behulp van CLIP-similariteit) in hoog contrast weergegeven, terwijl de rest van de tekst vervaagde – waardoor visuele nadruk kon concurreren met het bewijs in de tekst.

Metrieken

Elk voorbeeld werd geclassificeerd als POSITIEF, NEUTRAAL of NEGATIEF. De resulterende classificaties werden vervolgens vergeleken met een volledig zwarte basislijn (zwarte tekst op een witte achtergrond) om te bepalen in hoeverre kleur alleen voorspellingen verschuift naar meer positieve of meer negatieve uitkomsten.

De VQA‑experimenten werden geëvalueerd via token‑niveau F1‑score, waarbij voorspelde antwoorden werden vergeleken met de geaccepteerde ground‑truth‑antwoorden.

Induced Error Rate (IER), een nieuwe metriek, werd specifiek geïntroduceerd voor de Saliency Competition‑test, en was bedoeld om te meten hoe vaak een visueel gemarkeerd lokantwoord werd geselecteerd (in plaats van het correcte antwoord), wanneer de zichtbaarheid van de tekst werd verminderd.

Daarnaast werd een CLIP‑representatie‑probe gebruikt om te meten hoe kleurveranderingen de semantische representatie van een woord binnen CLIP’s embedingsruimte wijzigden.

Verder werd een VLM‑gebaseerde Optical Character Recognition (OCR)‑proxy gebruikt om te beoordelen hoe betrouwbaar individuele woorden konden worden gelezen bij geleidelijk lager wordende contrastniveaus, waardoor het punt kon worden geschat waarop gerenderde tekst effectief onleesbaar werd.

Evaluatie werd uitgevoerd met vier open‑source VLM’s: LLaVA‑v1.6‑Mistral‑7B; LLaVA‑v1.6‑Vicuna‑7B; Qwen2‑VL‑7B‑Instruct; en IDEFICS2‑8B. De auteurs benadrukken dat open‑source modellen werden gekozen om te waarborgen dat de experimenten konden worden gereproduceerd onder vaste prompts, render‑instellingen en deterministische decodering.

Resultaten

De auteurs evalueerden aanvankelijk kleur‑prompts op de Short‑Sentence Sentiment Set, waarbij gebruik werd gemaakt van woord‑niveau kleurbias, waarbij sentimentdragende woorden door elkaar waren geplaatst:

Testresultaten die de grootste sentimentverschuivingen tonen veroorzaakt door kleuropmaak over vier Vision Language Models. Waarden worden gemeten ten opzichte van de volledig zwarte basislijn, waarbij de positieve en negatieve kolommen de grootste beweging in elke richting laten zien, terwijl het bereik de algehele gevoeligheid van elk model voor kleur‑geïnduceerde bias samenvat.

Van deze resultaten stellen de auteurs:

‘Qwen2‑VL‑7B vertoont zijn grootste positieve bias wanneer positieve woorden groen/blauw worden gekleurd (tot +0.42), en zijn grootste negatieve bias wanneer negatieve woorden rood worden gekleurd (tot -0.48).’

‘De algehele gevoeligheid verschilt aanzienlijk per model: Qwen2‑VL‑7B heeft de grootste totale range (0.90), gevolgd door IDEFICS2‑8B (0.52), terwijl de LLaVA‑varianten veel kleinere ranges (0.04–0.12) vertonen, wat wijst op een relatief zwakkere gevoeligheid voor woord‑niveau kleurstyling in deze setting.’

‘We observeren een duidelijk spectrum van gevoeligheid: Qwen2‑VL‑7B vertoont de grootste kleur‑geïnduceerde verschuivingen, terwijl de LLaVA‑varianten relatief robuust zijn.’

Verdere resultaten hieronder tonen dat het kleur effect verre van uniform is: Qwen2‑VL‑7B bleek het meest vatbaar, met groene en blauwe tekst die consequent sentiment naar positievere beoordelingen duwde wanneer positieve woorden werden gemarkeerd, terwijl rode tekst voorspellingen in een meer negatieve richting duwde wanneer negatieve woorden werden gemarkeerd:

Testresultaten die kleur‑geïnduceerde sentimentverschuivingen vergelijken over vier Vision Language Models. De grafieken tonen hoe verschillende tekstkleuren sentimentvoorspellingen veranderden ten opzichte van een volledig zwarte basislijn, waarbij de verticale as de grootte en richting van elke verschuiving aangeeft. Qwen2‑VL‑7B vertoonde de sterkste kleurgevoeligheid, terwijl beide LLaVA‑modellen relatief stabiel bleven.

Sterkere kleurintensiteit versterkte over het algemeen deze effecten, meldt het artikel: IDEFICS2‑8B vertoonde een vergelijkbaar patroon, zij het in mindere mate, terwijl beide LLaVA‑varianten dicht bij hun basislijn bleven voor de meeste kleuren en intensiteiten, wat wijst op een veel grotere weerstand tegen kleurgebaseerde manipulatie.

De onderzoekers testten vervolgens langere passages door positieve en negatieve taal te scheiden in verschillende helften van de Long‑sentence Sentiment Set, waardoor documentstructuur naast kleurbias kon worden gemeten. De experimenten bepaalden of elk model meer leunde op het begin (primacy) of het einde (recency) van een passage.

Documentstructuur weegde vaak zwaarder dan kleur‑cues: Qwen2‑VL‑7B en LLaVA‑Mistral‑7B gaven de voorkeur aan de tweede helft van de tekst, terwijl IDEFICS2‑8B en LLaVA‑Vicuna‑7B vaker vertrouwden op de eerste:

Testresultaten die laten zien hoe vier Vision Language Models afhankelijk waren van documentpositie bij het analyseren van langere passages. ‘Positional Strategy’ geeft aan of voorspellingen de eerste helft (primacy) of de tweede helft (recency) van de tekst volgden; ‘Adherence’ toont hoe consistent die strategie werd gevolgd; en ‘Color Bias Range’ meet de resterende invloed van tekstkleur onder deze gestructureerde omstandigheden.

Kleur beïnvloedde nog steeds sommige modellen, met name IDEFICS2‑8B, maar werd minder invloedrijk in gestructureerde tekst.

Om te begrijpen waarom kleurveranderingen sentiment konden wijzigen zonder de woorden zelf te veranderen, onderzochten de onderzoekers hoe kleur de interne visuele representaties van de modellen beïnvloedde met behulp van een CLIP‑semantische projectie‑analyse. Zoals hieronder getoond, verschuift het veranderen van de tint van een woord consequent zijn semantische representatie over verschillende conceptuele dimensies:

Testresultaten die laten zien hoe tekstkleur de interne semantische representatie van zes woorden veranderde. De grafieken volgen de woorden ‘warm’, ‘cold’, ‘safe’, ‘dangerous’, ‘good’ en ‘bad’ over de assen veiligheid, valentie, temperatuur en emotie, en demonstreren dat alleen het veranderen van kleur hun interne representaties systematisch verschuift, zelfs hoewel de tekst zelf ongewijzigd blijft.

De grootste veranderingen verschenen op de ‘good’ versus ‘bad’ as. Zoals hierboven aangetoond, leidt het simpelweg veranderen van een woord van zwart naar groen er meestal toe dat de interne betekenis in een positievere richting verschuift, terwijl blauw de betekenis in de tegenovergestelde richting beweegt – hoewel het woord zelf nooit verandert. Kleinere maar consistente verschuivingen verschenen ook voor emotion, safety en temperature.

CLIP werd alleen gebruikt om deze interne representaties te onderzoeken, niet om precies uit te leggen hoe elk Vision Language Model werkt. Desondanks kwam hetzelfde patroon dat in CLIP werd gezien nauw overeen met de kleur‑gedreven sentimentveranderingen die in de eerdere experimenten werden waargenomen.

De onderzoekers onderzochten vervolgens of het wijzigen van tekstcontrast, in plaats van kleur, Vision Language Models ook kan misleiden tijdens Visual Question Answering (VQA). Een plausibel maar onjuist ‘lok’ antwoord werd gemarkeerd terwijl de omringende tekst werd vervaagd:

Testresultaten die de Visual Question Answering-prestaties vergelijken onder drie tekst‑saliency‑condities. Resultaten zijn gemiddeld over zes laag‑contrast grijstinten, en het enige verschil tussen de kolommen is of geen tekst, het correcte antwoord, of het lokantwoord in hoog‑contrast zwart werd weergegeven. Het markeren van het correcte antwoord verhoogde consequent de F1‑scores, terwijl het markeren van het lokantwoord ze verlaagde.

De bovenstaande resultaten geven aan dat het markeren van het correcte antwoord de nauwkeurigheid verbeterde, terwijl het benadrukken van het lokantwoord deze verminderde. Dit effect werd vervolgens gemeten via de eerder genoemde IER:

Testresultaten die laten zien hoe vaak elk Vision Language Model een visueel opvallend maar onjuist antwoord selecteerde. De kolommen tonen zes laag‑contrast grijstinten toegepast op de omringende tekst in de ‘Decoy Salient’-conditie, waarbij hogere waarden lagere zichtbaarheid aangeven. Naarmate de omringende tekst moeilijker te lezen werd, namen de geïnduceerde foutpercentages over het algemeen toe, terwijl Qwen2‑VL‑7B consequent meer weerstand bood dan de andere modellen.

Conclusie

Het zal interessant zijn om te zien of deze specifieke eigenschap wordt uitgebuit, niet in de laatste plaats omdat het boeiend is om te onderzoeken hoe ‘kleurmisleiding’ kan worden geïnjecteerd zonder duidelijk te worden voor menselijke lezers.

Hoewel AI‑webscrapers die pagina’s daadwerkelijk renderen ‘alternatieve’ CSS kunnen krijgen die de kleuren in geselecteerde tekstgedeelten wijzigt, hangt veel af van de scherpzinnigheid van de scraper; als de scraper alleen de HTML eruit zuigt op zoek naar code (HTML) en tekst (pagina‑inhoud), negeert hij mogelijk de CSS en komt hij nooit op de hoogte van de kleuring. Echter, de gulzige scraper zal waarschijnlijk ook nieuwe CSS willen, waardoor renderen en opnieuw kleuren mogelijk wordt.

Alternatief kunnen boeken of tijdschriften met selectief opnieuw gekleurde tekst worden geüpload naar vertrouwde repositories zoals The Internet Archive (een zeer populair doelwit), zelfs zich voordoen als scans van oudere werken. Er zijn talloze injectieroutes onder de huidige praktijken, en niet alleen voor deze nieuwe en bijzonder kleurrijke benadering.

Eerste publicatie maandag 17 augustus 2026