Kirjasinvärien muuttaminen voi kaapata tekoälyn päättelyn

Uusi tutkimus osoittaa, että tavallinen muotoilu voi hiljaisesti ohjata tekoälyn päättelyä, aiheuttaen sen jättävän sanoja huomiotta, tulkitsevan merkityksiä väärin ja päätyvän eri johtopäätöksiin – muuttamatta itse tekstiä.

Ihmisten kulttuurinen värien koodaus voi vaihdella eri puolilla maailmaa, mutta länsimaiset käsitykset – esimerkiksi punainen tarkoittaa ‘vaaraa’, vihreä tarkoittaa ‘ok’ – hallitsevat jopa aasialaisissa Vision Language Model -malleissa (VLM), erilaisten strategisten ja/tai sattumanvaraisista syiden vuoksi.

Emme ole erilaisia; ‘huonoja’ asioita värittämällä positiivisilla väreillä ja ‘hyviä’ asioita negatiivisilla väreillä, saa ihmiset reagoimaan niihin eri tavalla. Sama pätee valon kirkkauden ja kontrastin muuttamiseen.

Uusi tutkimusyhteistyö on tutkinut, kuinka paljon tämä pätee myös tekoälymalleihin, ja löytänyt alustavia viitteitä siitä, että VLM-malleja voidaan vaikuttaa manipuloimalla tekstin väriä, sekä muuttamalla suhteellista kontrastia ja kirkkautta.

‘Kokeemme tarjoavat systemaattisen analyysin siitä, miten matalan tason visuaalinen tekstin muotoilu vääristää semanttisia esityksiä VLM:n näköenkooderissa. Lisäksi tarkastelemme, miten nämä latenttitilan siirtymät ilmenevät käyttäytymismuutoksina end-to-end VLM-malleissa sekä subjektiivisissa (sentimenttianalyysi) että objektiivisissa (kysymysten vastaus) tehtävissä.’

‘Nämä tulokset osoittavat, että visuaalinen muotoilu paljastaa kriittisen, aiemmin vähän tutkituin haavoittuvuuden VLM-malleissa, ja käsittelemme sen vaikutuksia VLM-putkien vahvuuteen ja turvallisuuteen.’

Uuden työn projektisivulta, kuvaus siitä, miten pelkkä tekstin väri voi muuttaa tekoälyn sisäistä sanan tulkintaa. Esimerkissä sana ‘bad’ on esitetty eri väreissä, ja vihreä siirtää sen semanttista esitystä kohti positiivisempaa tulkintaa, vaikka teksti itsessään pysyy muuttumattomana. Lähde – https://kohsukeide.github.io/color-bias-vlm/ Source

Väritä Minut Yllättävästi

Tällä hetkellä, miljardien yritysten ja yksityishenkilöiden, joiden tärkeä hakuliikenne on rajuasti vähennetty AI-yhteenvedon tulon myötä hakutuloksissa, sekä siirtymisen LLM:stä hakukonsultiksi, tällaisten hyökkäyspintojen houkuttelevuus on tällä hetkellä suuri.

Koska Redditin jatkuva ihmiskeskustelun kuumuus on olennaista tekoälyn tiedon ajantasaisuuden ylläpitämiseksi, kyseinen sosiaalisen median alusta on tullut tärkeäksi kohteeksi yrityksille ja yksityishenkilöille, jotka haluavat sisältyä LLM:n tietämykseen; oppaat ovat jo ilmestyneet Redditin ‘pelaamisesta’ välillisenä menetelmänä LLM:ien vaikuttamiseen.

Samankaltaisesti on vanha temppu sisällyttää tekstiä, jonka vain koneet näkevät, jotta voit antaa piilotettuja, itseään palvelevia ohjeita LLM:lle, voittaaksesi akateemisen turnauksen tai vaikuttaaksesi koetuloksiin.

Viime aikoina Time-lehti alkoi sijoittaa mainoksia ‘salaiselle’ sivustoversiolleen, joka on näkyvissä vain AI-verkkorobotteille, jotka jatkuvasti tutkivat sivustoja uusien tietojen perässä, mahdollistaen näin mainostajille mahdollisuuden ostaa suurempaa näkyvyyttä (tai positiivisempaa otetta) AI-vastauksissa.

Siksi kaikki uudet LLM/VLM-heikkoudet, kuten värikoodatut vastaukset, joita voidaan ‘kääntää’ manipuloidakseen tuloksia, ovat ilmeinen kohde maailmalle, joka epätoivoisesti pyrkii palauttamaan median narratiivin hallinnan kehittyvältä tekoälyltä.

Esimerkiksi yritys, joka aikoo rakentaa saastuttavan tehtaan, jonka todennäköisesti heikentää paikallisen veden laatua, voisi lisätä värikoodauksen omaan kierreilysanastoonsa markkinointimateriaaleissa tai lehdistötiedotteissa, lisäksinä poistaakseen uutiset, jotka useimmat katsovat ‘negatiivisiksi’.

Strateginen CSS:n ja/tai SEO-tekniikoiden käyttö voisi jopa piilottaa väri manipulaatiot satunnaisilta ihmislukijoilta, tarjoamalla vain AI:lle tarkoitettuja tyylitiedostoja, jotka asettavat väri korostuksia tekstiin, jotka ovat piilotettuja ihmisiltä, jotka näkevät vain mustan tekstin.

‘Nämä herkkyydet viittaavat luotettavuus- ja turvallisuusriskiin VLM-putkille, jotka käsittelevät asiakirjoja tai käyttöliittymän kuvakaappauksia: harmiton tai vihamielinen muotoilu voi ohjata mallien päätöksiä muuttamatta perustekstiä.’

‘Käytännöllisiä suojatoimia ovat renderöidyn tekstin normalisointi ennen päättelyä, kuvapohjaisten vastausten tarkistaminen OCR:llä puretulla tekstillä sekä tyyliriippumattomuustarkistusten lisääminen arviointipaketteihin.’

Uusi työ on nimeltään Seeing Red, Thinking Bad: Color Bias in Vision Language Models, ja sen on toteuttanut viisi tutkijaa Japanin Kansallisesta edistyneen teollisen tiedeen ja tekniikan instituutista (AIST), Tsukuban yliopistosta, Nürnbergin teknillisestä yliopistosta ja Oxfordin yliopistosta. Hanke sisältää GitHub-repositorion ja projektisivun.

Menetelmä

Selvittääkseen, kuinka paljon pelkkä visuaalinen esitys voi vaikuttaa malleihin, tutkijat kehittivät ‘Stealth Visual Prompts’ – tavallisen näköisiä tekstin muotoilumuutoksia, jotka eivät sisällä eksplisiittisiä ohjeita tekoälylle.

Tämä voi olla niin yksinkertaista kuin positiivisten tai negatiivisten sanojen värin muuttaminen, tai väärän vastauksen korostaminen selkeämmin kuin oikean, jättäen itse sanamuodon koskemattomaksi.

Eri tekstiä luotiin kullekin tehtävälle, sentimenttitesteissä käytettiin neutraaleja malleja, joihin lisättiin positiivisia ja negatiivisia sanoja, kun taas Visual Question Answering (VQA) -testit perustuivat kysymys‑kontekstipareihin SQuAD-tietokannasta:

Esimerkkejä koneelle suunnatuista kysymyksistä SQuAD‑tietokannasta, jota käytettiin uudessa työssä. Lähde – https://www.unite.ai/wp-content/uploads/2026/08/figure-2-2.jpg Source

Tuloksena syntynyt kuratoitu kokoelma nimettiin VQA Stealth Set.

Teksti renderöitiin standardoidulle 800x600px kanvaasille, kiinteällä asettelulla, jotta vain kohdennettu visuaalinen muotoilu muuttuisi. Väriä ja kontrastia manipuloitiin itsenäisesti, väritesteissä tarkasteltiin opittuja semanttisia assosiaatioita ja kontrastitesteissä visuaalista huomiokykyä.

Valittuja sanoja väritettiin uudelleen, ja kokonaisia kappaleita renderöitiin alhaisemmalla kontrastilla; tai Saliency-kilpailuasetelmassa virheelliset vastaukset tehtiin visuaalisesti huomattavammiksi kuin oikeat.

Kaikki mallin vastausten muutokset voidaan näin johtaa pelkästään visuaaliseen muotoiluun, eikä perustekstin muutoksiin.

Data ja Testit

Kolme erillistä testijoukkoa luotiin edustamaan erilaisia tapoja, joilla VLM:t käsittelevät kuvia tekstinä:

Kuvitus kolmesta visuaalisesta testisuunnittelusta. Esimerkit näyttävät ärsykkeitä, joilla testataan, voiko pelkkä visuaalinen esitys vaikuttaa mallin päättelyyn: (a) sekamielinen teksti, jossa valitut sanat on väritetty uudelleen värivääristymän testaamiseksi; (b) pidempi kappale, jossa positiivinen ja negatiivinen kieli on erotettu eri osiin, jotta voidaan arvioida, vaikuttaako asiakirjan rakenne tulokseen; ja (c) visuaalinen kysymys‑vastaus‑esimerkki, jossa virheellinen mutta semanttisesti samankaltainen harhautusvastaus (‘kaksikymmentä mailia’) on tehty visuaalisesti huomattavammaksi korkeammalla kontrastilla. Source

Short-sentence Sentiment Set testaa sanatasoista värivääristystä käyttäen 100 lyhyttä lausetta, jotka on luotu neutraaleista malleista ja sisältävät positiivisia tai negatiivisia sanoja. Jokainen lause renderöitiin 37 visuaaliseen versioon, koostuen mustasta tekstistä peruslinjana sekä kuuden värin (punainen, vihreä, sininen, keltainen, syaani ja magenta) yhdistelmistä kolmella intensiteettitasolla.

Long-sentence Sentiment Set käytti pidempiä kappaleita, joissa positiivinen ja negatiivinen kieli erotettiin tekstin eri osiin. Tämä oli tarkoitettu selvittämään, vaikuttaako laajempi asiakirjarakenne ja paikalliset vaikutukset, kuten primacy or recency (paikallispohjaiset vinoumat, joissa tiedon esiintyminen aiemmin tai myöhemmin asiakirjassa voi saada suuremman painoarvon), väriin perustuvaa vinoumaa. Sama 37 väri‑olosuhdetta sovellettiin.

VQA Stealth Set -kysymykset ja niihin liittyvä konteksti renderöitiin kuviksi, jonka jälkeen testattiin kahta kontrastiin perustuvaa ehtoa: Global Contrast-asetelmassa koko asiakirjan luettavuutta vähennettiin renderöimällä se asteittain alhaisemmilla kontrastitasoilla; ja Saliency Competition-asetelmassa joko oikea vastaus tai semanttisesti samankaltainen harhautus‑sana (valittu CLIP-samankaltaisuuden perusteella) renderöitiin korkealla kontrastilla, kun taas loput tekstit haalistettiin – mahdollistaen visuaalisen korostuksen kilpailla tekstin todisteiden kanssa.

Mitta-asteikot

Jokainen esimerkki luokiteltiin POSITIIVISEKSI, NEUTRAALIKSI tai NEGATIIVISEKSI. Tuloksena saadut luokitukset verrattiin sitten täysin mustaan peruslinjaan (musta teksti valkoisella taustalla) selvittääkseen, missä määrin pelkkä väri siirsi ennusteita kohti positiivisempia tai negatiivisempia tuloksia.

VQA-kokeet arvioitiin token‑tasoisella F1-pisteytyksellä, jossa ennustetut vastaukset verrattiin hyväksyttyihin totuuksiin.

Induced Error Rate (IER), uusi mittari, esiteltiin erityisesti Saliency Competition -testiin, ja sen tarkoitus on mitata, kuinka usein visuaalisesti korostettu harhautusvastaus valittiin (oikean vastauksen sijaan), kun tekstin näkyvyys oli heikentynyt.

Lisäksi CLIP-representaatiokoe käytettiin mittaamaan, miten värimuutokset muokkasivat sanan semanttista esitystä CLIP:n upotusavaruudessa.

Lisäksi VLM-pohjaista Optista Henkilöiden Tunnistusta (OCR) -välittäjää käytettiin arvioimaan, kuinka luotettavasti yksittäisiä sanoja voitiin lukea asteittain alhaisemmilla kontrastitasoilla, jolloin voitiin arvioida kohta, jossa renderöity teksti tuli käytännössä lukukelvottomaksi.

Arviointi suoritettiin neljällä avoimen lähdekoodin VLM:llä: LLaVA-v1.6-Mistral-7B; LLaVA-v1.6-Vicuna-7B; Qwen2-VL-7B-Instruct; ja IDEFICS2-8B. Tekijät korostavat, että avoimen lähdekoodin mallit valittiin varmistamaan, että kokeet voidaan toistaa vakioidulla kehotteilla, renderöintiasetuksilla ja deterministisellä dekoodauksella.

Tulokset

Tekijät arvioivat aluksi värikehotteita Short‑Sentence Sentiment Set -kokoelmassa hyödyntäen sanatasoista värivääristystä, jossa sentimenttia kantavia sanoja oli sekoitettu:

Testitulokset, jotka osoittavat suurimmat sentimenttisiirtymät, jotka väri muotoilu aiheutti neljässä Vision Language Model -mallissa. Arvot mitataan suhteessa täysin mustaan peruslinjaan, positiivinen ja negatiivinen sarake näyttävät suurimman liikkeen kummassakin suunnassa, kun taas vaihteluväli tiivistää kunkin mallin yleisen alttiuden värivääristymälle.

‘Qwen2-VL-7B osoittaa suurimman positiivisen vinouman, kun positiiviset sanat väritetään vihreäksi/siniseksi (jopa +0.42), ja suurimman negatiivisen vinouman, kun negatiiviset sanat väritetään punaisiksi (jopa -0.48).’

‘Kokonaisalttius vaihtelee merkittävästi mallin mukaan: Qwen2-VL-7B näyttää suurimman kokonaisvaihteluvälin (0.90), IDEFICS2-8B seuraavana (0.52), kun taas LLaVA‑variaatiot osoittavat paljon pienempiä vaihteluvälejä (0.04–0.12), mikä viittaa suhteellisen heikompaan herkkyyteen sanatasoiselle väri­muotoilulle tässä asetelmassa.’

‘Havaitsimme selkeän spektrin alttiudesta: Qwen2-VL-7B näyttää suurimmat väri‑indusoidut siirtymät, kun taas LLaVA‑variaatiot ovat suhteellisen vakaita.’

Lisää tuloksia alla osoittavat, että väri‑vaikutus ei ole yhtenäinen: Qwen2-VL-7B oli alttiin, sillä vihreä ja sininen teksti työnti jatkuvasti sentimentin kohti positiivisempia arvioita, kun positiiviset sanat korostettiin, kun taas punainen teksti siirsi ennusteet negatiivisempaan suuntaan, kun negatiiviset sanat korostettiin:

Testitulokset, jotka vertaavat väri‑indusoituja sentimenttisiirtymiä neljässä Vision Language Model -mallissa. Kaaviot näyttävät, miten eri tekstivärit muuttivat sentimenttien ennusteita suhteessa täysin mustaan peruslinjaan, pystysuora akseli ilmaisee kunkin siirtymän koon ja suunnan. Qwen2-VL-7B osoitti vahvimman väriherkkyyden, kun taas molemmat LLaVA-mallit pysyivät suhteellisen vakaina.

Vahvempi värivahvuus vahvisti yleensä näitä vaikutuksia, raportin mukaan: IDEFICS2-8B osoitti samanlaisen mallin, vaikkakin vähemmän, kun taas molemmat LLaVA‑variaatiot pysyivät lähellä peruslinjaansa useimmissa väreissä ja intensiteeteissä, mikä osoittaa paljon suuremman vastustuskyvyn väri‑pohjaiseen manipulointiin.

Tutkijat testasivat sitten pidempiä kappaleita erottelemalla positiivisen ja negatiivisen kielen Long‑sentence Sentiment Set -kokoelman eri puolille, jolloin asiakirjarakenteen vaikutus voitiin mitata yhdessä värivääristymän kanssa. Kokeet selvittivät, luottavatko mallit enemmän kappaleen alkuun (primacy) vai loppuun (recency).

Asiakirjarakenne ylitti usein väri­vihjeet: Qwen2‑VL‑7B ja LLaVA‑Mistral‑7B suosivat tekstin toista puoliskoa, kun taas IDEFICS2‑8B ja LLaVA‑Vicuna‑7B luottivat useammin ensimmäiseen:

Testitulokset, jotka osoittavat, miten neljä Vision Language Model -mallia turvautuivat asiakirjan sijaintiin analysoidessaan pidempiä kappaleita. ‘Positiostrategia’ kertoo, noudattivatko ennusteet tekstin ensimmäistä puoliskoa (primacy) vai toista (recency); ‘Sitoumus’ näyttää, kuinka johdonmukaisesti strategiaa noudatettiin; ja ‘Värivääristymän vaihteluväli’ mittaa tekstivärin jäljelle jäävän vaikutuksen näissä rakenteellisissa olosuhteissa.

Väri vaikutti edelleen joihinkin malleihin, erityisesti IDEFICS2‑8B:een, mutta väheni merkitykseltään rakenteellisessa tekstissä.

Ymmärtääkseen, miksi värimuutokset voivat muuttaa sentimenttia muuttamatta itse sanoja, tutkijat tarkastelivat, miten väri vaikutti mallien sisäisiin visuaalisiin esityksiin CLIP:n semanttisen projektion analyysin avulla. Alla on esitetty, että sanan sävyn muuttaminen siirsi sen semanttista esitystä johdonmukaisesti useiden käsitteellisten ulottuvuuksien yli:

Testitulokset, jotka osoittavat, miten tekstin väri muutti kuuden sanan sisäistä semanttista esitystä. Kaaviot seuraavat sanoja ‘warm’, ‘cold’, ‘safe’, ‘dangerous’, ‘good’ ja ‘bad’ turvallisuus-, affekti-, lämpötila- ja tunneakselilla, osoittaen, että pelkkä värin muuttaminen siirsi niiden sisäisiä esityksiä systemaattisesti, vaikka teksti itsessään pysyi muuttumattomana.

Suurimmat muutokset ilmestyivät ‘good’ vs ‘bad’ -akselilla. Kuten yllä osoitettiin, sanan vaihtaminen mustasta vihreäksi siirsi sen sisäisen merkityksen yleensä positiivisempaan suuntaan, kun taas sininen siirsi sen toiseen suuntaan – vaikka sana itsessään ei koskaan muuttunut. Pienemmät, mutta johdonmukaiset siirtymät ilmenivät myös emotion-, safety– ja temperature-akselilla.

CLIP:ia käytettiin vain näiden sisäisten esitysten tarkasteluun, ei selittämään tarkasti, miten jokainen Vision Language Model toimii. Siitä huolimatta sama CLIP:issa havaittu malli vastasi tarkasti aikaisemmissa kokeissa havaittuja väri‑indusoituja sentimenttimuutoksia.

Tutkijat tutkivat seuraavaksi, voisiko tekstin kontrastin muuttaminen, eikä väriä, myös harhauttaa Vision Language Model -malleja Visual Question Answering (VQA) -tehtävissä. Mahdollinen, mutta virheellinen ‘harhautus’-vastaus korostettiin, kun ympäröivä teksti haalistettiin:

Testitulokset, jotka vertaavat Visual Question Answering -suorituskykyä kolmessa tekstin salienssi‑tilanteessa. Tulokset on keskiarvoitu kuuden matalan kontrastin harmaasävy‑tason yli, ja ainoa ero sarakkeiden välillä on, onko tekstiä, oikeaa vastausta tai harhautusvastausta renderöity korkean kontrastin mustana. Oikean vastauksen korostaminen nosti johdonmukaisesti F1-pisteitä, kun taas harhautusvastausta korostettaessa pisteet laskivat.

Yllä olevat tulokset osoittavat, että oikean vastauksen korostaminen paransi tarkkuutta, kun taas harhautusvastausta korostaminen heikensi sitä. Tämä vaikutus mitattiin sitten edellä mainitulla IER:

Testitulokset, jotka osoittavat, kuinka usein kukin Vision Language Model valitsi visuaalisesti korostetun mutta virheellisen vastauksen. Sarakkeet näyttävät kuusi matalan kontrastin harmaasävy‑tasoa, jotka on sovellettu ympäröivään tekstiin ‘Decoy Salient’ -tilanteessa, suuremmat arvot tarkoittavat heikompaa näkyvyyttä. Kun ympäröivä teksti tuli vaikeammin luettavaksi, indusoidut virherateet yleisesti nousivat, kun taas Qwen2-VL-7B pysyi johdonmukaisesti vastustuskykyisempänä kuin muut mallit.

Johtopäätös

On mielenkiintoista nähdä, hyödynnetäänkö tätä erityistä käännettä, erityisesti koska olisi kiinnostavaa tarkastella, miten ‘värihämä’ voitaisiin injektoida ilman, että se käy ilmeiseksi ihmislukijoille.

Vaikka AI‑verkkokaavintajat, jotka renderöivät sivuja, voidaan syöttää ‘vaihtoehtoista’ CSS:ää, joka muuttaa valittujen tekstiosien värejä, paljon riippuu kaavintajan tarkkuudesta; jos kaavintaja vain poimii HTML:n etsiessään koodia (HTML) ja tekstiä (sivun sisältö), se saattaa ohittaa CSS:n eikä koskaan tiedä väreistä. Kuitenkin ahne kaavintaja todennäköisesti haluaa myös uutta CSS:ää, mikä mahdollistaa renderöinnin ja väri­muutoksen.

Vaihtoehtoisesti kirjoja tai lehtiä, joissa teksti on valikoivasti väritetty uudelleen, voitaisiin ladata luotettaviin arkistoihin, kuten The Internet Archive (erittäin suosittu kohde), jopa esittäen ne vanhempien teosten skannauksina. Nykykäytännöissä on monia injektioreittejä, eikä kyse ole vain tästä uudesta ja erityisen värikkäästä lähestymistavasta.

Ensimmäisen kerran julkaistu maanantaina 17. elokuuta 2026