Tekoälyn opettaminen lukemaan piilotettua tekstiä, jonka ihmiset näkevät

Yksi tekoälytrendeistä, joka leimahti ja sammui melko nopeasti noin 2–3 vuotta sitten, oli näkö-kielimallien (VLM) käyttö kryptisen tekstin ja ”latenttien kuvien” upottamiseen näennäisen harmittomiin tekoälyn luomiin kuviin:

QR Code Monster ControlNetin tuottamille kuville ovat ominaisia optiset illuusiot ja trompe-l’œil-efektit. Lähde

Kyse on eräänlaisesta tilauksesta toteutettavasta trompe-l’œil-efektistä, joka nousi laajaan tietoisuuteen avoimen lähdekoodin QR Code Monster ControlNet -kehyksen ansiosta.

Kun riittävän moni on nähnyt tämän käytännössä, tekniikalle ei oikeastaan ole muuta käyttöä kuin käytännön kryptografia: sen avulla voidaan lähettää tekstiä, jota VLM:t tai optisen tekstintunnistuksen (OCR) järjestelmät eivät sieppaa eivätkä tulkitse – sekä välittää puolisubliminaalisia viestejä:

Saatko viestin selville? Ellet, vieritä alas nähdäksesi vastauksen. Tunnettu esimerkki tekoälyn luomasta optisesta illuusiosta, joka viittaa (kuten tämän artikkelin pääkuvakin) meemiin John Carpenterin vuoden 1988 scifi-elokuvasta They Live. Siinä mies huomaa, että maailma on täynnä salaviestejä, joita levittää maailmaan soluttautunut muukalaislaji. Lähde

Vuoden 2025 tutkimus Viha kaikkien nähtävillä ja viime kuun Piilossa aivan silmien edessä osoittavat, miten tätä menetelmää voidaan käyttää vihamielisten näkemysten levittämiseen ja yleisemmin steganografiaan.

Siksi menetelmää pidetään alan kirjallisuudessa nykyään ennen kaikkea mahdollisesti vahingollisena tekniikkana eikä hauskana meemigeneraattorina.

Tarkempi katsaus

Yksi tällaisten tunkeutumisten havaitsemiseen liittyvistä haasteista on saada multimodaaliset tekoälymallit näkemään ”metsä puilta”. Kutsutaan niitä tekoälyn optisiksi harhakuviksi, sillä niille ei näytä vakiintuneen yhtenäistä nimitystä. Kun siristämme silmiämme tai pienennämme tällaisen tekoälyn luoman optisen harhakuvan hyvin pieneksi, salatekstin laajemmat piirteet erottuvat meille helposti:

Koska diffuusiomallien koulutus etenee vähitellen niin, että tekoäly oppii ensin hahmottamaan käsitteet ”luonnosmaisina raakaversioina” ja pystyy lopulta tuottamaan erittäin tarkkoja yksityiskohtia (vähän kuin viimeistelisi loput… pöllöstä), VLM-mallien pitäisi olla varsin hyviä havaitsemaan tällaisia kuvioita. Tuore tutkimus kuitenkin viittaa siihen, että näin ei todellisuudessa ole:

Vuoden 2025 tutkimuksessa ”SemVink” havaittiin, ettei muuten kyvykäs, huipputason VLM-malli pystynyt tunnistamaan salatekstiä tekoälyn optisista harhakuvista. Lähde

Tuore Kiinassa tehty tutkimus esittelee kuitenkin uuden kehyksen, joka voisi auttaa VLM-malleja tunnistamaan tekoälyn optisia harhakuvia.

Uudessa menetelmässä, jonka koodi on julkaistu, tekoälymalli oppii toiselta mallilta. Koulutuksessa sille annetaan pienennetty versio kuvasta ja oikea tekstin transkriptio. Tutkijoiden mukaan näin piilotetut viestit voidaan lukea suoraan alkuperäisistä kuvista, ja tunnistustulokset ovat selvästi parempia kuin tavanomaisilla koulutusmenetelmillä:

Kaavio ehdotetusta tekoälyn koulutusmenetelmästä. Kaksi mallia oppii samasta kuvasta. Opettajamallille annetaan lisävihjeitä, kuten pienempi versio, josta piilotettu teksti on helpompi tunnistaa, sekä oikea vastaus. Sen ohjausta käytetään opiskelijamallin kouluttamiseen, ja lopulta mallin on tunnistettava teksti ilman näitä vihjeitä.  Lähde

SQUINT-niminen menetelmä hyödyntää tiedon tislausta, jossa yhden tekoälymallin oppima tieto siirretään koulutuksen aikana toiselle mallille. Tässä tapauksessa opiskelijamalli opetetaan tuottamaan opettajamallin ennusteet vertailemalla niiden vastauksia matemaattisesti. Kun koulutus on valmis, opettajamallista voidaan luopua, jolloin jäljelle jää yksi malli tutkimaan uusia kuvia ilman lisäapua.

SQUINTin kahdessa vaiheessa opiskelijamallin ennusteita verrataan ensin paremmin informoidun opettajamallin ennusteisiin, jolloin opiskelijamalli voi oppia eroista. Toisessa vaiheessa mallia kannustetaan kehittymään edelleen palkitsemalla piilotetun tekstin oikeista tulkinnoista.

Testeissä SQUINT tunnisti piilotettuja kirjaimia kuvista, joissa alkuperäinen tekoälymalli ei ollut enimmäkseen onnistunut, ja suoriutui paremmin myös useissa riippumattomissa vertailutesteissä. Piilotettu teksti voitiin usein havaita silloinkin, kun sitä ei pystytty lukemaan, ja tunnistaminen parani, kun huomio kohdistettiin kuvan kirjaimia muodostaviin osiin.

Tuloksia saatiin parannettua edelleen häivyttämällä hienoja yksityiskohtia ja tekstuureja, jolloin pohjalla olevat muodot oli helpompi erottaa:

Kolme testiä, joissa selvitetään, miksi piilotettu teksti luetaan väärin. Vasen: mallin huomion kohdistaminen kuvan oikeisiin alueisiin osoittaa, että kirjainten löytäminen on merkittävä haaste. Keskellä: hienojen visuaalisten yksityiskohtien poistaminen osoittaa, että tekstuuri voi peittää suuremmat kirjainmuodot. Oikea: pienennetyn näkymän lisääminen osoittaa, että kuvan pienentäminen auttaa mallia erottamaan visuaalisesti samankaltaiset merkit.

Data ja menetelmä

Pelkkä mallin kouluttaminen useammilla esimerkeillä tekoälyn optisista illuusioista ei osoittautunut riittäväksi, sillä tavanomaisessa koulutuksessa ei ole syytä tarkastella kuvaa eri mittakaavassa. Siksi SQUINTissä käytetään koulutuksen aikana pienennettyä versiota, jotta mallille voidaan opettaa, mitä visuaalista tietoa sen tulisi painottaa, kun se näkee täysikokoisen kuvan.

Tätä varten tarvittiin kaksi aineistoa. SquintBench koostuu 1 076 kuvasta, jotka on valikoitu (määrittelemättömästä) tuotantokäytössä olevasta sisällön moderointiputkesta. Kirjoittajien mukaan kaikki kuvat ovat peräisin todellisesta tuotantodatasta: ne näyttävät olevan käyttäjäprofiilikuvia, joissa on piilotettua tekstiä. Ihmiset pystyvät lukemaan tekstin lähes vaivatta, ja ihmiskoodaajat ovat litteroineet sekä näkyvän että piilotetun tekstin.

Toinen aineisto, SquintCtrl, sisältää piilotettua tekstiä, joka on upotettu generoituun kuvamateriaaliin QR Code Monster v2:lla, joka toimii jo kunnioitettavan iäkkään Stable Diffusion 1.5 -mallin pohjalta (jota tietokonenäön tutkijat eivät ilmeisesti suostu luovuttamaan, vaikka joutuisivat sen kylmistä, kuolleista käsistä riistämään). Koska kunkin kuvan luomiseen käytetty teksti oli tiedossa etukäteen, sen tarkka sijainti voitiin määrittää automaattisesti. Näin tunnistusvirheitä voitiin tutkia ilman ihmiskoodaajien apua.

SquintCtrl jaettiin neljään osajoukkoon: SquintCtrl-Pair sisältää 500 paria, joissa toisessa kuvassa on piilotettua tekstiä ja toisessa ei, ja sen avulla testataan, pystyykö malli havaitsemaan tekstin; SquintCtrl-Glyph-osajoukossa testataan, pystyykö mallin avulla tunnistamaan ja paikantamaan yksittäisiä kiinalaisia ja latinalaisia merkkejä; SquintCtrl-Strength-osajoukossa piilotetun tekstin voimakkuutta vaihdellaan 200 kuvassa; ja SquintCtrl-Read-osajoukko sisältää 200 avoimen sanaston kuvaa täydellisen litteroinnin testaamiseen.

Testit

Diagnostiset kokeet tehtiin Qwen3.5-9B-mallilla, jonka painot pidettiin ennallaan, jotta nähtäisiin, mitä olemassa oleva malli jo pystyi havaitsemaan.

Ensimmäisessä koulutusvaiheessa Squint OPSD hyödyntää paremmin informoitua opettajamallia opiskelijamallin ohjaamiseen. Opettajamalli saa alkuperäisen kuvan, pienennetyn version ja oikean litteroinnin, kun taas opiskelijamalli näkee vain alkuperäisen kuvan. Mallien ennusteita verrataan tämän jälkeen merkki merkiltä, jolloin opiskelijamalli voi oppia opettajamallilta mutta pystyy silti toimimaan pelkän alkuperäisen kuvan perusteella.

Koulutus tehtiin 5 905 kehotteella, joihin sisältyi 3 489 synteettistä piilotettua tekstiä sisältävää kuvaa, 1 213 OCR-näytettä ja 1 203 visuaalista kysymys-vastausnäytettä. Tärkeimpänä arviointiaineistona käytettiin SquintBench-aineistoa, ja siirtokykyä mitattiin aineistoilla Illusory VQA; AdvOCR ja HC-Bench. Näön ja kielen laajempaa suorituskykyä testattiin aineistoilla AI2D; DocVQA ja OCRBench.

Vertailua varten testattiin alkuperäistä esikoulutettua mallia, versiota, jolle annettiin lisäksi pienennetty näkymä, ohjattua hienosäätöä (SFT) sekä DAPO-menetelmää. Ulkoisina vertailukohtina arvioitiin myös malleja Claude Opus 5; Gemini 3.1 Pro; GPT-6 Astra ja Qwen3-VL-235B-Thinking.

Testitulokset, joissa Squint OPSD:tä verrataan perustason menetelmiin. Squint OPSD saavuttaa parhaan SquintBench-tuloksen, 88.61, ja säilyttää samalla huomattavasti enemmän yleistä näön ja kielen suorituskykyä kuin ohjattu hienosäätö.

Yllä olevasta tulostaulukosta käy ilmi, että Squint OPSD nosti SquintBench-pistemäärän alkuperäisen mallin 26.50:stä 88.61:een. Se päihitti kaikki kolme koulutuksen vertailumenetelmää ja säilytti samalla suurelta osin suorituskykynsä yleisissä näön ja kielen testeissä.

Seuraavassa testissä Squint OPSD:tä arvioitiin kolmella ulkoisella piilotekstin vertailuaineistolla:

Squint OPSD:n tuloksia verrattiin viiteen muuhun malliin SquintBenchissä ja kolmella ulkoisella piilotekstin vertailuaineistolla. Squint OPSD suoriutui parhaiten jokaisessa testissä, kun malleille annettiin kokonaiset, muokkaamattomat kuvat. Illusory VQA:ssa pienempi sanavirheprosentti tarkoittaa parempaa suoritusta.

Pisteet nousivat AdvOCR:ssä 3,7:stä 66,7:ään ja HC-Benchissä 1,8:sta 44,6:een, kun taas Illusory VQA:n sanavirheprosentti laski 178,10:stä 67,00:aan. Myös huomattavasti suuremmat Qwen3-VL-235B-Thinking ja GPT-6 Astra saivat alkuperäisillä SquintBench-kuvilla heikot tulokset: niiden pisteet olivat vastaavasti 24,44 ja 8,33.

Koulutuksen jälkeen kuvissa piilotettujen yksittäisten merkkien väliset erot erottuivat mallin sisäisissä esityksissä huomattavasti selvemmin. Kiinalaisten merkkien identiteetin esittymistä kuvaava mitta nousi 0,718:sta 0,975:een, kun taas latinalaisten merkkien vastaava pistemäärä kasvoi 0,612:sta 0,779:ään.

Testejä siitä, miten mallin tapa käsitellä piilotettuja merkkejä muuttui koulutuksen jälkeen. Vasemmalla mallin ennusteet ja huomio keskittyvät yhä enemmän kuvan alueisiin, joista piilotetut merkit muodostuvat; kun näitä alueita häiritään, tarkkuus heikkenee. Oikealla mallin vaihtoehtoiset merkkiarviot järjestyvät yhä selvemmin visuaalisen samankaltaisuuden mukaan, mutta niissä säilyy myös kieleen perustuva tieto.

Huomio kohdistui aiempaa enemmän myös kuvan osiin, jotka todella muodostivat piilotetut kirjaimet. Kun näiden alueiden sisäistä esitystä häirittiin tarkoituksella, tarkkuus laski 90,5 prosentista 71,5 prosenttiin. Sen sijaan vastaavan kokoisen, satunnaisesti valitun tausta-alueiden joukon häiritseminen ei juuri muuttanut tulosta. Tämä osoittaa, että piilotettu teksti luettiin asiaankuuluvista visuaalisista rakenteista.

Yhteenveto

Ehkä tässä uudessa tutkimuksessa näkyy eräänlainen ”fraktaalinen likinäköisyys”, joka toistuu muillakin tekoälyn aloilla. Useimmat huipputason LLM- ja VLM-malleihin perehtyneet käyttäjät tunnistavat lukuisat tilanteet, joissa mallit keskittyvät helposti johonkin pieneen tekstin, kuvan tai videon tuottamisen osa-alueeseen pohtimatta laajemmin, miten nämä muutokset saattavat vaikuttaa kokonaisuuteen.

Monissa tapauksissa ongelma liittyy tekoälyn epätäydelliseen muistiin ja sen vasta kehittymässä olevaan kykyyn tiivistää omaa muistiaan pitkäkestoisia ja yleensä agenttimaisia tehtäviä varten. Joskus kuitenkin, kuten tässä tapauksessa, käy ilmi, että oletusarvoisissa koulutuskäytännöissä on parantamisen varaa ja niihin on puututtava erikseen. Kysymys kuuluu, missä määrin meidän pitäisi ottaa tällaisista tapauksista opiksi ja harkita perustason koulutuskäytäntöjen muuttamista – ja milloin prosessia voidaan pitää liian ”erikoistuneena” ja rajallisena mihinkään muuhun kuin kolmannen osapuolen menetelmään, kuten LoRAan.

Julkaistu ensimmäisen kerran tiistaina 10. marraskuuta 2026