Å lære AI å lese den skjulte teksten mennesker kan se

En av AI-trendene som blusset opp og ebbet ut ganske raskt for 2–3 år siden, var å bruke Vision-Language Models (VLM-er) til å bygge inn kryptisk tekst og «latente bilder» i tilsynelatende harmløse, genererte bilder:

Optiske illusjoner og trompe-l’œil-effekter kjennetegner resultatene fra QR Code Monster ControlNet. Kilde

Det er en slags trompe-l’œil-effekt på bestilling, og den ble særlig kjent gjennom rammeverket QR Code Monster ControlNet med åpen kildekode.

Når mange nok har sett teknikken i bruk, er det egentlig ikke så mye annet å gjøre med den enn å bruke den som en form for praktisk kryptografi, slik at man kan sende tekst uten at den blir fanget opp eller tolket av VLM-er eller systemer for optisk tegngjenkjenning (OCR) – og overføre halvt subliminale budskap:

Får du med deg budskapet? Hvis ikke, bla nedover for å få svaret. Et velkjent eksempel på en AI-generert optisk illusjon, som (i likhet med hovedillustrasjonen i denne artikkelen) viser til en meme fra John Carpenters science fiction-film «They Live» fra 1988. I filmen oppdager en mann at verden er full av subliminale budskap fra en fremmed rase som har infiltrert samfunnet. Kilde

Arbeider som studien «Hat i full offentlighet» fra 2025 og «Skjult rett foran øynene» fra forrige måned viser potensialet denne metoden har for å spre hatefulle holdninger, og mer generelt som en metode for steganografi.

I faglitteraturen betraktes teknikken derfor nå først og fremst som potensielt ondsinnet, snarere enn som en morsom memegenerator.

Et dypere blikk

En av utfordringene med å fange opp slike inntrengninger – la oss kalle dem AI-optiske illusjoner, siden det ikke ser ut til å ha etablert seg noe entydig navn – er å få multimodale AI-modeller til å «se skogen for bare trær», så å si. Når vi kniper øynene sammen eller gjør en AI-optisk illusjon svært liten, blir de overordnede trekkene ved den subliminale teksten lette å få øye på for oss:

Siden diffusjonsmodeller gradvis lærer AI-en å gå fra å oppfatte konsepter som «grove skisser» til å kunne gjengi fine detaljer (litt som å gjøre ferdig resten av … ugla), bør VLM-er være ganske gode til å oppdage slike mønstre. Nyere forskning tyder imidlertid på at dette faktisk ikke er tilfelle:

Studien «SemVink» fra 2025 viste at en ellers kapabel, ledende VLM ikke klarte å tyde den subliminale teksten i AI-optiske illusjoner. Kilde

En nyere artikkel fra Kina presenterer imidlertid et nytt rammeverk som kan hjelpe VLM-er med å gjenkjenne AI-optiske illusjoner.

Den nye tilnærmingen, der koden er gjort tilgjengelig, bruker en treningsmetode der én AI-modell lærer av en annen. Modellen får både en nedskalert versjon av bildet og den korrekte avskriften. Forskerne rapporterer at dette gjør det mulig å lese skjulte budskap direkte fra originalbildene, med gjenkjenningsresultater som er betydelig bedre enn med konvensjonelle treningsmetoder:

Diagram over den foreslåtte treningsmetoden for AI. To modeller vises mens de lærer fra det samme bildet. Lærermodellen får ekstra ledetråder, blant annet en mindre versjon som gjør den skjulte teksten lettere å kjenne igjen, samt det korrekte svaret. Veiledningen fra lærermodellen brukes til å trene elevmodellen, som etter hvert må kunne gjenkjenne teksten uten disse ledetrådene.  Kilde

Metoden, som har fått navnet SQUINT, benytter kunnskapsdestillasjon, der informasjon én AI-modell har lært, overføres til en annen under treningen. I dette tilfellet trenes elevmodellen til å gjenskape lærermodellens prediksjoner ved hjelp av en matematisk sammenligning av svarene deres. Når treningen er fullført, kan lærermodellen forkastes, slik at én enkelt modell står igjen for å undersøke nye bilder uten ekstra hjelp.

I de to trinnene i SQUINT sammenlignes først studentens prediksjoner med prediksjonene fra den bedre informerte læreren, slik at studenten kan lære av forskjellene. I det andre trinnet fremmes ytterligere forbedringer ved å belønne korrekt lesing av skjult tekst.

I tester gjenkjente SQUINT skjulte bokstaver i bilder som i stor grad hadde slått den opprinnelige AI-modellen, og presterte også bedre på flere uavhengige referansetester. Det viste seg at skjult tekst ofte kunne oppdages selv når den ikke kunne leses, og at gjenkjenningen ble bedre når oppmerksomheten ble rettet mot delene av bildet som dannet bokstavene.

Ytterligere forbedringer ble oppnådd ved å undertrykke fine detaljer og teksturer, slik at de underliggende formene ble lettere å skille fra hverandre:

Tre tester som undersøker hvorfor skjult tekst blir feiltolket. Til venstre viser det å rette modellen mot de riktige områdene i bildet at det er en stor utfordring å finne bokstavene. I midten viser fjerning av fine visuelle detaljer at tekstur kan skjule de større bokstavformene. Til høyre viser et nedskalert bilde at det å redusere bildestørrelsen hjelper modellen med å skille mellom tegn som ligner visuelt.

Data og metode

Det viste seg at det ikke var nok å eksponere en modell for flere eksempler på AI-optiske illusjoner, ettersom konvensjonell trening ikke gir modellen noen grunn til å betrakte bildet i en annen skala. I SQUINT brukes derfor en nedskalert versjon under treningen for å lære modellen hvilken visuell informasjon som bør prioriteres når den møter bildet i full størrelse.

For å få dette til var det nødvendig med to datasett; SquintBench består av 1 076 bilder som er kuratert fra en (uspesifisert) produksjonsarbeidsflyt for innholdsmoderering – ifølge forfatterne er alle hentet fra reelle produksjonsdata og tilsynelatende menneskers profilbilder med skjult tekst som folk kan lese nesten uten anstrengelse. Menneskelige annotatører transkriberte både synlig og skjult tekst.

Det andre datasettet, SquintCtrl, inneholder skjult tekst som er lagt inn i genererte scener ved hjelp av QR Code Monster v2, som kjører under den nå ærverdige Stable Diffusion 1.5 (som tilsynelatende må rives ut av de kalde, døde hendene til forskere innen datasyn). Siden teksten som ble brukt til å generere hvert bilde, var kjent på forhånd, kunne den nøyaktige plasseringen identifiseres automatisk. Dermed kunne feil i gjenkjenningen undersøkes uten menneskelig annotering.

SquintCtrl ble delt inn i fire delsett: SquintCtrl-Pair bruker 500 matchede bildepar, med og uten skjult tekst, for å teste om tekstens tilstedeværelse kunne oppdages; SquintCtrl-Glyph testet om enkelte kinesiske og latinske tegn kunne identifiseres og lokaliseres; SquintCtrl-Strength varierte styrken på den skjulte teksten i 200 scener; og SquintCtrl-Read inneholdt 200 bilder med åpent vokabular for testing av fullstendig transkripsjon.

Tester

Diagnostiske eksperimenter ble utført med Qwen3.5-9B, der vektene ble holdt uendret for å avdekke hva den eksisterende modellen allerede kunne oppfatte.

I det første treningstrinnet, Squint OPSD, veileder den bedre informerte læreren studenten. Læreren får det opprinnelige bildet, en nedskalert versjon og den korrekte transkripsjonen, mens studenten bare ser det opprinnelige bildet. Deretter sammenlignes prediksjonene deres token for token, slik at studenten kan lære av læreren og samtidig fortsatt kunne arbeide ut fra det opprinnelige bildet alene.

Treningen ble gjennomført på 5 905 ledetekster, bestående av 3 489 syntetiske bilder med skjult tekst, 1 213 OCR-eksempler og 1 203 eksempler på visuell spørsmålsbesvarelse. SquintBench ble brukt som det viktigste evalueringssettet, mens overførbarhet ble målt på Illusory VQA, AdvOCR og HC-Bench. Ytelsen på bredere syns- og språkoppgaver ble testet på AI2D, DocVQA og OCRBench.

Til sammenligning ble den opprinnelige, forhåndstrente modellen testet side om side med en versjon som fikk et ekstra nedskalert bilde, veiledet finjustering (SFT) og DAPO. Som eksterne referanser ble også Claude Opus 5, Gemini 3.1 Pro, GPT-6 Astra og Qwen3-VL-235B-Thinking evaluert.

Testresultater som sammenligner Squint OPSD med basismetodene. Squint OPSD oppnår den høyeste poengsummen på SquintBench, med 88.61, samtidig som modellen beholder betydelig mer av den generelle ytelsen på syns- og språkoppgaver enn ved veiledet finjustering.

Som tabellen med resultater ovenfor viser, økte Squint OPSD poengsummen på SquintBench fra 26.50 for den opprinnelige modellen til 88.61. Modellen presterte bedre enn alle de tre treningsbaselinene, samtidig som den i stor grad bevarte ytelsen på de generelle testene av syns- og språkoppgaver.

I den neste testen ble Squint OPSD evaluert på tre eksterne referansetester for skjult tekst:

Testresultater som sammenligner Squint OPSD med fem andre modeller på SquintBench og tre eksterne referansetester for skjult tekst. Squint OPSD presterte best i alle testene når modellene fikk se de fullstendige, uendrede bildene. For Illusory VQA tyder lavere ordfeilrate på bedre ytelse.

Resultatene økte fra 3.7 til 66.7 på AdvOCR og fra 1.8 til 44.6 på HC-Bench, mens ordfeilraten på Illusory VQA falt fra 178.10 til 67.00. Også de langt større modellene Qwen3-VL-235B-Thinking og GPT-6 Astra oppnådde svake resultater på de opprinnelige SquintBench-bildene, med poengsummer på henholdsvis 24.44 og 8.33.

Etter treningen ble det observert langt tydeligere interne skiller mellom de enkelte tegnene som var skjult i et bilde. For kinesiske tegn økte målet på hvor tydelig tegnidentiteten var representert, fra 0.718 til 0.975, mens den tilsvarende poengsummen for latinske tegn økte fra 0.612 til 0.779.

Tester av hvordan modellens håndtering av skjulte tegn endret seg etter treningen. Til venstre vises det hvordan modellens prediksjoner og oppmerksomhet i økende grad konsentreres om bildeområdene som danner de skjulte tegnene, og hvordan nøyaktigheten faller når disse områdene forstyrres. Til høyre vises det hvordan modellens alternative tegnprediksjoner i økende grad organiseres etter visuell likhet, samtidig som språkbasert informasjon bevares.

Større oppmerksomhet ble også rettet mot de delene av et bilde som faktisk dannet de skjulte bokstavene. Da modellens interne representasjon av disse områdene med hensikt ble forstyrret, falt nøyaktigheten fra 90.5% til 71.5%. Til sammenligning førte forstyrrelser i et tilsvarende antall tilfeldig valgte bakgrunnsområder til nesten ingen endring. Dette tyder på at den skjulte teksten ble lest ut fra de relevante visuelle strukturene.

Konklusjon

Kanskje finnes det en form for «fraktal nærsynthet» i dette nye arbeidet, som gjentar seg på tvers av andre KI-områder. De fleste brukere som kjenner til de mest avanserte LLM-ene og VLM-ene, vil kjenne igjen de mange tilfellene der modellene har en tendens til å konsentrere seg om et lite utsnitt av tekst, bilde- eller videogenerering, uten å ta bredere hensyn til hvordan disse endringene kan påvirke helheten.

I mange tilfeller henger problemet sammen med KI-ens ufullkomne hukommelse (og dens fortsatt gryende evne til å komprimere sin egen hukommelse, for lengre oppgaver som vanligvis utføres av agenter). Noen ganger viser det seg imidlertid, som i dette tilfellet, at standardpraksisen for trening ikke er god nok og må håndteres særskilt. Spørsmålet er i hvilken grad vi bør lære av slike tilfeller og vurdere å revidere grunnleggende treningspraksis … og når prosessen kan anses som for «spesialisert» og marginal til å være noe annet enn en tredjepartstilnærming som LoRA.

Først publisert tirsdag 10. november 2026