Att lära AI att läsa den dolda text som människor kan se

En av AI-trenderna som blossade upp och klingade av ganska snabbt för 2–3 år sedan var att använda modeller för syn och språk (VLM) för att bädda in kryptisk text och ”latenta bilder” i till synes harmlösa AI-genererade bilder:

Optiska illusioner och trompe-l’œil-effekter kännetecknar resultatet från ControlNet-modellen QR Code Monster. Källa

Det är en sorts trompe-l’œil-effekt på beställning, som blev som mest uppmärksammad genom ramverket QR Code Monster ControlNet med öppen källkod.

När tillräckligt många har sett tekniken i praktiken finns det egentligen inte mycket mer att göra med den, förutom att använda den som en form av praktisk kryptografi. Då kan man skicka text som inte kommer att fångas upp eller tolkas av VLM:er eller system för optisk teckenigenkänning (OCR) – och överföra halvt subliminala budskap:

Uppfattar du budskapet? Om inte, bläddra ned för svaret. Ett välkänt exempel på en AI-genererad optisk illusion, som liksom artikelns huvudillustration anspelar på ett meme från John Carpenters science fiction-film ‘They Live’ från 1988. I filmen upptäcker en man att världen är full av subliminala budskap från en utomjordisk ras som har infiltrerat den. Källa

Studier som Hatet mitt i blickfånget från 2025 och Dolt i fullt dagsljus från förra månaden visar tydligt vilken potential metoden har för att sprida hatiska åsikter och, mer allmänt, för att användas till stenografi.

Därför betraktas tekniken numera i den vetenskapliga litteraturen främst som en potentiellt illvillig metod, snarare än som ett lustigt sätt att skapa memer.

En närmare titt

En av utmaningarna med att upptäcka sådana intrång – låt oss kalla dem AI-optiska illusioner, eftersom det inte verkar finnas någon vedertagen benämning – är att få multimodala AI-modeller att så att säga ”se skogen för alla träd”. När vi kisar eller förminskar en AI-optisk illusion till mycket liten storlek blir de övergripande dragen i den subliminala texten lätta för oss att urskilja:

Eftersom träningen av diffusionsmodeller stegvis för AI:n från att uppfatta koncept som ”grova skisser” till att kunna återge fina detaljer (ungefär som att måla klart resten av … ugglan), borde VLM:er vara ganska bra på att urskilja den här typen av mönster. Ny forskning tyder dock på att så faktiskt inte är fallet:

Studien ”SemVink” från 2025 visade att en i övrigt kapabel VLM i framkant inte kunde tolka den subliminala texten i AI-optiska illusioner. Källa

En nyligen publicerad forskningsartikel från Kina presenterar dock ett nytt ramverk som skulle kunna hjälpa VLM:er att känna igen AI-optiska illusioner.

Den nya metoden, vars kod har släppts, använder en träningsmetod där en AI-modell lär sig av en annan modell. Den senare får både en förminskad version av bilden och den korrekta transkriptionen. Forskarna uppger att detta gör det möjligt att läsa dolda budskap direkt från originalbilderna, med avsevärt högre igenkänningspoäng än med konventionella träningsmetoder:

Diagram över den föreslagna AI-träningsmetoden. Två modeller visas lära sig från samma bild. Lärarmodellen får extra ledtrådar, bland annat en mindre version som gör den dolda texten lättare att känna igen samt det korrekta svaret. Dess vägledning används för att träna elevmodellen, som till slut måste kunna känna igen texten utan dessa ledtrådar.  Källa

Metoden, som kallas SQUINT, bygger på kunskapsdestillering, där kunskap som en AI-modell har lärt sig överförs till en annan under träningen. I det här fallet tränas elevmodellen att återskapa lärarmodellens förutsägelser genom en matematisk jämförelse av deras svar. När träningen är klar kan lärarmodellen tas bort, så att en enda modell återstår för att analysera nya bilder utan extra hjälp.

I SQUINTs två steg jämförs först studentens förutsägelser med den bättre informerade lärarens, så att studenten kan lära sig av skillnaderna. I det andra steget uppmuntras ytterligare förbättringar genom att korrekta avläsningar av dold text belönas.

I tester kände SQUINT igen dolda bokstäver i bilder som i stort sett hade besegrat den ursprungliga AI-modellen, och presterade även bättre på flera oberoende riktmärken. Det visade sig ofta gå att upptäcka dold text även när den inte gick att läsa, och igenkänningen förbättrades när uppmärksamheten riktades mot de delar av bilden som formade bokstäverna.

Ytterligare förbättringar uppnåddes genom att undertrycka fina detaljer och texturer, vilket gjorde det lättare att urskilja de underliggande formerna:

Tre tester som undersöker varför dold text felläses. Vänster: När modellen riktas mot rätt områden i bilden blir det tydligt att det är ett stort hinder att hitta bokstäverna. Mitten: När fina visuella detaljer tas bort blir det tydligt att texturen kan skymma bokstävernas större former. Höger: När en nedskalad vy läggs till blir det tydligt att en förminskning av bilden hjälper modellen att skilja mellan tecken som ser likartade ut.

Data och metod

Det visade sig inte räcka att bara visa en modell fler exempel på AI-optiska illusioner, eftersom konventionell träning inte ger modellen någon anledning att betrakta bilden i en annan skala. Därför används en nedskalad version under träningen i SQUINT, för att lära modellen vilken visuell information den ska prioritera när den får se bilden i full storlek.

För detta behövdes två datamängder; SquintBench består av 1 076 bilder som valts ut från en produktionspipeline för innehållsmoderering (som inte specificeras) – alla hämtade från verkliga produktionsdata, rapporterar författarna. Det rör sig till synes om profilbilder med dold text som människor kan läsa nästan utan ansträngning. Både synlig och dold text transkriberades av mänskliga annoterare.

Den andra datamängden, SquintCtrl, innehåller dold text som bäddats in i genererade scener med QR Code Monster v2, som körs med den numera vördnadsvärda Stable Diffusion 1.5 (som tydligen måste slitas ur datorseendeforskarnas kalla, döda händer). Eftersom man i förväg kände till texten som användes för att generera varje bild gick det att automatiskt identifiera dess exakta placering, vilket gjorde det möjligt att undersöka igenkänningsfel utan mänsklig annotering.

SquintCtrl delades in i fyra delmängder: SquintCtrl-Pair använder 500 matchade bildpar, med respektive utan dold text, för att testa om textens närvaro kunde upptäckas; SquintCtrl-Glyph testade om enskilda kinesiska och latinska tecken kunde identifieras och lokaliseras; SquintCtrl-Strength varierade den dolda textens styrka i 200 scener; och SquintCtrl-Read innehöll 200 bilder med öppet ordförråd för att testa fullständig transkribering.

Tester

Diagnostiska experiment genomfördes med Qwen3.5-9B, vars vikter hölls oförändrade för att visa vad den befintliga modellen redan kunde uppfatta.

I det första träningssteget, Squint OPSD, vägleder den bättre informerade läraren studenten. Läraren får den ursprungliga bilden, en nedskalad version och den korrekta transkriberingen, medan studenten bara får se originalbilden. Därefter jämförs deras förutsägelser token för token, så att studenten kan lära sig av läraren och samtidigt behålla förmågan att arbeta enbart utifrån originalbilden.

Träningen genomfördes med 5 905 promptar, bestående av 3 489 syntetiska bilder med dold text, 1 213 OCR-exempel och 1 203 exempel på visuell frågebesvarande. SquintBench användes som det huvudsakliga utvärderingsdatasetet, medan överföring mättes med Illusory VQA; AdvOCR; och HC-Bench. Den bredare prestandan inom syn och språk testades med AI2D; DocVQA; och OCRBench.

Som jämförelse testades den ursprungliga förtränade modellen tillsammans med en version som fick en ytterligare nedskalad vy, övervakad finjustering (SFT) och DAPO. Även följande externa referensmodeller utvärderades: Claude Opus 5; Gemini 3.1 Pro; GPT-6 Astra; och Qwen3-VL-235B-Thinking.

Testresultat som jämför Squint OPSD med baslinjemetoderna. Squint OPSD får det högsta resultatet på SquintBench, 88.61, samtidigt som modellen behåller betydligt mer av sin generella prestanda inom syn och språk än vid övervakad finjustering.

Som framgår av resultattabellen ovan höjde Squint OPSD resultatet på SquintBench från 26.50 för den ursprungliga modellen till 88.61. Därmed överträffade metoden alla tre träningsbaslinjerna samtidigt som prestandan på de allmänna testerna av syn och språk i stort sett bevarades.

I nästa test utvärderades Squint OPSD på tre externa riktmärken för dold text:

Testresultat som jämför Squint OPSD med fem andra modeller på SquintBench och tre externa riktmärken för dold text. Squint OPSD presterade bäst i samtliga tester när modellerna fick se hela, oförändrade bilder. För Illusory VQA innebär lägre ordfelsfrekvens bättre prestanda.

Poängen steg från 3.7 till 66.7 på AdvOCR och från 1.8 till 44.6 på HC-Bench, medan ordfelsfrekvensen på Illusory VQA sjönk från 178.10 till 67.00. Även de betydligt större modellerna Qwen3-VL-235B-Thinking och GPT-6 Astra fick svaga resultat på de ursprungliga SquintBench-bilderna, med poängen 24.44 respektive 8.33.

Efter träningen observerades betydligt tydligare interna skillnader mellan de enskilda tecken som dolts i en bild. För kinesiska tecken steg måttet på hur tydligt teckenidentiteten representerades från 0.718 till 0.975, medan motsvarande poäng för latinska tecken ökade från 0.612 till 0.779.

Tester av hur modellens hantering av dolda tecken förändrades efter träningen. Till vänster visas hur modellens förutsägelser och uppmärksamhet i högre grad koncentreras till de bildområden som formar de dolda tecknen, samtidigt som träffsäkerheten sjunker när dessa områden störs. Till höger visas hur modellens alternativa teckenförutsägelser i högre grad ordnas efter visuell likhet, samtidigt som den behåller språkbaserad information.

Uppmärksamheten riktades också i högre grad mot de delar av bilden som faktiskt bildade de dolda bokstäverna. När modellens interna representation av dessa områden medvetet stördes sjönk träffsäkerheten från 90.5% till 71.5%. Jämförelsevis förändrades resultatet nästan inte alls när ett motsvarande antal slumpmässigt utvalda bakgrundsområden stördes, vilket visar att den dolda texten lästes utifrån relevanta visuella strukturer.

Slutsats

Kanske finns det en sorts ”fraktal närsynthet” i det här nya arbetet, som återkommer inom andra AI-områden. De flesta användare som känner till ledande LLM- och VLM-modeller känner igen de många tillfällen då de tenderar att koncentrera sig på ett litet område av text-, bild- eller videogenerering, utan att i ett större perspektiv beakta hur dessa förändringar kan påverka helheten.

I många fall hänger problemet samman med AI:ns bristfälliga minne (och dess ännu outvecklade förmåga att komprimera sitt eget minne för längre och vanligtvis agentbaserade uppgifter). Ibland visar det sig dock, som i det här fallet, att standardmetoderna för träning inte är tillräckliga och behöver ses över särskilt. Frågan är i vilken utsträckning vi bör dra lärdom av sådana fall och överväga att revidera grundläggande träningsmetoder … och när processen kan anses vara alltför ”specialiserad” och begränsad för att motivera något annat än en tredjepartslösning som LoRA.

Först publicerad tisdagen den 10 november 2026