AI leren lezen wat mensen wel kunnen zien

Een van de AI-hypes die ongeveer 2-3 jaar geleden opvlamden en alweer vrij snel uitdoofden, was het gebruik van Vision-Language Models (VLM’s) om cryptische tekst en ‘latente afbeeldingen’ te verwerken in ogenschijnlijk onschuldige gegenereerde afbeeldingen:

Optische illusies en trompe-l’oeileffecten kenmerken de output van ControlNet QR Code Monster. Bron

Het is een soort trompe-l’oeil-effect op aanvraag, dat vooral bekendheid verwierf dankzij het opensourceframework QR Code Monster ControlNet.

Als genoeg mensen dit eenmaal in actie hebben gezien, zijn er eigenlijk weinig andere toepassingen voor deze techniek dan haar te gebruiken als een vorm van praktische cryptografie, waarmee je tekst kunt versturen die niet wordt onderschept of geïnterpreteerd door VLM’s of systemen voor optische tekenherkenning (OCR) – en waarmee je half-subliminale boodschappen kunt overbrengen:

Begrijp je de boodschap? Zo niet, scroll dan omlaag voor het antwoord. Een bekend voorbeeld van een door AI gegenereerde optische illusie, die verwijst (net als de hoofdillustratie bij dit artikel) naar een meme uit John Carpenters sciencefictionfilm ‘They Live’ uit 1988. Daarin ontdekt een man dat de wereld vol subliminale boodschappen zit, afkomstig van een verborgen buitenaards ras. Bron

Werken zoals de studie Haat in het volle zicht uit 2025 en het onderzoek van vorige maand, Verborgen in het volle zicht, maken duidelijk welke mogelijkheden deze methode biedt om haatdragende ideeën te verspreiden en, meer in het algemeen, als methode voor steganografie.

Daarom wordt deze techniek in de vakliteratuur inmiddels vooral beschouwd als een potentieel kwaadaardige techniek, en niet als een grappige memegenerator.

Een nadere blik

Een van de uitdagingen bij het onderscheppen van zulke indringers – laten we ze AI-optische illusies noemen, omdat er geen vaste benaming lijkt te zijn ontstaan – is ervoor zorgen dat multimodale AI-modellen door de bomen het bos zien. Wanneer we onze ogen samenknijpen of een AI-optische illusie sterk verkleinen, worden de grotere kenmerken van de subliminale tekst voor ons goed zichtbaar:

Omdat een diffusiemodel tijdens het trainen geleidelijk van globale ‘schetsen’ naar het weergeven van fijne details gaat (een beetje zoals de rest van de…uil afmaken), zouden VLM’s patronen van dit soort behoorlijk goed moeten kunnen herkennen. Recent onderzoek wijst er echter op dat dit in werkelijkheid niet het geval is:

In het onderzoek ‘SemVink’ uit 2025 bleek dat zelfs een verder capabel, geavanceerd VLM de subliminale tekst in AI-optische illusies niet kon ontcijferen. Bron

Een recent artikel uit China beschrijft echter een nieuw raamwerk dat VLM’s zou kunnen helpen AI-optische illusies te herkennen.

Bij de nieuwe aanpak, waarvan de code is vrijgegeven, leert een AI-model van een ander model. Daarbij krijgt het beide een verkleinde versie van de afbeelding en de juiste transcriptie te zien. De onderzoekers melden dat verborgen boodschappen hierdoor rechtstreeks uit de oorspronkelijke afbeeldingen kunnen worden gelezen, met aanzienlijk hogere herkenningsscores dan bij conventionele trainingsmethoden:

Schema van de voorgestelde AI-trainingsmethode. Twee modellen leren van dezelfde afbeelding. De leraar krijgt extra aanwijzingen, waaronder een kleinere versie waarin de verborgen tekst gemakkelijker te herkennen is, en het juiste antwoord. De student wordt getraind met behulp van de aanwijzingen van de leraar en moet de tekst uiteindelijk zonder die aanwijzingen kunnen herkennen.  Bron

De methode, SQUINT genaamd, maakt gebruik van kennisdestillatie: informatie die het ene AI-model heeft geleerd, wordt tijdens het trainen doorgegeven aan een ander model. In dit geval wordt de student getraind om de voorspellingen van de leraar na te bootsen, waarbij hun antwoorden wiskundig met elkaar worden vergeleken. Zodra de training is voltooid, kan de leraar worden verwijderd, zodat één model overblijft dat nieuwe afbeeldingen zonder extra hulp kan onderzoeken.

In de twee fasen van SQUINT worden de voorspellingen van de student eerst vergeleken met die van de beter geïnformeerde docent, zodat de student van de verschillen kan leren. In de tweede fase worden verdere verbeteringen gestimuleerd door correcte lezingen van verborgen tekst te belonen.

In tests herkende SQUINT verborgen letters in afbeeldingen waarin het oorspronkelijke AI-model grotendeels had gefaald. Ook presteerde het beter op verschillende onafhankelijke benchmarks. Er werd vastgesteld dat verborgen tekst vaak kon worden gedetecteerd zelfs wanneer die niet kon worden gelezen. De herkenning verbeterde wanneer de aandacht werd gericht op de delen van de afbeelding waaruit de letters waren gevormd.

Verdere verbeteringen werden bereikt door fijne details en texturen te onderdrukken, waardoor de onderliggende vormen gemakkelijker te onderscheiden waren:

Drie tests naar de redenen waarom verborgen tekst verkeerd wordt gelezen. Links: door het model naar de juiste delen van de afbeelding te leiden, blijkt dat het vinden van de letters een grote hindernis is. Midden: het verwijderen van fijne visuele details laat zien dat textuur de grotere lettervormen kan verhullen. Rechts: een verkleinde weergave toevoegen laat zien dat het verkleinen van de afbeelding het model helpt visueel vergelijkbare tekens van elkaar te onderscheiden.

Gegevens en methode

Alleen meer voorbeelden van AI-optische illusies aan een model laten zien, bleek niet voldoende, omdat conventionele training geen aanleiding geeft om de afbeelding op een andere schaal te bekijken. Daarom wordt tijdens de training in SQUINT een verkleinde versie gebruikt om het model te leren welke visuele informatie prioriteit moet krijgen wanneer het de afbeelding op volledige grootte te zien krijgt.

Hiervoor waren twee datasets nodig. SquintBench bestaat uit 1.076 afbeeldingen die zijn geselecteerd uit een (niet nader gespecificeerde) productiepijplijn voor contentmoderatie. Volgens de auteurs zijn ze allemaal afkomstig uit echte productiegegevens. Het gaat kennelijk om profielfoto’s waarop verborgen tekst staat die mensen vrijwel moeiteloos kunnen lezen; menselijke annotatoren hebben zowel de zichtbare als de verborgen tekst uitgeschreven.

De tweede dataset, SquintCtrl, bevat verborgen tekst die in gegenereerde scènes is verwerkt met QR Code Monster v2, draaiend op het inmiddels eerbiedwaardige Stable Diffusion 1.5 (dat kennelijk alleen met geweld uit de koude, dode handen van computer vision-onderzoekers kan worden losgewrikt). Omdat de tekst waarmee elke afbeelding werd gegenereerd vooraf bekend was, kon de exacte locatie automatisch worden vastgesteld. Daardoor konden herkenningsfouten worden onderzocht zonder menselijke annotatie.

SquintCtrl werd verdeeld in vier deelverzamelingen: SquintCtrl-Pair gebruikt 500 gematchte paren, met en zonder verborgen tekst, om te testen of de aanwezigheid ervan kon worden gedetecteerd; SquintCtrl-Glyph testte of afzonderlijke Chinese en Latijnse tekens konden worden geïdentificeerd en gelokaliseerd; SquintCtrl-Strength varieerde de sterkte van de verborgen tekst in 200 scènes; en SquintCtrl-Read bevatte 200 afbeeldingen met een open woordenschat om volledige transcriptie te testen.

Tests

Diagnostische experimenten werden uitgevoerd met Qwen3.5-9B. De gewichten van het model bleven ongewijzigd, zodat zichtbaar werd wat het bestaande model al kon waarnemen.

In de eerste trainingsfase, Squint OPSD, begeleidt de beter geïnformeerde docent de student. De docent krijgt de oorspronkelijke afbeelding, een verkleinde versie en de juiste transcriptie te zien, terwijl de student alleen de oorspronkelijke afbeelding ziet. Vervolgens worden hun voorspellingen token voor token vergeleken, zodat de student van de docent kan leren en tegelijk met alleen de oorspronkelijke afbeelding kan blijven werken.

De training werd uitgevoerd met 5.905 prompts, bestaande uit 3.489 synthetische afbeeldingen met verborgen tekst, 1.213 OCR-voorbeelden en 1.203 voorbeelden voor visuele vraagbeantwoording. SquintBench werd gebruikt als belangrijkste evaluatieset, terwijl de overdraagbaarheid werd gemeten op Illusory VQA; AdvOCR; en HC-Bench. De bredere prestaties op visueel-talige taken werden getest op AI2D; DocVQA; en OCRBench.

Ter vergelijking werd het oorspronkelijke, vooraf getrainde model getest naast een versie die een extra verkleinde weergave kreeg, een versie met gesuperviseerde finetuning (SFT) en DAPO. Ook werden Claude Opus 5; Gemini 3.1 Pro; GPT-6 Astra; en Qwen3-VL-235B-Thinking als externe referenties geëvalueerd.

Testresultaten waarin Squint OPSD wordt vergeleken met de basismethoden. Squint OPSD behaalt de hoogste score op SquintBench, namelijk 88,61, en behoudt daarbij aanzienlijk meer algemene visueel-talige prestaties dan gesuperviseerde finetuning.

Zoals te zien is in de bovenstaande resultatentabel, verhoogde Squint OPSD de SquintBench-score van 26,50 voor het oorspronkelijke model naar 88,61. Daarmee presteerde het beter dan alle drie de trainingsbaselines, terwijl de prestaties op de algemene visueel-talige tests grotendeels behouden bleven.

In de volgende test werd Squint OPSD geëvalueerd op drie externe benchmarks voor verborgen tekst:

Testresultaten van Squint OPSD en vijf andere modellen op SquintBench en drie externe benchmarks voor verborgen tekst. Squint OPSD presteerde in elke test het best wanneer de modellen de volledige, ongewijzigde afbeeldingen kregen. Voor Illusory VQA geldt: hoe lager het woordfoutpercentage, hoe beter de prestaties.

De scores stegen van 3.7 naar 66.7 op AdvOCR en van 1.8 naar 44.6 op HC-Bench, terwijl het woordfoutpercentage op Illusory VQA daalde van 178.10 naar 67.00. Ook het veel grotere Qwen3-VL-235B-Thinking en GPT-6 Astra behaalden slechte resultaten op de oorspronkelijke SquintBench-afbeeldingen, met scores van respectievelijk 24.44 en 8.33.

Na de training waren de interne onderscheidingen tussen de afzonderlijke tekens die in een afbeelding verborgen waren veel duidelijker. Voor Chinese tekens steeg de maatstaf voor hoe duidelijk de identiteit van een teken werd weergegeven van 0.718 naar 0.975, terwijl de overeenkomstige score voor Latijnse tekens toenam van 0.612 naar 0.779.

Tests van de veranderingen in de manier waarop het model verborgen tekens verwerkte na de training. Links is te zien dat de voorspellingen en aandacht van het model zich sterker richten op de afbeeldingsgebieden die de verborgen tekens vormen; de nauwkeurigheid daalt wanneer die gebieden worden verstoord. Rechts is te zien dat de alternatieve tekenvoorspellingen van het model sterker worden geordend op basis van visuele gelijkenis, terwijl taalkundige informatie behouden blijft.

Er ging ook meer aandacht uit naar de delen van een afbeelding die daadwerkelijk de verborgen letters vormden. Toen de interne representatie van deze gebieden in het model opzettelijk werd verstoord, daalde de nauwkeurigheid van 90.5% naar 71.5%. Ter vergelijking: het verstoren van een gelijk aantal willekeurig gekozen achtergrondgebieden had vrijwel geen effect. Dit wijst erop dat de verborgen tekst werd gelezen aan de hand van de relevante visuele structuren.

Conclusie

Misschien is er in dit nieuwe onderzoek sprake van een vorm van ‘fractale bijziendheid’ die zich ook in andere AI-domeinen voordoet. Veel gebruikers die bekend zijn met de meest geavanceerde LLM’s en VLM’s zullen herkennen hoe vaak deze de neiging hebben zich te concentreren op een klein stukje tekst of op een klein detail in beeld- of videogeneratie, zonder breder stil te staan bij de gevolgen van die veranderingen voor het grotere geheel.

In veel gevallen hangt het probleem samen met het onvolmaakte geheugen van de AI (en het nog prille vermogen om het eigen geheugen samen te vatten, voor langere en doorgaans agentische taken). Soms blijkt echter, zoals in dit geval, dat de standaardtrainingsmethoden tekortschieten en specifiek moeten worden aangepakt. De vraag is in hoeverre we van zulke gevallen moeten leren en moeten overwegen de basistrainingsmethoden aan te passen… en wanneer het proces te ‘gespecialiseerd’ en marginaal kan worden geacht voor alles behalve een aanpak van derden, zoals LoRA.

Voor het eerst gepubliceerd op dinsdag 10 november 2026