Apprendre à l’IA à lire le texte caché que les humains peuvent voir

L’une des modes liées à l’IA qui a connu un bref essor il y a environ 2 à 3 ans avant de retomber rapidement consistait à utiliser des modèles vision-langage (VLM) pour intégrer du texte énigmatique et des « images latentes » dans des images générées d’apparence tout à fait anodine :

Les illusions d’optique et les effets de trompe-l’œil caractérisent le résultat obtenu avec le ControlNet QR Code Monster. Source

Il s’agit d’un effet de trompe-l’œil à la demande, qui a connu son apogée avec le framework open source QR Code Monster ControlNet.

Une fois que suffisamment de personnes ont vu cette technique à l’œuvre, il ne reste guère d’autre possibilité que de l’utiliser comme une forme de cryptographie pratique, permettant d’envoyer des textes qui ne seront ni interceptés ni interprétés par les VLM ou les systèmes de reconnaissance optique de caractères (OCR), ainsi que de procéder à la transmission de messages semi-subliminaux :

Vous voyez le message ? Sinon, faites défiler la page pour découvrir la réponse. Exemple bien connu d’illusion d’optique générée par l’IA, faisant référence — comme l’illustre principale de cet article — à un mème tiré du film de science-fiction de 1988 de John Carpenter, « They Live », dans lequel un homme découvre que le monde est rempli de messages subliminaux provenant d’une race extraterrestre dissimulée. Source

Des travaux tels que l’étude de 2025 La haine en pleine vue, ainsi que Caché à la vue de tous, publié le mois dernier, montrent clairement le potentiel de cette méthode pour diffuser des opinions haineuses et, plus généralement, pour pratiquer la stéganographie.

Par conséquent, la littérature la considère désormais principalement comme une technique potentiellement malveillante plutôt que comme un générateur de mèmes amusants.

Examen approfondi

L’une des difficultés que pose l’interception de telles incursions — appelons-les illusions optiques de l’IA, puisqu’aucun nom uniforme ne semble s’être imposé — consiste à amener les modèles d’IA multimodaux à « voir la forêt plutôt que les arbres », pour ainsi dire. Si nous plissons les yeux ou réduisons une illusion optique de l’IA à une très petite taille, les caractéristiques générales du texte subliminal deviennent faciles à discerner pour nous :

Étant donné que l’entraînement progressif des modèles de diffusion fait passer l’IA de concepts perçus comme de simples « ébauches » à la capacité de rendre des détails intenses — un peu comme terminer le reste de la… chouette —, les VLM devraient être plutôt doués pour discerner ce type de motifs. Pourtant, des recherches récentes suggèrent que ce n’est pas vraiment le cas :

La publication SemVink de 2025 a montré qu’un VLM de pointe, pourtant capable par ailleurs, ne parvenait pas à déchiffrer le texte subliminal dans les illusions optiques de l’IA. Source

Cependant, un article récent publié en Chine propose un nouveau cadre susceptible d’aider les VLM à reconnaître les illusions optiques de l’IA.

La nouvelle approche, dont le code a été publié, repose sur une méthode d’entraînement dans laquelle un modèle d’IA apprend d’un autre modèle, à partir d’une version réduite de l’image et de la transcription correcte. Les chercheurs indiquent que cette méthode permet de lire les messages cachés directement sur les images d’origine, avec des scores de reconnaissance nettement supérieurs à ceux obtenus par les méthodes d’entraînement classiques :

Schéma de la méthode d’entraînement de l’IA proposée. Deux modèles sont représentés en train d’apprendre à partir de la même image. Le modèle enseignant reçoit des indices supplémentaires, notamment une version réduite qui facilite la reconnaissance du texte dissimulé, ainsi que la réponse correcte. Ses indications servent à entraîner le modèle élève, qui doit finir par reconnaître le texte sans ces indices.  Source

La méthode, appelée SQUINT, s’appuie sur la distillation des connaissances, qui consiste à transmettre à un autre modèle, pendant l’entraînement, les informations apprises par un modèle d’IA. Dans ce cas, le modèle élève est entraîné à reproduire les prédictions du modèle enseignant, en comparant mathématiquement leurs réponses. Une fois l’entraînement terminé, le modèle enseignant peut être supprimé ; il ne reste alors qu’un seul modèle pour examiner de nouvelles images sans aide supplémentaire.

Au cours des deux étapes de SQUINT, les prédictions de l’élève sont d’abord comparées à celles de l’enseignant, mieux informé, afin de lui permettre d’apprendre de leurs différences. Lors de la deuxième étape, les progrès sont encouragés en récompensant les lectures correctes du texte caché.

Lors des tests, SQUINT a reconnu des inscriptions cachées dans des images qui avaient largement mis en échec le modèle d’IA d’origine. Il a également obtenu de meilleurs résultats sur plusieurs bancs d’essai indépendants. Il s’est avéré que le texte caché pouvait souvent être détecté même lorsqu’il ne pouvait pas être lu, et que la reconnaissance s’améliorait lorsque l’attention était dirigée vers les parties de l’image qui formaient les lettres.

D’autres améliorations ont été obtenues en supprimant les détails fins et les textures, ce qui permet de distinguer plus facilement les formes sous-jacentes :

Trois tests visant à déterminer pourquoi le texte caché est mal lu. À gauche : diriger le modèle vers les bonnes zones de l’image montre que repérer les lettres constitue un obstacle majeur. Au centre : supprimer les détails visuels fins montre que la texture peut masquer les formes plus grandes des lettres. À droite : ajouter une vue réduite montre que réduire l’image aide le modèle à distinguer des caractères visuellement similaires.

Données et méthode

Il s’est avéré que présenter simplement davantage d’exemples d’illusions d’optique à un modèle d’IA ne suffisait pas, car l’entraînement conventionnel ne donne aucune raison au modèle d’examiner l’image à une autre échelle. SQUINT utilise donc une version réduite de l’image pendant l’entraînement afin d’apprendre au modèle quelles informations visuelles privilégier lorsqu’il reçoit l’image en pleine résolution.

Pour cela, deux jeux de données étaient nécessaires ; SquintBench se compose de 1 076 images sélectionnées à partir d’un pipeline de modération de contenus en production (non précisé) — toutes issues, rapportent les auteurs, de données réelles de production. Il s’agit apparemment de photos de profil de personnes contenant du texte caché, que les humains peuvent lire presque sans effort, le texte visible comme le texte caché ayant été transcrits par des annotateurs humains.

Le deuxième jeu de données, SquintCtrl, contient du texte caché intégré à des scènes générées avec QR Code Monster v2, exécuté sur le désormais vénérable Stable Diffusion 1.5 (qui, apparemment, devra être arraché aux chercheurs en vision par ordinateur de leurs mains froides et mortes). Comme le texte utilisé pour générer chaque image était connu à l’avance, son emplacement exact pouvait être identifié automatiquement, ce qui permettait d’examiner les échecs de reconnaissance sans annotation humaine.

SquintCtrl a été divisé en quatre sous-ensembles : SquintCtrl-Pair utilise 500 paires appariées, avec et sans texte caché, pour tester si sa présence pouvait être détectée ; SquintCtrl-Glyph a évalué si des caractères chinois et latins individuels pouvaient être identifiés et localisés ; SquintCtrl-Strength a fait varier la force du texte caché dans 200 scènes ; et SquintCtrl-Read a fourni 200 images à vocabulaire ouvert pour tester la transcription intégrale.

Tests

Des expériences de diagnostic ont été menées avec Qwen3.5-9B, dont les poids ont été laissés inchangés afin de révéler ce que le modèle existant pouvait déjà percevoir.

La première étape d’entraînement, Squint OPSD, utilise l’enseignant, mieux informé, pour guider l’élève. L’enseignant reçoit l’image d’origine, une version réduite et la transcription correcte, tandis que l’élève ne voit que l’image d’origine. Leurs prédictions sont ensuite comparées, jeton par jeton, ce qui permet à l’élève d’apprendre de l’enseignant tout en restant capable de travailler uniquement à partir de l’image d’origine.

L’entraînement a été effectué sur 5 905 invites, comprenant 3 489 images synthétiques avec du texte caché, 1 213 échantillons de reconnaissance optique de caractères (OCR) et 1 203 échantillons de questions-réponses visuelles. SquintBench a servi de principal jeu d’évaluation, tandis que le transfert a été mesuré sur Illusory VQA, AdvOCR et HC-Bench. Les performances générales en vision-langage ont été évaluées sur AI2D, DocVQA et OCRBench.

À titre de comparaison, le modèle préentraîné d’origine a été testé, ainsi qu’une version à laquelle une vue réduite supplémentaire avait été fournie, un ajustement fin supervisé (SFT) et DAPO. Les références externes évaluées comprenaient également Claude Opus 5, Gemini 3.1 Pro, GPT-6 Astra et Qwen3-VL-235B-Thinking.

Résultats des tests comparant Squint OPSD aux méthodes de référence. Squint OPSD obtient le meilleur score sur SquintBench, avec 88,61, tout en conservant des performances générales nettement supérieures en vision-langage à celles de l’ajustement fin supervisé.

Comme le montre le tableau des résultats ci-dessus, Squint OPSD a fait passer le score sur SquintBench de 26,50 pour le modèle d’origine à 88,61, surpassant les trois méthodes d’entraînement de référence tout en préservant dans une large mesure les performances aux tests généraux de vision-langage.

Lors du test suivant, Squint OPSD a été évalué sur trois jeux de référence externes portant sur le texte dissimulé :

Résultats des tests comparant Squint OPSD à cinq autres modèles sur SquintBench et trois jeux de référence externes portant sur le texte dissimulé. Squint OPSD a obtenu les meilleurs résultats à chaque test lorsque les modèles recevaient les images complètes, sans modification. Pour Illusory VQA, un taux d’erreur sur les mots plus faible indique de meilleures performances.

Les scores sont passés de 3.7 à 66.7 sur AdvOCR et de 1.8 à 44.6 sur HC-Bench, tandis que le taux d’erreur sur les mots d’Illusory VQA a chuté de 178.10 à 67.00. Qwen3-VL-235B-Thinking et GPT-6 Astra, pourtant beaucoup plus volumineux, ont également obtenu de mauvais résultats sur les images originales de SquintBench, avec des scores respectifs de 24.44 et 8.33.

Après l’entraînement, les distinctions internes entre les différents caractères dissimulés dans une image étaient nettement plus claires. Pour les caractères chinois, la mesure de la clarté avec laquelle l’identité des caractères était représentée est passée de 0.718 à 0.975, tandis que le score équivalent pour les caractères latins est passé de 0.612 à 0.779.

Tests portant sur l’évolution du traitement des caractères dissimulés par le modèle après l’entraînement. À gauche, on voit que les prédictions et l’attention du modèle se concentrent davantage sur les zones de l’image qui composent les caractères dissimulés, et que la précision diminue lorsque ces zones sont perturbées. À droite, les prédictions de caractères alternatifs du modèle s’organisent de plus en plus selon leur ressemblance visuelle, tout en conservant les informations linguistiques.

L’attention se portait également davantage sur les parties de l’image qui formaient réellement les lettres dissimulées. Lorsque la représentation interne de ces zones par le modèle a été délibérément perturbée, la précision est passée de 90.5% à 71.5%. En revanche, la perturbation d’un nombre équivalent de zones d’arrière-plan choisies au hasard n’a entraîné presque aucun changement, ce qui indique que le texte dissimulé était lu à partir des structures visuelles pertinentes.

Conclusion

Il existe peut-être une forme de « myopie fractale » dans ces nouveaux travaux, qui se répète dans d’autres domaines de l’IA. La plupart des utilisateurs familiers des LLM et VLM de pointe reconnaîtront les nombreuses situations où ceux-ci ont tendance à se concentrer sur une petite zone de texte ou sur un détail de la génération d’images ou de vidéos, sans prendre suffisamment en compte les conséquences que ces changements pourraient avoir sur l’ensemble.

Dans bien des cas, le problème sera lié à la mémoire imparfaite de l’IA (et à sa capacité encore embryonnaire à compacter sa propre mémoire, pour les tâches plus longues, généralement agentiques). Parfois, cependant, comme dans le cas présent, il s’avère que les pratiques d’entraînement par défaut laissent à désirer et doivent faire l’objet d’une attention particulière. La question est de savoir dans quelle mesure nous devrions tirer des enseignements de tels cas et envisager de revoir les pratiques d’entraînement de base… et à partir de quand le processus peut être considéré comme trop « spécialisé » et marginal pour justifier autre chose qu’une approche tierce telle que LoRA.

Première publication : mardi 10 novembre 2026