Enseñar a la IA a leer el texto oculto que los humanos pueden ver

Una de las modas de la IA que cobró fuerza y se apagó bastante rápido hace unos 2-3 años consistía en usar modelos de visión y lenguaje (VLM) para incrustar texto críptico e «imágenes latentes» en imágenes generadas aparentemente inocuas:

Las ilusiones ópticas y los efectos de trampantojo caracterizan los resultados de QR Code Monster ControlNet. Fuente

Es una especie de efecto de trampantojo a demanda, que alcanzó su máxima popularidad gracias al marco de código abierto QR Code Monster ControlNet.

Una vez que suficientes personas han visto esta técnica en acción, ya no queda mucho por hacer con ella, salvo usarla como una forma de criptografía práctica que permita enviar texto sin que lo intercepten ni lo interpreten los VLM o los sistemas de reconocimiento óptico de caracteres (OCR), así como para la transmisión de mensajes subliminales en cierto grado:

¿Entiendes el mensaje? Si no, desplázate hacia abajo para ver la respuesta. Un ejemplo muy conocido de ilusión óptica generada por IA, que alude —al igual que la ilustración principal de este artículo— a un meme de la película de ciencia ficción de 1988 de John Carpenter, «They Live», en la que un hombre descubre que el mundo está lleno de mensajes subliminales de una raza alienígena infiltrada. Fuente

Trabajos como el estudio de 2025 Odio a plena vista y el artículo del mes pasado Oculto a plena vista dejan claro el potencial de este método para difundir ideas de odio y, en general, como técnica de esteganografía.

Por consiguiente, en la literatura ahora se considera principalmente una técnica potencialmente maliciosa, más que un divertido generador de memes.

Un análisis más profundo

Uno de los retos para interceptar estas incursiones —llamémoslas ilusiones ópticas de IA, ya que no parece haberse establecido un nombre uniforme— consiste en lograr que los modelos multimodales de IA vean el bosque y no solo los árboles, por así decirlo. Cuando entrecerramos los ojos o reducimos mucho una ilusión óptica de IA, los rasgos generales del texto subliminal se vuelven fáciles de distinguir para nosotros:

Dado que el entrenamiento de los modelos de difusión lleva gradualmente a la IA desde la percepción de conceptos como «bocetos rudimentarios» hasta la capacidad de representar detalles intensos —algo así como terminar de dibujar el…búho—, los VLM deberían ser bastante buenos para distinguir patrones de este tipo. Sin embargo, investigaciones recientes sugieren que en realidad no es así:

El trabajo de 2025 «SemVink» descubrió que un VLM de vanguardia, pese a ser competente en otros aspectos, no podía descifrar el texto subliminal de las ilusiones ópticas de IA. Fuente

Sin embargo, un artículo reciente de China propone un nuevo marco que podría ayudar a los VLM a reconocer las ilusiones ópticas de IA.

El nuevo enfoque, cuyo código ya se ha publicado, emplea un método de entrenamiento en el que un modelo de IA aprende de otro, al que se le proporcionan tanto una versión reducida de la imagen como la transcripción correcta. Los investigadores afirman que esto permite leer mensajes ocultos directamente en las imágenes originales, con puntuaciones de reconocimiento sustancialmente superiores a las de los métodos de entrenamiento convencionales:

Esquema del método de entrenamiento de IA propuesto. Se muestran dos modelos que aprenden de la misma imagen. El modelo docente recibe pistas adicionales, incluida una versión más pequeña que facilita reconocer el texto oculto, además de la respuesta correcta. Su orientación se utiliza para entrenar al modelo estudiante, que finalmente debe reconocer el texto sin esas pistas.  Fuente

El método, denominado SQUINT, aprovecha la destilación de conocimiento, en la que la información aprendida por un modelo de IA se transfiere a otro durante el entrenamiento. En este caso, el modelo estudiante se entrena para reproducir las predicciones del modelo docente mediante una comparación matemática de sus respuestas. Una vez finalizado el entrenamiento, se puede descartar el modelo docente y dejar un único modelo que examine nuevas imágenes sin ayuda adicional.

En las dos etapas de SQUINT, primero se comparan las predicciones del estudiante con las del docente, que cuenta con más información, para que el estudiante aprenda de las diferencias. En la segunda etapa, se fomenta que siga mejorando al recompensar las lecturas correctas del texto oculto.

En las pruebas, SQUINT reconoció letras ocultas en imágenes que habían derrotado en gran medida al modelo de IA original y también obtuvo mejores resultados en varios bancos de pruebas independientes. Se descubrió que a menudo era posible detectar el texto oculto incluso cuando no se podía leer, y que el reconocimiento mejoraba al dirigir la atención hacia las partes de la imagen que formaban las letras.

Se obtuvieron nuevas mejoras al suprimir los detalles y las texturas finos, lo que facilitó distinguir las formas subyacentes:

Tres pruebas que investigan por qué se lee mal el texto oculto. Izquierda: dirigir el modelo hacia las regiones correctas de la imagen muestra que encontrar las letras supone un obstáculo importante. Centro: eliminar los detalles visuales finos muestra que la textura puede ocultar las formas más grandes de las letras. Derecha: añadir una vista reducida muestra que disminuir el tamaño de la imagen ayuda al modelo a distinguir caracteres visualmente similares.

Datos y método

Se descubrió que exponer un modelo a más ejemplos de AI Opticals no bastaba, ya que el entrenamiento convencional no ofrece motivos para considerar la imagen a otra escala. Por ello, SQUINT utiliza una versión reducida durante el entrenamiento para enseñar al modelo qué información visual debe priorizar cuando se encuentra con la imagen a tamaño completo.

Para ello, se necesitaron dos conjuntos de datos. SquintBench consta de 1,076 imágenes seleccionadas de una cadena de moderación de contenido de producción (no especificada): según informan los autores, todas proceden de datos reales de producción y, al parecer, son fotos de perfil de personas que contienen texto oculto que estas pueden leer casi sin esfuerzo. Anotadores humanos transcribieron tanto el texto visible como el oculto.

El segundo conjunto de datos, SquintCtrl, contiene texto oculto integrado en escenas generadas mediante QR Code Monster v2, que funciona con la ya venerable Stable Diffusion 1.5 (que, al parecer, los investigadores de visión artificial tendrían que arrancar de las manos frías y muertas de alguien). Como se conocía de antemano el texto utilizado para generar cada imagen, era posible identificar automáticamente su ubicación exacta y analizar los errores de reconocimiento sin anotación humana.

SquintCtrl se dividió en cuatro subconjuntos: SquintCtrl-Pair utiliza 500 pares emparejados, con texto oculto y sin él, para comprobar si se podía detectar su presencia; SquintCtrl-Glyph evaluó si era posible identificar y localizar caracteres chinos y latinos individuales; SquintCtrl-Strength varió la intensidad del texto oculto en 200 escenas; y SquintCtrl-Read ofreció 200 imágenes de vocabulario abierto para probar la transcripción completa.

Pruebas

Se realizaron experimentos de diagnóstico con Qwen3.5-9B, cuyos pesos se mantuvieron sin cambios para revelar qué podía percibir ya el modelo existente.

La primera etapa del entrenamiento, Squint OPSD, utiliza al docente, que cuenta con más información, para guiar al estudiante. El docente recibe la imagen original, una versión reducida y la transcripción correcta, mientras que el estudiante solo ve la imagen original. Después se comparan sus predicciones token por token, lo que permite al estudiante aprender del docente sin dejar de poder trabajar únicamente con la imagen original.

El entrenamiento se llevó a cabo con 5,905 indicaciones, que incluían 3,489 imágenes sintéticas con texto oculto, 1,213 muestras de OCR y 1,203 muestras de respuesta visual a preguntas. SquintBench se utilizó como principal conjunto de evaluación, mientras que la transferencia se midió en VQA ilusorio; AdvOCR; y HC-Bench. El rendimiento más amplio en visión y lenguaje se evaluó en AI2D; DocVQA; y OCRBench.

A modo de comparación, se evaluó el modelo preentrenado original junto con una versión a la que se añadió una vista reducida, el ajuste fino supervisado (SFT) y DAPO. También se evaluaron como referencias externas Claude Opus 5; Gemini 3.1 Pro; GPT-6 Astra; y Qwen3-VL-235B-Thinking.

Resultados de las pruebas que comparan Squint OPSD con los métodos de referencia. Squint OPSD obtiene la puntuación más alta en SquintBench, con 88.61, y conserva mucho más rendimiento general en visión y lenguaje que el ajuste fino supervisado.

Como muestran los resultados de la tabla anterior, Squint OPSD elevó la puntuación de SquintBench de 26.50 en el modelo original a 88.61, superando a los tres métodos de referencia de entrenamiento y conservando en gran medida el rendimiento en las pruebas generales de visión y lenguaje.

En la siguiente prueba, Squint OPSD se evaluó en tres pruebas de referencia externas de texto oculto:

Resultados de las pruebas que comparan Squint OPSD con otros cinco modelos en SquintBench y en tres pruebas de referencia externas de texto oculto. Squint OPSD obtuvo el mejor rendimiento en todas las pruebas cuando se proporcionaron a los modelos las imágenes completas, sin modificar. En Illusory VQA, una menor tasa de error de palabras indica un mejor rendimiento.

Las puntuaciones aumentaron de 3.7 a 66.7 en AdvOCR y de 1.8 a 44.6 en HC-Bench, mientras que la tasa de error de palabras en Illusory VQA bajó de 178.10 a 67.00. Qwen3-VL-235B-Thinking y GPT-6 Astra, mucho más grandes, también obtuvieron malos resultados en las imágenes originales de SquintBench, con puntuaciones de 24.44 y 8.33, respectivamente.

Tras el entrenamiento, se observaron distinciones internas mucho más claras entre los caracteres individuales ocultos en una imagen. En el caso de los caracteres chinos, la medida de la claridad con que se representaba la identidad del carácter aumentó de 0.718 a 0.975, mientras que la puntuación equivalente para los caracteres latinos pasó de 0.612 a 0.779.

Pruebas sobre cómo cambió, después del entrenamiento, la manera en que el modelo procesa los caracteres ocultos. A la izquierda, se muestra que las predicciones y la atención del modelo se concentran cada vez más en las regiones de la imagen que forman los caracteres ocultos, y que la precisión disminuye cuando esas regiones se alteran. A la derecha, se muestra que las predicciones alternativas de caracteres del modelo se organizan cada vez más según el parecido visual, sin dejar de conservar información lingüística.

También se prestó más atención a las partes de la imagen que realmente formaban las letras ocultas. Cuando se alteró deliberadamente la representación interna que el modelo tenía de esas regiones, la precisión cayó del 90.5% al 71.5%. En cambio, alterar un número equivalente de regiones del fondo elegidas al azar apenas produjo cambios, lo que indica que el texto oculto se estaba leyendo a partir de las estructuras visuales pertinentes.

Conclusión

Quizá en este nuevo trabajo se manifieste una especie de «miopía fractal» que también se repite en otros ámbitos de la IA. Muchos usuarios familiarizados con los LLM y VLM de vanguardia reconocerán las numerosas ocasiones en que estos tienden a concentrarse en una pequeña zona del texto o en un detalle de la generación de imágenes o videos, sin considerar de manera más amplia cómo esos cambios podrían afectar al panorama general.

En muchos casos, el problema estará relacionado con la memoria imperfecta de la IA y con su capacidad aún incipiente para compactar su propia memoria, en tareas más largas y, por lo general, agénticas. Sin embargo, a veces, como en este caso, resulta que las prácticas de entrenamiento predeterminadas dejan que desear y que es necesario abordarlas de manera específica. La cuestión es hasta qué punto deberíamos aprender de estos casos y plantearnos revisar las prácticas básicas de entrenamiento… y cuándo puede considerarse que el proceso es demasiado «especializado» y marginal como para justificar algo más que un enfoque de terceros, como LoRA.

Publicado originalmente el martes, 10 de noviembre de 2026