Incluso los modelos de lenguaje líderes son propensos a la transcripción ‘interpretativa’

Nueva investigación de Amazon encuentra que cuanto más inteligente es el modelo, más probable es que se vuelva ‘creativo’ cuando se le pide que realice Reconocimiento Óptico de Caracteres.

El Reconocimiento Óptico de Caracteres (OCR) se considera un problema en gran medida resuelto. Si se escanea algún texto o se presenta una foto del texto al sistema OCR, realiza una elaborada individuación de cada letra, haciendo la mejor suposición que puede en una base por letra:

Arriba a la izquierda, la zonificación de los loci característicos en una letra identificada segmentada (fuente); imagen principal: resultado de segmentación para un repositorio institucional (Fuente).

El OCR interpreta los caracteres individualmente; esos caracteres, en una proximidad lo suficientemente cercana, pueden o no constituir palabras u otros constructos lingüísticos. El OCR no se preocupa; para cuando surgen esos problemas, ya ha terminado y ha pasado a la siguiente tarea, porque la revisión ortográfica no está dentro de su ámbito.

Uno de los sistemas OCR más populares es el venerable Tesseract, un intérprete estrictamente algorítmico, ampliamente utilizado en una variedad de aplicaciones y flujos de trabajo de código abierto. Con una amplia gama de complementos OCR algorítmicos ‘planos’ disponibles en todos los sistemas operativos, la capacidad de convertir texto de imagen en texto editable ha alcanzado el estatus de una commodity gratuita; aunque ningún sistema está exento de defectos o debilidades.

Además, para mantenerse relevantes, las organizaciones y los productos comerciales que tradicionalmente compiten en el espacio algorítmico OCR han adaptado sus sistemas heredados a sistemas de gestión de documentos asistidos por IA. Sin embargo, la tecnología básica, que produce grupos estimados de letras segmentadas e identificadas, permanece sin cambios.

Palabra

Junto con una creciente cantidad de tareas, el OCR se está manejando cada vez más con la nueva generación de Modelos de Lenguaje de Visión (VLM); confrontado con texto no editable o rasterizado, versiones agénticas de estos últimos sistemas pueden leer y transliterar hábilmente según sea necesario.

Sin embargo, según un nuevo artículo de investigación de Amazon.com, aquellos que creen que la IA replicará exactamente la misma función que el OCR pueden llevarse una sorpresa: el nuevo estudio ha encontrado que su modelo de lenguaje favorito es probable que ‘haga el trabajo extra’ en la transcripción, ya sea que lo desee o no; excediendo el contexto por letra en contexto por palabra – y corrigiendo cualquier ‘error’ que encuentre, de maneras que podrían tener consecuencias indeseables para áreas como la legal, médica e histórica.

Los autores afirman:

‘Los Modelos de Lenguaje de Visión (VLM) se utilizan cada vez más en lugar de las tuberías OCR tradicionales para la comprensión de documentos.

‘[Mostramos] que no siempre actúan como transcritores fieles: cuando el texto es imperfecto, a menudo tienden a reescribirlo en una forma más plausible – un comportamiento que las pruebas de OCR de texto limpio no pueden detectar.’

Los autores presentan un nuevo conjunto de datos curados y una referencia titulada FaithC4, que probaron en una selección de 15 modelos de código abierto y de código cerrado, incluyendo versiones de ChatGPT y Google Gemini.

Encontraron que los modelos de IA de propósito general eran mucho más propensos que los sistemas OCR tradicionales a reemplazar palabras imperfectas con palabras más ‘plausibles’, a veces reescribiendo casi el 65% de las palabras desordenadas, mientras que los errores locales pequeños también causaban errores en otros lugares del texto que de otro modo era preciso.

Las palabras cortas eran especialmente vulnerables, y las instrucciones explícitas no de hacer correcciones redujeron el problema, aunque no lo eliminaron.

El artículo establece*:

‘Aunque el comportamiento de reescritura puede ser beneficioso para recuperar algunos errores genuinos, puede ser problemático para algunos dominios que pueden requerir transcripción literal, como documentos legales, registros médicos y manuscritos históricos.

‘A pesar de su importancia, este comportamiento de reescritura ha sido en gran medida pasado por alto en la investigación de VLM. Las pruebas de OCR existentes se centran en el reconocimiento de texto limpio y, por lo tanto, son insuficientes para investigar cómo los modelos pueden manejar entradas imperfectas.’

El mensaje central es que los sistemas de IA más avanzados luchan por no corregir errores que las plataformas OCR algorítmicas pueden configurar fácilmente para entregar ‘crudo’; en muchos casos, la interpretación humana es esencial para resolver el problema; pero si ya se ha aplicado una ‘corrección’ incorrecta, el problema tenderá a pasar desapercibido para la mayoría de los sistemas de verificación.

El nuevo artículo se titula ¿Leen o reescriben los VLM? Sobre la fidelidad de la transcripción en los Modelos de Lenguaje de Visión, y proviene de cinco investigadores de Amazon.com.

Datos y método

Para poblar su conjunto de datos de referencia, los autores se basaron en el Corpus de Crawled Cleaned Colossal – también conocido como C4 – una colección de web raspada a gran escala de 2020. De este corpus, se seleccionaron 1.455 documentos de una sola página en inglés, chino y coreano, con cada pasaje con un tamaño para caber en una página renderizada.

La referencia final contenía 500 documentos en inglés, 500 documentos en chino y 455 documentos en coreano, proporcionando un banco de pruebas multilingüe para medir si los sistemas de IA copiaban el texto fielmente o de alguna manera lo reescribían.

Para probar si los modelos de IA copiarían fielmente lo que veían, se introdujeron errores controlados en los documentos antes de que se renderizaran como imágenes, con alrededor del 8% de las palabras elegibles alteradas, cada una con al menos cuatro caracteres. Se utilizaron versiones no tocadas de estos como verdad fundamental.

Se aplicaron tres variantes de perturbación: desordenar barajó las letras internas de las palabras mientras preservaba las primeras y últimas letras; aleatorio reemplazó cada carácter con un carácter alternativo aleatorio del mismo sistema de escritura; y visual sustituyó caracteres visualmente similares que permanecían plausibles para el ojo, mientras cambiaba el texto subyacente.

La variante china omitió la condición de desorden porque su sistema de escritura carece de palabras delimitadas por espacios, en su lugar, se utilizaron ventanas de cuatro caracteres fijas para las otras perturbaciones; además, la longitud media de palabra más corta del coreano significó que menos palabras calificaban para la modificación.

Cada documento se renderizó como una página de PDF y se pasó a los sistemas de transcripción en competencia.

Pruebas

Las pruebas para el estudio cubrieron tanto modelos de propósito general de código cerrado, como GPT-5.4-mini; Gemini-3-Flash; y Gemini-2.5-Flash; y modelos de código abierto, que comprenden los modelos de propósito general Qwen3.5-4B; Qwen3-VL-4B; InternVL3.5-4B; Gemma4-E4B; y Gemma4-E2B.

Además, se incluyeron modelos OCR especializados, que comprenden olmOCR-2-7B; DeepSeek-OCR-2; MinerU2.5-Pro; PaddleOCR-VL-1.5; y LightOnOCR-2-1B. Finalmente, también se probaron los motores OCR tradicionales Tesseract y docTR.

Los tres grupos confían en el lenguaje en diferentes grados: los modelos de IA de propósito general se basan en gran medida en el conocimiento lingüístico general adquirido durante el preentrenamiento; los modelos OCR especializados colocan un mayor énfasis en la transcripción fiel de documentos a través del entrenamiento específico de la tarea; y los sistemas OCR tradicionales confían en el reconocimiento de caracteres, en lugar de la inferencia lingüística.

Se adoptaron dos métricas, comenzando con Tasa de error de palabra (WER), la métrica OCR estándar para determinar cuántas palabras completas transcribió incorrectamente un sistema. En lugar de simplemente contar caracteres incorrectos, WER registra sustituciones, eliminaciones y inserciones en relación con el texto original, lo que lo hace sensible tanto a palabras incorrectas como a palabras que han sido omitidas o agregadas.

Para el chino, donde las palabras no están separadas por espacios, se aplicó el mismo enfoque a nivel de carácter, como Tasa de error de carácter (CER).

Para capturar errores más sutiles, también se utilizó la métrica Similitud de distancia de edición (EDS). EDS compara el texto predicho con el original a nivel de carácter y, a diferencia de WER, puede distinguir entre una palabra que es completamente incorrecta y una que difiere solo en uno o dos caracteres. Naturalmente, esto lo hace útil para detectar errores cercanos, así como reescrituras parciales que de otro modo podrían parecer similares.

Como se muestra en el gráfico a continuación, los sistemas OCR tradicionales resultaron ser los más resistentes a los tres tipos de perturbación, con poca pérdida de precisión porque reconocen principalmente caracteres individuales en lugar de intentar inferir palabras del contexto:

Cambios en la tasa de error de palabra (izquierda) y similitud de distancia de edición (derecha) en inglés, chino y coreano después de aplicar los tres métodos de perturbación de texto. Los sistemas OCR tradicionales mostraron la menor degradación del rendimiento en general, los modelos OCR especializados ocuparon el medio, mientras que los modelos de IA de propósito general se vieron más afectados por el texto corrupto. Fuente

Los modelos OCR especializados ocuparon el medio; MinerU y LightOn permanecieron relativamente robustos; y olmOCR y DeepSeek-OCR mostraron una mayor sensibilidad al texto corrupto, lo que indica que el entrenamiento específico de la tarea redujo, pero no eliminó, la tendencia a reinterpretar lo que se estaba leyendo.

Los modelos de IA de propósito general obtuvieron los peores resultados en general, exhibiendo el mayor aumento en los errores de transcripción cuando se enfrentaron a texto perturbado. La mayoría sufrieron una degradación sustancialmente mayor que los modelos OCR especializados o los sistemas OCR tradicionales; aunque Gemini-3-Flash se destacó como una excepción notable, que se desempeñó mucho más como un sistema OCR convencional.

En general, la clasificación se ajustó estrechamente al grado en que cada modelo confía en el conocimiento lingüístico, con priores lingüísticos más fuertes que corresponden a una mayor tendencia a reescribir en lugar de simplemente transcribir el texto.

Un desglose de los tipos de errores, que se muestra en la tabla a continuación, indica que los sistemas OCR tradicionales produjeron principalmente errores de transcripción convencionales, como sustituciones, inserciones y eliminaciones:

Resultados de la prueba de perturbación ‘Desorden’ en inglés, que muestra cómo cada sistema de transcripción distribuyó sus errores en reescrituras exactas, transcripciones cercanas (‘Cercanas’), errores de transcripción más sustanciales (‘Moderados’) y salidas completamente incorrectas (‘Incorrectas’). Los modelos están ordenados por su tasa de reescritura de palabras corruptas.

Por el contrario, los modelos de IA de propósito general fueron mucho más propensos a reemplazar palabras corruptas con alternativas plausibles mientras preservaban la oración circundante, lo que proporciona una fuerte evidencia de que no estaban simplemente malinterpretando el texto dañado, sino que estaban activamente reescribiéndolo utilizando el contexto lingüístico.

El estudio también encontró que los errores de transcripción no se limitaron a las palabras corruptas:

Resultados del análisis de propagación de errores, que muestra las tasas de error por palabra en palabras perturbadas y no perturbadas después de cada tipo de perturbación. Alterar alrededor del 4,7% de las palabras causó que los errores de transcripción se extendieran a texto no modificado en muchos modelos.

Como se muestra en la tabla de resultados anterior y en el gráfico a continuación, alterar alrededor del 4,7% de las palabras en un documento en inglés aumentó sustancialmente las tasas de error en el texto no modificado que lo rodea:

Más resultados del análisis de propagación de errores, que muestra el aumento en los errores de transcripción en palabras perturbadas y no perturbadas después de cada tipo de perturbación. Los modelos de IA de propósito general exhibieron la mayor amplificación de errores, con errores que a menudo se extendían más allá de las palabras originalmente corruptas.

Los modelos de IA de propósito general se vieron más afectados, con tasas de error en palabras no tocadas que aumentaron hasta diez veces más que la tasa base. Por el contrario, los sistemas OCR tradicionales mostraron solo aumentos modestos. Los modelos que reescribieron la mayor proporción de palabras corruptas también exhibieron la propagación de errores más fuerte, lo que sugiere que ambos comportamientos se deben a la misma confianza subyacente en el contexto lingüístico.

En la práctica, esto significa que una pequeña cantidad de texto dañado puede comprometer la precisión de un documento que de otro modo es intacto, lo que hace que las puntuaciones de las pruebas de OCR limpio sean una guía poco confiable para la fidelidad de la transcripción en el mundo real.

Finalmente, los autores también examinaron si la longitud de la palabra influía en el comportamiento de reescritura, encontrando que las palabras más cortas eran sustancialmente más vulnerables que las más largas.

Debido a que contienen menos pistas visuales, las palabras breves parecen animar a los VLM a confiar más en el conocimiento lingüístico contextual – lo que aumenta la probabilidad de que el texto dañado sea reemplazado silenciosamente por una alternativa plausible, en lugar de ser transcrito literalmente (lo que podría causar una alerta útil para la supervisión humana).

Los autores también encontraron que, aunque instruir explícitamente a los modelos no a corregir errores redujo esta tendencia, no la eliminó. Esto parecería indicar que la transcripción interpretativa es una característica inherente de los VLM actuales, en lugar de un comportamiento que se pueda suprimir de manera confiable a través de la instrucción sola.

Los autores concluyen:

‘Para aplicaciones que requieren transcripción literal, como el procesamiento de documentos legales, la digitalización de manuscritos históricos y la forensia, los sistemas OCR tradicionales o los VLM OCR especializados seleccionados cuidadosamente siguen siendo la opción más segura, mientras que los VLM de propósito general introducen una reescritura sistemática que las pruebas de texto limpio no capturan.’

Conclusión

Este estudio reitera lo que se está convirtiendo en un tema repetitivo en la literatura de LLM: que aunque los modelos de lenguaje entrenados son tremendamente poderosos, también son resistentes a las instrucciones críticas – en este caso Leer y analizar las letras que se encuentran en la imagen.

Los modelos más avanzados simplemente no pueden hacerlo, al parecer – como si consideraran que es un ‘trabajo de limpieza’, o de lo contrario estuvieran irracionalmente compelidos a concluir una ‘tarea a medias’.

* Mi conversión de las citas en línea de los autores a hipervínculos.

Publicado por primera vez el lunes, 27 de julio de 2026