Es crucial: los agentes empresariales no entienden el resaltado

En el mundo hay muchos documentos importantes en papel que no se han escaneado, especialmente en el ámbito empresarial. Se estima que solo se digitaliza el 1 % de los cuatro mil millones de documentos en papel que circulan cada año en el comercio mundial, por lo que el resto queda fuera de la capacidad analítica del aprendizaje automático.

Esto no es más que una estimación aproximada del problema en el sector empresarial; los gobiernos también producen una enorme cantidad de documentos impresos o encuadernados en papel, y este año los Archivos Nacionales de EE. UU. informaron que solo el 4,04 % de los documentos analógicos que conservan está digitalizado, y que aún quedan por digitalizar 11,97 mil millones.

Por tanto, no es un problema heredado, sino uno que sigue vigente, y confieso que yo también contribuyo a él:

Lo que tengo delante la mayoría de los días.

Cuando reviso documentos, los imprimo, porque requieren mucha interpretación humana, además de un resumen automático. Como tengo poco tiempo, hago grandes marcas sobre las secciones clave y las posibles citas, para que la estructura de los datos salte a la vista cuando llega el momento de escribir. Como no soy tan obsesivo como para usar resaltadores, indico el énfasis añadido con distintos símbolos, texto de mayor tamaño y otras señales de importancia muy personales.

Pero muchas personas, entre ellas muchas personas importantes que escriben cosas importantes, sí usan resaltadores de colores y distintos colores de texto para destacar información.

Winston Churchill usaba bolígrafos de distintos colores para destacar diferentes cosas. Aquí, mientras prepara su discurso de la «hora más gloriosa», parece usar el rojo como código de corrección. Fuente

Según el documento que aparece en la foto anterior (el que está sobre el atril negro), podría haber cientos de millones de documentos con una capa de este tipo de resaltado que los sistemas de ingesta de documentos como Docling no pueden detectar actualmente.

Estas marcas manuales son importantes, pues dan peso al texto de una manera que no necesariamente se refleja en la estructura del lenguaje. Por tanto, reducir el contenido de una página resaltada a mero texto mediante el reconocimiento óptico de caracteres (OCR) (o métodos más avanzados, como los VLM) no transmite toda la intención del autor e incluso puede tergiversar los propósitos e intenciones del documento.

Solo lo destacado

El nuevo artículo* concluye que los convertidores de documentos de uso generalizado suelen descartar el resaltado y los colores del texto, por lo que los agentes de IA no pueden identificar instrucciones importantes. De los 6.462 documentos normativos examinados en las pruebas del estudio, casi un tercio contenía texto o resaltado en rojo, y aproximadamente uno de cada diez usaba estas marcas para llamar la atención sobre requisitos importantes.

En cuanto a los agentes empresariales de ingesta de documentos, los autores^† afirman^††:

‘Los convertidores consolidados recuperan fielmente el texto, las tablas y la estructura, así que el flujo de trabajo parece funcionar bien.

‘Demostramos que todos pierden una capa: el significado que el autor codifica en la forma en que el texto se ve—y que esa pérdida hace que los agentes se equivoquen con total confianza en lugar de quedar visiblemente incompletos, un fallo más difícil de detectar durante la implementación.’

En la prueba de los autores, cuando se pidió a los modelos de IA que identificaran requisitos importantes en documentos normativos reales, su rendimiento fue mucho mejor cuando se conservaron los colores del texto y el resaltado originales. Este hallazgo se confirmó en seis modelos, entre ellos GPT-5.6 Terra, Claude Opus 5 y Claude Sonnet 5.

En la práctica, es posible extraer dos señales del resaltado: a) el hecho de que se haya resaltado algo y b) el color con el que se resaltó. Si se usaron varios colores para el resaltado manual, un criterio lógico sería codificar el rojo como algo negativo (como vimos antes en las correcciones que Winston Churchill hizo a sus propios discursos):

En la parte inferior de esta salida JSON del analizador de primera etapa de los autores, vemos que el flujo de trabajo ha detectado y codificado el resaltado rojo y, lógicamente, podemos comprobar que las palabras corresponden a ese nivel de intensidad codificado. Sin embargo, el método resulta más útil cuando se destaca información en palabras que, por sí solas, no intensifican demasiado el tono y cuando, por tanto, el resaltado añade un énfasis que faltaba. Fuente

Los autores sugieren que las canalizaciones existentes pueden resolver el problema con bastante facilidad si conservan los colores originales del texto y los resaltados durante la conversión de documentos, y añaden etiquetas que expliquen su importancia al modelo de IA. Aunque esto no requiere procesamiento adicional de IA, sí duplica aproximadamente la cantidad de tokens necesarios para representar cada documento:

‘Recuperar estas señales es un proceso determinista que solo requiere código y no cuesta llamadas al LLM; todo el efecto que aquí se informa se debe únicamente al análisis. Sí cuesta tokens —aproximadamente el doble que el texto sin formato—, por lo que supone un intercambio deliberado entre el presupuesto de contexto y la fidelidad factual, no una ventaja gratuita.’

La indiferencia ante la negrita

Un aspecto interesante del estudio es hasta qué punto los medios de énfasis habituales en los documentos digitales escritos parecen ser ineficaces debido a su uso excesivo^††:

‘Todo el efecto [i.e., of the new pipeline] se debe al resaltado [and] [colour]. La negrita, la cursiva, la fuente monoespaciada y el tachado no aportan nada [measurable], y sus intervalos de confianza incluyen el cero.’

‘No es que esas señales estén ausentes: un solo documento contiene más de mil marcas de negrita. El problema es que son demasiado comunes para aportar información.’

‘Un autor que pone en negrita todos los encabezados y términos definidos no destaca por ello ningún elemento en particular, mientras que colorear o resaltar un requisito es un acto deliberado y moderado. La clasificación de señales solo resulta útil cuando estas son lo bastante infrecuentes como para indicar una intención.’

Tareas y pruebas

Para establecer el sistema, los autores analizaron 6.462 documentos de políticas reales en formato .docx, procedentes de un corpus público no especificado, y buscaron texto rojo y resaltado sin hacer conjeturas basadas en la redacción. Después, pidieron a los modelos que identificaran los requisitos marcados como especialmente importantes y dejaran de lado los que no estaban marcados, mediante la siguiente instrucción principal:

‘Enumera todos los requisitos de este documento que el autor haya destacado para prestarles especial atención o darles mayor prioridad.’

Para la prueba principal se seleccionaron 84 documentos, que contenían 332 requisitos marcados y 4.192 sin marcar (es decir, requisitos sin texto rojo ni resaltado de color). Cada documento debía incluir al menos un requisito marcado y tres sin marcar, de modo que la IA no pudiera limitarse a enumerarlos todos.

La verdad de referencia se estableció directamente a partir del formato de los documentos, no mediante el juicio de personas ni otro modelo de IA. El rendimiento se midió con las puntuaciones de precisión, exhaustividad y F1, teniendo en cuenta tanto los requisitos identificados correctamente como los falsos positivos, es decir, los requisitos sin marcar que se incluían por error.

La puntuación se calculó mediante un proceso automatizado, sin recurrir a un evaluador basado en un LLM. Para que una respuesta se considerara coincidente, debía contener al menos cuatro palabras de contenido consecutivas del requisito original, lo que ayudaba a evitar que se dieran por correctos requisitos parecidos pero distintos.

Pruebas sin resaltado

Se realizó otra prueba para averiguar si era posible identificar los requisitos importantes solo a partir de su redacción, sin resaltados ni colores. Un clasificador basado únicamente en texto y entrenado con ejemplos obtuvo una puntuación de área bajo la curva ROC de 0,664 (donde 0,5 equivale a una conjetura aleatoria).

Los métodos más sencillos no superaron el azar: cuando se usaron como pistas palabras que sugieren urgencia, la puntuación fue de 0,508, mientras que la longitud de las frases dio una puntuación de 0,492. Estos resultados indican que la redacción por sí sola permite averiguar muy poco sobre lo que pretendía el autor que utilizó el resaltador.

Esto tiene sentido: cabe suponer que, si el lenguaje hubiera sido lo bastante contundente, el autor no habría sentido la necesidad de añadir énfasis a posteriori.

Métodos comparados

Los métodos comparados fueron el analizador de los autores, OURS; OURS con roles de saliencia; OURS con marcado sin tipar; docx2python; Docling; y la conversión a texto sin formato.

En cada método se utilizaron los mismos documentos y preguntas; solo se modificó la forma de convertir los documentos. La comparación principal abarcó 76 documentos y cada prueba se repitió tres veces:

Resultados de las pruebas que comparan seis métodos para identificar requisitos marcados como «importantes» en documentos de Word. La sección superior muestra los resultados de 76 documentos, sometidos a prueba tres veces. La sección inferior muestra una prueba de confirmación independiente realizada con 79 documentos y seis repeticiones. Las puntuaciones F1 más altas indican un mejor rendimiento; las tasas de falsos positivos más bajas indican que se seleccionaron incorrectamente menos requisitos sin marcar. Las diferencias estadísticamente significativas aparecen en negrita.

Como se muestra arriba, el mejor puntaje F1 general, de 0,690, lo obtuvo el sistema de los autores, frente a 0,586 de docx2python, 0,150 de Docling y apenas 0,075 del texto sin formato (F1 combina precisión y exhaustividad en una sola medida de exactitud, donde 1,0 representa un puntaje perfecto).

La importancia de conservar el formato también quedó demostrada por los resultados de falsos positivos: con Docling, los requisitos sin marcar se seleccionaron por error a una tasa casi cuatro veces mayor que la registrada con el sistema de los autores (4,3 % frente a 1,1 %).

Se realizó otra prueba para examinar si los modelos de IA obtenían mejores resultados cuando se les explicaba el significado del formato, en lugar de limitarse a mostrarles los colores y resaltados originales. Se observó una mejora pequeña, pero estadísticamente significativa, al proporcionar estas etiquetas adicionales. Sin embargo, la mayor parte del beneficio ya se había obtenido al conservar el formato en sí.

Presión externa

Los investigadores realizaron una evaluación adicional con la prueba de comprensión de documentos de Office (OCB) de Microsoft, que mide la precisión con la que se puede recuperar información de documentos de Office.

Se extrajeron 326 preguntas de 59 documentos de Word, que abarcaban formato, tablas, hipervínculos, comentarios y notas al pie. Tanto las preguntas como los criterios de puntuación fueron proporcionados por Microsoft, de forma independiente del estudio:

Resultados de la comparación de cinco métodos de conversión de documentos en la prueba de comprensión de documentos de Office de Microsoft, con 326 preguntas de 59 documentos de Word. Los puntajes van de 0 a 1; los más altos indican un mejor rendimiento. El mejor puntaje de cada categoría aparece en negrita. Las filas inferiores resumen el rendimiento general y la significación estadística. En este caso, el sistema de los autores obtuvo el puntaje general más alto, aunque docx2python rindió mejor en el reconocimiento de resaltados.

Como se muestra arriba, el sistema de los autores obtuvo un excelente puntaje general de 0,959, frente al buen resultado de 0,810 de docx2python, el moderado 0,720 de Docling y el relativamente bajo 0,634 del texto sin formato.

El nuevo sistema obtuvo puntajes perfectos en metadatos, comentarios y notas al pie, mientras que todos los métodos competidores obtuvieron cero. Sin embargo, estas mejoras no se debieron únicamente a conservar los resaltados y los colores del texto; además, el sistema de los autores demostró ser mejor para recuperar información de tablas, diseños de documentos, fuentes e hipervínculos.

Conclusión

Hace poco intenté, con escaso éxito, averiguar si se podía automatizar con LLM y/o Python el énfasis que yo mismo había añadido manualmente a las tablas y figuras de un artículo científico en PDF, y los resultados fueron… bueno, hilarantes. La estratificación, cuantificación y el análisis de artículos científicos constituyen ahora una línea de investigación con abundante bibliografía, y apenas queda espacio —o esperanza— para el aficionado ocasional.

En cuanto a este artículo, el mérito de los autores consiste en haber identificado un indicador de énfasis importante que se estaba perdiendo en la traducción. Sin embargo, duplicar el gasto en tokens que exige su solución no es poca cosa, sobre todo a la escala a la que deben operar las capas de OCR e ingesta de documentos. Por eso, creo que el mérito aquí está en haber identificado el problema.

* Titulado «Lo que escribió el autor y lo que lee el agente: pérdida inadvertida de señales en la ingesta de documentos empresariales».

^† Todos de Amazon.

^†† Los énfasis son de los autores, no míos, aunque suelo convertir las citas integradas de los autores en hipervínculos.

Publicado por primera vez el viernes 30 de octubre de 2026