Важно: корпоративные агенты не понимают выделения текста

В мире, и особенно в деловой сфере, хранится огромное количество важных документов на бумаге, которые ещё не отсканировали. По оценкам, оцифровано лишь 1% из четырёх миллиардов бумажных документов, ежегодно обращающихся в мировой торговле, а остальные остаются за пределами аналитических возможностей машинного обучения.

Это лишь приблизительная оценка масштабов проблемы в деловом секторе: правительства тоже выпускают огромное количество печатных документов и материалов на бумажных носителях. В этом году Национальный архив США сообщил, что оцифровано лишь 4,04% хранящихся в нём аналоговых документов, а 11,97 миллиарда ещё предстоит оцифровать.

Следовательно, это не пережиток прошлого, а продолжающаяся проблема, и признаюсь, что я тоже вношу в неё свой вклад:

Вот перед чем я сижу почти каждый день.

Когда я изучаю научные статьи, я распечатываю их: мне нужно не только машинное резюме, но и основательный человеческий анализ. Времени мало, поэтому я крупно подчёркиваю ключевые разделы и возможные цитаты, чтобы при написании статьи сразу видеть общую картину данных. Я не настолько одержим порядком, чтобы возиться с маркерами, поэтому выделяю важное разными символами, увеличенным шрифтом и другими сугубо индивидуальными пометками.

Но многие, в том числе важные люди, пишущие важные вещи, всё же пользуются цветными маркерами и выделяют текст разными цветами.

Уинстон Черчилль пользовался ручками разных цветов, чтобы по-разному выделять текст. Здесь, готовясь к своей речи о «звёздном часе», он, судя по всему, использует красный цвет для исправлений. Источник

Судя по статье, изображённой на предыдущей фотографии (той, что лежит на чёрной кафедре), таких документов может быть несколько сотен миллионов. В них есть дополнительные пометки, которые системы загрузки и обработки документов, например Docling, пока не способны распознать.

Такие сделанные вручную пометки важны: они придают тексту дополнительный вес, который не обязательно отражён в его языковой структуре. Поэтому сведение содержимого такой страницы с выделениями к обычному тексту с помощью OCR (или более продвинутых методов, например визуально-языковых моделей) не передаёт всех намерений автора и может даже исказить цели и замысел документа.

Только самое важное

В новой статье* показано, что широко используемые конвертеры документов систематически удаляют выделения и цвет текста, из-за чего ИИ-агенты по-прежнему не могут распознать важные инструкции. Среди 6 462 нормативных документов, рассмотренных в ходе исследования, почти треть содержала красный текст или выделения, а примерно в каждом десятом документе эти пометки использовались, чтобы привлечь внимание к важным требованиям.

Говоря об агентах для обработки корпоративных документов, авторы^† утверждают^††:

«Зрелые конвертеры точно извлекают текст, таблицы и структуру, поэтому кажется, что конвейер работает как надо.

«Мы показываем, что все они теряют один слой — смысл, который автор вкладывает в внешний вид текста, — и из-за этой потери агенты уверенно заблуждаются, а не просто явно упускают часть информации. При внедрении такую ошибку труднее обнаружить».

В ходе тестирования авторов модели ИИ значительно лучше выявляли важные требования в реальных нормативных документах, если исходные выделения и цвета текста сохранялись. Этот результат подтвердился на шести моделях, включая GPT-5.6 Terra, Claude Opus 5 и Claude Sonnet 5.

По сути, выделение позволяет извлечь два сигнала: а) сам факт выделения и б) цвет, которым оно сделано. Если при ручном выделении использовались разные цвета, логично было бы кодировать красный как имеющий негативный смысл (как мы видели ранее на примере исправлений, которые Уинстон Черчилль вносил в собственные речи):

В нижней части этого JSON-вывода парсера авторов первого этапа видно, что конвейер обнаружил красное выделение и присвоил ему соответствующий код. Логично предположить, что слова соответствуют закодированному уровню интенсивности. Однако этот метод полезнее, когда выделение приходится на слова, которые сами по себе не так сильно усиливают тональность и благодаря выделению получают недостающий акцент. Источник

Авторы предполагают, что существующие конвейеры могут довольно просто решить эту проблему: сохранять исходную подсветку и цвета текста при преобразовании документов, а также добавлять метки, объясняющие их значение для модели ИИ. Это не требует дополнительной обработки с помощью ИИ, однако примерно вдвое увеличивает количество токенов, необходимых для представления каждого документа:

«Восстановление этих сигналов — детерминированная задача, решаемая только программным кодом, без обращений к LLM; весь описанный здесь эффект достигается исключительно за счёт разбора. Однако для этого требуются токены — примерно вдвое больше, чем для обычного текста. Это осознанный обмен экономии контекстного окна на достоверность, а не бесплатное преимущество».

Равнодушие к жирному шрифту

Один из интересных выводов исследования — то, насколько, по всей видимости, неэффективны из-за чрезмерного использования существующие способы выделения текста в цифровых документах^††:

«Весь эффект [i.e., of the new pipeline] обеспечивается цветовой подсветкой [and] [colour]. Жирный шрифт, курсив, моноширинное начертание и зачёркивание не дают никакого эффекта [measurable]: доверительные интервалы пересекают ноль».

«Дело не в том, что эти сигналы отсутствуют: в одном документе может быть более тысячи фрагментов, выделенных жирным шрифтом. Просто они встречаются слишком часто и потому не несут полезной информации».

«Если автор выделяет жирным шрифтом все заголовки и определяемые термины, это не значит, что он выделил что-то особенное. А вот окрашивание или подсветка требования — осознанное и редкое действие. Типизация сигналов приносит пользу, только если они достаточно редки, чтобы указывать на намерение автора».

Задачи и тестирование

Чтобы создать систему, авторы просканировали 6 462 реальных документа с политиками из общедоступного корпуса, состав которого не уточняется, в формате .docx. Они проверяли документы на наличие красного текста и подсветки, не делая предположений на основе формулировок. Затем моделям поручили выбрать требования, отмеченные как особенно важные, и не включать неотмеченные. Основной запрос звучал так:

«Перечислите все требования в этом документе, которые автор особо выделил или отметил как приоритетные».

Для основного теста выбрали 84 документа, в которых содержалось 332 отмеченных требования и 4 192 неотмеченных (то есть требования без красного текста или цветной подсветки). Каждый документ должен был содержать как минимум одно отмеченное требование и три неотмеченных, чтобы ИИ не мог просто перечислить всё подряд.

Эталонные данные определили непосредственно по форматированию документов, а не на основе суждений людей или выводов другой модели ИИ. Результаты оценивали по показателям точности, полноты и F1, учитывая как правильно выявленные требования, так и ложноположительные результаты — случаи, когда в ответ ошибочно включали неотмеченные требования.

Оценка проводилась программно, без привлечения LLM-судьи. Чтобы ответ засчитали как совпадение, он должен был содержать не менее четырёх последовательных знаменательных слов из исходного требования. Это помогало не засчитывать как правильные похожие, но отличающиеся требования.

Тестирование без подсветки

Дополнительный тест проверял, можно ли определить важные требования только по их формулировкам, без подсветки и цвета. Классификатор, обученный на примерах и работающий только с текстом, показал значение ROC AUC 0.664 (значение 0.5 соответствует случайному угадыванию).

Более простые методы не превзошли случайное угадывание: при использовании слов, указывающих на срочность, в качестве подсказок результат составил 0.508, а при использовании длины предложения — 0.492. Эти результаты показывают, что по одной лишь формулировке можно очень мало узнать о том, что имел в виду автор, использовавший маркер для выделения текста.

Это логично: вероятно, если бы формулировка была достаточно убедительной, автору не понадобилось бы дополнительно выделять текст постфактум.

Сравниваемые методы

Сравнивались следующие подходы: собственный парсер авторов, OURS; OURS с ролями значимости; OURS с разметкой без типов; docx2python; Docling и преобразование в обычный текст.

Для каждого подхода использовались одни и те же документы и вопросы; менялся только способ преобразования документов. Основное сравнение охватывало 76 документов, каждый тест проводился трижды:

Результаты тестирования шести методов выявления требований, помеченных как «важные», в документах Word. В верхней части представлены результаты для 76 документов, каждый из которых тестировали трижды. В нижней части показаны результаты отдельного подтверждающего теста на 79 документах, проведённого в шесть повторов. Более высокие значения F1 указывают на лучшие результаты; более низкая доля ложноположительных результатов означает, что ошибочно выбрано меньше неотмеченных требований. Статистически значимые различия выделены жирным шрифтом.

Как показано выше, наивысший общий показатель F1 — 0,690 — показала система авторов; для сравнения, у docx2python он составил 0,586, у Docling — 0,150, а у обычного текста — всего 0,075 (F1 объединяет точность и полноту в единый показатель точности, где 1,0 означает идеальный результат).

Важность сохранения форматирования подтвердили и результаты по ложноположительным срабатываниям: при использовании Docling неотмеченные требования ошибочно выбирались почти в четыре раза чаще, чем при использовании системы авторов (4,3% против 1,1%).

В отдельном тесте проверяли, помогают ли моделям ИИ пояснения о значении форматирования, а не просто демонстрация исходных цветов и выделений. Когда моделям предоставляли такие дополнительные пояснения, улучшение было небольшим, но статистически значимым. Однако основная часть преимуществ достигалась уже за счет сохранения самого форматирования.

Внешнее давление

Исследователи провели дополнительную оценку с помощью теста Microsoft на понимание документов Office (OCB), который измеряет, насколько точно можно извлечь информацию из документов Office.

Из 59 документов Word извлекли 326 вопросов, охватывающих форматирование, таблицы, гиперссылки, комментарии и сноски. И вопросы, и критерии оценки предоставила Microsoft независимо от исследования:

Результаты сравнения пяти методов преобразования документов по тесту Microsoft на понимание документов Office: 326 вопросов по 59 документам Word. Оценки варьируются от 0 до 1; более высокие значения указывают на лучший результат, а наивысшая оценка в каждой категории выделена полужирным. В нижних строках приведены сводные результаты и статистическая значимость. В этом тесте система авторов получила наивысшую общую оценку, хотя docx2python лучше справился с выделением текста.

Как показано выше, система авторов получила отличный общий результат — 0,959. Для сравнения, у docx2python результат был хорошим — 0,810, у Docling — средним, 0,720, а у обычного текста — сравнительно низким, 0,634.

Новая система получила максимальные оценки за работу с метаданными, комментариями и сносками, тогда как все конкурирующие методы набрали ноль. Однако эти улучшения объяснялись не только сохранением выделений и цветов текста: система авторов также лучше извлекала информацию из таблиц, макетов документов, шрифтов и гиперссылок.

Заключение

Недавно я без особого успеха пытался автоматизировать с помощью больших языковых моделей и/или Python выделение важных фрагментов в таблицах и рисунках научной статьи в PDF, которые отметил вручную. Результаты были… ну, уморительными. Стратификация, количественная оценка и анализ научных статей — уже хорошо освоенное направление исследований, и случайному любителю здесь остается мало места — да и надежд немного.

Что касается этой статьи, заслуга авторов в том, что они выявили важный маркер акцента, который терялся при преобразовании документов. Однако удвоение затрат токенов, необходимое для работы их решения, — серьезная проблема при тех масштабах, на которых должны работать системы OCR и обработки документов. Думаю, главная ценность этой работы в том, что авторам удалось выявить проблему.

* Под заголовком «Что написал автор и что читает агент: незаметная потеря сигналов при обработке корпоративных документов».

^† Все — от Amazon.

^†† Выделения принадлежат авторам, а не мне, хотя я регулярно превращаю внутритекстовые ссылки на источники в гиперссылки.

Впервые опубликовано в пятницу, 30 октября 2026 года