Критично важливо: корпоративні агенти не розуміють підсвічування

У світі, а особливо у бізнесі, є чимало важливих паперових документів, які не відскановано. За оцінками, оцифровують лише 1% із чотирьох мільярдів паперових документів, що щороку циркулюють у світовій торгівлі, а решта залишаються поза межами аналітичних можливостей машинного навчання.

Це лише приблизна оцінка проблеми в бізнесовому секторі: уряди також створюють величезну кількість друкованої продукції або документів на паперових носіях, а Національний архів США повідомив цього року, що оцифровано лише 4,04% аналогових документів, які він зберігає, а 11,97 мільярда ще чекають на оцифрування.

Отже, це проблема, що триває й досі, а не спадщина минулого, і мушу зізнатися: я теж докладаюся до неї:

Те, перед чим я сиджу більшість днів.

Під час опрацювання статей я роздруковую їх, бо вони потребують чималого людського аналізу, а також машинного узагальнення. Оскільки часу обмаль, я роблю великі, помітні позначки на ключових розділах і можливих цитатах, щоб, коли настане час писати, загальна картина даних одразу поставала переді мною. Оскільки я не настільки педантичний, щоб користуватися маркерами для виділення, додаткові акценти позначаю різноманітними символами, більшим шрифтом та іншими дуже індивідуальними сигналами важливості.

Однак чимало людей, зокрема важливі люди, які пишуть важливі речі, для виділення справді користуються кольоровими маркерами та різними кольорами тексту.

Вінстон Черчилль користувався ручками різних кольорів для різних видів виділення. Тут, готуючись до промови про «їхню найкращу годину», він, схоже, використовує червоний колір як код для виправлень. Джерело

Як випливає з тієї самої статті, зображеної на попередньому фото (тієї, що лежить на чорній кафедрі), можуть існувати сотні мільйонів документів із таким виділенням, яке системи завантаження документів, наприклад Docling, наразі не здатні розпізнати.

Такі ручні виділення мають значення: вони надають тексту ваги, що не обов’язково відображається в мовній конструкції. Тому зведення вмісту сторінки з виділеннями до звичайного тексту за допомогою OCR (або досконаліших методів, як-от VLMs) не передає всіх авторських задумів і навіть може спотворити мету та наміри документа.

Лише найважливіше

У новій статті* з’ясовано, що широко використовувані конвертери документів регулярно втрачають кольорове виділення та кольори тексту, через що агенти ШІ не можуть розпізнати важливі вказівки. Із 6 462 документів із правилами, перевірених у межах дослідження, майже третина містила червоний текст або підсвічування, а приблизно в одному документі з десяти ці позначки привертали увагу до важливих вимог.

Щодо агентів для завантаження корпоративних документів автори^† зазначають^††:

«Зрілі конвертери точно відтворюють текст, таблиці та структуру, тож конвеєр, здається, працює належно.

«Ми показуємо, що всі вони втрачають один рівень — значення, яке автор передає через те, як текст виглядає, — і через цю втрату агенти упевнено помиляються, а не просто демонструють явну неповноту; таку помилку важче виявити під час розгортання».

У тестуванні авторів моделі ШІ значно краще визначали важливі вимоги в реальних документах із правилами, коли зберігалися початкові виділення та кольори тексту. Цей результат підтвердили на шести моделях, зокрема GPT-5.6 Terra, Claude Opus 5 і Claude Sonnet 5.

Фактично за допомогою виділення можна отримати два сигнали: а) чи було взагалі щось виділено і б) яким кольором це було виділено. Якщо для ручного виділення використовували кілька кольорів, логічно було б позначити червоний як певною мірою негативний (як ми бачили раніше на прикладі виправлень, які Вінстон Черчилль вносив до власних промов):

У нижній частині цього JSON-виводу першого етапу парсера авторів бачимо, що конвеєр виявив і закодував червоне підсвічування, і, логічно, слова відповідають закодованому рівню інтенсивності. Однак цей метод корисніший, коли виділяють слова, які самі по собі не надто посилюють тон висловлювання, а підсвічування додає відсутній акцент. Джерело

Автори припускають, що наявні конвеєри можуть досить просто розв’язати цю проблему: зберігати початкове виділення та кольори тексту під час перетворення документа й додавати мітки, які пояснюють їхнє значення для моделі ШІ. Це не потребує додаткової обробки ШІ, але приблизно вдвічі збільшує кількість токенів, потрібних для представлення кожного документа:

«Відновлення цих сигналів є детермінованим, виконується лише кодом і не потребує викликів LLM; увесь описаний тут ефект досягається лише завдяки парсингу. Однак для цього потрібні токени — приблизно вдвічі більше, ніж для звичайного тексту, — тож це свідомий обмін частини контекстного бюджету на фактичну точність, а не безкоштовна перевага».

Байдужість до жирного шрифту

Один із цікавих аспектів дослідження — те, наскільки наявні засоби виділення в цифрових документах, очевидно, втрачають ефективність через надмірне використання^††:

«Увесь ефект [i.e., of the new pipeline] забезпечує виділення кольором [and] [colour]. Жирний шрифт, курсив, моноширинний шрифт і закреслення нічого не дають [measurable], а довірчі інтервали перетинають нуль».

«Це не тому, що таких сигналів немає: в одному документі може бути понад тисячу позначок жирним шрифтом. Просто їх так багато, що вони не несуть корисної інформації».

«Якщо автор виділяє жирним шрифтом кожен заголовок і визначений термін, це не означає, що він виокремив щось одне. Натомість забарвлення або виділення вимоги — це свідомий і ощадливий крок. Типізація сигналів має сенс лише тоді, коли вони достатньо рідкісні, щоб свідчити про намір».

Завдання та перевірки

Щоб створити систему, автори просканували 6 462 реальні документи з політиками у форматі .docx з невказаного загальнодоступного корпусу, шукаючи в них червоний текст і кольорове виділення, не роблячи жодних припущень на основі формулювань. Потім моделям запропонували виокремити вимоги, позначені як особливо важливі, і не чіпати непозначені. Основне формулювання запиту було таким:

«Перелічіть усі вимоги в цьому документі, яким автор надав особливу увагу або підвищений пріоритет».

Для основної перевірки відібрали 84 документи, що містили 332 позначені вимоги та 4 192 непозначені (тобто вимоги без червоного тексту чи кольорового виділення). У кожному документі мала бути щонайменше одна позначена вимога й три непозначені, щоб ШІ не міг просто перелічити все.

Еталонну розмітку визначали безпосередньо за форматуванням документів, а не на основі людських оцінок чи результатів роботи іншої моделі ШІ. Ефективність вимірювали за допомогою оцінок точності, повноти та F1, враховуючи як правильно визначені вимоги, так і хибнопозитивні результати, коли до переліку помилково потрапляли непозначені вимоги.

Оцінювання виконувалося програмно, без залучення оцінювача на основі LLM. Щоб відповідь зарахували як збіг, вона мала містити щонайменше чотири послідовні змістові слова з початкового формулювання вимоги. Це допомагало не зараховувати як правильні схожі, але відмінні вимоги.

Перевірка без виділення

Ще одну перевірку провели, щоб з’ясувати, чи можна визначити важливі вимоги лише за їхніми формулюваннями, без виділення чи кольорів. Класифікатор, навчений на прикладах і здатний аналізувати лише текст, показав результат ROC AUC 0,664 (де 0,5 відповідає випадковому вгадуванню).

Простіші методи не перевершили випадкове вгадування: коли як підказки використовували слова, що вказують на терміновість, результат становив 0,508, а довжина речення дала результат 0,492. Ці результати свідчать, що лише з формулювання майже неможливо зрозуміти, що мав на увазі автор, який використовував маркер виділення.

Це логічно: імовірно, якби формулювання було достатньо переконливим, автор не відчув би потреби додатково підкреслювати щось постфактум.

Методи для порівняння

Порівнювали такі підходи: власний парсер авторів OURS; OURS із ролями значущості; OURS з нетипізованою розміткою; docx2python; Docling; і перетворення на звичайний текст.

Для кожного підходу використовували ті самі документи й запитання, змінювався лише спосіб перетворення документів. Основне порівняння охопило 76 документів, і кожне випробування повторили тричі:

Результати випробувань, у яких порівнювали шість методів визначення вимог, позначених як «важливі» в документах Word. У верхній частині наведено результати для 76 документів, перевірених тричі. У нижній частині наведено результати окремої контрольної перевірки на 79 документах із шістьма повтореннями. Вищі оцінки F1 свідчать про кращу ефективність; нижчі показники хибнопозитивних результатів означають, що помилково вибирали менше непозначених вимог. Статистично значущі відмінності виділено жирним шрифтом.

Як показано вище, найкращий загальний показник F1 — 0,690 — отримала система авторів; для docx2python він становив 0,586, для Docling — 0,150, а для звичайного тексту — лише 0,075 (F1 поєднує точність і повноту в єдиний показник точності, де 1,0 означає ідеальний результат).

Важливість збереження форматування підтвердили й результати щодо хибнопозитивних спрацьовувань: у Docling вимоги без позначок помилково вибирали майже вчетверо частіше, ніж у системі авторів (4,3% проти 1,1%).

В окремому тесті перевірили, чи допомагає моделям ШІ пояснення значення форматування, а не лише демонстрація початкових кольорів і підсвічування. Коли моделям надали ці додаткові пояснення, виявили невелике, але статистично значуще поліпшення. Однак більшу частину переваги вже забезпечувало саме збереження форматування.

Зовнішній тиск

Дослідники провели додаткове оцінювання за допомогою Тесту оцінювання розуміння документів Office (OCB) від Microsoft, який вимірює, наскільки точно можна відновити інформацію з документів Office.

Із 59 документів Word відібрали 326 запитань про форматування, таблиці, гіперпосилання, коментарі та виноски. І запитання, і критерії оцінювання надала Microsoft незалежно від дослідження:

Результати порівняння п’яти методів перетворення документів за тестом Microsoft Office Comprehension Benchmark: 326 запитань із 59 документів Word. Оцінки — від 0 до 1; що вища оцінка, то кращий результат. Найкращий результат у кожній категорії виділено жирним шрифтом. У нижніх рядках підсумовано загальні результати та статистичну значущість. У цьому тесті система авторів отримала найвищу загальну оцінку, хоча docx2python краще впорався з підсвічуванням.

Як показано вище, система авторів отримала чудову загальну оцінку 0,959; для docx2python вона становила 0,810 — хороший результат, для Docling — 0,720 — посередній, а для звичайного тексту — відносно низькі 0,634.

Нова система отримала найвищі оцінки за метаданими, коментарями та виносками, тоді як усі конкуруючі методи набрали нуль. Водночас ці поліпшення пояснюються не лише збереженням підсвічування й кольорів тексту: система авторів також краще відновлювала інформацію з таблиць, макетів документів, шрифтів і гіперпосилань.

Висновок

Нещодавно я спробував, але майже без успіху, з’ясувати, чи можна за допомогою великих мовних моделей та/або Python автоматизувати ручне виділення важливого в таблицях і рисунках наукової статті у форматі PDF. Результати були… скажімо так, кумедними. Стратифікація, кількісне оцінювання й аналіз наукових статей — уже добре представлений напрям у науковій літературі, тож для аматора-новачка тут майже не залишається простору — і надії.

Що ж до цієї статті, заслуга авторів у тому, що вони виявили важливий маркер акцентування, який губився під час перетворення. Однак подвоєння витрат токенів, необхідне для їхнього рішення, — це серйозна проблема за тих масштабів, на яких мають працювати рівні OCR та завантаження документів. Тож, гадаю, головна цінність цієї роботи в тому, що вдалося виявити проблему.

* Під назвою «Що написав автор і що читає агент: непомітна втрата сигналів під час завантаження корпоративних документів».

^† Усе від Amazon.

^†† Виділення зробили автори, а не я, хоча я регулярно перетворюю внутрішньотекстові посилання авторів на гіперпосилання.

Уперше опубліковано в п’ятницю, 30 жовтня 2026 року