Co istotne, agenci korporacyjni nie rozumieją wyróżnień

Na świecie, a szczególnie w biznesie, wciąż istnieje mnóstwo ważnych, nieskanowanych dokumentów papierowych. Szacuje się, że digitalizowany jest zaledwie 1% z czterech miliardów papierowych dokumentów krążących każdego roku w światowym handlu, a pozostałe pozostają poza zasięgiem możliwości analitycznych uczenia maszynowego.

To jedynie przybliżona ocena skali problemu w sektorze biznesowym; również rządy wytwarzają ogromne ilości dokumentów drukowanych lub oprawionych w papier, a amerykańskie Archiwum Narodowe poinformowało w tym roku, że digitalizacji poddano zaledwie 4,04% przechowywanych przez nie dokumentów analogowych, a do zdigitalizowania pozostało 11,97 miliarda.

To zatem problem, który wciąż trwa, a nie pozostałość po przeszłości. Przyznaję, że ja również się do niego przyczyniam:

To, przed czym spędzam większość dni.

Czytając artykuły naukowe, drukuję je, ponieważ wymagają zarówno wnikliwej ludzkiej analizy, jak i podsumowania maszynowego. Ponieważ mam mało czasu, nanoszę obszerne oznaczenia przy ważnych fragmentach i potencjalnych cytatach, żeby podczas pisania od razu dostrzec układ danych. Nie mam jednak aż takiej obsesji, by używać zakreślaczy, więc dodatkowe wyróżnienia zaznaczam rozmaitymi symbolami, większym tekstem i innymi, bardzo osobistymi znakami ważności.

Wiele osób, w tym ważnych ludzi piszących o ważnych sprawach, używa jednak kolorowych zakreślaczy i różnych kolorów tekstu, by wyróżniać fragmenty.

Winston Churchill używał piór w różnych kolorach do oznaczania różnych rodzajów wyróżnień. Tutaj, podczas przygotowań do przemówienia o „najwspanialszej godzinie”, wygląda na to, że stosuje kolor czerwony jako kod korektorski. Źródło

Jak wynika z artykułu przedstawionego na wcześniejszym zdjęciu (tego na czarnej mównicy), mogą istnieć setki milionów dokumentów zawierających takie wyróżnienia, których systemy wczytywania dokumentów takie jak Docling nie potrafią obecnie dostrzec.

Te ręczne wyróżnienia mają znaczenie: nadają tekstowi wagę, która niekoniecznie znajduje odzwierciedlenie w jego językowej konstrukcji. Dlatego sprowadzenie treści takiej wyróżnionej strony do zwykłego tekstu za pomocą OCR (lub bardziej zaawansowanych metod, takich jak modele VLM) nie oddaje wszystkich intencji autora, a nawet może błędnie przedstawiać cele i zamierzenia dokumentu.

Same wyróżnienia

W nowym artykule* wykazano, że powszechnie używane konwertery dokumentów regularnie pomijają wyróżnienia i kolory tekstu, przez co agenci AI nadal nie potrafią rozpoznawać ważnych instrukcji. Spośród 6462 dokumentów zawierających wytyczne, które zbadano w ramach testów, niemal jedna trzecia zawierała czerwony tekst lub wyróżnienia, a w przypadku mniej więcej jednego dokumentu na dziesięć użyto tych oznaczeń, by zwrócić uwagę na ważne wymagania.

W odniesieniu do agentów przetwarzających dokumenty w przedsiębiorstwach autorzy^† stwierdzają^††:

„Dojrzałe konwertery wiernie odtwarzają tekst, tabele i strukturę, więc cały proces wygląda prawidłowo.

„Pokazujemy, że wszystkie tracą jedną warstwę — znaczenie zakodowane przez autora w sposobie, w jaki tekst wygląda — a ta strata sprawia, że agenci z przekonaniem podają błędne odpowiedzi, zamiast być wyraźnie niekompletni; to trudniejszy do wykrycia błąd podczas wdrażania”.

W teście autorów modele AI znacznie lepiej radziły sobie z rozpoznawaniem ważnych wymagań w rzeczywistych dokumentach zawierających wytyczne, gdy zachowano oryginalne wyróżnienia i kolory tekstu. Wynik ten potwierdzono w przypadku sześciu modeli, w tym GPT-5.6 Terra, Claude Opus 5 i Claude Sonnet 5.

Wyróżnienia pozwalają skutecznie odczytać dwa sygnały: a) czy dany fragment został w ogóle wyróżniony oraz b) kolor, jakiego użyto. Jeśli do ręcznego wyróżniania zastosowano kilka kolorów, logicznym rozwiązaniem byłoby zakodowanie czerwieni jako sygnału o negatywnym wydźwięku (jak widzieliśmy wcześniej w korektach własnych przemówień Winstona Churchilla):

Na dole tego wyniku JSON z pierwszego etapu parsera autorów widzimy, że cały proces wykrył i zakodował czerwone wyróżnienie. Możemy więc logicznie stwierdzić, że słowa odpowiadają zakodowanemu poziomowi intensywności. Metoda jest jednak bardziej przydatna, gdy wyróżnienie dotyczy słów, które same w sobie nie zaostrzają zbytnio tonu, a samo wyróżnienie dodaje brakujący akcent. Źródło

Autorzy sugerują, że istniejące potoki przetwarzania mogą dość łatwo rozwiązać ten problem, zachowując oryginalne wyróżnienia i kolory tekstu podczas konwersji dokumentów oraz dodając etykiety objaśniające ich znaczenie dla modelu AI. Nie wymaga to dodatkowego przetwarzania przez AI, ale mniej więcej podwaja liczbę tokenów potrzebnych do reprezentowania każdego dokumentu:

„Odtwarzanie tych wskazówek jest deterministyczne, wymaga wyłącznie kodu i nie wiąże się z żadnymi wywołaniami LLM; cały opisany tutaj efekt wynika z samego parsowania. Kosztuje to jednak tokeny — ich liczba jest mniej więcej dwukrotnie większa niż w przypadku zwykłego tekstu — jest to więc świadoma zamiana większego budżetu kontekstu na większą wierność faktom, a nie bezpłatna korzyść”.

Obojętność wobec pogrubienia

Jednym z interesujących aspektów badania jest to, jak nieskuteczne — najwyraźniej wskutek nadużywania^†† — okazują się istniejące sposoby wyróżniania treści w cyfrowych dokumentach tekstowych:

„Cały efekt [i.e., of the new pipeline] wynika z podświetlenia [and] [colour]. Pogrubienie, kursywa, czcionka o stałej szerokości znaków i przekreślenie nie wnoszą niczego [measurable]; przedziały ufności obejmują zero”.

„Nie wynika to z braku tych wskazówek: pojedynczy dokument zawiera ponad tysiąc znaczników pogrubienia. Są one po prostu zbyt powszechne, by dostarczać użytecznych informacji”.

„Autor, który pogrubia każdy nagłówek i zdefiniowane pojęcie, nie wyróżnia w ten sposób żadnego z nich, podczas gdy pokolorowanie lub podświetlenie wymagania jest celowym i oszczędnym zabiegiem. Klasyfikowanie wskazówek przynosi korzyści tylko wtedy, gdy są one na tyle rzadkie, by sygnalizować zamiar”.

Zadania i testy

Aby opracować system, autorzy przeanalizowali 6462 rzeczywiste dokumenty dotyczące polityk, pochodzące z nieokreślonego publicznego zbioru danych i zapisane w formacie .docx, wyszukując w nich czerwony tekst i podświetlenia, bez zgadywania na podstawie użytego sformułowania. Następnie poproszono modele o wskazanie wymagań oznaczonych jako szczególnie ważne i pominięcie tych bez oznaczeń. Użyto następującego głównego polecenia:

„Wymień wszystkie wymagania w tym dokumencie, które autor wyróżnił jako szczególnie ważne lub nadał im wyższy priorytet”.

Do głównego testu wybrano 84 dokumenty zawierające 332 oznaczone wymagania i 4192 wymagania bez oznaczeń (czyli takie, które nie miały czerwonego tekstu ani kolorowego podświetlenia). Każdy dokument musiał zawierać co najmniej jedno oznaczone wymaganie i trzy nieoznaczone, aby AI nie mogła po prostu wymienić wszystkich.

Zbiór prawidłowych odpowiedzi ustalono bezpośrednio na podstawie formatowania dokumentów, a nie oceny człowieka ani innego modelu AI. Wyniki mierzono za pomocą wskaźników precyzji, czułości i F1, uwzględniających zarówno prawidłowo wskazane wymagania, jak i fałszywe trafienia, czyli przypadki błędnego uwzględnienia wymagań bez oznaczeń.

Ocena odbywała się programowo, bez udziału sędziego LLM. Aby odpowiedź uznać za zgodną, musiała zawierać co najmniej cztery kolejne wyrazy niosące treść z oryginalnego wymagania, co pomagało zapobiec uznawaniu podobnych, lecz odmiennych wymagań za poprawne.

Testy bez podświetleń

Przeprowadzono dodatkowy test, aby sprawdzić, czy ważne wymagania można rozpoznać wyłącznie na podstawie ich sformułowania, bez podświetleń i kolorów. Klasyfikator tekstowy wytrenowany na przykładach uzyskał wynik pola pod krzywą ROC równy 0,664 (wartość 0,5 odpowiada losowemu zgadywaniu).

Prostsze metody nie radziły sobie lepiej niż losowe zgadywanie: gdy jako wskazówek użyto słów sugerujących pilność, wynik wyniósł 0,508, a w przypadku długości zdania — 0,492. Rezultaty te sugerują, że samo sformułowanie pozwala dowiedzieć się bardzo niewiele o tym, co zamierzał autor używający zakreślacza.

To zrozumiałe: można przypuszczać, że gdyby język był wystarczająco stanowczy, autor nie uznałby za potrzebne dodatkowego wyróżnienia po fakcie.

Porównywane metody

Porównano następujące podejścia: własny parser autorów, OURS; OURS z rolami istotności; OURS ze znacznikami bez określonego typu; docx2python; Docling; oraz konwersję do zwykłego tekstu.

W każdym podejściu użyto tych samych dokumentów i pytań; zmieniał się wyłącznie sposób konwersji dokumentów. Główne porównanie objęło 76 dokumentów, a każdy test powtórzono trzykrotnie:

Wyniki testów porównujących sześć metod identyfikowania wymagań oznaczonych jako „ważne” w dokumentach Word. Górna część przedstawia wyniki uzyskane dla 76 dokumentów, testowanych trzykrotnie. Dolna część pokazuje osobny test potwierdzający, przeprowadzony na 79 dokumentach i powtórzony sześć razy. Wyższe wyniki F1 oznaczają lepsze działanie; niższe odsetki fałszywych trafień oznaczają, że błędnie wybieranych jest mniej nieoznaczonych wymagań. Różnice istotne statystycznie zaznaczono pogrubieniem.

Jak pokazano powyżej, najlepszy łączny wynik F1, wynoszący 0,690, uzyskał system autorów; dla porównania docx2python osiągnął 0,586, Docling — 0,150, a zwykły tekst zaledwie 0,075 (F1 łączy precyzję i czułość w jedną miarę dokładności, w której 1,0 oznacza wynik doskonały).

Znaczenie zachowania formatowania potwierdziły również wyniki dotyczące fałszywie pozytywnych wskazań: w przypadku Docling niewyróżnione wymagania były błędnie zaznaczane niemal cztery razy częściej niż w systemie autorów (4,3% wobec 1,1%).

Przeprowadzono osobny test, aby sprawdzić, czy modele AI zyskują na tym, że wyjaśnia się im znaczenie formatowania, zamiast jedynie pokazywać oryginalne kolory i wyróżnienia. Po dodaniu tych objaśnień odnotowano niewielką, ale statystycznie istotną poprawę. Większość korzyści wynikała jednak już z samego zachowania formatowania.

Presja zewnętrzna

Badacze przeprowadzili dodatkową ocenę z wykorzystaniem opracowanego przez Microsoft Benchmarku rozumienia dokumentów Office (OCB), który mierzy dokładność odzyskiwania informacji z dokumentów pakietu Office.

Z 59 dokumentów Word wyodrębniono 326 pytań dotyczących formatowania, tabel, hiperłączy, komentarzy i przypisów. Zarówno pytania, jak i kryteria oceny zostały udostępnione przez Microsoft niezależnie od badania:

Wyniki porównania pięciu metod konwersji dokumentów w Benchmarku rozumienia dokumentów Office firmy Microsoft, obejmującym 326 pytań z 59 dokumentów Word. Wyniki mieszczą się w przedziale od 0 do 1; wyższy wynik oznacza lepsze działanie, a najlepszy wynik w każdej kategorii wyróżniono pogrubieniem. Wiersze na dole podsumowują ogólne wyniki i istotność statystyczną. W tym przypadku system autorów uzyskał najwyższy wynik ogólny, choć docx2python lepiej radził sobie z wyróżnieniami.

Jak pokazano powyżej, system autorów uzyskał doskonały wynik ogólny 0,959, podczas gdy docx2python osiągnął dobry wynik 0,810, Docling — umiarkowany 0,720, a zwykły tekst — stosunkowo słaby 0,634.

Nowy system uzyskał maksymalną liczbę punktów w kategoriach metadanych, komentarzy i przypisów, podczas gdy wszystkie konkurencyjne metody otrzymały zero — choć poprawa nie wynikała wyłącznie z zachowania wyróżnień i kolorów tekstu; system autorów lepiej radził sobie także z odzyskiwaniem informacji z tabel, układu dokumentu, czcionek i hiperłączy.

Wnioski

Niedawno próbowałem, z niewielkim powodzeniem, sprawdzić, czy da się zautomatyzować za pomocą LLM-ów i/lub Pythona ręczne wyróżnianie tabel i rysunków w artykule naukowym w PDF-ie. Rezultaty były… cóż, przezabawne. Stratyfikacja, kwantyfikacja i parsowanie artykułów naukowych to obecnie dobrze ugruntowany nurt badań, więc dla amatora działającego dorywczo nie pozostaje wiele miejsca — ani nadziei.

W odniesieniu do tej pracy sukcesem autorów jest zidentyfikowanie istotnego wskaźnika wyróżnienia, który ginął w tłumaczeniu. Podwojenie zużycia tokenów wymagane przez ich rozwiązanie to jednak poważna sprawa, zwłaszcza przy skali, w jakiej muszą działać warstwy OCR i pozyskiwania dokumentów. Dlatego, moim zdaniem, największą wartością jest tutaj zidentyfikowanie problemu.

* Pod tytułem „Co napisał autor, co odczytuje agent: utrata niewidocznych wskazówek podczas pozyskiwania dokumentów w przedsiębiorstwie”.

^† Wszystko pochodzi z Amazon.

^†† Wyróżnienia autorów, nie moje, choć regularnie zamieniam ich cytowania w tekście na hiperłącza.

Po raz pierwszy opublikowano w piątek, 30 października 2026 r.