Zásadní problém: podnikoví agenti nechápou zvýraznění

Na světě, a zejména v podnikatelském prostředí, je mnoho důležitých dokumentů v papírové podobě, které nebyly naskenovány. Odhaduje se, že pouze 1 % ze čtyř miliard papírových dokumentů, které každoročně obíhají v rámci globálního obchodu, je digitalizováno, takže zbytek zůstává mimo dosah analytických schopností strojového učení.

To je jen hrubý odhad rozsahu problému v podnikovém sektoru; vlády také produkují obrovské množství tištěných nebo vázaných dokumentů a americký Národní archiv letos uvedl, že digitalizováno je pouze 4,04 % analogových dokumentů, které spravuje, přičemž zbývá ještě 11,97 miliardy.

Jde tedy o přetrvávající, nikoli pouze historický problém, a musím se přiznat, že k němu přispívám i já:

Na tohle se většinu dní dívám.

Při pročítání odborných článků si je tisknu, protože vyžadují důkladný lidský rozbor i strojové shrnutí. Protože mám málo času, načrtávám přes klíčové pasáže a možné citace výrazná zvýraznění, aby přede mnou při psaní jasně vystoupila struktura údajů. Nejsem takový puntičkář, abych používal zvýrazňovače, takže důležitost zdůrazňuji různými symboly, větším písmem a dalšími, velmi osobitými způsoby.

Mnoho lidí, včetně mnoha významných osobností, které píší o důležitých věcech, však k vyznačování důrazu používá barevné zvýrazňovače a různé barvy textu.

Winston Churchill používal pro různé typy zvýraznění pera různých barev. Zde se při přípravě svého projevu „jejich nejlepší hodiny“ zřejmě uchýlil k červené barvě jako opravnému značení. Zdroj

Podle samotné studie zobrazené na předchozí fotografii (té na černém řečnickém pultu) mohou existovat stovky milionů dokumentů obsahujících vrstvu takového zvýraznění, kterou systémy pro načítání dokumentů, jako je Docling, v současnosti nedokážou rozpoznat.

Tato ruční zvýraznění jsou významná, protože textu přisuzují důležitost způsobem, který se nemusí nutně odrážet v jazykové podobě. Převedení obsahu takto zvýrazněné stránky na pouhý text pomocí OCR (nebo pokročilejších metod, jako jsou VLM) proto nevystihuje veškerý záměr autora a může dokonce zkreslit účel a záměry dokumentu.

Jen to podstatné

Nová studie* zjistila, že široce používané převodníky dokumentů běžně odstraňují zvýraznění a barvy textu, takže agenti umělé inteligence nadále nedokážou rozpoznat důležité pokyny. Z 6 462 dokumentů obsahujících pravidla, které byly zkoumány v rámci testů studie, měla téměř třetina červený text nebo zvýraznění a přibližně jeden z deseti dokumentů používal tyto značky k upozornění na důležité požadavky.

Pokud jde o agenty pro načítání podnikových dokumentů, autoři^† uvádějí^††:

„Vyspělé převodníky věrně zachovávají text, tabulky i strukturu, takže celý proces vypadá bezchybně.

„Ukazujeme, že všechny ztrácejí jednu vrstvu — význam, který autor zakóduje tím, jak text vypadá — a že tato ztráta způsobuje, že se agenti sebejistě mýlí, místo aby bylo zjevné, že jim něco chybí. Právě takové selhání se při nasazení odhaluje obtížněji.“

V testu autorů dosahovaly modely umělé inteligence při identifikaci důležitých požadavků ve skutečných dokumentech se zásadami mnohem lepších výsledků, když bylo zachováno původní zvýraznění a barvy textu. Tento závěr potvrdilo šest modelů, včetně GPT-5.6 Terra, Claude Opus 5 a Claude Sonnet 5.

Ze zvýraznění lze fakticky vyčíst dva signály: a) zda bylo vůbec něco zvýrazněno a b) barvu, kterou bylo zvýraznění provedeno. Pokud se při ručním zvýrazňování použilo více barev, dávalo by smysl označit červenou jako určitým způsobem negativní (jak jsme viděli už dříve u oprav, které Winston Churchill provedl ve vlastních projevech):

Ve spodní části tohoto výstupu JSON z parseru první fáze autorů vidíme, že proces rozpoznal a zakódoval červené zvýraznění; logicky tedy můžeme vidět, že slova odpovídají takto zakódované míře intenzity. Tato metoda je však užitečnější, když se zvýraznění týká slov, která sama o sobě tón příliš nevystupňují a u nichž tak zvýraznění doplňuje chybějící důraz. Zdroj

Autoři navrhují, že stávající postupy mohou tento problém vyřešit poměrně jednoduše: při převodu dokumentů zachovají původní zvýraznění a barvy textu a přidají popisky, které modelu AI vysvětlí jejich význam. Nevyžaduje to sice žádné další zpracování pomocí AI, ale zhruba se tím zdvojnásobí počet tokenů potřebných k reprezentaci každého dokumentu:

‘Obnovení těchto vodítek je deterministické, vyžaduje pouze kód a nestojí žádná volání LLM; celý zde popsaný efekt vychází pouze z analýzy. Má to však svou cenu v podobě tokenů — zhruba dvojnásobku oproti prostému textu — jde tedy o záměrnou výměnu části kontextového rozpočtu za faktickou správnost, nikoli o bezplatný přínos.’

Lhostejnost k tučnému písmu

Jedním zajímavým zjištěním studie je, do jaké míry jsou běžné prostředky zvýrazňování v digitálních dokumentech psaných na počítači zřejmě neúčinné, protože se používají příliš často^††:

‘Celý účinek [i.e., of the new pipeline] zajišťuje zvýraznění [and] [colour]. Tučné písmo, kurzíva, neproporcionální písmo a přeškrtnutí ničím nepřispívají [measurable], přičemž intervaly spolehlivosti zahrnují nulu.

‘Není to proto, že by tato vodítka chyběla: jediný dokument obsahuje přes tisíc značek tučného písma. Důvodem je, že se vyskytují příliš často na to, aby byly informativní.

‘Autor, který píše tučně všechny nadpisy a definované pojmy, tím žádný z nich nijak nevyčleňuje, zatímco obarvení nebo zvýraznění požadavku je záměrný a střídmý krok. Rozlišování typů vodítek se vyplatí jen u těch, která jsou natolik vzácná, že signalizují záměr.’

Úlohy a testy

Aby autoři systém sestavili, prohledali 6 462 skutečných politických dokumentů ve formátu .docx z blíže neurčeného veřejného korpusu a hledali v nich červený text a zvýraznění, aniž by cokoli odhadovali podle formulací. Poté modely dostaly za úkol vyhledat požadavky označené jako obzvlášť důležité a ostatní ponechat stranou. Základní zadání znělo:

‘Vypište všechny požadavky v tomto dokumentu, které autor vyčlenil jako zvlášť důležité nebo jim přisoudil vyšší prioritu.’

Pro hlavní test bylo vybráno 84 dokumentů, které obsahovaly 332 označených požadavků a 4 192 neoznačených (tedy požadavků bez červeného textu nebo barevného zvýraznění). Každý dokument musel obsahovat alespoň jeden označený požadavek a tři neoznačené, aby AI nemohla jednoduše vypsat všechno.

Skutečný stav byl určen přímo podle formátování dokumentů, nikoli na základě lidského úsudku nebo jiného modelu AI. Výkon se měřil pomocí skóre přesnosti, úplnosti a F1, která zohledňovala jak správně identifikované požadavky, tak falešně pozitivní výsledky, tedy případy, kdy byly chybně zahrnuty neoznačené požadavky.

Skóre se počítalo automaticky, bez hodnotitele založeného na LLM. Aby se odpověď započítala jako shoda, musela obsahovat alespoň čtyři po sobě jdoucí významová slova z původního požadavku. Tím se omezilo riziko, že budou jako správné vyhodnoceny podobné, ale odlišné požadavky.

Test bez zvýraznění

Další test zjišťoval, zda lze důležité požadavky rozpoznat pouze podle jejich znění, bez zvýraznění nebo barev. Klasifikátor pracující pouze s textem, natrénovaný na příkladech, dosáhl skóre ROC AUC 0,664 (hodnota 0,5 odpovídá náhodnému odhadu).

Jednodušší metody nebyly lepší než náhoda: při použití slov naznačujících naléhavost jako vodítek dosáhlo skóre hodnoty 0,508, zatímco délka vět vedla ke skóre 0,492. Tyto výsledky naznačují, že pouze ze znění lze zjistit jen velmi málo o tom, co autor používající zvýrazňovač zamýšlel.

To dává smysl: kdyby bylo samotné znění dostatečně důrazné, autor by zřejmě necítil potřebu dodatečného zvýraznění.

Srovnávané metody

Porovnávané přístupy zahrnovaly vlastní analyzátor autorů, OURS; OURS s rolemi významnosti; OURS s netypovaným značením; docx2python; Docling a převod na prostý text.

U každého přístupu se použily stejné dokumenty a otázky; měnil se pouze způsob převodu dokumentů. Hlavní srovnání zahrnovalo 76 dokumentů a každý test se opakoval třikrát:

Výsledky testů porovnávajících šest metod identifikace požadavků označených v dokumentech Word jako „důležité“. Horní část uvádí výsledky ze 76 dokumentů, přičemž testování proběhlo třikrát. Dolní část uvádí výsledky samostatného ověřovacího testu se 79 dokumenty a šesti opakováními. Vyšší skóre F1 znamená lepší výkon; nižší míra falešně pozitivních výsledků znamená, že je chybně vybráno méně neoznačených požadavků. Statisticky významné rozdíly jsou vyznačeny tučně.

Jak je vidět výše, nejlepší celkové skóre F1, konkrétně 0,690, dosáhl systém autorů. Pro srovnání, docx2python získal 0,586, Docling 0,150 a prostý text pouhých 0,075 (skóre F1 spojuje přesnost a úplnost do jediné míry správnosti, kde 1,0 znamená dokonalý výsledek).

Důležitost zachování formátování dokládají také výsledky falešně pozitivních nálezů: při použití Doclingu byly neoznačené požadavky nesprávně vybrány téměř čtyřikrát častěji než u systému autorů (4,3 % oproti 1,1 %).

V samostatném testu se zkoumalo, zda modelům AI pomůže, když jim bude vysvětlen význam formátování, namísto toho, aby pouze viděly původní barvy a zvýraznění. Po doplnění těchto vysvětlujících popisků se prokázalo malé, ale statisticky významné zlepšení. Většina přínosu však již plynula ze samotného zachování formátování.

Tlak zvenčí

Výzkumníci provedli další hodnocení pomocí benchmarku společnosti Microsoft pro porozumění dokumentům Office (OCB), který měří, jak přesně lze získávat informace z dokumentů Office.

Z 59 dokumentů Word bylo sestaveno 326 otázek zaměřených na formátování, tabulky, hypertextové odkazy, komentáře a poznámky pod čarou. Otázky i kritéria hodnocení poskytla nezávisle na studii společnost Microsoft:

Výsledky porovnání pěti metod převodu dokumentů v benchmarku společnosti Microsoft pro porozumění dokumentům Office, který zahrnoval 326 otázek z 59 dokumentů Word. Skóre se pohybuje od 0 do 1; vyšší hodnota znamená lepší výkon. Nejlepší skóre v každé kategorii je vyznačeno tučně. Poslední řádky shrnují celkový výkon a statistickou významnost. Systém autorů zde dosáhl nejvyššího celkového skóre, ačkoli docx2python si vedl lépe při zachování zvýraznění.

Jak je vidět výše, systém autorů dosáhl vynikajícího celkového skóre 0,959. docx2python získal dobrých 0,810, Docling průměrných 0,720 a prostý text poměrně slabých 0,634.

Nový systém dosáhl u metadat, komentářů a poznámek pod čarou dokonalého skóre, zatímco všechny konkurenční metody získaly nulu – toto zlepšení však nebylo způsobeno pouze zachováním zvýraznění a barev textu. Systém autorů si vedl lépe také při získávání informací z tabulek, rozvržení dokumentů, písem a hypertextových odkazů.

Závěr

Nedávno jsem se s malým úspěchem pokoušel zjistit, zda by šlo pomocí LLM a/nebo Pythonu automatizovat ruční zvýrazňování tabulek a obrázků ve vědeckém článku ve formátu PDF. Výsledky byly… inu, k popukání. V odborné literatuře se dnes hojně publikuje o třídění, kvantifikaci a analýze vědeckých článků a pro příležitostného amatéra v této oblasti nezbývá mnoho prostoru – ani naděje.

Přínosem této studie je, že autoři odhalili důležitý ukazatel důrazu, který se při převodu ztrácel. Zdvojnásobení nákladů na tokeny, jež si jejich řešení vyžaduje, však nelze brát na lehkou váhu – zvlášť vzhledem k rozsahu, v jakém musí fungovat vrstvy OCR a načítání dokumentů. Myslím, že hlavním přínosem je tedy odhalení tohoto problému.

* S názvem „Co autor napsal a co čte agent: nenápadná ztráta vodítek při načítání podnikových dokumentů“.

^† Všechno od Amazonu.

^†† Zvýraznění doplnili autoři, nikoli já, i když autorům běžně převádím citace v textu na hypertextové odkazy.

Poprvé zveřejněno v pátek 30. října 2026