Det er afgørende: Virksomhedsagenter forstår ikke fremhævning

Der findes mange vigtige papirdokumenter, som ikke er blevet scannet, rundt om i verden, især i erhvervslivet. Det anslås, at kun 1 % af de fire milliarder papirdokumenter, der hvert år cirkulerer i den globale handel, bliver digitaliseret, så resten ligger uden for maskinlæringens analytiske evner.

Det er blot et groft skøn over problemets omfang i erhvervssektoren; også myndigheder producerer enorme mængder trykte eller papirbaserede dokumenter, og US National Archive rapporterede i år, at kun 4,04 % af de analoge dokumenter, det opbevarer, er digitaliseret, mens 11,97 milliarder stadig mangler at blive det.

Det er altså stadig et aktuelt problem og ikke blot noget, der hører fortiden til, og jeg må indrømme, at jeg også selv er en del af problemet:

Det, jeg sidder foran de fleste dage.

Når jeg gennemgår artikler, printer jeg dem, fordi de kræver grundig menneskelig gennemgang såvel som et maskinelt resumé. Fordi tiden er knap, laver jeg store markeringer ved vigtige afsnit og mulige citater, så dataenes struktur springer i øjnene, når jeg skal skrive. Jeg er ikke helt så OCD-præget, at jeg gider bruge overstregningstuscher, så jeg markerer det vigtige med forskellige symboler, større skrift og andre meget personlige signaler.

Men mange mennesker, herunder mange vigtige personer, der skriver om vigtige emner, bruger farvede overstregningstuscher og skifter tekstfarve for at fremhæve noget.

Winston Churchill brugte penne i forskellige farver til at fremhæve forskellige ting. Her ser det ud til, at han bruger rødt som korrekturkode under forberedelserne til sin tale om sin »finest hour«. Kilde

Ifølge den artikel, der vises på det tidligere foto (den på den sorte talerstol), kan der være flere hundrede millioner dokumenter med et lag af denne type fremhævning, som systemer til indlæsning af dokumenter såsom Docling i øjeblikket ikke kan registrere.

Disse manuelle fremhævninger er betydningsfulde, fordi de tillægger teksten vægt på en måde, som ikke nødvendigvis afspejles i sprogets opbygning. Hvis indholdet på en sådan fremhævet side derfor reduceres til ren tekst ved hjælp af OCR (eller mere avancerede metoder, såsom VLM’er), går noget af forfatterens hensigt tabt, og dokumentets formål og intention kan endda blive gengivet forkert.

Kun fremhævningerne

Den nye artikel* viser, at udbredte konverteringsværktøjer til dokumenter rutinemæssigt fjerner fremhævninger og tekstfarver, så AI-agenter fortsat ikke kan identificere vigtige instruktioner. Af de 6.462 politikdokumenter, der blev undersøgt i studiets tests, indeholdt næsten en tredjedel rød tekst eller fremhævning, og omkring ét ud af ti brugte disse markeringer til at henlede opmærksomheden på vigtige krav.

Om agenter til indlæsning af virksomhedsdokumenter skriver forfatterne^†††:

‘Modne konverteringsværktøjer gengiver tekst, tabeller og struktur præcist, så arbejdsgangen ser velfungerende ud.

»Vi viser, at alle modeller mister ét lag – den betydning, som en forfatter indkoder i den måde, teksten ser udpå – og at dette tab får agenterne til selvsikkert at tage fejli stedet for tydeligt at fremstå ufuldstændige, hvilket er sværere at opdage i produktion.«

I forfatternes test klarede AI-modeller sig langt bedre, når de blev bedt om at identificere vigtige krav i faktiske politikdokumenter, og den oprindelige fremhævning og tekstfarver blev bevaret. Resultatet blev bekræftet på tværs af seks modeller, herunder GPT-5.6 Terra, Claude Opus 5 og Claude Sonnet 5.

Det er i praksis muligt at udlede to signaler af en fremhævning: a) at noget overhovedet er fremhævet, og b) den farve, det er fremhævet med. Hvis der bruges flere farver til manuel fremhævning, vil en logisk kategorisering kode rød som negativ på en eller anden måde (som vi så tidligere i Winston Churchills rettelser til sine egne taler):

Nederst i dette JSON-output fra forfatternes første trin i parseren kan vi se, at arbejdsgangen har fundet og kategoriseret den røde fremhævning, og logisk nok kan vi se, at ordene stemmer overens med det kategoriserede intensitetsniveau. Metoden er dog mere nyttig, når fremhævningen sættes på ord, der ikke i sig selv forstærker tonen særlig meget, og hvor fremhævningen derfor tilføjer en manglende betoning. Kilde

Forfatterne foreslår, at eksisterende pipelines kan løse problemet ganske enkelt ved at bevare den oprindelige fremhævning og tekstfarverne under konverteringen af dokumenter og tilføje etiketter, der forklarer deres betydning for AI-modellen. Det kræver ikke yderligere AI-behandling, men fordobler omtrent antallet af tokens, der skal til for at repræsentere hvert dokument:

»Disse signaler kan genskabes deterministisk og udelukkende ved hjælp af kode, uden at det koster LLM-kald; hele den effekt, der rapporteres her, skyldes alene parsing. Det koster dog tokens – omtrent dobbelt så mange som almindelig tekst – så det er et bevidst valg om at bruge mere af kontekstvinduet for at opnå større faktuel præcision, ikke en gratis gevinst.«

Fed skrift gør ingen forskel

Et interessant aspekt af undersøgelsen er, hvor ineffektive de eksisterende måder at fremhæve tekst i skrevne digitale dokumenter tilsyneladende er, fordi de bruges for meget^††:

»Hele effekten [i.e., of the new pipeline] skyldes fremhævning [and] [colour]. Fed skrift, kursiv, monospace og gennemstregning bidrager ikke med noget [measurable], og konfidensintervallerne omfatter nul. «

»Det skyldes ikke, at disse signaler mangler: Et enkelt dokument indeholder over tusind markeringer med fed skrift. Problemet er, at de forekommer så ofte, at de ikke er informative.

»En forfatter, der sætter alle overskrifter og definerede termer med fed skrift, har dermed ikke udpeget noget særligt, mens det at farve eller fremhæve et krav er en bevidst og sparsom handling. Typning af signaler virker kun, hvis signalerne er sjældne nok til at vise en hensigt.«

Opgaver og tests

For at etablere systemet gennemgik forfatterne 6,462 virkelige politiske dokumenter i .docx-format fra et uspecificeret offentligt korpus og undersøgte, om dokumenterne indeholdt rød tekst og fremhævning, uden at gætte ud fra formuleringerne. Modellerne blev derefter bedt om at udpege de krav, der var markeret som særligt vigtige, og lade de umarkerede krav være, med følgende centrale prompt:

»Angiv alle krav i dette dokument, som forfatteren har udpeget til særlig opmærksomhed eller givet højere prioritet.«

Til hovedtesten blev der udvalgt 84 dokumenter med 332 markerede krav og 4,192 umarkerede krav (dvs. krav uden rød tekst eller farvet fremhævning). Hvert dokument skulle indeholde mindst ét markeret krav og tre umarkerede krav, så AI’en ikke blot kunne opremse det hele.

Facit blev fastlagt direkte ud fra dokumenternes formatering og ikke ved hjælp af menneskelige vurderinger eller en anden AI-model. Ydelsen blev målt ved hjælp af scorer for præcision, genfinding og F1, som tager højde for både korrekt identificerede krav og falske positiver, hvor umarkerede krav fejlagtigt blev medtaget.

Scoringen foregik programmatisk uden brug af en LLM-dommer. For at blive regnet som et match skulle et svar indeholde mindst fire på hinanden følgende indholdsord fra det oprindelige krav. Det var med til at forhindre, at lignende, men forskellige krav blev regnet for korrekte.

Test uden fremhævning

Der blev udført endnu en test for at undersøge, om vigtige krav kunne identificeres alene ud fra formuleringen, uden fremhævning eller farver. En tekstbaseret klassifikator, der var trænet på eksempler, opnåede en ROC AUC-score på 0.664 (hvor 0.5 svarer til tilfældige gæt).

Enklere metoder klarede sig ikke bedre end tilfældige gæt: Når ord, der antydede hastende karakter, blev brugt som ledetråde, blev scoren 0.508, mens sætningslængde gav en score på 0.492. Resultaterne tyder på, at man kun kan udlede meget lidt af formuleringen alene om, hvad forfatteren, der brugte fremhævning, havde til hensigt.

Det giver mening: Hvis formuleringen havde været tilstrækkeligt eftertrykkelig, ville forfatteren formodentlig ikke have følt behov for at tilføje nogen efterfølgende fremhævning.

Sammenlignede metoder

De sammenlignede metoder omfattede forfatternes egen parser, OURS; OURS med saliensroller; OURS med markup uden typning; docx2python; Docling; og konvertering til almindelig tekst.

De samme dokumenter og spørgsmål blev brugt til hver metode; det eneste, der blev ændret, var måden, dokumenterne blev konverteret på. Hovedsammenligningen omfattede 76 dokumenter, og hver test blev gentaget tre gange:

Testresultater, der sammenligner seks metoder til at identificere krav markeret som »vigtige« i Word-dokumenter. Den øverste del viser resultater fra 76 dokumenter, der blev testet tre gange. Den nederste del viser en separat bekræftende test med 79 dokumenter og seks gentagelser. Højere F1-scorer angiver bedre resultater; lavere andele af falske positiver betyder, at færre umarkerede krav fejlagtigt blev udvalgt. Statistisk signifikante forskelle er vist med fed skrift.

Som vist ovenfor opnåede forfatternes system den højeste samlede F1-score på 0,690 mod 0,586 for docx2python, 0,150 for Docling og blot 0,075 for ren tekst (F1 kombinerer præcision og genfinding i ét samlet mål for nøjagtighed, hvor 1,0 er en perfekt score).

Betydningen af at bevare formateringen fremgik også af resultaterne for falske positiver: Med Docling blev krav, der ikke var markeret, fejlagtigt udvalgt næsten fire gange så ofte som med forfatternes system (4,3 % mod 1,1 %).

I en separat test undersøgte man, om AI-modeller havde gavn af at få forklaret, hvad formateringen betød, i stedet for blot at få vist de oprindelige farver og markeringer. Man fandt en lille, men statistisk signifikant forbedring, når disse ekstra etiketter blev tilføjet. Den største del af gevinsten var dog allerede opnået ved at bevare selve formateringen.

Pres udefra

Forskerne foretog en yderligere evaluering med Microsofts Office-benchmark for dokumentforståelse (OCB), som måler, hvor præcist oplysninger kan genskabes fra Office-dokumenter.

Der blev udtrukket 326 spørgsmål fra 59 Word-dokumenter om formatering, tabeller, hyperlinks, kommentarer og fodnoter. Både spørgsmålene og bedømmelseskriterierne blev leveret af Microsoft uafhængigt af undersøgelsen:

Resultater, der sammenligner fem metoder til dokumentkonvertering på Microsofts Office-benchmark for dokumentforståelse, baseret på 326 spørgsmål fra 59 Word-dokumenter. Scorerne går fra 0 til 1, og højere scorer angiver bedre resultater. Den bedste score i hver kategori er fremhævet med fed skrift. De nederste rækker opsummerer de samlede resultater og den statistiske signifikans. Her opnåede forfatternes system den højeste samlede score, selvom docx2python klarede sig bedre med hensyn til fremhævning.

Som vist ovenfor opnåede forfatternes system en fremragende samlet score på 0,959 mod en god score på 0,810 for docx2python, en middelgod score på 0,720 for Docling og en forholdsvis lav score på 0,634 for ren tekst.

Det nye system opnåede perfekte scorer for metadata, kommentarer og fodnoter, mens alle konkurrerende metoder fik nul – forbedringerne skyldtes dog ikke udelukkende, at fremhævninger og tekstfarver blev bevaret. Forfatternes system viste sig også bedre til at genskabe oplysninger fra tabeller, dokumentlayout, skrifttyper og hyperlinks.

Konklusion

For nylig forsøgte jeg uden større held at finde ud af, om min egen manuelle fremhævning af tabeller og figurer i en videnskabelig PDF-artikel kunne automatiseres ved hjælp af LLM’er og/eller Python. Resultaterne var … ja, ret morsomme. Stratificering, kvantificering og analyse af videnskabelige artikler er nu et veletableret forskningsområde, og der er ikke meget plads – eller håb – til den afslappede amatør.

Når det gælder denne artikel, består forfatternes sejr i, at de har identificeret et vigtigt signal om fremhævelse, som gik tabt i oversættelsen. Den fordobling af tokenforbruget, som deres løsning kræver, er imidlertid ikke ubetydelig, når den skal fungere i den skala, som OCR- og dokumentindlæsningslag skal kunne håndtere. Derfor er det vigtigste her efter min mening, at de har identificeret problemet.

* Med titlen »Hvad forfatteren skrev, og hvad agenten læser: Tab af skjulte signaler ved indlæsning af virksomhedsdokumenter«.

^† Alt sammen fra Amazon.

^†† Forfatternes fremhævelser, ikke mine, selvom jeg rutinemæssigt konverterer forfatternes henvisninger i brødteksten til hyperlinks.

Først offentliggjort fredag den 30. oktober 2026