Det avgjørende er at agenter for virksomheter ikke forstår utheving

Det finnes mange viktige papirdokumenter i verden som ikke er skannet, særlig i næringslivet. Det anslås at bare 1 % av de fire milliarder papirdokumentene som sirkulerer i verdenshandelen hvert år, blir digitalisert. Resten ligger dermed utenfor maskinlæringens analytiske evner.

Dette er bare et grovt anslag på problemets omfang i næringslivet; myndigheter produserer også svært store mengder trykt materiale eller dokumenter på papir, og US National Archive rapporterte i år at bare 4,04 % av de analoge dokumentene de forvalter, er digitalisert, mens 11,97 milliarder gjenstår.

Dette er derfor et pågående problem, ikke bare en arv fra fortiden, og jeg må innrømme at også jeg bidrar til det:

Det jeg sitter foran de fleste dagene.

Når jeg går gjennom artikler, skriver jeg dem ut, fordi de krever mye menneskelig bearbeiding i tillegg til maskinell oppsummering. Siden tiden er knapp, tegner jeg store markeringer over viktige avsnitt og mulige sitater, slik at strukturen i dataene trer tydelig fram når jeg skal skrive. Siden jeg ikke er fullt så tvangspreget at jeg gidder å bruke markeringstusjer, markerer jeg viktige ting med ulike symboler, større skrift og andre svært personlige virkemidler.

Men mange, også mange viktige personer som skriver viktige ting, bruker fargemarkeringstusjer og vekslende tekstfarger for å framheve tekst.

Winston Churchill brukte penner i ulike farger til å framheve forskjellige ting. Her ser det ut til at han bruker rødt som korrekturtegn mens han forbereder talen om sin «fineste time». Kilde

Ifølge selve dokumentet som er avbildet på det tidligere bildet (det som ligger på den svarte talerstolen), kan det finnes hundrevis av millioner dokumenter med et slikt lag av uthevinger som systemer for dokumentinnlesing som Docling foreløpig ikke kan oppfatte.

Disse manuelle uthevingene er betydningsfulle og gir teksten tyngde på en måte som ikke nødvendigvis gjenspeiles i språkets utforming. Når innholdet på en slik markert side reduseres til ren tekst ved hjelp av OCR (eller mer avanserte metoder, som VLM-er), formidles derfor ikke hele forfatterens hensikt, og dokumentets formål og intensjoner kan til og med bli framstilt feil.

Bare uthevingene

Den nye artikkelen* viser at utbredte dokumentkonverterere rutinemessig fjerner uthevinger og tekstfarger, slik at AI-agenter fortsatt ikke kan oppfatte viktige instruksjoner. Av de 6 462 retningslinjedokumentene som ble undersøkt i studiens tester, inneholdt nesten en tredel rød tekst eller uthevinger, og omtrent ett av ti brukte disse markeringene for å rette oppmerksomheten mot viktige krav.

Om agenter som leser inn dokumenter for virksomheter, skriver forfatterne^†††:

«Modne konverterere gjengir tekst, tabeller og struktur på en trofast måte, så arbeidsflyten ser velfungerende ut.

«Vi viser at alle mister ett lag – betydningen forfatteren legger inn i måten teksten ser ut på – og at dette tapet gjør agentene overbevist om feil i stedet for synlig ufullstendige, noe som er vanskeligere å oppdage når systemet tas i bruk.»

I forfatternes test presterte AI-modellene langt bedre når de ble bedt om å identifisere viktige krav i reelle retningslinjedokumenter, dersom de opprinnelige uthevingene og tekstfargene var bevart. Dette funnet ble bekreftet på tvers av seks modeller, blant dem GPT-5.6 Terra, Claude Opus 5 og Claude Sonnet 5.

I praksis er det mulig å hente ut to signaler fra uthevinger: a) at noe i det hele tatt er uthevet, og b) fargen det er uthevet med. Hvis flere farger er brukt til manuell utheving, kan en logisk inndeling klassifisere rødt som negativt på en eller annen måte (som vi så tidligere i Winston Churchills rettelser av sine egne taler):

Nederst i dette JSON-resultatet fra forfatternes førstetrinnsparser ser vi at arbeidsflyten har funnet og kodet den røde uthevingen. Logisk nok ser vi at ordene samsvarer med det kodede intensitetsnivået. Metoden er imidlertid mer nyttig når uthevingen brukes på ord som i seg selv ikke gjør tonen særlig skarpere, og uthevingen dermed tilfører en manglende vektlegging. Kilde

Forfatterne foreslår at eksisterende arbeidsflyter kan løse problemet ganske enkelt ved å bevare den opprinnelige uthevingen og tekstfargene når dokumentene konverteres, og legge til etiketter som forklarer hva de betyr for AI-modellen. Dette krever ingen ekstra AI-behandling, men omtrent dobler antallet tokener som trengs for å representere hvert dokument:

«Å hente ut disse signalene er deterministisk, krever bare kode og koster ingen LLM-kall; hele effekten som rapporteres her, skyldes utelukkende parsing. Det koster riktignok tokener – omtrent dobbelt så mange som ren tekst – så dette er et bevisst bytte der man bruker mer av kontekstvinduet for å oppnå større faktatrofasthet, ikke en gratis gevinst.»

Fet skrift uten betydning

Et interessant aspekt ved studien er i hvilken grad de eksisterende måtene å framheve tekst på i digitale dokumenter tilsynelatende er ineffektive fordi de brukes for mye^††:

«Hele effekten [i.e., of the new pipeline] skyldes utheving [and] [colour]. Fet skrift, kursiv, fastbreddeskrift og gjennomstreking bidrar ikke [measurable], og konfidensintervallene krysser null.»

«Det skyldes ikke at disse signalene mangler: Ett enkelt dokument kan inneholde over tusen markeringer med fet skrift. Problemet er at de forekommer så ofte at de ikke gir nyttig informasjon.»

«En forfatter som bruker fet skrift på alle overskrifter og definerte begreper, har dermed ikke skilt ut noe spesielt, mens det å fargelegge eller utheve et krav er en bevisst og sparsom handling. Det lønner seg bare å skille mellom signaltyper når signalene er sjeldne nok til å uttrykke en hensikt.»

Oppgaver og tester

For å etablere systemet skannet forfatterne 6,462 faktiske retningslinjedokumenter i .docx-format fra et offentlig korpus som ikke er nærmere spesifisert. De undersøkte dokumentene for rød tekst og utheving, uten å trekke slutninger basert på ordlyden. Deretter ble modellene bedt om å finne kravene som var merket som spesielt viktige, og la de umerkede være i fred. Hovedinstruksjonen lød:

«List opp alle krav i dette dokumentet som forfatteren har framhevet som særlig viktige eller prioritert høyt.»

Til hovedtesten ble 84 dokumenter valgt ut. De inneholdt 332 markerte krav og 4,192 umerkede krav (det vil si krav uten rød tekst eller farget utheving). Hvert dokument måtte inneholde minst ett markert krav og tre umerkede krav, slik at AI-en ikke bare kunne liste opp alt.

Fasiten ble fastlagt direkte ut fra formateringen i dokumentene, ikke gjennom menneskelig vurdering eller en annen AI-modell. Ytelsen ble målt med skårer for presisjon, gjenfinning og F1, som tar hensyn til både krav som ble identifisert riktig, og falske positiver, der umerkede krav feilaktig ble tatt med.

Skåringen ble utført automatisk, uten bruk av en LLM-dommer. For at et svar skulle regnes som et treff, måtte det inneholde minst fire sammenhengende innholdsord fra det opprinnelige kravet. Dette bidro til å forhindre at lignende, men ulike krav ble regnet som riktige.

Fjerne utheving

Det ble gjennomført en ytterligere test for å undersøke om viktige krav kunne identifiseres ut fra ordlyden alene, uten utheving eller farger. En tekstbasert klassifikator som var trent på eksempler, oppnådde en skår på ROC AUC på 0.664 (der 0.5 tilsvarer tilfeldig gjetting).

Enklere metoder var ikke bedre enn tilfeldigheter: Når ord som antydet hastverk, ble brukt som ledetråder, var skåren 0.508, mens setningslengde ga en skår på 0.492. Resultatene tyder på at ordlyden alene gir svært lite informasjon om hva forfatteren som brukte uthevingsverktøyet, hadde til hensikt.

Dette gir mening: Hvis språket hadde vært tilstrekkelig kraftfullt, ville forfatteren antakelig ikke ha følt behov for noen etterfølgende utheving.

Metodene som ble sammenlignet

Metodene som ble sammenlignet, var forfatternes egen parser, OURS; OURS med saliensroller; OURS med utypet markering; docx2python; Docling; og konvertering til ren tekst.

De samme dokumentene og spørsmålene ble brukt for hver metode. Det eneste som ble endret, var måten dokumentene ble konvertert på. Hovedsammenligningen omfattet 76 dokumenter, og hver test ble gjentatt tre ganger:

Testresultater som sammenligner seks metoder for å identifisere krav merket som «viktige» i Word-dokumenter. Den øvre delen viser resultatene for 76 dokumenter, testet tre ganger. Den nedre delen viser en separat bekreftelsestest med 79 dokumenter og seks gjentakelser. Høyere F1-skårer betyr bedre ytelse; lavere andeler falske positiver betyr at færre umerkede krav feilaktig blir valgt ut. Statistisk signifikante forskjeller vises med fet skrift.

Som vist ovenfor oppnådde forfatternes system den beste samlede F1-skåren, 0,690, sammenlignet med 0,586 for docx2python, 0,150 for Docling og bare 0,075 for ren tekst (F1 kombinerer presisjon og gjenfinning i ett enkelt mål på nøyaktighet, der 1,0 er en perfekt skår).

Betydningen av å bevare formateringen kom også fram i resultatene for falske positiver: Med Docling ble krav som ikke var markert, feilaktig valgt ut nesten fire ganger så ofte som med forfatternes system (4,3 % mot 1,1 %).

I en separat test undersøkte man om AI-modellene hadde nytte av å få forklart hva formateringen betydde, i stedet for bare å bli vist de opprinnelige fargene og uthevingene. Resultatene viste en liten, men statistisk signifikant forbedring når disse ekstra etikettene ble lagt til. Mesteparten av gevinsten var imidlertid allerede oppnådd ved å bevare selve formateringen.

Eksternt press

Forskerne gjennomførte en ytterligere vurdering ved hjelp av Microsofts Office Comprehension Benchmark (OCB), som måler hvor nøyaktig informasjon kan hentes ut fra Office-dokumenter.

Det ble hentet ut 326 spørsmål fra 59 Word-dokumenter. De omhandlet formatering, tabeller, hyperkoblinger, kommentarer og fotnoter. Både spørsmålene og vurderingskriteriene ble levert av Microsoft, uavhengig av studien:

Resultater fra en sammenligning av fem metoder for dokumentkonvertering på Microsofts Office Comprehension Benchmark, med 326 spørsmål fra 59 Word-dokumenter. Skårene går fra 0 til 1, og høyere skårer viser bedre resultater. Den beste skåren i hver kategori er uthevet med fet skrift. De nederste radene oppsummerer de samlede resultatene og statistisk signifikans. Her oppnådde forfatternes system den høyeste totalskåren, selv om docx2python gjorde det bedre på utheving.

Som vist ovenfor oppnådde forfatternes system en svært god samlet skår på 0,959, sammenlignet med den gode skåren 0,810 for docx2python, den middels gode skåren 0,720 for Docling og den relativt svake skåren 0,634 for ren tekst.

Det nye systemet oppnådde perfekte skårer for metadata, kommentarer og fotnoter, mens alle konkurrerende metoder fikk null – selv om disse forbedringene ikke bare skyldtes at utheving og tekstfarger ble bevart. Forfatternes system var også bedre til å hente ut informasjon fra tabeller, dokumentoppsett, skrifttyper og hyperkoblinger.

Konklusjon

Jeg prøvde nylig, med liten suksess, å finne ut om jeg kunne automatisere min egen manuelle utheving av tabeller og figurer i en vitenskapelig PDF-artikkel ved hjelp av LLM-er og/eller Python. Resultatene var … vel, latterlige. Stratifiering, kvantifisering og parsing av vitenskapelige artikler er nå et godt etablert forskningsfelt i faglitteraturen, og det er lite rom – eller håp – for den jevne amatøren.

Når det gjelder denne artikkelen, ligger forfatternes seier i at de har identifisert en viktig indikator på vektlegging som gikk tapt i oversettelsen. Det er imidlertid ingen spøk at løsningen deres krever dobbelt så mange tokens, særlig med tanke på omfanget som OCR- og dokumentinntakslag må håndtere. Jeg mener derfor at gevinsten her er at de har identifisert problemet.

* Med tittelen «Hva forfatteren skrev, hva agenten leser: Tap av stille signaler ved inntak av bedriftsdokumenter».

^† Alle fra Amazon.

^†† Forfatternes uthevinger, ikke mine, selv om jeg rutinemessig gjør forfatternes henvisninger i løpende tekst om til hyperkoblinger.

Først publisert fredag 30. oktober 2026