Viktigt nog förstår företagsagenter inte markeringar

Det finns mycket viktigt, oskannat papper i världen, särskilt i näringslivet. Det beräknas att bara 1 procent av de fyra miljarder pappersdokument som cirkulerar inom den globala handeln varje år digitaliseras, vilket innebär att resten ligger utanför maskininlärningens analytiska förmåga.

Det här är bara en grov uppskattning av problemet inom företagssektorn; även myndigheter producerar enorma mängder tryckt material eller material på papper, och US National Archive rapporterade i år att bara 4,04 procent av de analoga dokument som myndigheten förvarar har digitaliserats, medan 11,97 miljarder återstår.

Det är alltså ett pågående problem, inte bara ett arv från det förflutna, och jag erkänner att jag själv också bidrar till det:

Det här sitter jag framför de flesta dagar.

När jag granskar dokument skriver jag ut dem, eftersom de kräver mycket mänsklig tolkning utöver maskinell sammanfattning. Eftersom tiden är knapp klottrar jag stora markeringar över viktiga avsnitt och möjliga citat, så att informationens struktur framträder tydligt när det är dags att skriva. Eftersom jag inte är tillräckligt tvångsmässig för att orka använda överstrykningspennor markerar jag det som är viktigt med olika symboler, större text och andra mycket personliga signaler.

Men många människor, däribland många viktiga personer som skriver viktiga saker, använder färgade överstrykningspennor och text i olika färger för att markera sådant som är viktigt.

Winston Churchill använde pennor i olika färger för olika slags markeringar. Här verkar han använda rött som korrekturtecken inför sitt tal om ”sin stund av storhet”. Källa

Enligt dokumentet som syns på det tidigare fotot (det som ligger på den svarta talarstolen) kan det finnas hundratals miljoner dokument med ett lager av sådana markeringar som system för dokumentinläsning, till exempel Docling, för närvarande inte kan uppfatta.

Dessa manuella markeringar är betydelsefulla: de ger texten tyngd på ett sätt som inte nödvändigtvis framgår av språkets utformning. Om innehållet på en sådan markerad sida därför reduceras till enbart text med hjälp av OCR (eller mer avancerade metoder, som VLM:er), förmedlas inte hela författarens avsikt, och dokumentets syfte och intentioner kan till och med återges felaktigt.

Bara markeringarna

Den nya artikeln* visar att allmänt använda dokumentkonverterare rutinmässigt tar bort markeringar och textfärger, vilket gör att AI-agenter fortfarande inte kan urskilja viktiga instruktioner. Av de 6 462 styrdokument som undersöktes i studiens tester innehöll nästan en tredjedel röd text eller markeringar, och ungefär vart tionde dokument använde sådana markeringar för att uppmärksamma viktiga krav.

Om agenter för inläsning av företagsdokument säger författarna^†††:

”Mogna konverterare återger text, tabeller och struktur korrekt, så databearbetningskedjan verkar fungera som den ska.

”Vi visar att de alla går miste om ett lager – den betydelse som en författare förmedlar genom hur texten ser ut – och att förlusten gör att agenter drar felaktiga slutsatser med stor säkerhet i stället för att vara uppenbart ofullständiga, vilket är svårare att upptäcka när de används.”

I författarnas test presterade AI-modeller betydligt bättre när de ombads att identifiera viktiga krav i verkliga styrdokument och originalets markeringar och textfärger bevarades. Resultatet bekräftades med sex modeller, däribland GPT-5.6 Terra, Claude Opus 5 och Claude Sonnet 5.

Det går i praktiken att utläsa två signaler från markeringar: a) att något över huvud taget har markerats och b) färgen som det markerats med. Om flera färger har använts för manuella markeringar vore det logiskt att koda rött som negativt på något sätt (som vi såg tidigare i Winston Churchills korrigeringar av sina egna tal):

Längst ned i JSON-utdata från författarnas parser i första steget ser vi att databearbetningskedjan har upptäckt och kodifierat röda markeringar, och logiskt nog kan vi se att orden motsvarar den kodifierade intensitetsnivån. Metoden är dock mer användbar när betoningen läggs på ord som i sig inte skruvar upp tonen särskilt mycket och där markeringen därför tillför en betoning som annars saknas. Källa

Författarna föreslår att befintliga pipelines kan lösa problemet ganska enkelt genom att bevara den ursprungliga markeringen och textfärgen när dokument konverteras och lägga till etiketter som förklarar deras betydelse för AI-modellen. Det kräver ingen ytterligare AI-bearbetning, men ungefär fördubblar antalet token som behövs för att representera varje dokument:

‘Att återskapa dessa signaler är deterministiskt, kräver bara kod och medför inga LLM-anrop; hela den effekt som rapporteras här kommer enbart från parsningen. Det kostar visserligen token – ungefär dubbelt så många som för vanlig text – så det är ett medvetet byte där man använder mer av kontextbudgeten för att få större faktatrohet, inte en gratis förbättring.’

Fetstil som inte gör skillnad

En intressant aspekt av studien är i vilken utsträckning de befintliga sätten att framhäva text i digitala textdokument uppenbarligen blir ineffektiva när de används för mycket^††:

‘Hela effekten [i.e., of the new pipeline] beror på markering [and] [colour]. Fetstil, kursiv stil, teckensnitt med fast teckenbredd och genomstrykning bidrar inte med något [measurable], och konfidensintervallen omfattar noll.

‘Det beror inte på att dessa signaler saknas: ett enda dokument kan innehålla över tusen markeringar med fetstil. Problemet är att de är så vanliga att de inte tillför någon information.

‘En författare som använder fetstil för alla rubriker och definierade termer har därmed inte pekat ut något särskilt, medan det är ett medvetet och sparsamt val att färga eller markera ett krav. Det lönar sig bara att klassificera signaler om de är tillräckligt ovanliga för att visa på en avsikt.’

Uppgifter och tester

För att ta fram systemet genomsökte författarna 6,462 verkliga policydokument i .docx-format från en ospecificerad offentlig korpus. De letade efter röd text och markeringar utan att dra några slutsatser utifrån ordalydelsen. Därefter fick modellerna i uppgift att hitta de krav som hade markerats som särskilt viktiga och lämna de omarkerade åt sidan. Grundprompten löd:

‘Lista alla krav i det här dokumentet som författaren har pekat ut som särskilt viktiga eller gett högre prioritet.’

Till huvudtestet valdes 84 dokument med 332 markerade krav och 4,192 omarkerade krav (det vill säga krav utan röd text eller färgad markering). Varje dokument måste innehålla minst ett markerat krav och tre omarkerade, så att AI:n inte bara kunde lista allt.

Facit fastställdes direkt utifrån dokumentens formatering, inte genom mänskliga bedömningar eller med hjälp av en annan AI-modell. Prestandan mättes med måtten precision, täckning och F1, som tar hänsyn till både korrekt identifierade krav och falska positiva resultat, där omarkerade krav felaktigt inkluderades.

Poängsättningen skedde automatiskt, utan någon LLM-bedömare. För att räknas som en match måste ett svar innehålla minst fyra innehållsord i följd från det ursprungliga kravet. Det bidrog till att förhindra att liknande men annorlunda krav räknades som korrekta.

Test utan markeringar

Ett ytterligare test genomfördes för att undersöka om viktiga krav kunde identifieras enbart utifrån ordalydelsen, utan markeringar eller färger. En textbaserad klassificerare som tränats på exempel uppnådde ett värde på ROC AUC på 0.664 (där 0.5 motsvarar en slumpmässig gissning).

Enklare metoder presterade inte bättre än slumpen: när ord som antydde brådska användes som ledtrådar blev resultatet 0.508, medan meningslängd gav 0.492. Resultaten tyder på att det går att utläsa mycket lite om vad författaren som använde överstrykningspennan avsåg enbart utifrån ordalydelsen.

Det är rimligt: om formuleringarna hade varit tillräckligt kraftfulla hade författaren förmodligen inte känt behov av att i efterhand lägga till någon extra betoning.

Metoder som jämfördes

De jämförda metoderna var författarnas egen parser, OURS; OURS med saliensroller; OURS med otypad uppmärkning; docx2python; Docling; och konvertering till vanlig text.

Samma dokument och frågor användes för varje metod. Det enda som ändrades var sättet dokumenten konverterades på. Huvudjämförelsen omfattade 76 dokument, och varje test upprepades tre gånger:

Testresultat som jämför sex metoder för att identifiera krav som markerats som ”viktiga” i Word-dokument. Den övre delen visar resultat från 76 dokument, testade tre gånger. Den nedre delen visar ett separat bekräftande test med 79 dokument och sex upprepningar. Högre F1-värden visar på bättre prestanda; lägre andel falska positiva visar att färre omarkerade krav valts ut av misstag. Statistiskt signifikanta skillnader visas i fetstil.

Som framgår ovan uppnådde systemet som författarna utvecklat det högsta totala F1-resultatet, 0,690, jämfört med 0,586 för docx2python, 0,150 för Docling och endast 0,075 för ren text (F1 kombinerar precision och återkallning till ett enda mått på träffsäkerhet, där 1,0 motsvarar ett perfekt resultat).

Vikten av att bevara formateringen framgick också av resultaten för falska positiva: med Docling valdes omarkerade krav felaktigt ut nästan fyra gånger så ofta som med systemet som författarna utvecklat (4,3 % jämfört med 1,1 %).

I ett separat test undersökte man om AI-modeller presterade bättre när de fick veta vad formateringen betydde, i stället för att bara se originalfärgerna och markeringarna. Testet visade en liten men statistiskt signifikant förbättring när dessa extra etiketter tillhandahölls. Den största delen av förbättringen hade dock redan uppnåtts genom att bevara formateringen i sig.

Extern press

Forskarna genomförde ytterligare en utvärdering med hjälp av Microsofts test av Office-dokumentförståelse (OCB), som mäter hur korrekt information kan hämtas ur Office-dokument.

326 frågor hämtades från 59 Word-dokument och omfattade formatering, tabeller, hyperlänkar, kommentarer och fotnoter. Både frågorna och bedömningskriterierna tillhandahölls av Microsoft, oberoende av studien:

Resultat av en jämförelse mellan fem metoder för dokumentkonvertering på Microsofts test av Office-dokumentförståelse, som omfattade 326 frågor från 59 Word-dokument. Poängen sträcker sig från 0 till 1; högre poäng innebär bättre resultat, och den högsta poängen i varje kategori är fetmarkerad. De nedersta raderna sammanfattar de övergripande resultaten och den statistiska signifikansen. Här fick systemet som författarna utvecklat den högsta totalpoängen, även om docx2python presterade bättre på markeringar.

Som framgår ovan uppnådde systemet som författarna utvecklat det utmärkta totalresultatet 0,959, jämfört med det goda resultatet 0,810 för docx2python, det måttliga resultatet 0,720 för Docling och det relativt svaga resultatet 0,634 för ren text.

Det nya systemet fick full poäng för metadata, kommentarer och fotnoter, medan alla konkurrerande metoder fick noll – förbättringarna berodde dock inte enbart på att markeringar och textfärger bevarades. Systemet som författarna utvecklat visade sig också vara bättre på att hämta information från tabeller, dokumentlayout, teckensnitt och hyperlänkar.

Slutsats

Jag försökte nyligen, med föga framgång, ta reda på om jag kunde automatisera min manuella markering av tabeller och figurer i en vetenskaplig PDF-artikel med hjälp av LLM:er och/eller Python, och resultaten var … ja, rent ut sagt komiska. Att kategorisera, kvantifiera och analysera vetenskapliga artiklar är numera ett väletablerat forskningsfält, och det finns inte mycket utrymme – eller hopp – för den glade amatören.

När det gäller den här artikeln ligger författarnas bedrift i att ha identifierat en viktig signal för betoning som gick förlorad i översättningen. Den fördubblade tokenförbrukning som deras lösning kräver är dock ingen småsak, särskilt med tanke på den skala som OCR- och dokumentinläsningslager måste kunna hantera. Jag tycker därför att vinsten här är att ha identifierat problemet.

* Med titeln ”Vad författaren skrev, vad agenten läser: tyst signalförlust vid inläsning av företagsdokument”.

^† Allt från Amazon.

^†† Författarnas betoningar, inte mina, även om jag regelbundet omvandlar författarnas hänvisningar i löptext till hyperlänkar.

Först publicerad fredag 30 oktober 2026