Cruciaal is dat enterprise-agents markeringen niet begrijpen

Er ligt wereldwijd nog veel belangrijk papier dat niet is gescand, vooral in het bedrijfsleven. Naar schatting wordt slechts 1% van de vier miljard papieren documenten die jaarlijks in de wereldhandel circuleren gedigitaliseerd. De rest valt buiten het analytische vermogen van machine learning.

Dat is slechts een ruwe inschatting van het probleem in de bedrijfssector; ook overheden produceren enorme hoeveelheden drukwerk en documenten op papier. Het Amerikaanse Nationaal Archief meldde dit jaar dat slechts 4,04% van de analoge documenten die het beheert, is gedigitaliseerd, terwijl er nog 11,97 miljard te gaan zijn.

Het is dus een actueel probleem, geen achterhaald probleem, en ik moet bekennen dat ik er zelf ook aan bijdraag:

Waar ik de meeste dagen achter zit.

Bij het beoordelen van papers print ik ze uit, omdat ze naast een machinale samenvatting ook veel menselijke interpretatie vereisen. Omdat ik weinig tijd heb, krabbel ik grote markeringen bij belangrijke passages en mogelijke citaten, zodat de structuur van de gegevens me direct in het oog springt wanneer ik ga schrijven. Omdat ik niet OCD genoeg ben om met markeerstiften aan de slag te gaan, geef ik extra nadruk aan met uiteenlopende symbolen, grotere tekst en andere zeer persoonlijke signalen van belang.

Maar veel mensen, onder wie heel wat belangrijke mensen die belangrijke dingen schrijven, gebruiken wel gekleurde markeerstiften en verschillende tekstkleuren om nadruk te leggen.

Winston Churchill gebruikte pennen in verschillende kleuren om verschillende soorten nadruk aan te geven. Hier lijkt hij rood te gebruiken als correctieteken, terwijl hij zijn toespraak over zijn ‘finest hour’ voorbereidt. Bron

Volgens het artikel dat op de eerdere foto is afgebeeld (het exemplaar op de zwarte lessenaar), zijn er mogelijk honderden miljoenen documenten met een dergelijke laag aan nadruk die documentinvoersystemen zoals Docling momenteel niet kunnen waarnemen.

Deze handmatige accenten zijn betekenisvol: ze geven tekst extra gewicht op een manier die niet per se uit de formulering zelf blijkt. Als de inhoud van zo’n gemarkeerde pagina wordt teruggebracht tot louter tekst via OCR (of geavanceerdere methoden, zoals VLM’s), komt de volledige bedoeling van de auteur dus niet over. Dat kan zelfs een verkeerde voorstelling geven van de doelen en bedoelingen van het document.

Alleen de markeringen

Uit het nieuwe onderzoek* blijkt dat veelgebruikte documentconverters markeringen en tekstkleuren routinematig weglaten, waardoor AI-agents belangrijke instructies niet kunnen herkennen. Van de 6.462 beleidsdocumenten die in de tests van het onderzoek werden onderzocht, bevatte bijna een derde rode tekst of markeringen; ongeveer één op de tien gebruikte zulke aanduidingen om de aandacht te vestigen op belangrijke vereisten.

Over agents die bedrijfsdocumenten verwerken, schrijven de auteurs^†††:

‘Geavanceerde converters halen tekst, tabellen en structuur getrouw op, waardoor de pijplijn goed lijkt te functioneren.

‘We laten zien dat ze allemaal één laag verliezen: de betekenis die een auteur codeert in de manier waarop tekst eruitziet— en dat dit verlies ertoe leidt dat agents vol overtuiging de verkeerde conclusie trekken in plaats van zichtbaar onvolledig te zijn. Dat is de moeilijker te detecteren fout bij de implementatie.’

In de test van de auteurs presteerden AI-modellen veel beter wanneer ze belangrijke vereisten in echte beleidsdocumenten moesten herkennen en de oorspronkelijke markeringen en tekstkleuren behouden waren. Dit resultaat werd bevestigd met zes modellen, waaronder GPT-5.6 Terra, Claude Opus 5 en Claude Sonnet 5.

In feite kunnen aan markeringen twee signalen worden ontleend: a) dat er überhaupt iets is gemarkeerd en b) de kleur waarin het is gemarkeerd. Wanneer voor handmatige markeringen meerdere kleuren worden gebruikt, zou een logische indeling rood op de een of andere manier als negatief coderen (zoals we eerder zagen bij Winston Churchills correcties op zijn eigen toespraken):

Onderaan deze JSON-uitvoer van de parser in de eerste fase van de auteurs zien we dat de pijplijn rode markeringen heeft gevonden en gecodeerd. Logischerwijs zien we ook dat de woorden overeenkomen met het gecodeerde intensiteitsniveau. De methode is echter nuttiger wanneer de nadruk wordt gelegd op woorden die op zichzelf de toon niet zo sterk aanzetten, en wanneer de markering daardoor ontbrekende nadruk toevoegt. Bron

De auteurs stellen voor dat bestaande pipelines het probleem vrij eenvoudig kunnen oplossen door tijdens de documentconversie de oorspronkelijke markeringen en tekstkleuren te behouden en labels toe te voegen die aan het AI-model uitleggen wat ze betekenen. Dit vereist geen extra AI-verwerking, maar verdubbelt wel ongeveer het aantal tokens dat nodig is om elk document weer te geven:

‘Het terughalen van deze aanwijzingen is deterministisch, vereist alleen code en kost geen LLM-aanroepen; het volledige hier gerapporteerde effect komt uitsluitend voort uit het parsen. Het kost wel tokens — ongeveer twee keer zoveel als platte tekst — en is dus een bewuste afweging waarbij contextbudget wordt ingeruild voor feitelijke nauwkeurigheid, geen gratis winst.’

Onverschilligheid tegenover vetgedrukte tekst

Een interessant aspect van het onderzoek is de mate waarin de bestaande nadrukmiddelen in getypte digitale documenten blijkbaar niet effectief zijn doordat ze te veel worden gebruikt^††:

‘Het volledige effect [i.e., of the new pipeline] komt voor rekening van markeren [and] [colour]. Vet, cursief, monospace en doorhalen dragen niets bij [measurable]; de betrouwbaarheidsintervallen omvatten nul.

‘Dat komt niet doordat deze aanwijzingen ontbreken: één document bevat meer dan duizend aanduidingen van vetgedrukte tekst. Ze komen simpelweg zo vaak voor dat ze geen informatie opleveren.

‘Een auteur die elke kop en elke gedefinieerde term vet maakt, heeft daarmee niets afzonderlijk benadrukt, terwijl een vereiste inkleuren of markeren een bewuste, spaarzame handeling is. Het classificeren van aanwijzingen is alleen nuttig als ze zeldzaam genoeg zijn om intentie aan te geven.’

Taken en tests

Om het systeem op te zetten, doorzochten de auteurs 6,462 echte beleidsdocumenten in .docx-indeling uit een niet nader genoemd openbaar corpus. Ze controleerden de documenten op rode tekst en markeringen, zonder op basis van de formulering aannames te doen. Vervolgens kregen de modellen de opdracht om de vereisten aan te wijzen die als bijzonder belangrijk waren gemarkeerd, en de ongemarkeerde vereisten buiten beschouwing te laten. De kern van de prompt luidde:

‘Geef een lijst van alle vereisten in dit document die de auteur speciaal onder de aandacht heeft gebracht of een hogere prioriteit heeft gegeven.’

Voor de hoofdtest werden 84 documenten geselecteerd, met daarin 332 gemarkeerde vereisten en 4,192 ongemarkeerde vereisten (oftewel vereisten zonder rode tekst of gekleurde markeringen). Elk document moest ten minste één gemarkeerd vereiste en drie ongemarkeerde vereisten bevatten, zodat de AI niet simpelweg alles kon opsommen.

De grondwaarheid werd rechtstreeks afgeleid uit de opmaak van de documenten, niet uit menselijk oordeel of een ander AI-model. De prestaties werden gemeten met precisie, volledigheid en F1-scores, waarbij rekening werd gehouden met zowel correct geïdentificeerde vereisten als fout-positieven: ongemarkeerde vereisten die ten onrechte werden opgenomen.

De scores werden programmatisch berekend, zonder beoordeling door een LLM. Om als overeenkomst te tellen, moest een antwoord ten minste vier opeenvolgende inhoudswoorden uit het oorspronkelijke vereiste bevatten. Zo werd voorkomen dat vergelijkbare maar verschillende vereisten als correct werden aangemerkt.

Markeringen weglaten

Er werd een aanvullende test uitgevoerd om te bepalen of belangrijke vereisten op basis van alleen hun formulering konden worden geïdentificeerd, zonder markeringen of kleuren. Een tekstclassificatiemodel dat was getraind met voorbeelden behaalde een score van AUC van de ROC-curve van 0.664 (waarbij 0.5 overeenkomt met willekeurig raden).

Eenvoudigere methoden presteerden niet beter dan toeval: wanneer woorden die op urgentie wezen als aanwijzingen werden gebruikt, was de score 0.508; op basis van zinslengte was de score 0.492. Deze resultaten wijzen erop dat je op basis van alleen de formulering maar heel weinig te weten kunt komen over wat de auteur met de markeerstift bedoelde.

Dat is logisch: als de formulering krachtig genoeg was geweest, had de auteur vermoedelijk geen behoefte gehad aan nadruk achteraf.

De kanshebbers

De vergeleken methoden waren de eigen parser van de auteurs, OURS; OURS met relevantierollen; OURS met niet-getypeerde opmaak; docx2python; Docling; en conversie naar platte tekst.

Voor elke methode werden dezelfde documenten en vragen gebruikt; alleen de manier waarop de documenten werden geconverteerd, verschilde. De belangrijkste vergelijking omvatte 76 documenten, waarbij elke test drie keer werd herhaald:

Testresultaten van een vergelijking van zes methoden om vereisten te identificeren die in Word-documenten als ‘belangrijk’ zijn gemarkeerd. Het bovenste gedeelte toont de resultaten voor 76 documenten, die elk drie keer zijn getest. Het onderste gedeelte toont een afzonderlijke bevestigingstest met 79 documenten en zes herhalingen. Hogere F1-scores wijzen op betere prestaties; lagere percentages fout-positieven betekenen dat er minder ongemarkeerde vereisten ten onrechte worden geselecteerd. Statistisch significante verschillen zijn vetgedrukt.

Zoals hierboven te zien is, behaalde het systeem van de auteurs de hoogste algemene F1-score: 0,690, tegenover 0,586 voor docx2python, 0,150 voor Docling en slechts 0,075 voor platte tekst (F1 combineert precisie en recall tot één maatstaf voor nauwkeurigheid, waarbij 1,0 een perfecte score is).

Hoe belangrijk het is om de opmaak te behouden, bleek ook uit de resultaten voor fout-positieven: met Docling werden niet-gemarkeerde vereisten bijna vier keer zo vaak ten onrechte geselecteerd als met het systeem van de auteurs (4,3% tegenover 1,1%).

In een afzonderlijke test werd onderzocht of AI-modellen er baat bij hadden als werd uitgelegd wat de opmaak betekende, in plaats van alleen de oorspronkelijke kleuren en markeringen te tonen. Wanneer deze extra labels werden toegevoegd, bleek er sprake van een kleine maar statistisch significante verbetering. Het grootste deel van de winst was echter al behaald door de opmaak zelf te behouden.

Externe druk

De onderzoekers voerden een aanvullende evaluatie uit met Microsofts benchmark voor begrip van Office-documenten (OCB), die meet hoe nauwkeurig informatie uit Office-documenten kan worden teruggewonnen.

Uit 59 Word-documenten werden 326 vragen gehaald over opmaak, tabellen, hyperlinks, opmerkingen en voetnoten. Zowel de vragen als de beoordelingscriteria waren door Microsoft aangeleverd, onafhankelijk van het onderzoek:

Resultaten van een vergelijking tussen vijf methoden voor documentconversie op Microsofts benchmark voor begrip van Office-documenten, met 326 vragen uit 59 Word-documenten. De scores lopen van 0 tot 1; hogere scores duiden op betere prestaties. De hoogste score in elke categorie is vetgedrukt. De onderste rijen geven een samenvatting van de algehele prestaties en de statistische significantie. In deze test behaalde het systeem van de auteurs de hoogste totaalscore, hoewel docx2python beter presteerde bij het herkennen van markeringen.

Zoals hierboven te zien is, behaalde het systeem van de auteurs een uitstekende totaalscore van 0,959, tegenover een goede score van 0,810 voor docx2python, een gemiddelde score van 0,720 voor Docling en een relatief lage score van 0,634 voor platte tekst.

Het nieuwe systeem behaalde perfecte scores voor metadata, opmerkingen en voetnoten, terwijl alle concurrerende methoden nul scoorden. Deze verbeteringen waren echter niet uitsluitend te danken aan het behoud van markeringen en tekstkleuren; het systeem van de auteurs bleek ook beter in staat informatie uit tabellen, documentindelingen, lettertypen en hyperlinks terug te winnen.

Conclusie

Onlangs probeerde ik zonder veel succes te achterhalen of ik de tabellen en figuren in een wetenschappelijk artikel in pdf-formaat, die ik zelf handmatig had gemarkeerd, met LLM’s en/of Python kon laten automatiseren. Het resultaat was… nou ja, hilarisch. Het indelen in categorieën, kwantificeren en ontleden van wetenschappelijke artikelen is inmiddels een goed vertegenwoordigde onderzoekslijn in de literatuur, en voor de gelegenheidsamateur is er weinig ruimte — of hoop.

Wat dit artikel betreft, is de verdienste van de auteurs dat ze een belangrijke indicator voor nadruk hebben geïdentificeerd die tijdens de vertaling verloren ging. De verdubbeling van het tokenverbruik die hun oplossing vereist, is echter geen kleinigheid op de schaal waarop OCR- en documentverwerkingslagen moeten werken. Daarom is de verdienste hier volgens mij dat ze het probleem hebben geïdentificeerd.

* Getiteld ‘Wat de auteur schreef, wat de agent leest: stil verlies van signalen bij de opname van bedrijfsdocumenten’.

^† Allemaal van Amazon.

^†† Nadruk van de auteurs, niet van mij, hoewel ik citaten in de lopende tekst van auteurs wel geregeld omzet in hyperlinks.

Voor het eerst gepubliceerd op vrijdag 30 oktober 2026