Zelfs de meest geavanceerde taalmodellen zijn vatbaar voor ‘interpretatieve’ transcriptie

Nieuw onderzoek van Amazon toont aan dat hoe slimmer het model, hoe waarschijnlijker het is dat het ‘creatief’ wordt wanneer het wordt gevraagd om Optical Character Recognition uit te voeren.

Optical Character Recognition (OCR) wordt over het algemeen beschouwd als een grotendeels opgelost probleem. Als u tekst scant of een foto van de tekst aan het OCR-systeem presenteert, voert het een uitgebreide individuatie van elk letter uit, waarbij het de beste schatting maakt die het kan op basis van elke letter:

Boven links, de zoning van karakteristieke loci in een gesegmenteerde geïdentificeerde letter (bron); hoofdafbeelding: segmentatie-resultaat voor een institutioneel archief (Bron).

OCR interpreteert tekens individueel; die tekens, in de buurt van elkaar, kunnen al dan niet woorden of andere linguïstische constructies vormen. OCR maakt zich daar geen zorgen over; tegen de tijd dat die problemen zich voordoen, is het al weg en bezig met de volgende taak, omdat spellingscontrole niet binnen zijn bevoegdheid valt.

Een van de meest populaire OCR-systemen is het vermaarde Tesseract, een strikt algoritmische interpreter, die breed wordt gebruikt in een verscheidenheid aan open source-toepassingen en workflows. Met een breed scala aan ‘platte’ algoritmische OCR-add-ons beschikbaar op alle besturingssystemen, is de mogelijkheid om beeldtekst terug te converteren naar bewerkbare tekst nu de status van een gratis commodity bereikt – zelfs als geen enkel systeem zonder fouten of eigenaardigheden is.

Bovendien hebben organisaties en commerciële producten die traditioneel concurreren in de algoritmische OCR-ruimte, hun legacy-systemen aangepast aan AI-geassisteerde documentbeheersystemen. Het kerntechnologie – het produceren van geschatte groepen van gesegmenteerde en geïdentificeerde letters – blijft ongewijzigd.

Woord op

Naast een groeiend aantal taken, wordt OCR steeds vaker afgehandeld door de nieuwe generatie Vision Language Models (VLMs); wanneer deze worden geconfronteerd met niet-bewerkbare of gerasterde tekst, kunnen agente versies van deze laatste systemen vaardig lezen en translitereren als dat nodig is.

Volgens een nieuw onderzoeksrapport van Amazon.com, kunnen degenen die denken dat AI exact dezelfde functie zal repliceren als OCR, voor een verrassing komen te staan: het nieuwe onderzoek heeft aangetoond dat uw favoriete LLM waarschijnlijk ‘de extra mijl’ zal gaan in transcriptie, of u dat nu wilt of niet; het zal de context van elke letter overschrijden naar per-woordcontext – en eventuele ‘fouten’ die het vindt, corrigeren op manieren die ongewenste gevolgen kunnen hebben voor gebieden zoals juridisch, medisch en historisch translitereren.

De auteurs beweren:

‘Vision Language Models (VLMs) worden steeds vaker gebruikt in plaats van traditionele OCR-pijplijnen voor documentbegrip.

‘[We] laten zien dat ze niet altijd als trouwe transcripten werken: wanneer de tekst onvolmaakt is, schrijven ze deze vaak om in een meer plausibele vorm – een gedrag dat clean-text OCR-benchmarks niet kunnen detecteren.’

De auteurs introduceren een omvangrijke nieuwe gecuratede dataset en benchmark met de naam FaithC4, die ze hebben getest op een selectie van 15 FOSS- en closed-source modellen, waaronder versies van ChatGPT en Google Gemini.

Ze vonden dat general-purpose AI-modellen veel waarschijnlijker waren dan traditionele OCR-systemen om onvolmaakte woorden te vervangen door meer ‘plausibele’ woorden, soms tot 65% van de door elkaar gehusselde woorden herschrijvend, terwijl kleine lokale fouten ook fouten elders in de tekst veroorzaakten.

Korte woorden waren vooral kwetsbaar, en expliciete instructies niet om correcties aan te brengen, verminderden het probleem, hoewel het niet elimineerde.

Het rapport stelt*:

‘Hoewel het herschrijfgedrag gunstig kan zijn voor het herstellen van sommige echte fouten, kan het problematisch zijn voor sommige domeinen die letterlijke transcriptie vereisen, zoals juridische documenten, medische dossiers en historische manuscripten.

‘Ondanks zijn belang, is dit herschrijfgedrag grotendeels over het hoofd gezien in VLM-onderzoek. Bestaande OCR benchmarks richten zich op clean text recognition en zijn daarom onvoldoende voor het onderzoeken van hoe modellen onvolmaakte invoer kunnen verwerken.’

Het centrale bericht is dat geavanceerdere AI-systemen worstelen om fouten niet te corrigeren die algoritmische OCR-platforms gemakkelijk kunnen configureren om ‘raw’ te leveren; in veel gevallen is menselijke interpretatie essentieel om het probleem op te lossen; maar als een onjuiste ‘correctie’ al is toegepast, zal het probleem geneigd zijn onder de radar van de meeste controlesystemen te glippen.

Het nieuwe rapport heet Do VLMs Read or Rewrite? On Transcription Faithfulness in Vision-Language Models en komt van vijf onderzoekers bij Amazon.com.

Gegevens en methode

Om hun benchmark-dataset te bevolken, putten de auteurs uit de Colossal Cleaned Crawled Corpus – ook wel C4 genoemd – een hyperschaal web-gecrawld collectie uit 2020. Uit deze corpus werden 1.455 single-page documenten geselecteerd over de talen Engels, Chinees en Koreaans, met elk passage-formaat om op één gerenderde pagina te passen.

De definitieve benchmark bevatte 500 Engelse documenten, 500 Chinese documenten en 455 Koreaanse documenten, waardoor een multilinguale testbank ontstond voor het meten of AI-systemen tekst getrouw kopiëerden of op de een of andere manier herschreven.

Om te testen of AI-modellen getrouw zouden kopiëren wat ze zagen, werden gecontroleerde fouten geïntroduceerd in de documenten voordat ze als afbeeldingen werden weergegeven, met ongeveer 8% van de in aanmerking komende woorden gewijzigd, elk met ten minste vier tekens. Ongewijzigde versies van deze werden gebruikt als grondwaarheid.

Drie perturbatie-varianten werden vervolgens toegepast: scramble schudde de interne letters van woorden door elkaar, terwijl de eerste en laatste letters behouden bleven; random verving elke karakter met een willekeurig alternatief uit hetzelfde schrijfsysteem; en visual verving visueel vergelijkbare karakters die voor het oog plausibel bleven, terwijl de onderliggende tekst werd gewijzigd.

De Chinese variant liet de scramble voorwaarde weg omdat het schrijfsysteem geen spaties tussen woorden heeft, maar in plaats daarvan vaste vierkaraktersvensters voor de andere perturbaties gebruikte; bovendien betekende de kortere gemiddelde woordlengte van het Koreaans dat minder woorden in aanmerking kwamen voor wijziging.

Elk document werd vervolgens als een PDF-pagina weergegeven en doorgegeven aan de concurrerende transcriptiesystemen.

Tests

De tests voor het onderzoek omvatten zowel closed-source general-purpose modellen, zoals GPT-5.4-mini; Gemini-3-Flash; en Gemini-2.5-Flash; en open source-modellen, waaronder de general-purpose modellen Qwen3.5-4B; Qwen3-VL-4B; InternVL3.5-4B; Gemma4-E4B; en Gemma4-E2B.

Daarnaast werden OCR-gepecialiseerde modellen opgenomen, waaronder olmOCR-2-7B; DeepSeek-OCR-2; MinerU2.5-Pro; PaddleOCR-VL-1.5; en LightOnOCR-2-1B. Ten slotte werden de traditionele OCR-motoren Tesseract en docTR ook getest.

De drie groepen zijn afhankelijk van taal in verschillende mate: general-purpose AI-modellen putten zwaar uit brede taalkennis die tijdens de pretraining is verworven; OCR-gepecialiseerde modellen leggen meer nadruk op getrouwe documenttranscriptie door middel van taakspecifieke training; en traditionele OCR-systemen vertrouwen op karakterherkenning, in plaats van linguïstische inferentie.

Twee metrics werden aangenomen, beginnend met Word Error Rate (WER), de standaard OCR-metric voor het bepalen van het aantal complete woorden dat een systeem onjuist heeft getranscribeerd. In plaats van alleen maar verkeerde karakters te tellen, registreert WER vervangingen, verwijderingen en invoegingen ten opzichte van de oorspronkelijke tekst, waardoor het gevoelig is voor zowel onjuiste woorden als voor woorden die zijn weggelaten of toegevoegd.

Voor Chinees, waar woorden niet door spaties worden gescheiden, werd dezelfde aanpak toegepast op karakterniveau, als Character Error Rate (CER).

Om subtielere fouten te detecteren, werd de metric Edit Distance Similarity (EDS) ook gebruikt. EDS vergelijkt de voorspelde tekst met de oorspronkelijke tekst op karakterniveau en – in tegenstelling tot WER – kan het onderscheid maken tussen een woord dat volledig verkeerd is en een woord dat slechts één of twee karakters verschilt. Dit maakt het nuttig voor het detecteren van near-misses en gedeeltelijke herschrijvingen die anders mogelijk niet zouden worden opgemerkt.

Zoals te zien is in de grafiek hieronder, bleken traditionele OCR-systemen het meest resistent te zijn tegen alle drie perturbatie-typen, met weinig verlies van nauwkeurigheid omdat ze voornamelijk individuele karakters herkennen in plaats van te proberen woorden uit context af te leiden:

Veranderingen in Word Error Rate (links) en Edit Distance Similarity (rechts) over Engels, Chinees en Koreaans na toepassing van de drie tekstperturbatiemethoden. Traditionele OCR-systemen toonden de kleinste prestatieafname overall, OCR-gepecialiseerde modellen bezetten het middenveld, terwijl general-purpose AI-modellen over het algemeen het meest werden beïnvloed door beschadigde tekst. Bron

OCR-gepecialiseerde AI-modellen bezetten het middenveld; MinerU en LightOn bleven relatief robuust; en olmOCR en DeepSeek-OCR toonden een grotere gevoeligheid voor beschadigde tekst, wat aangaf dat document-specifieke training de neiging tot het herschrijven van wat werd gelezen verminderde, maar niet elimineerde.

General-purpose AI-modellen presteerden het slechtst overall, met een aanzienlijke toename van transcriptiefouten wanneer ze werden geconfronteerd met perturbeerde tekst. De meeste vertoonden een veel grotere afname dan zowel OCR-gepecialiseerde modellen als traditionele OCR – hoewel Gemini-3-Flash opviel als een opvallende uitzondering, die meer presteerde als een conventioneel OCR-systeem.

Over het algemeen kwam de rangorde overeen met de mate waarin elk model afhankelijk was van taalkennis, waarbij sterkere taalprioriteiten overeenkwamen met een grotere neiging om tekst te herschrijven in plaats van deze eenvoudig te transcriberen.

Een breakdown van fouttypen, weergegeven in de onderstaande tabel, geeft aan dat traditionele OCR-systemen voornamelijk conventionele transcriptiefouten produceerden, zoals vervangingen, verwijderingen en invoegingen:

Resultaten van de Engelse ‘Scramble’ perturbatie-test, die aantonen hoe elk transcriptiesysteem zijn fouten verdeelde over exacte herschrijvingen, near-miss transcripties (‘Dichtbij’), meer substantiële transcriptiefouten (‘Matig’) en volledig onjuiste uitvoer (‘Verkeerd’). Modellen zijn gerangschikt op hun herschrijfratio van beschadigde woorden.

Daarentegen waren general-purpose AI-modellen veel waarschijnlijker om beschadigde woorden te vervangen door plausibele alternatieven, terwijl ze de omliggende zin behielden, wat sterk bewijs leverde dat ze niet alleen beschadigde tekst verkeerd lazen, maar deze actief herschreven met behulp van linguïstische context.

Het onderzoek vond ook dat transcriptiefouten niet beperkt bleven tot beschadigde woorden:

Resultaten van de foutpropagatie-analyse, die per-woord fouttarieven tonen op perturbeerde en onperturbeerde woorden na elke perturbatiemethode. Het wijzigen van ongeveer 4,7% van de woorden veroorzaakte een aanzienlijke toename van de fouttarieven in de omliggende, ongewijzigde tekst in veel modellen.

Zoals te zien is in de resultaatentabel hierboven en de grafiek hieronder, veroorzaakte het wijzigen van ongeveer 4,7% van de woorden in een Engels document een aanzienlijke toename van de fouttarieven in de omliggende, ongewijzigde tekst:

Verdere resultaten van de foutpropagatie-analyse, die de toename van de transcriptiefouten in zowel perturbeerde als onperturbeerde woorden na elke perturbatiemethode tonen. General-purpose AI-modellen vertoonden de grootste foutamplificatie, waarbij fouten vaak buiten de oorspronkelijk beschadigde woorden om zich verspreidden.

General-purpose VLMs waren het meest getroffen, met fouttarieven op ongewijzigde woorden die tot tien keer zo hoog waren als de basislijn. Daarentegen toonden traditionele OCR-systemen slechts een geringe toename. Modellen die het grootste deel van de beschadigde woorden herschreven, vertoonden ook de sterkste foutpropagatie, wat suggereert dat beide gedragingen voortkomen uit dezelfde onderliggende afhankelijkheid van linguïstische context.

In de praktijk betekent dit dat een kleine hoeveelheid beschadigde tekst de nauwkeurigheid van een anders intact document kan compromitteren, waardoor clean OCR-benchmark-scores een onbetrouwbare gids zijn voor de transcriptiefideliteit in de praktijk.

Ten slotte onderzochten de auteurs ook of woordlengte de herschrijfgedragingen beïnvloedde, en vonden dat kortere woorden aanzienlijk kwetsbaarder waren dan langere woorden.

Omdat ze minder visuele aanwijzingen bevatten, lijken korte woorden VLMs ertoe te brengen om zwaarder te leunen op contextuele taalkennis – waardoor de kans toeneemt dat beschadigde tekst wordt vervangen door een plausibel alternatief in plaats van letterlijk te worden getranscribeerd (wat mogelijk een nuttige waarschuwing voor menselijke toezicht zou kunnen geven).

De auteurs vonden ook dat, hoewel het expliciet instrueren van modellen niet om fouten te corrigeren deze neiging verminderde, het deze niet elimineerde. Dit zou erop wijzen dat interpretatieve transcriptie een inherente eigenschap is van de huidige VLMs, in plaats van een gedrag dat betrouwbaar kan worden onderdrukt door middel van prompting alleen.

De auteurs concluderen:

‘Voor toepassingen die letterlijke transcriptie vereisen, zoals juridische documentverwerking, historische manuscriptdigitalisering en forensisch onderzoek, blijven traditionele OCR-systemen of zorgvuldig geselecteerde OCR-gepecialiseerde VLMs de veiligste keuze, terwijl general-purpose VLMs systematische herschrijving introduceren die clean-text benchmarks niet kunnen detecteren.’

Conclusie

Dit onderzoek herhaalt wat een terugkerend thema wordt in LLM-literatuur: dat, hoewel getrainde VLM-modellen enorm krachtig zijn, ze ook resistent zijn tegen kritische instructies – in dit geval Lees en parseer de letters die u in de afbeelding vindt.

De meer geavanceerde modellen kunnen het gewoon niet, het lijkt erop – alsof ze het beschouwen als ‘saai werk’, of anders irrationeel gedwongen worden om een ‘half afgemaakt taak’ af te ronden.

* Mijn conversie van de inline citaten van de auteurs naar hyperlinks.

Eerst gepubliceerd op maandag, 27 juli 2026