Selv de førende sprogmodeller er udsat for ‘fortolkende’ transkription

Nyt forskning fra Amazon viser, at jo smartere modellen er, jo mere sandsynligt er det, at den vil ‘blive kreativ’, når den bedes om at udføre optisk tegnkendelse.

Optisk tegnkendelse (OCR) anses for at være et stort set løst problem. Hvis du scanner nogen tekst eller præsenterer et billede af teksten for OCR-systemet, udfører det en omfattende individuation af hver bogstav, og gør det bedste bud, det kan på en per-bogstav-basis:

Top venstre, zonering af karakteristiske loci i en segmenteret identificeret bogstav (kilde); hovedbillede: segmenteringsresultat for en institutionel repository (Kilde).

OCR fortolker bogstaver individuelt; disse bogstaver, i tilstrækkelig nærhed, kan eller kan ikke udgøre ord eller andre lingvistiske konstruktioner. OCR er ligeglad; når disse problemer opstår, er det ude og på vej til det næste job, fordi stavekontrol ikke er inden for dets kompetence.

En af de mest populære OCR-systemer er det værdsatte Tesseract, et strengt algorithmisk fortolker, der er vidt anvendt i en række åbne kildeapplikationer og arbejdsgange. Med en bred vifte af ‘flade’ algorithmiske OCR-tilføjelser tilgængelige på tværs af alle operativsystemer, har evnen til at konvertere billed-tekst tilbage til redigerbar tekst nået status som en fri vare – selv om intet system er uden fejl eller svagheder.

Derudover har organisationer og kommercielle produkter, der traditionelt konkurrerer i den algorithmiske OCR-rum, tilpasset deres arvede systemer til AI-baseret dokumenthåndteringssystemer. Men den grundlæggende teknologi – udspyning af anslåede grupper af segmenterede og identificerede bogstaver – forbliver uændret.

Ord op

Sammen med en voksende række opgaver håndteres OCR i stigende grad af den nye generation af Vision Language Models (VLMs); konfronteret med ikke-redigerbar eller rasteriseret tekst, kan agentic versioner af disse nyeste systemer dygtigt læse og translitterere efter behov.

Men ifølge en ny forskningsrapport fra Amazon.com, kan de, der tror, at AI vil replikere nøjagtig samme funktion som OCR, være på vej mod en overraskelse: den nye studie har fundet, at din favorit LLM sandsynligvis vil ‘gå den ekstra mile’ i transkription, uanset om du vil have det til eller ej; overskridende per-bogstav-kontekst til per-ord-kontekst – og korrigere eventuelle ‘fejl’ det finder, på måder, der kan have uønskede konsekvenser for områder som juridisk, medicinsk og historisk translitteration.

Forfatterne hævder:

‘Vision Language Models (VLMs) bruges i stigende grad i stedet for traditionelle OCR-pipelines til dokumentforståelse.

‘[Vi] viser, at de ikke altid fungerer som trofaste transkriberinger: når teksten er ufuldkommen, tenderer de ofte til at omskrive den til en mere plausibel form – en adfærd, der ikke kan detekteres af rene tekst-OCR-benchmark.

Forfatterne introducerer en omfattende ny kurateret dataset og benchmark med titlen FaithC4, som de testede på en udvalg af 15 FOSS- og lukkede-kilde-modeller, herunder versioner af ChatGPT og Google Gemini.

De fandt, at generelle AI-modeller var langt mere sandsynlige end traditionelle OCR-systemer til at erstatte ufuldkomne ord med mere ‘plausibele’ ord, nogle gange omskrevning af næsten 65% af forvirrede ord, mens små lokale fejl også forårsagede fejl andre steder i ellers korrekte tekst.

Korte ord var særligt sårbare, og eksplisitte instruktioner ikke at korrigere fejl reducerede problemet, selv om det ikke eliminerede det.

Rapporten slår fast*:

‘Selv om omskrivningsadfærden kan være nyttig for at genskabe nogle ægte fejl, kan det være problematisk for nogle domæner, der kræver litteral transkription, såsom juridiske dokumenter, medicinske optegnelser og historiske manuskripter.

‘Trots dets betydning er denne omskrivningsadfærd blevet stort set overset i VLM-forskning. Eksisterende OCR benchmark fokuserer på ren tekstgenkendelse og er derfor utilstrækkelige til at undersøge, hvordan modeller kan håndtere ufuldkomne indgange.’

Den centrale besked er, at mere avancerede AI-systemer kæmper med ikke at korrigere fejl, som algorithmiske OCR-platforme kan let konfigureres til at levere ‘rå’; i mange tilfælde er menneskelig fortolkning afgørende for at løse problemet; men hvis en forkert ‘korrektion’ allerede er anvendt, vil problemet tendere til at glide under radaren af de fleste kontrolsystemer.

Den nye rapport har titlen Do VLMs Read or Rewrite? On Transcription Faithfulness in Vision-Language Models, og kommer fra fem forskere ved Amazon.com.

Data og metode

For at befolke deres benchmark-dataset, trak forfatterne på Colossal Cleaned Crawled Corpus – a.k.a. C4 – en hyperskala web-crawlet samling fra 2020. Fra denne korpus blev 1.455 enkelt-side-dokumenter valgt på tværs af engelsk, kinesisk og koreansk sprog, med hver passage størrelse til at passe på en enkelt renderet side.

Den endelige benchmark indeholdt 500 engelske dokumenter, 500 kinesiske dokumenter og 455 koreanske dokumenter, og gav en multilingual test-seng til måling af, om AI-systemer kopierede tekst trofast, eller på nogen måde omskrev den.

For at teste, om AI-modeller ville kopiere, hvad de så, blev kontrollerede fejl indført i dokumenterne, før de blev renderet som billeder, med omkring 8% af de berettigede ord ændret, hver indeholdende mindst fire tegn. Utilberørte versioner af disse blev brugt som grundsand.

Tre perturbationsvarianter blev derefter anvendt: scramble ombyttede de interne bogstaver i ord, mens de bevarede de første og sidste bogstaver; random erstattede hver tegn med en tilfældig alternativ fra samme skriftsystem; og visual erstattede visuelt lignende tegn, der forblev plausibelt for øjet, mens de ændrede den underliggende tekst.

Den kinesiske variant udelod scramble-betingelsen, da dens skriftsystem mangler mellemrum-adskilte ord, i stedet brugte faste fire-tegn-vinduer til de andre perturbationer; desuden betød Koreas kortere gennemsnitlige ordlængde, at færre ord kvalificerede sig til ændring.

Hver dokument blev derefter renderet som en PDF-side, og overført til de konkurrerende transkriptionssystemer.

Tests

Testene for studiet dækkede både lukkede-kilde generelle formål-modeller, navnlig GPT-5.4-mini; Gemini-3-Flash; og Gemini-2.5-Flash; og åbne kilde-modeller, bestående af generelle formål-modeller Qwen3.5-4B; Qwen3-VL-4B; InternVL3.5-4B; Gemma4-E4B; og Gemma4-E2B.

Derudover var OCR-specialiserede modeller inkluderet, bestående af olmOCR-2-7B; DeepSeek-OCR-2; MinerU2.5-Pro; PaddleOCR-VL-1.5; og LightOnOCR-2-1B. Endelig blev de traditionelle OCR-motorer Tesseract og docTR også testet.

De tre grupper afhænger af sprog til forskellige grader: generelle AI-modeller trækker tungt på bred sprogkendskab erhvervet under forudgående træning; OCR-specialiserede modeller lægger større vægt på trofast dokument-transkription gennem opgave-specifik træning; og traditionelle OCR-systemer afhænger af tegnkendelse, snarere end lingvistisk slutning.

To metrikker blev anvendt, begyndende med Word Error Rate (WER), den standard OCR-metrik for bestemmelse af, hvor mange komplette ord et system transkriberede forkert. Snarere end blot at tælle forkerte tegn, optager WER substitutioner, sletninger og indsættelser i forhold til den originale tekst, hvilket gør det følsomt over for både forkerte ord og ord, der er blevet udeladt eller tilføjet.

For kinesisk, hvor ord ikke adskilles af mellemrum, blev samme tilgang anvendt på tegn-niveau, som Character Error Rate (CER).

For at fange mere subtile fejl blev metrikken Edit Distance Similarity (EDS) også anvendt. EDS sammenligner den forudsagte tekst med den originale på tegn-niveau, og – i modsætning til WER – kan det skelne mellem et ord, der er helt forkert, og et ord, der afviger kun med en eller to tegn. Naturligvis gør dette det nyttigt til at opdage near-misses, såvel som delvise omskrivninger, der ellers kan synes lignende.

Som vist i grafen nedenfor, viste traditionelle OCR-systemer sig at være de mest modstandsdygtige over for alle tre perturbations-typer, med lille tab af nøjagtighed, da de primært genkender enkelttegn snarere end at forsøge at slutte ord fra kontekst:

Ændringer i Word Error Rate (venstre) og Edit Distance Similarity (højre) på tværs af engelsk, kinesisk og koreansk efter anvendelse af de tre tekst-perturbations-metoder. Traditionelle OCR-systemer viste den mindste ydelse-forringelse overordnet, OCR-specialiserede modeller besatte midtergrunden, mens generelle AI-modeller var typisk de mest berørt af korrupt tekst. Kilde

OCR-specialiserede AI-modeller besatte midtergrunden; MinerU og LightOn forblev relativt robuste; og olmOCR og DeepSeek-OCR viste større følsomhed over for korrupt tekst, hvilket indikerer, at dokument-specifik træning reducerede, men ikke eliminerede, tendensen til at fortolke, hvad der blev læst.

Generelle AI-modeller opførte sig værst overordnet, og viste den største stigning i transkriptionsfejl, når de blev konfronteret med perturberet tekst. De fleste led af betydeligt større forringelse end både OCR-specialiserede modeller og traditionelle OCR – selv om Gemini-3-Flash udgjorde en bemærkelsesværdig undtagelse, og opførte sig mere som et konventionelt OCR-system.

Samlet rangerede resultaterne tæt på graden, hvori hver model afhænger af sprogkendskab, med stærkere sprog-prioriteringer, der korrelerer med en større tendens til at omskrive snarere end blot at transkribere tekst.

En opdeling af fejltyper, vist i tabellen nedenfor, indikerer, at traditionelle OCR-systemer primært producerede konventionelle transkriptionsfejl, såsom substitutioner, sletninger og indsættelser:

Resultater fra den engelske ‘Scramble’-perturbations-test, der viser, hvordan hver transkriptionssystem fordeler sine fejl på tværs af eksakte omskrivninger, near-miss-transkriptioner (‘Tæt’), mere betydelige transkriptionsfejl (‘Moderat’) og helt forkerte outputs (‘Forkert’). Modellerne er ordnet efter deres rate af omskrivning af korrupte ord.

Omvrendt var generelle AI-modeller langt mere sandsynlige til at erstatte korrupte ord med plausibelt alternative, mens de bevarede den omgivende sætning, og gav stærk evidens for, at de ikke blot misforstod beskadiget tekst, men aktivt omskrev den ved hjælp af lingvistisk kontekst.

Studiet fandt også, at transkriptionsfejl ikke forblev begrænsede til korrupte ord:

Resultater fra fejl-propagations-analysen, der viser per-ord-fejl-rater på perturberede og uperturberede ord efter hver perturbations-type. Ændring af omkring 4,7% af ordene i et engelsk dokument øgede transkriptionsfejl-rater i omgivende, uperturberet tekst på tværs af mange modeller.

Som vist i resultattabellen ovenfor og grafen nedenfor, øgede ændring af omkring 4,7% af ordene i et engelsk dokument transkriptionsfejl-rater i omgivende, uperturberet tekst betydeligt:

Yderligere resultater fra fejl-propagations-analysen, der viser stigningen i transkriptionsfejl på både perturberede og uperturberede ord efter hver perturbations-type. Generelle AI-modeller viste den største fejl-forstærkning, med fejl, der ofte spredte sig ud over de oprindeligt korrupte ord.

Generelle VLM’er var de mest berørt, med fejl-rater på uperturberede ord, der steg med op til ti gange over baseline. Omvendt viste traditionelle OCR-systemer kun beskedne øgninger. Modeller, der omskrev den største proportion af korrupte ord, viste også den stærkeste fejl-propagation, hvilket antyder, at både adfærd’er stammer fra samme underliggende afhængighed af lingvistisk kontekst.

I praksis betyder dette, at en lille mængde beskadiget tekst kan kompromittere nøjagtigheden af et ellers intakt dokument, og gør rene OCR-benchmark-scores til en upålidelig vejledning for transkriptions-trofasthed i den virkelige verden.

Til sidst undersøgte forfatterne også, om ordlængde påvirkede omskrivningsadfærd, og fandt, at kortere ord var betydeligt mere sårbare end længere ord.

Fordi de indeholder færre visuelle tegn, synes korte ord at opmuntre VLM’er til at læne mere tungt på kontekstuel sprogkendskab – og øger sandsynligheden for, at beskadiget tekst vil blive erstattet med en plausibel alternativ, snarere end at blive transkriberet bogstaveligt (hvilket kunne udløse en nyttig advarsel for menneskelig oversigt).

Forfatterne fandt også, at selv om eksplicit instruktion ikke at korrigere fejl reducerede denne tendens, eliminerede det den ikke. Dette synes at indikere, at fortolkende transkription er en indre egenskab ved nuværende VLM’er, snarere end en adfærd, der kan undertrykkes pålideligt gennem prompt-alene.

Forfatterne konkluderer:

‘For ansøgninger, der kræver litteral transkription, såsom juridisk dokumentbehandling, historisk manuskript-digitale og retsmedicin, forbliver traditionelle OCR-systemer eller omhyggeligt udvalgte OCR-specialiserede VLM’er den sikreste valg, mens generelle VLM’er introducerer systematisk omskrivning, der ikke kan detekteres af rene tekst-benchmark.

Konklusion

Denne studie gentager, hvad der er ved at blive en gentagen tråd i LLM-litteraturen: at selv om trænede VLM-modeller er utroligt kraftfulde, er de også modstandsdygtige over for kritiske instruktioner – i dette tilfælde Læs og parse bogstaverne, du finder i billedet.

De mere avancerede modeller kan bare ikke gøre det, synes det – som om de betragtede det som ‘lavt arbejde’, eller også er irrationelt tvunget til at afslutte en ‘halvfærdig opgave’.

* Min konvertering af forfatternes inline-citationer til hyperlinks.

Først publiceret mandag, 27. juli 2026