Även ledande språkmodeller är benägna till ‘tolkningsbar’ transkription

Nya forskningsresultat från Amazon visar att ju smartare modellen är, desto mer benägen är den att ‘gå den extra milen’ när den begärs att utföra optisk teckenigenkänning.

Optisk teckenigenkänning (OCR) anses vara ett i stort sett löst problem. Om du skannar någon text eller presenterar en bild av texten för OCR-systemet, utför det en detaljerad individuering av varje bokstav, vilket ger den bästa gissningen som den kan på en per-bokstavs basis:

Övre vänster, zonering av karakteristiska lokus i en segmenterad identifierad bokstav (källa); huvudbild: segmenteringsresultat för en institutionell repository (Källa).

OCR tolkar tecken individuellt; dessa tecken, i tillräckligt nära anslutning, kan eller kan inte utgöra ord eller andra språkliga konstruktioner. OCR bryr sig inte; när dessa problem uppstår, är det ute och på väg till nästa jobb, eftersom stavning är inte inom dess behörighet.

En av de mest populära OCR-systemen är det väletablerade Tesseract, ett strikt algoritmiskt tolkningsverktyg, som används i en mängd olika öppen källkodsapplikationer och arbetsflöden. Med en stor mängd ‘platta’ algoritmiska OCR-tillägg tillgängliga över alla operativsystem, har möjligheten att konvertera bildtext tillbaka till redigerbar text nu nått statusen som en fri kommoditet – även om inget system är utan fel eller svagheter.

Dessutom, för att stanna relevant, har organisationer och kommersiella produkter som traditionellt konkurrerar i den algoritmiska OCR-utrymmet anpassat sina äldre system till AI-assisterade dokumenthanteringssystem. Men den grundläggande tekniken – att producera uppskattade grupper av segmenterade och identifierade bokstäver – förblir oförändrad.

Ord upp

Tillsammans med en växande mängd uppgifter, hanteras OCR alltmer av den nya generationen av Vision Language Models (VLMs); konfronterad med icke-redigerbar eller rasteriserad text, agenter versioner av dessa senaste system kan skickligt läsa och translitterera vid behov.

Men enligt en ny forskningsartikel från Amazon.com, de som tror att AI kommer att replikera exakt samma funktion som OCR kan vara på väg mot en överraskning: den nya studien har funnit att din favorit LLM sannolikt kommer att ‘gå den extra milen’ i transkription, oavsett om du vill det eller inte; överskrider per-bokstavs sammanhang till per-ord sammanhang – och korrigera eventuella ‘fel’ den hittar, på sätt som kan ha oönskade konsekvenser för områden som juridisk, medicinsk och historisk translitterering.

Författarna hävdar:

‘Vision Language Models (VLMs) används alltmer i stället för traditionella OCR-pipelines för dokumentförståelse.

‘[Vi] visar att de inte alltid fungerar som trogna transkriberare: när texten är ofullständig, tenderar de ofta att skriva om den till en mer trovärdig form – ett beteende som ren-text OCR-benchmark inte kan upptäcka.’

Författarna introducerar en omfattande ny kuraterad dataset och benchmark med titeln FaithC4, som de testade över en urval av 15 FOSS- och slutna modeller, inklusive versioner av ChatGPT och Google Gemini.

De fann att allmänna AI-modeller var betydligt mer benägna än traditionella OCR-system att ersätta ofullständiga ord med mer ‘troliga’ ett, ibland skrivande nästan 65% av förvirrade ord, medan små lokala fel också orsakade misstag på andra ställen i annars korrekt text.

Korta ord var särskilt sårbara, och uttryckliga instruktioner inte att göra korrigeringar minskade problemet, men det eliminerade det inte.

Artikeln säger*:

‘Medan om-skriverbeteendet kan vara fördelaktigt för att återställa vissa äkta fel, kan det vara problematiskt för vissa områden som kan kräva bokstavlig transkription, såsom juridiska dokument, medicinska register och historiska manuskript.

‘Trots dess betydelse, har detta om-skriverbeteende till stor del försummats i VLM-forskning. Existerande OCR benchmark fokuserar på ren textigenkänning och är därför otillräckliga för att undersöka hur modeller kan hantera ofullständiga indata.’

Den centrala budskapet är att mer avancerade AI-system kämpar för att inte korrigera fel som algoritmiska OCR-plattformar kan enkelt konfigureras för att leverera ‘rå’; i många fall är mänsklig tolkning avgörande för att lösa problemet; men om en felaktig ‘korrigering’ redan har tillämpats, tenderar problemet att glida under radarn på de flesta kontrollsystem.

Den nya artikeln heter Do VLMs Read or Rewrite? On Transcription Faithfulness in Vision-Language Models, och kommer från fem forskare på Amazon.com.

Data och metod

För att fylla i deras benchmark-dataset, drog författarna på Colossal Cleaned Crawled Corpus – även känd som C4 – en hyperskalig web-crawlad samling från 2020. Från denna samling valdes 1 455 enkelsidiga dokument ut över engelska, kinesiska och koreanska språk, med varje passage storlek för att passa på en enda återgiven sida.

Den slutliga benchmarken innehöll 500 engelska dokument, 500 kinesiska dokument och 455 koreanska dokument, vilket gav en multilingual testbädd för att mäta om AI-system kopierade text troget, eller på något sätt skrev om den.

För att testa om AI-modeller skulle kopiera text troget, infördes kontrollerade fel i dokumenten innan de renderades som bilder, med cirka 8% av berättigade ord ändrade, var och en innehållande minst fyra tecken. Ovidkommande versioner av dessa användes som grund för sanningen.

Tre perturbationsvarianter tillämpades sedan: scramble blandade de inre bokstäverna i orden medan de bevarade den första och sista bokstaven; random ersatte varje tecken med ett slumpmässigt alternativ från samma skriftsystem; och visual ersatte visuellt liknande tecken som förblev trovärdiga för ögat, medan den ändrade den underliggande texten.

Den kinesiska varianten utelämnade scramble villkoret eftersom dess skriftsystem saknar utrymme-avgränsade ord, och använde i stället fasta fyra-tecken-fönster för de andra perturbationerna; dessutom innebar Koreas kortare genomsnittliga ordlängd att färre ord kvalificerade sig för ändring.

Varje dokument renderades sedan som en PDF-sida och skickades till de tävlande transkriptionssystemen.

Tester

Testerna för studien omfattade både slutna källkodsmodeller, nämligen GPT-5.4-mini; Gemini-3-Flash; och Gemini-2.5-Flash; och öppen källkodsmodeller, bestående av allmänna modeller Qwen3.5-4B; Qwen3-VL-4B; InternVL3.5-4B; Gemma4-E4B; och Gemma4-E2B.

Dessutom ingick OCR-specialiserade modeller, bestående av olmOCR-2-7B; DeepSeek-OCR-2; MinerU2.5-Pro; PaddleOCR-VL-1.5; och LightOnOCR-2-1B. Slutligen testades också de traditionella OCR-motorerna Tesseract och docTR.

De tre grupperna förlitar sig på språk i olika grad: allmänna AI-modeller drar tungt på bred språkkunskap som förvärvats under förträning; OCR-specialiserade modeller lägger större tonvikt vid trogen dokumenttranskription genom uppgiftsspecifik träning; och traditionella OCR-system förlitar sig på teckenigenkänning, snarare än lingvistisk inferens.

Två metoder antogs, börjande med Word Error Rate (WER), den standard-OCR-metoden för att bestämma hur många kompletta ord ett system transkriberade felaktigt. Snarare än att bara räkna felaktiga tecken, WER registrerar substitutioner, borttagningar och infogningar i förhållande till den ursprungliga texten, vilket gör det känsligt för både felaktiga ord och ord som har utelämnats eller lagts till.

För kinesiska, där ord inte är åtskilda av utrymme, tillämpades samma tillvägagångssätt på teckennivå, som Character Error Rate (CER).

För att fånga mer subtila misstag, användes också metoden Edit Distance Similarity (EDS). EDS jämför den förutsagda texten med den ursprungliga på teckennivå, och – till skillnad från WER – kan skilja mellan ett ord som är helt fel och ett som skiljer sig med bara ett eller två tecken. Naturligtvis gör detta det användbart för att upptäcka nära-missar, samt delvisa om-skriver som annars kan verka liknande.

Som visas i grafen nedan, visade sig traditionella OCR-system vara de mest resistenta mot alla tre perturbations typer, med liten förlust av noggrannhet eftersom de primärt känner igen enskilda tecken snarare än att försöka inferera ord från sammanhang:

Ändringar i Word Error Rate (vänster) och Edit Distance Similarity (höger) över engelska, kinesiska och koreanska efter tillämpning av de tre textperturbationsmetoderna. Traditionella OCR-system visade den minsta prestandaförsämringen totalt, OCR-specialiserade modeller ockuperade mittenmark, medan allmänna AI-modeller var de som påverkades mest av skadad text. Källa

OCR-specialiserade AI-modeller ockuperade mittenmark; MinerU och LightOn förblev relativt robusta; och olmOCR och DeepSeek-OCR visade större känslighet för skadad text, vilket indikerar att dokument-specifik träning reducerade, men inte eliminerade, tendensen att om-tolka vad som lästes.

Allmänna AI-modeller presterade sämst totalt, med den största ökningen av transkriptionsfel när de konfronterades med pertuberad text. De flesta led av betydligt större försämring än antingen OCR-specialiserade modeller eller traditionella OCR – fastän Gemini-3-Flash stack ut som en anmärkningsvärd undantag, som presterade mer som ett konventionellt OCR-system.

Sammanfattningsvis matchade rangordningen nära den grad till vilken varje modell förlitade sig på språkkunskap, med starkare språkliga förkunskaper som motsvarade en större tendens att om-skiva snarare än att enkelt transkribera text.

En nedbrytning av feltyper, som visas i tabellen nedan, indikerar att traditionella OCR-system främst producerade konventionella transkriptionsfel, såsom substitutioner, borttagningar och infogningar:

Resultat från det engelska ‘Scramble’-perturbationstestet, som visar hur varje transkriptionssystem fördelade sina fel över exakta om-skriver, nära-miss transkriptioner (‘Nära’), mer betydande transkriptionsfel (‘Måttlig’) och rent felaktiga utdata (‘Fel’). Modeller är ordnade efter deras om-skriveringsfrekvens av skadade ord.

Omvänt var allmänna AI-modeller betydligt mer benägna att ersätta skadade ord med trovärdiga alternativ medan de bevarade den omgivande meningen, vilket ger starka bevis för att de inte enbart missförstod skadad text, utan aktivt om-skrev den med hjälp av lingvistisk sammanhang.

Studien fann också att transkriptionsfel inte förblev begränsade till skadade ord:

Resultat från felpropagationsanalysen, som visar per-ord felhastigheter på pertuberade och opertuberade ord efter varje perturbationsmetod. Att ändra cirka 4,7% av orden orsakade transkriptionsfel som spreds till omgivande, oförändrad text över många modeller.

Som visas i resultattabellen ovan och grafen nedan, orsakade ändring av cirka 4,7% av orden i ett engelskt dokument en betydande ökning av felhastigheter i omgivande, oförändrad text:

Ytterligare resultat från felpropagationsanalysen, som visar ökningen av transkriptionsfel på både pertuberade och opertuberade ord efter varje perturbationsmetod. Allmänna AI-modeller visade den största felamplifieringen, med fel som ofta spreds bortom de ursprungligen skadade orden.

Allmänna VLM-modeller var de mest påverkade, med felhastigheter på oförändrade ord som ökade med upp till tiofaldigt jämfört med baslinjen. Omvänt visade traditionella OCR-system endast måttliga ökningar. Modeller som om-skrev den största andelen skadade ord visade också den starkaste felpropagationsförmågan, vilket tyder på att båda beteendena härrör från samma underliggande beroende av lingvistisk sammanhang.

I praktiken innebär detta att en liten mängd skadad text kan kompromettera noggrannheten i ett annars intakt dokument, vilket gör ren OCR-benchmark-poäng otillförlitliga som vägledning för transkriptionsfidelitet i verkligheten.

Slutligen undersökte författarna också om ordlängd påverkade om-skriverbeteendet, och fann att korta ord var betydligt mer sårbara än längre ord.

Eftersom de innehåller färre visuella ledtrådar, korta ord tycks uppmuntra VLM-modeller att förlita sig mer tungt på kontextuell språkkunskap – vilket ökar sannolikheten att skadad text kommer att ersättas med ett trovärdigt alternativ, snarare än att transkriberas bokstavligen (vilket kan orsaka en användbar varning för mänsklig granskning).

Författarna fann också att medan uttryckliga instruktioner inte att korrigera fel minskade denna tendens, eliminerade det den inte. Detta tyder på att tolkningsbar transkription är en inneboende egenskap hos nuvarande VLM-modeller, snarare än ett beteende som kan tillförlitligt undertryckas genom att ge instruktioner ensam.

Författarna slutsats:

‘För tillämpningar som kräver bokstavlig transkription, såsom juridisk dokumenthantering, historiskt manuskriptdigitalisering och forensik, förblir traditionella OCR-system eller noggrant utvalda OCR-specialiserade VLM-modeller det säkraste valet, medan allmänna VLM-modeller introducerar systematisk om-skription som ren-text benchmark inte fångar.’

Slutsats

Denna studie upprepar vad som blir en återkommande tråd i LLM-litteraturen: att även om tränade VLM-modeller är oerhört kraftfulla, är de också motståndskraftiga mot kritiska instruktioner – i detta fall Läs och tolka bokstäverna du hittar i bilden.

De mer avancerade modellerna kan inte göra det, verkar det – som om de ansåg det för ‘smutsigt arbete’, eller också är irrationellt tvungna att slutföra en ‘halvfärdig uppgift’.

* Min omvandling av författarnas inline-citat till hyperlänkar.

Publicerad första gången måndagen den 27 juli 2026