Even Ledende Språkmodeller Er Utsett For ‘Tolkningsmessig’ Transkripsjon

Ny forskning fra Amazon viser at jo smartere modellen er, jo mer sannsynlig er det at den vil ‘ bli kreativ’ når den blir bedt om å utføre Optisk Tekstgjenkjenning.

Optisk Tekstgjenkjenning (OCR) regnes å være et større løst problem. Hvis du skanner noen tekst eller presenterer et bilde av teksten til OCR-systemet, gjør det en omfattende individuasjon av hver bokstav, og gjør det beste gjettet det kan på en per-bokstav-basis:

Øverst til venstre, soning av karakteristiske lokus i en segmentert identifisert bokstav (kilde); hovedbildet: segmenteringsresultat for et institusjonelt repository (Kilde).

OCR tolker tegn individuelt; disse tegnene, i nær nok nærhet, kan eller kan ikke utgjøre ord eller andre lingvistiske konstruksjoner. OCR bryr seg ikke; når disse problemene oppstår, er det ute og på neste jobb, fordi stavekontroll ikke er innenfor dets ansvarsområde.

En av de mest populære OCR-systemene er det venerable Tesseract, et strengt algoritmisk tolker, vidt brukt i en rekke åpne kilde-applikasjoner og arbeidsflyter. Med et bredt utvalg av ‘flate’ algoritmiske OCR-tillegg tilgjengelig over alle operativsystemer, har evnen til å konvertere bilde-tekst tilbake til redigerbar tekst nå nådd status som en gratis vare – selv om ingen system er uten feil eller svakheter.

I tillegg, for å forbli relevante, har organisasjoner og kommersielle produkter som tradisjonelt konkurrerer i det algoritmiske OCR-rommet, tilpasset sine legacy-systemer til AI-hjulpet dokumenthåndteringssystemer. Imidlertid forblir kjerne-teknologien – som spytter ut anslåtte grupper av segmenterte og identifiserte bokstaver – uendret.

Ord Opp

I tillegg til en økende rekke oppgaver, håndteres OCR i økende grad av den nye generasjonen av Visjon-Språk-Modeller (VLMs); konfrontert med ikke-redigerbare eller rasteriserte tekst, agente versjoner av disse nyeste systemene kan dyktig lese og translitterere etter behov.

Imidlertid, ifølge en ny forskningsrapport fra Amazon.com, de som tror at AI vil replikere nøyaktig samme funksjon som OCR, kan være inn for en overraskelse: den nye studien har funnet at din favoritt LLM sannsynligvis vil ‘gå den ekstra milen’ i transkripsjon, uansett om du vil eller ikke; overskridende per-bokstav kontekst til per-ord kontekst – og korrigere eventuelle ‘feil’ det finner, på måter som kan ha uønskede konsekvenser for områder som juridisk, medisinsk og historisk translitterasjon.

Forfatterne hevder:

‘Visjon-Språk-Modeller (VLMs) brukes i økende grad i stedet for tradisjonelle OCR-pipelines for dokumentforståelse.

‘[Vi] viser at de ikke alltid fungerer som trofaste transkriptorer: når teksten er ufullkommen, tenderer de ofte til å omskrive den til en mer plausibel form – et atferd som ren-tekst OCR-benchmark ikke kan detektere.’

Forfatterne innfører en omfattende ny kurert datasett og benchmark med tittelen FaithC4, som de testet over en rekke av 15 FOSS og lukkede kilde-modeller, inkludert versjoner av ChatGPT og Google Gemini.

De fant at generelle AI-modeller var langt mer sannsynlige enn tradisjonelle OCR-systemer til å erstatte ufullkomne ord med mer ‘plausibele’ ene, noen ganger omskrev nesten 65% av forvirrede ord, mens små lokale feil også forårsaket feil andre steder i ellers nøyaktig tekst.

Korte ord var spesielt sårbare, og eksplisitte instruksjoner ikke å korrigere feil reduserte problemet, selv om det ikke eliminerte det.

Rapporten sier*:

‘Selv om omskrivingsatferden kan være nyttig for å gjenvinne noen ekte feil, kan det være problematisk for noen domener som kan kreve bokstavelig transkripsjon, som juridiske dokumenter, medisinske journaler og historiske manuskripter.

‘Til tross for dets viktighet, har dette omskrivingsatferdet vært stort sett oversett i VLM-forskning. Eksisterende OCR benchmark fokuserer på ren tekstgjenkjenning og er derfor utilstrekkelige for å undersøke hvordan modeller kan håndtere ufullkomne inndata.’

Den sentrale meldingen er at mer avanserte AI-systemer sliter med å ikke korrigere feil som algoritmiske OCR-plattformer lett kan konfigureres til å levere ‘rå’; i mange tilfeller er menneskelig tolkning essensiell for å løse problemet; men hvis en feil ‘korreksjon’ allerede er blitt anvendt, vil problemet tendere til å gli under radaren av de fleste kontrollsystemer.

Den nye rapporten er tittelen Do VLMs Read or Rewrite? On Transcription Faithfulness in Vision-Language Models, og kommer fra fem forskere ved Amazon.com.

Data og Metode

For å befolke deres benchmark-dataset, trakk forfatterne på Colossal Cleaned Crawled Corpus – a.k.a. C4 – en hyperskala web-crawlet samling fra 2020. Fra denne korpus, ble 1 455 enkelt-sidige dokumenter valgt over engelsk, kinesisk og koreansk språk, med hver passage størrelse til å passe på en enkelt rendret side.

Den endelige benchmark inneholdt 500 engelske dokumenter, 500 kinesiske dokumenter og 455 koreanske dokumenter, og ga en flerspråklig test-seng for å måle om AI-systemer kopierte tekst trofast, eller på noen måte omskrev den.

For å teste om AI-modeller ville kopiere hva de så trofast, ble kontrollerte feil innført i dokumentene før de ble rendret som bilder, med rundt 8% av berettigede ord endret, hver med minst fire tegn. Uberørte versjoner av disse ble brukt som grunn-sannhet.

Tre perturbasjonsvarianter ble så anvendt: scramble blandet inn de indre bokstavene i ord mens de beholdt den første og siste bokstaven; random erstattet hver tegn med en tilfeldig alternativ fra samme skriftsystem; og visual erstattet visuelt like tegn som forble plausibelt for øyet, mens de endret den underliggende teksten.

Den kinesiske varianten utelot scramble betingelsen fordi dens skriftsystem mangler mellomrom-delte ord, i stedet brukte faste fire-tegn-vinduer for de andre perturbasjonene; i tillegg betød Koreas kortere gjennomsnittlige ordlengde at færre ord kvalifiserte for modifisering.

Hver dokument ble så rendret som en PDF-side, og gitt til de konkurrerende transkripsjonssystemene.

Tester

Testene for studien dekket både lukkede kilde-generelle modeller, navnlig GPT-5.4-mini; Gemini-3-Flash; og Gemini-2.5-Flash; og åpne kilde-modeller, bestående av generelle modeller Qwen3.5-4B; Qwen3-VL-4B; InternVL3.5-4B; Gemma4-E4B; og Gemma4-E2B.

I tillegg ble OCR-spesifikke modeller inkludert, bestående av olmOCR-2-7B; DeepSeek-OCR-2; MinerU2.5-Pro; PaddleOCR-VL-1.5; og LightOnOCR-2-1B. Til slutt ble også de tradisjonelle OCR-motorene Tesseract og docTR testet.

De tre gruppene avhenger av språk i ulik grad: generelle AI-modeller trekker tungt på bred språkkunnskap tilegnet under forutrening; OCR-spesifikke modeller legger større vekt på trofast dokument-transkripsjon gjennom oppgave-spesifikke trening; og tradisjonelle OCR-systemer avhenger av tegngjenkjenning, snarere enn lingvistisk inferens.

To metrikker ble anvendt, begynnende med Ord Feil Rate (WER), den standard OCR-metrikken for å bestemme hvor mange komplette ord et system transkriberer feil. Snarere enn å bare telle feil tegn, registrerer WER erstatninger, slettinger og innsettinger i forhold til den opprinnelige teksten, og gjør det følsomt både for feil ord og for ord som har blitt utelatt eller lagt til.

For kinesisk, hvor ord ikke er adskilt av mellomrom, ble samme tilnærming anvendt på tegn-nivå, som Tegn Feil Rate (CER).

For å fange mer subtile feil, ble metrikken Redigering Avstand Likhet (EDS) også anvendt. EDS sammenligner den predikerte teksten med den opprinnelige på tegn-nivå, og – i motsetning til WER – kan skille mellom et ord som er fullstendig feil, og et ord som skilles bare med ett eller to tegn. Naturlig gjør dette det nyttig for å detektere near-misses, samt delvis omskrivninger som ellers kunne se ut som lignende.

Som vist i grafen nedenfor, viste tradisjonelle OCR-systemer seg å være mest motstandsdyktige mot alle tre perturbasjonstyper, med liten tap av nøyaktighet fordi de primært gjenkjenner enkelt-tegn snarere enn å prøve å inferere ord fra kontekst:

Endringer i Ord Feil Rate (venstre) og Redigering Avstand Likhet (høyre) over engelsk, kinesisk og koreansk etter å ha anvendt de tre tekst-perturbasjonsmetodene. Tradisjonelle OCR-systemer viste den minste ytelsesnedgangen totalt, OCR-spesifikke modeller okkuperte midten, mens generelle AI-modeller var typisk de mest berørt av korrupt tekst. Kilde

OCR-spesifikke AI-modeller okkuperte midten; MinerU og LightOn forble relativt robuste; og olmOCR og DeepSeek-OCR viste større følsomhet for korrupt tekst, indikerende at dokument-spesifikke trening reduerte, men ikke eliminerte, tendensen til å tolke hva som ble lest.

Generelle AI-modeller presterte dårligst totalt, og viste den største økningen i transkripsjonsfeil når de ble konfrontert med perturbert tekst. De fleste led betydelig større nedgang enn både OCR-spesifikke modeller og tradisjonelle OCR – selv om Gemini-3-Flash sto ut som en bemerkelsesverdig unntak, og presterte mer som et konvensjonelt OCR-system.

Samlet rangering tett matchet graden til hvilken hver modell avhenger av språkkunnskap, med sterkere språk-priorer korrelerende med en større tendens til å omskrive snarere enn å bare transkribere tekst.

En nedbryting av feil-typene, vist i tabellen nedenfor, indikerer at tradisjonelle OCR-systemer hovedsakelig produserte konvensjonelle transkripsjonsfeil, som erstatninger, slettinger og innsettinger:

Resultater fra den engelske ‘Scramble’-perturbasjonstesten, som viser hvordan hver transkripsjonssystem fordeler sine feil over eksakte omskrivninger, near-miss-transkripsjoner (‘Nær’), mer betydelige transkripsjonsfeil (‘Moderat’) og helt feil utgang (‘Feil’). Modeller er ordnet etter deres rate av omskrivning av korrupte ord.

Omvent, var generelle AI-modeller langt mer sannsynlige til å erstatte korrupte ord med plausibele alternativer mens de beholdt den omgivende setningen, og ga sterk bevis for at de ikke bare misforstod skadet tekst, men aktivt omskrev den ved hjelp av lingvistisk kontekst.

Studien fant også at transkripsjonsfeil ikke forble konfinert til korrupte ord:

Resultater fra feil-propagationsanalysen, som viser per-ord feil-rater på perturberte og uperturberte ord etter hver perturbasjonstype. Å endre bare rundt 4,7% av ordene i et engelsk dokument økte betydelig feil-ratene i omgivende, umodifisert tekst over mange modeller.

Som vist i resultattabellen ovenfor og grafen nedenfor, økte endring av bare rundt 4,7% av ordene i et engelsk dokument feil-ratene i omgivende, umodifisert tekst:

Ytterligere resultater fra feil-propagationsanalysen, som viser økningen i transkripsjonsfeil på både perturberte og uperturberte ord etter hver perturbasjonstype. Generelle AI-modeller viste den største feil-forsterkningen, med feil som ofte spredde seg utenfor de opprinnelig korrupte ordene.

Generelle VLM-er var mest berørt, med feil-rater på uperturberte ord som økte med opptil ti ganger over baseline. Omvendt viste tradisjonelle OCR-systemer bare beskjedne økninger. Modeller som omskrev den høyeste andelen korrupte ord, viste også den sterkste feil-propagasjonen, og antyder at både atferdene stammer fra samme underliggende avhengighet av lingvistisk kontekst.

I praksis betyr dette at en liten mengde skadet tekst kan kompromittere nøyaktigheten av et ellers intakt dokument, og gjør ren OCR-benchmark-poeng til en upålitelig guide for transkripsjons-trofasthet i virkeligheten.

Til slutt undersøkte forfatterne også om ord-lengde påvirkte omskrivingsatferd, og fant at kortere ord var betydelig mer sårbare enn lengre ene.

Fordi de inneholder færre visuelle tegn, korte ord synes å oppmuntre VLM-er til å avhenge mer tungt på kontekstuell språkkunnskap – og øker sannsynligheten for at skadet tekst vil bli erstattet med en plausibel alternativ, snarere enn å bli transkribert bokstavelig (hvordan som kan utløse en nyttig advarsel for menneskelig oversikt).

Forfatterne fant også at selv om eksplisitte instruksjoner ikke å korrigere feil reduserte denne tendensen, eliminerte det den ikke. Dette synes å indikere at tolkende transkripsjon er en innebygd egenskap ved nåværende VLM-er, snarere enn en atferd som kan pålitelig undertrykkes gjennom prompting alene.

Forfatterne konkluderer:

‘For applikasjoner som krever bokstavelig transkripsjon, som juridisk dokumentbehandling, historisk manuskript-digitisering og rettsmedisin, forblir tradisjonelle OCR-systemer eller nøye valgte OCR-spesifikke VLM-er det tryggeste valget, mens generelle VLM-er innfører systematisk omskrivning som ren-tekst-benchmark ikke kan fange.’

Konklusjon

Denne studien gjentar hva som blir en gjentakende tråd i LLM-litteraturen: at selv om trente VLM-modeller er usedvanlig kraftfulle, er de også motstandsdyktige mot kritiske instruksjoner – i dette tilfelle Les og parse brevene du finner i bildet.

De mer avanserte modellene kan ikke gjøre det, det ser ut til – som om de anså det for ‘skit-arbeid’, eller også er irrasjonelt tvunget til å fullføre en ‘halv-ferdig oppgave’.

* Min konvertering av forfatterens inline-citat til hyperlenker.

Først publisert mandag, 27. juli 2026