Jopa johtavat kielimallit ovat alttiita “tulkinnolliselle” transkriptiolle

Amazonin uusi tutkimus osoittaa, että mitä älykkäämpi malli on, sitä todennäköisemmin se “luo” kun pyydetään suorittamaan Optisen Merkkien Tunnistamista.

Optisen Merkkien Tunnistamista (OCR) pidetään pääosin ratkaistuna ongelmana. Jos skannaat jotain tekstiä tai esität valokuvan tekstistä OCR-järjestelmälle, se suorittaa monimutkaisen yksilöinnin jokaiselle kirjaimelle, tehdessään parhaan arvionsa kirjaimen perusteella:

Ylävasen, ominaisuuksien sijainnin zonointi jaonnetussa tunnistetussa kirjaimessa (lähde); pääkuva: segmentoinnin tulos institutionaaliseen repositorioon (Lähde).

OCR tulkitsee merkkejä yksittäin; nuo merkit, jotka ovat riittävän lähellä toisiaan, voivat muodostaa sanoja tai muita kielellisiä rakenteita. OCR:ää ei välitetä; kun nämä ongelmat ilmenevät, se on jo poistunut ja siirtynyt seuraavaan työhön, koska oikeinkirjoituksen tarkistus ei kuulu sen tehtäviin.

Yksi suosituimmista OCR-järjestelmistä on vanha Tesseract, joka on tiukasti algoritminen tulkki, laajasti käytetty avoimissa lähdekoodin sovelluksissa ja työnkulkujen parissa. Laajalla valikoimalla “tasaisia” algoritmisia OCR-liitännäisiä kaikilla käyttöjärjestelmillä, kyky muuttaa kuvatekstiä takaisin muokattavaksi tekstimuodoksi on saavuttanut aseman, jossa se on ilmaista hyödykettä – vaikka mikään järjestelmä ei ole virheiden tai heikkouksien vailla.

Lisäksi, jäätyäkseen merkittäviksi, organisaatiot ja kaupalliset tuotteet, jotka perinteisesti kilpailevat algoritmisen OCR-tilassa, ovat soveltaneet perinnejärjestelmiään tekoälyavusteisiin asiakirjahallintajärjestelmiin. Kuitenkin perusteknologia – joka tuottaa arvioituja ryhmiä jaonnetuista ja tunnistetuista kirjaimista – on muuttumaton.

Sana

Yhdessä kasvavan määrän tehtävien kanssa, OCR on yhä enemmän käsitelty uuden sukupolven Näkö- ja Kielimallien (VLM) avulla; kunnon ja epämuokattavissa olevaa tai rasteroitua tekstiä vastaan, agenteja versioita näistä uusimmista järjestelmistä voidaan taitavasti lukea ja translitteroida tarpeen mukaan.

Kuitenkin, Amazon.com:n uuden tutkimuspaperin mukaan, ne, jotka uskovat, että tekoäly toistaa täsmälleen saman toiminnon kuin OCR, saattavat olla yllättyneitä: uusi tutkimus on osoittanut, että suosikki LLM:si on todennäköisesti “menemään ylimääräisen mailin” transkriptiossa, riippumatta siitä, haluatko sitä tai ei; ylittäen kirjaimen kontekstin sana-kontekstiin – ja korjaten kaikki “virheet”, joita se havaitsee, tavoilla, jotka voivat olla epätoivottavia seurauksia alueilla, kuten oikeudellinen, lääketieteellinen ja historiallinen translitterointi.

Kirjoittajat väittävät:

‘Näkö- ja Kielimallit (VLM) käytetään yhä enemmän perinteisten OCR-pipelinejen sijaan asiakirjojen ymmärtämiseksi.

‘[Me] osoitamme, että ne eivät aina toimi uskollisina transkriptioina: kun teksti on epätäydellinen, ne usein pyrkivät muokkaamaan sen uskottavampaan muotoon – käyttäytyminen, jota puhdas teksti -OCR-benchmarkit eivät voi havaita.’

Kirjoittajat esittelevät laajan uuden kuratoidun tietojoukon ja benchmarkin nimeltä FaithC4, jonka he testasivat 15: ssä FOSS- ja suljetussa lähdekoodissa olevissa malleissa, mukaan lukien ChatGPT:n ja Google Gemini:n versiot.

He löysivät, että yleispätevät tekoälymallit olivat paljon todennäköisempiä kuin perinteiset OCR-järjestelmät korvaamaan epätäydellisiä sanoja “uskottavammilla” vastineilla, joskus uudelleenkirjoittaen jopa 65 % sekaisista sanoista, kun taas paikalliset virheet aiheuttivat virheitä muualla oikein transkriboitujen tekstien osalla.

Pienet sanat olivat erityisen haavoittuvia, ja eksplisiittiset ohjeet ei korjata virheitä vähensivät ongelmaa, vaikka se ei poistanut sitä.

Tutkimus toteaa*:

‘Vaikka uudelleenkirjoittamisen käyttäytyminen voi olla hyödyllistä joitain virheiden korjaamiseksi, se voi olla ongelmallista joillekin aloille, jotka vaativat kirjaimellista transkriptiota, kuten oikeudelliset asiakirjat, lääketieteelliset rekisterit ja historialliset käsikirjoitukset.

‘Vaikka tämä käyttäytyminen on tärkeää, se on ollut suurelta osin huomioimatta VLM-tutkimuksessa. Olemassa olevat OCR benchmarkit keskittyvät puhdas teksti -tunnistamiseen ja ovat siten riittämättömiä tutkimaan, miten mallit voivat käsitellä epätäydellisiä syötevirheitä.’

Keskeinen viesti on, että edistyneemmät tekoälyjärjestelmät kamppailevat virheiden korjaamisen kanssa, joita algoritmiset OCR-alustat voivat helposti konfiguroida “raakamaiseksi”; useissa tapauksissa ihmisen tulkinta on välttämätöntä ratkaista ongelma; mutta jos virheellinen “korjaus” on jo sovellettu, ongelma voi jatkua huomaamatta useimmissa tarkistusjärjestelmissä.

Uusi tutkimus on otsikoitu Do VLMs Read or Rewrite? On Transcription Faithfulness in Vision-Language Models, ja se tulee viideltä tutkijalta Amazon.com:sta.

Data ja Menetelmä

Täyttääkseen heidän benchmark-tietojoukkonsa, kirjoittajat käyttivät Colossal Cleaned Crawled Corpus -tietojoukkoa – eli C4: aa – hyperskaalainen web-kerätty kokoelma vuodelta 2020. Tästä korpuksista valittiin 1 455 yksittäistä sivua englannin, kiinan ja korean kielillä, ja kunkin kappaleen koko suunniteltiin sopimaan yhdelle renderöidylle sivulle.

Lopullinen benchmark sisälsi 500 englanninkielistä asiakirjaa, 500 kiinalaista asiakirjaa ja 455 korealaista asiakirjaa, tarjoamalla monikielisen testipohjan transkriptiotarkkuuden mittaamiseksi.

Ohjatut virheet otettiin mukaan asiakirjoihin ennen niiden renderöintiä kuviksi, noin 8 %:ssa oikeutetuista sanoista muutettiin, ja kussakin oli vähintään neljä merkkiä. Muuttamattomat versiot näistä käytettiin vertailuversiona.

Kolme virhemuunnelmaa sovellettiin: sekaisin sekoitti sanan sisäisiä kirjaimia säilyttäen ensimmäisen ja viimeisen kirjaimen; satunnainen korvasi jokaisen merkin satunnaisella vaihtoehdolla samasta kirjoitusjärjestelmästä; ja näköinen korvasi visuaalisesti samankaltaisia merkkejä, jotka säilyttivät silmän edessä, mutta muuttivat perustekstiä.

Kiinan variantti jätti sekaisin -ehdon pois, koska sen kirjoitusjärjestelmässä ei ole sanavälejä, sen sijaan käytettiin kiinteitä neljän merkin ikkunoita muiden virhemuunnelmien osalta; korean lyhyempi keskimääräinen sananpituus tarkoitti, että vähemmän sanoja oli oikeutettu muutokseen.

Kunkin asiakirjan renderöinti PDF-sivuksi ja siirtäminen kilpaileviin transkriptiojärjestelmiin.

Testit

Testit kattoivat sekä suljetun lähdekoodin yleispätevät mallit, kuten GPT-5.4-mini; Gemini-3-Flash; ja Gemini-2.5-Flash; sekä avoimen lähdekoodin mallit, jotka koostuivat yleispätevistä malleista Qwen3.5-4B; Qwen3-VL-4B; InternVL3.5-4B; Gemma4-E4B; ja Gemma4-E2B.

Lisäksi mukaan otettiin OCR-erikoismallit, jotka koostuivat olmOCR-2-7B; DeepSeek-OCR-2; MinerU2.5-Pro; PaddleOCR-VL-1.5; ja LightOnOCR-2-1B. Lopulta myös perinteiset OCR-moottorit Tesseract ja docTR testattiin.

Näiden kolmen ryhmän riippuvuus kielestä vaihtelee: yleispätevät tekoälymallit nojaavat voimakkaasti laajaan kielitietämykseen, jonka he ovat hankkineet esikoulutuksen aikana; OCR-erikoismallit panostavat enemmän asiakirjojen uskolliseen transkriptioon tehtävän mukaisen koulutuksen kautta; ja perinteiset OCR-järjestelmät luottavat enemmän merkkien tunnistamiseen kuin kielelliseen johtopäätökseen.

Kaksi mittaria otettiin käyttöön, alkaen SanaVirheen Osuus (WER), joka on standardi OCR-mittari transkriboitujen virheellisten sanojen määrän määrittämiseksi. Sen sijaan, että pelkästään väärät merkit lasketaan, WER kirjaa korvaukset, poistot ja lisäykset alkuperäiseen tekstiin nähden, mikä tekee siitä herkkän sekä virheellisille sanoille että sanoille, jotka on jätetty pois tai lisätty.

Kiinan kielelle, jossa sanoja ei eroteta välilyönneillä, sama lähestymistapa sovellettiin merkin tasolla Merkin Virheen Osuus (CER).

Jotta hienostuneempia virheitä voitiin havaita, MuokkausEtäisyyden Samankaltaisuus (EDS) -mittari otettiin myös käyttöön. EDS vertaa ennustettua tekstiä alkuperäiseen merkin tasolla ja – toisin kuin WER – voi erottaa täysin väärän sanan ja sanan, joka poikkeaa vain yhdellä tai kahdella merkillä. Luonnollisesti tämä tekee siitä hyödyllisen välineen läheltä olevien virheiden ja osittaisen uudelleenkirjoittamisen havaitsemiseen, jotka muuten voivat näyttää samankaltaisilta.

Kuten alla olevasta kaaviossa näkyy, perinteiset OCR-järjestelmät osoittautuivat vastustuskykyisimmiksi kaikille kolmelle virhemuunnelmalle, ja niiden tarkkuus ei juurikaan kärsinyt, koska ne tunnustavat pääasiassa yksittäisiä merkkejä eivätkä yritä johtopäätöksiä kontekstin perusteella:

Sanojen Virheen Osuuden (vasen) ja MuokkausEtäisyyden Samankaltaisuuden (oikea) muutokset englannin, kiinan ja korean kielillä kolmen tekstin virhemuunnelman jälkeen. Perinteiset OCR-järjestelmät osoittautuivat pienimmän suorituskyvyn heikentymisen, OCR-erikoismallit olivat keskitien linjalla, kun taas yleispätevät tekoälymallit olivat yleensä eniten vaikuttuneita viallisesta tekstistä. Lähde

OCR-erikoismallit olivat keskitien linjalla; MinerU ja LightOn säilyivät suhteellisen vakaina; ja olmOCR ja DeepSeek-OCR osoittivat suurempaa herkkyyttä vialliseen tekstiin, mikä osoittaa, että asiakirjojen mukainen koulutus vähensi, mutta ei poistanut, taipumusta tulkita mitä luettiin.

Yleispätevät tekoälymallit suorittivat huonoin kaikista, osoittaen suurimman transkriptiovirheiden määrän, kun ne kohtasivat viallista tekstiä. Useimmat kärsivät merkittävästi suuremmasta heikentymisestä kuin OCR-erikoismallit tai perinteiset OCR-järjestelmät – vaikka Gemini-3-Flash erottui poikkeuksellisesti, suorittaen paljon paremmin kuin perinteinen OCR.

Yleisesti ottaen, sijoitus vastasi läheisesti sitä, kuinka paljon kunkin malli luotti kieleen: vahvemmat kieliprioriteetit vastasivat suurempaa taipumusta uudelleenkirjoittaa tekstiä sen sijaan, että se yksinkertaisesti transkriboitaisiin.

Virhetyyppien hajonta, kuten alla olevassa taulukossa, osoittaa, että perinteiset OCR-järjestelmät tuottivat pääasiassa perinteisiä transkriptiovirheitä, kuten korvauksia, poistoja ja lisäyksiä:

Tulokset englannin ‘sekaisin’ -virhemuunnelmasta, jotka osoittavat, miten kunkin transkriptiojärjestelmä jakautui virheiden yli täsmällisten uudelleenkirjoitusten, läheltä olevien transkriptioiden (‘Lähellä’), merkittävien transkriptiovirheiden (‘Kohtalainen’) ja täysin virheellisten tulosten (‘Väärä’) osalta. Mallit on järjestetty uudelleenkirjoitettujen viallisten sanojen osuuden mukaan.

Toisin sanoen yleispätevät tekoälymallit olivat paljon todennäköisempiä korvaamaan vialliset sanat uskottavilla vaihtoehdoilla, säilyttäen samalla lauseen ympärillä, mikä osoittaa vahvasti, että ne eivät vain lue viallista tekstiä väärin, vaan aktiivisesti uudelleenkirjoittavat sitä kielellisen kontekstin avulla.

Tutkimus osoitti myös, että transkriptiovirheet eivät säilyneet viallisissa sanoissa:

Tulokset virheen leviämisanalyysistä, jotka osoittavat sanakohtaiset virheluvut viallisilla ja viallisuudettomilla sanoilla jokaisen virhemuunnelman jälkeen. Muuttamalla noin 4,7 % sanoja aiheutti transkriptiovirheiden leviämisen ympäröivään, muuttamattomaan tekstiin useissa malleissa.

Kuten yllä olevasta taulukosta ja alla olevasta kaaviosta näkyy, muuttamalla vain noin 4,7 % englanninkielisen asiakirjan sanoista lisäsi virheluvut merkittävästi ympäröivässä, muuttamattomassa tekstissä:

Lisätuloksia virheen leviämisanalyysistä, jotka osoittavat transkriptiovirheiden lisääntymisen sekä viallisilla että viallisuudettomilla sanoilla jokaisen virhemuunnelman jälkeen. Yleispätevät tekoälymallit osoittivat suurimman virheen voimistumisen, ja virheet usein levisivät alkuperäisistä viallisista sanoista.

Yleispätevät VLM:t olivat eniten vaikuttuneita, ja virheluvut muuttamattomissa sanoissa kasvoivat jopa kymmenkertaisesti vertailukohdassa. Toisin sanoen, perinteiset OCR-järjestelmät osoittivat vain vähäisiä lisäyksiä. Mallit, jotka uudelleenkirjoittivat suurimman osan viallisista sanoista, osoittivat myös vahvimman virheen leviämisen, mikä viittaa siihen, että molemmat käyttäytymiset johtuvat samasta perustavanlaatuisesta riippuvuudesta kielellisestä kontekstista.

Käytännössä tämä tarkoittaa, että pieni määrä viallista tekstiä voi vaarantaa koko asiakirjan tarkkuuden, mikä tekee puhdas OCR-benchmark-pisteistä epäluotettavan oppaan transkriptiotarkkuuden arviointiin todellisissa maailman tilanteissa.

Lopulta kirjoittajat tutkivat myös, vaikuttaako sanan pituus uudelleenkirjoittamiskäyttäytymiseen, ja he löysivät, että lyhyet sanat olivat olennaisesti alttiimpia kuin pidemmät sanat.

Koska ne sisältävät vähemmän visuaalisia vihjeitä, lyhyet sanat vaikuttavat siihen, että VLM:t luottavat enemmän kielelliseen kontekstiin – lisäten todennäköisyyttä, että viallinen teksti korvataan uskottavalla vaihtoehdolla sen sijaan, että se transkriboitaisiin kirjaimellisesti (mikä saattaisi aiheuttaa hyödyllisen hälytyksen ihmisen valvontaa varten).

Kirjoittajat myös löysivät, että vaikka eksplisiittiset ohjeet ei korjata virheitä vähensivät tätä taipumusta, se ei poistanut sitä. Tämä viittaa siihen, että tulkinnollinen transkriptio on nykyisten VLM:ien luontainen ominaisuus, eikä se ole käyttäytymistä, jota voidaan luotettavasti hillitä vain ohjaamalla.

Kirjoittajat johtavat:

‘Sovelluksissa, jotka vaativat kirjaimellista transkriptiota, kuten oikeudellinen asiakirjojen käsittely, historiallisten käsikirjoitusten digitalisointi ja oikeudellinen tutkinta, perinteiset OCR-järjestelmät tai huolellisesti valitut OCR-erikoismallit VLM:istä ovat turvallisin valinta, kun taas yleispätevät VLM:t aiheuttavat järjestelmällistä uudelleenkirjoittamista, jota puhdas teksti -benchmarkit eivät voi havaita.’

Johtopäätös

Tämä tutkimus toistaa sen, mikä on tullut toistuvaksi säikeeksi LLM-kirjallisuudessa: vaikka koulutetut VLM-mallit ovat valtavan voimakkaita, ne ovat myös vastustuskykyisiä kriittisiä ohjeita – tässä tapauksessa Lue ja tulkkaa kirjaimet, jotka löydät kuvasta.

Edistyneemmät mallit eivät pysty siihen, näyttää siltä – ikään kuin ne pitäisivät sitä “siivoojien työnä” tai ovat järjettömästi pakotettuja päättämään “puolivalmis tehtävä”.

* Minun muunnos kirjoittajien sisäisistä viittauksista hyperlinkkeihin.

Julkaistu ensimmäisen kerran maanantaina, 27. heinäkuuta 2026