I když i přední jazykové modely jsou náchylné k „interpretativnímu“ přepisu

Nový výzkum z Amazonu zjistil, že čím je model chytřejší, tím je více pravděpodobné, že „bude kreativní“, když je požádán o provedení optického rozpoznávání znaků.

Optické rozpoznávání znaků (OCR) je považováno za téměř vyřešený problém. Pokud naskenujete nějaký text nebo předložíte fotografii textu systému OCR, provede složitou individualizaci každého písmena, dělá nejlepší odhad, který může na základě každého písmena:

Horní levý roh, zónování charakteristických loki v segmentovaném identifikovaném písmenu (zdroj); hlavní obraz: výsledek segmentace pro institucionální repozitář (Zdroj).

OCR interpretuje znaky jednotlivě; tyto znaky, které jsou v dostatečné blízkosti, mohou nebo nemusí tvořit slova nebo jiné lingvistické konstrukty. OCR se o to nestará; ve chvíli, kdy tyto problémy vzniknou, je již pryč a přechází k další práci, protože kontrola pravopisu není v jeho pravomoci.

Jedním z nejpopulárnějších systémů OCR je věhlasný Tesseract, striktně algoritmický interpret, široce používaný v různých open source aplikacích a pracovních postupech. S širokou škálou „plochých“ algoritmických doplňků OCR dostupných napříč všemi operačními systémy, schopnost převést obrázkový text zpět na editovatelný text dosáhla statusu bezplatné komodity – i když žádný systém není bez chyb nebo slabostí.

Navíc, aby zůstaly relevantní, organizace a komerční produkty tradičně soutěžící v algoritmickém prostoru OCR adaptovaly své zastaralé systémy do systémů správy dokumentů s pomocí AI. Nicméně, základní technologie – vyplňující odhadované skupiny segmentovaných a identifikovaných písmen – zůstává nezměněna.

Slovo

Spolu s rostoucím počtem úkolů je OCR stále častěji zpracováván novou generací modelů jazyka a vidění (VLMs); konfrontován s needitovatelným nebo rasterizovaným textem, agentic verze těchto nejnovějších systémů mohou zručně číst a transliterovat podle potřeby.

Nicméně, podle nové výzkumné studie z Amazonu, ti, kteří se domnívají, že AI bude exactly replikovat stejnou funkci jako OCR, mohou být překvapeni: nová studie zjistila, že váš oblíbený LLM je pravděpodobně „jít o krok dále“ v přepisu, zda chcete nebo ne; překračující kontext písmen do kontextu slov – a opravující jakékoli „chyby“, které najde, způsobem, který by mohl mít nežádoucí důsledky pro oblasti, jako je právní, lékařská a historická transliterace.

Autoři tvrdí:

‘Modely jazyka a vidění (VLMs) jsou stále častěji používány místo tradičních OCR potrubí pro pochopení dokumentů.

‘[My] ukazují, že ne vždy jednají jako věrní přepisovači: když je text nedokonalý, často se snaží přepsat ho do více pravděpodobné formy – chování, které nelze zjistit pomocí čistých textových benchmarků OCR.’

Autoři představují nový rozsáhlý kuriózní dataset a benchmark nazvaný FaithC4, který testovali na výběru 15 FOSS a uzavřených modelů, včetně verzí ChatGPT a Google Gemini.

Zjistili, že obecné modely AI byly mnohem více pravděpodobné než tradiční systémy OCR, aby nahradily nedokonalá slova více „pravděpodobnými“ slovy, někdy přepisující téměř 65 % zamíchaných slov, zatímco malé lokální chyby také způsobovaly chyby jinde v jinak přesném textu.

Krátká slova byla zvláště zranitelná, a explicitní instrukce ne opravovat chyby snížily problém, ale jej neeliminovaly.

Studie uvádí*:

‘Zatímco chování přepisování může být prospěšné pro obnovu některých skutečných chyb, může být problematické pro některé domény, které mohou vyžadovat doslovný přepis, jako jsou právní dokumenty, lékařské záznamy a historické rukopisy.

‘Přes jeho důležitost, toto chování přepisování bylo ve výzkumu VLMs weitgehend přehlíženo. Existující OCR benchmárky se zaměřují na rozpoznávání čistého textu a jsou proto nedostatečné pro zkoumání, jak modely mohou zpracovat nedokonalé vstupy.’

Centrální zpráva je, že pokročilejší systémy AI zápasí s tím, aby nekorigovaly chyby, které algoritmické platformy OCR mohou snadno být nakonfigurovány, aby dodaly „surowý“; v mnoha případech je lidská interpretace nezbytná pro řešení problému; ale pokud již byla aplikována chybná „korekce“, problém bude tendovat k tomu, aby se dostal pod radar většiny kontrolních systémů.

Nová studie je nazvaná Čtou VLMs nebo přepisují? O věrnosti přepisu ve modelech jazyka a vidění, a pochází od pěti výzkumníků z Amazonu.

Data a metoda

Aby osídlili svůj benchmark dataset, autoři využili Colossal Cleaned Crawled Corpus – známý jako C4 – hyperscale webový sběr z roku 2020. Z tohoto korpusu bylo vybráno 1 455 jednoststránkových dokumentů napříč anglickým, čínským a korejským jazykem, s každým pasáží o velikosti, aby se vešly na jednu vykreslenou stránku.

Konečný benchmark obsahoval 500 anglických dokumentů, 500 čínských dokumentů a 455 korejských dokumentů, poskytující multijazyčný testovací základ pro měření, zda systémy AI kopírují text věrně, nebo jej nějak přepisují.

Testováno, zda systémy AI budou věrně kopírovat to, co vidí, byly do dokumentů zavedeny kontrolované chyby předtím, než byly vykresleny jako obrázky, s asi 8 % způsobilých slov změněných, každé obsahující alespoň čtyři znaky. Nedotčené verze těchto byly použity jako základní pravda.

Tři varianty perturbací byly poté aplikovány: scramble promíchalo vnitřní písmena slov, zatímco zachovávalo první a poslední písmena; random nahradilo každé písmeno náhodným alternativním písmenem ze stejného písma; a visual nahradilo vizuálně podobná písmena, která zůstala pravděpodobná pro oko, zatímco měnila základní text.

Čínská varianta vynechala scramble podmínku, protože její písmo nemá mezery mezi slovy, místo toho používalo pevná čtyřznaková okna pro ostatní perturbace; navíc, kratší průměrná délka slova v korejštině znamenala, že méně slov kvalifikovala pro modifikaci.

Každý dokument byl poté vykreslen jako PDF stránka a předán soutěžícím transkriptačním systémům.

Testy

Testy pro studii pokrývaly uzavřené zdrojové obecné modely, jmenovitě GPT-5.4-mini; Gemini-3-Flash; a Gemini-2.5-Flash; a open source modely, skládající se z obecných modelů Qwen3.5-4B; Qwen3-VL-4B; InternVL3.5-4B; Gemma4-E4B; a Gemma4-E2B.

Dále byly zahrnuty specializované modely OCR, skládající se z olmOCR-2-7B; DeepSeek-OCR-2; MinerU2.5-Pro; PaddleOCR-VL-1.5; a LightOnOCR-2-1B. Nakonec byly testovány také tradiční OCR motory Tesseract a docTR.

Tři skupiny se liší v závislosti na jazyku: obecné modely AI silně využívají široké jazykové znalosti získané během předběžného tréninku; specializované modely OCR kladou větší důraz na věrnou transkripci dokumentů prostřednictvím úkolově specifického tréninku; a tradiční systémy OCR se spoléhají na rozpoznávání znaků, spíše než na lingvistické odvozování.

Dvě metriky byly přijaty, počínaje Word Error Rate (WER), standardní OCR metrikou pro určení, kolik kompletních slov systém transkriboval chybně. Na rozdíl od jednoduchého počítání chybných znaků, WER zaznamenává substituce, odstranění a vložení relativně k původnímu textu, což z něj činí citlivý na chybná slova a na slova, která byly vynechána nebo přidána.

Pro čínštinu, kde slova nejsou oddělena mezerami, byl použit stejný přístup na úrovni znaků, jako Character Error Rate (CER).

Pro zachycení jemnějších chyb byla použita metrika Edit Distance Similarity (EDS). EDS porovnává předpovězený text s původním na úrovni znaků a – na rozdíl od WER – může rozlišovat mezi slovem, které je úplně špatné, a slovem, které se liší pouze o jeden nebo dva znaky. Přirozeně to činí z něj užitečný nástroj pro detekci near-miss a částečných přepisů, které by jinak mohly vypadat podobně.

Jako je vidět na grafu níže, tradiční systémy OCR se ukázaly jako nejodolnější vůči všem třem typům perturbací, s malou ztrátou přesnosti, protože primárně rozpoznávají jednotlivé znaky, spíše než se pokoušejí odvodit slova z kontextu:

Změny v Word Error Rate (vlevo) a Edit Distance Similarity (vpravo) napříč angličtinou, čínštinou a korejštinou po aplikaci tří metod perturbace textu. Tradiční systémy OCR ukázaly nejmenší degradaci výkonu, specializované modely OCR obsadily střední pozici, zatímco obecné modely AI byly typicky nejvíce ovlivněny poškozeným textem. Zdroj

Specializované modely OCR obsadily střední pozici; MinerU a LightOn zůstaly relativně robustní; a olmOCR a DeepSeek-OCR ukázaly větší citlivost na poškozený text, naznačující, že dokumentově specifický trénink snížil, ale neeliminoval, tendenci reinterpretovat to, co bylo čteno.

Obecné modely AI vykazovaly nejhorší výsledek, s největšími chybnými transkripčními chybami, když byly konfrontovány s perturbovaným textem. Většina z nich vykazovala podstatně větší degradaci než specializované modely OCR nebo tradiční systémy OCR – ačkoli Gemini-3-Flash se ukázal jako výjimka, vykazující se podobně jako konvenční OCR systém.

Celkově se pořadí úzce shodovalo se stupněm, v jakém každý model spoléhá na jazykové znalosti, se silnějšími jazykovými předpověďmi odpovídajícími větší tendenci přepisovat než simplemente transkribovat text.

Rozborem typů chyb, uvedených v tabulce níže, je vidět, že tradiční systémy OCR většinou produkovaly konvenční transkripční chyby, jako jsou substituce, odstranění a vložení:

Výsledky z anglického testu 'Scramble', ukazující, jak každý transkripční systém rozdělil chyby napříč přesnými přepisy, near-miss transkripčními chybami ('Close'), více podstatnými transkripčními chybami ('Moderate') a úplně chybnými výstupy ('Wrong'). Modely jsou seřazeny podle jejich míry přepisování poškozených slov.

Naproti tomu obecné modely AI byly mnohem více pravděpodobné, že nahradí poškozená slova pravděpodobnými alternativami, zatímco zachovaly okolní větu, poskytující silné důkazy o tom, že ne pouze četly poškozený text, ale aktivně přepisovaly jej pomocí lingvistického kontextu.

Studie také zjistila, že transkripční chyby se neomezily pouze na poškozená slova:

Výsledky z analýzy šíření chyb, ukazující míru chyb na slovo pro poškozená a nepoškozená slova po každé perturbaci. Změna asi 4,7 % slov způsobila, že transkripční chyby se rozšířily do okolního, nezměněného textu napříč mnoha modely.

Jako je vidět v tabulce výsledků výše a grafu níže, změna asi 4,7 % slov v anglickém dokumentu podstatně zvýšila míru chyb v okolním, nezměněném textu:

Další výsledky z analýzy šíření chyb, ukazující nárůst transkripčních chyb na poškozená a nepoškozená slova po každé perturbaci. Obecné modely AI vykazovaly největší amplifikaci chyb, s chybami, které se často šířily za hranice původně poškozených slov.

Obecné modely VLM byly nejvíce postiženy, s mírou chyb na nepoškozená slova, která se zvýšila až o desetkrát oproti základní hodnotě. Naproti tomu tradiční systémy OCR ukázaly pouze mírný nárůst. Modely, které přepisovaly nejvyšší podíl poškozených slov, také vykazovaly nejsilnější šíření chyb, naznačující, že oběhové chování pocházejí ze stejné základní závislosti na lingvistickém kontextu.

V praxi to znamená, že malé množství poškozeného textu může ohrozit přesnost jinak nepoškozeného dokumentu, činící čistý benchmark OCR nedůvěryhodným pro skutečnou transkripční věrnost.

Nakonec autoři také zkoumali, zda délka slova ovlivňuje chování přepisování, zjistiv, že kratší slova byla podstatně více zranitelná než delší.

Protože obsahují méně vizuálních indicií, krátká slova se zdají povzbuzovat VLM, aby se více spoléhaly na kontextové jazykové znalosti – zvyšují pravděpodobnost, že poškozený text bude nahrazen pravděpodobnou alternativou, místo aby byl transkribován doslova (což by mohlo způsobit užitečné upozornění pro lidský dohled).

Autoři také zjistili, že zatímco explicitní instrukce ne opravovat chyby snížily tuto tendenci, neeliminovaly ji. To by naznačovalo, že interpretativní přepis je vrozenou charakteristikou současných VLM, spíše než chováním, které lze spolehlivě potlačit pouze pomocí promptů.

Autoři uzavírají:

‘Pro aplikace, které vyžadují doslovný přepis, jako je zpracování právních dokumentů, digitalizace historických rukopisů a forenzní analýza, tradiční systémy OCR nebo pečlivě vybrané specializované modely VLM zůstávají nejbezpečnější volbou, zatímco obecné modely VLM zavádějí systematické přepisování, které nejsou zachyceny čistými benchmarky textu.’

Závěr

Tato studie opakuje to, co se stává opakující se nití v literatuře LLM: že i když jsou trénované modely VLM enormně silné, jsou také odolné vůči kritickým instrukcím – v tomto případě Přečtěte a rozložte písmena, která najdete na obrázku.

Více pokročilé modely prostě nedokáží to udělat, zdá se – jako by považovaly to za „špinavou práci“, nebo jinak jsou iracionálně donuceny dokončit „polodokončený úkol“.

* Moje konverze inline citací autorů na hypertextové odkazy.

Poprvé publikováno v pondělí 27. července 2026