Nawet wiodące modele językowe są podatne na „interpretacyjne” transkrypcje

Nowe badania przeprowadzone przez Amazon wykazały, że im model jest bardziej zaawansowany, tym bardziej prawdopodobne jest, że „stanie się kreatywny”, gdy zostanie poproszony o wykonanie optycznej transkrypcji znaków.

Optyczna transkrypcja znaków (OCR) jest uważana za w dużej mierze rozwiązany problem. Jeśli zeskanujesz jakiś tekst lub przedstawisz zdjęcie tekstu systemowi OCR, wykonuje on szczegółową identyfikację każdej litery, robiąc najlepszą możliwą ocenę na podstawie każdej litery:

Top left, the zoning of characteristic loci in a segmented identified letter (source); main image: segmentation result for an institutional repository (Source).

OCR interpretuje znaki indywidualnie; te znaki, które znajdują się w wystarczającej bliskości, mogą stanowić słowa lub inne konstrukcje językowe. OCR nie dba o to; ponieważ w momencie, gdy te problemy się pojawiają, jest już poza tym i przechodzi do następnego zadania, ponieważ sprawdzanie pisowni nie wchodzi w zakres jego obowiązków.

Jednym z najpopularniejszych systemów OCR jest starzejący się Tesseract, który jest ściśle algorytmicznym interpretatorem, szeroko stosowanym w różnych aplikacjach open source i workflow. Z szerokim zakresem „płaskich” algorytmicznych dodatków OCR dostępnych we wszystkich systemach operacyjnych, możliwość konwersji obrazu tekstu z powrotem do edytowalnego tekstu osiągnęła status bezpłatnej komodyty – nawet jeśli żaden system nie jest pozbawiony wad lub słabości.

Dodatkowo, aby pozostać istotnym, organizacje i komercyjne produkty tradycyjnie konkurujące w algorytmicznym przestrzeni OCR dostosowały swoje systemy dziedzictwa do systemów zarządzania dokumentami wspomaganymi przez sztuczną inteligencję. Jednak podstawowa technologia – wypuszczanie szacowanych grup zsegregowanych i zidentyfikowanych liter – pozostaje niezmieniona.

Word Up

Wraz z rosnącą liczbą zadań, OCR jest coraz częściej wykonywany przez nowe pokolenie modeli języka i widzenia (VLM); skonfrontowany z nieedytowalnym lub rastrowym tekstem, agenty wersje tych najnowszych systemów mogą zręcznie odczytać i transliterować w razie potrzeby.

Jednakże, zgodnie z nowym badaniem przeprowadzonym przez Amazon.com, ci, którzy wierzą, że sztuczna inteligencja będzie dokładnie replikować tę samą funkcję, co OCR, mogą być zaskoczeni: nowe badanie wykazało, że ulubiony model języka jest bardziej skłonny „iść o krok dalej” w transkrypcji, niezależnie od tego, czy tego chce, czy nie; przekraczając kontekst liter na kontekst słów – i korygując błędy, które znajduje, na sposoby, które mogą mieć niepożądane konsekwencje dla obszarów takich jak prawne, medyczne i historyczne transliteracje.

Autorzy twierdzą:

„Modele języka i widzenia (VLM) są coraz częściej stosowane zamiast tradycyjnych potoków OCR do zrozumienia dokumentów.

„[My] pokazujemy, że nie zawsze działają one jako wierni transkrybenci: gdy tekst jest nieidealny, często mają tendencję do przepisania go w bardziej prawdopodobną formę – zachowanie, które czyste benchmarki OCR nie mogą wykryć.”

Autorzy wprowadzają nowy, obszerny i wyselekcjonowany zestaw danych i benchmark zatytułowany FaithC4, który przetestowali na wyborze 15 modeli FOSS i zamkniętych, w tym wersje ChatGPT i Google Gemini.

Stwierdzili, że ogólne modele sztucznej inteligencji były znacznie bardziej skłonne niż tradycyjne systemy OCR do zastępowania nieidealnych słów bardziej „prawdopodobnymi” jednostkami, czasem przepisując prawie 65% pomieszanych słów, podczas gdy niewielkie błędy lokalne również powodowały błędy w innych miejscach w przeciwnym razie dokładnym tekście.

Krótkie słowa były szczególnie podatne, a explicite instrukcje nie do korygowania błędów zmniejszały problem, choć nie eliminowały go całkowicie.

Artykuł stwierdza*:

„Chociaż zachowanie przepisywania może być korzystne dla odzyskania niektórych prawdziwych błędów, może być problematyczne dla niektórych dziedzin, które mogą wymagać literalnej transkrypcji, takich jak dokumenty prawne, rekordy medyczne i historyczne rękopisy.

„Pomimo jego znaczenia, to zachowanie przepisywania zostało w dużej mierze zignorowane w badaniach nad VLM. Istniejące benchmarki OCR koncentrują się na rozpoznawaniu czystego tekstu i są więc niewystarczające do badania, jak modele mogą radzić sobie z nieidealnymi danymi wejściowymi.”

Główny przekaz jest taki, że bardziej zaawansowane systemy sztucznej inteligencji mają trudności z tym, aby nie korygować błędów, które platformy OCR algorytmiczne mogą łatwo dostarczyć „surowe”; w wielu przypadkach interpretacja ludzka jest niezbędna do rozwiązania problemu; ale jeśli już zastosowano nieprawidłową „korektę”, problem będzie miał tendencję do ukrywania się przed większością systemów sprawdzających.

Nowy artykuł zatytułowany Czy VLM czytają czy przepisują? O wiernym transkrybowaniu w modelach języka i widzenia pochodzi od pięciu badaczy z Amazon.com.

Dane i Metoda

Aby zaludnić swój zestaw danych benchmarkowych, autorzy wykorzystali Colossal Cleaned Crawled Corpus – inaczej C4 – hiperskalowy zbiór danych sieci web z 2020 roku. Z tego korpusu wybrano 1 455 dokumentów jednostkowych w językach angielskim, chińskim i koreańskim, z których każdy został dopasowany do jednej strony.

Ostateczny benchmark zawierał 500 dokumentów angielskich, 500 dokumentów chińskich i 455 dokumentów koreańskich, zapewniając wielojęzyczne środowisko testowe do pomiaru, czy systemy sztucznej inteligencji kopiują tekst wiernie, czy w jakiś sposób go przepisują.

Aby przetestować, czy modele sztucznej inteligencji będą wiernie kopiować to, co widzą, wprowadzono kontrolowane błędy do dokumentów przed ich renderowaniem jako obrazów, z których około 8% słów zostało zmienionych, zawierając co najmniej cztery znaki. Nienaruszone wersje tych dokumentów zostały użyte jako podstawa prawdy.

Zastosowano trzy warianty perturbacji: scramble losowo zmieniał litery w słowach, zachowując pierwszą i ostatnią literę; random zastępował każdy znak losowym znakiem z tego samego systemu pisma; i visual zastępował znaki podobne wizualnie, które pozostawały prawdopodobne dla oka, zmieniając podstawowy tekst.

Wariant chiński pominął warunek scramble, ponieważ jego system pisma nie ma słów rozdzielonych spacjami, zamiast tego używając stałych czteroznakowych okien dla innych perturbacji; dodatkowo, krótsza średnia długość słów koreańskich oznaczała, że mniej słów kwalifikowało się do modyfikacji.

Każdy dokument został następnie renderowany jako strona PDF i przekazany do systemów transkrypcyjnych.

Testy

Testy objęły zarówno zamknięte, ogólne modele sztucznej inteligencji, takie jak GPT-5.4-mini; Gemini-3-Flash; i Gemini-2.5-Flash; jak i modele open source, takie jak ogólne modele sztucznej inteligencji Qwen3.5-4B; Qwen3-VL-4B; InternVL3.5-4B; Gemma4-E4B; i Gemma4-E2B.

Ponadto, włączono do testów specjalistyczne modele OCR, takie jak olmOCR-2-7B; DeepSeek-OCR-2; MinerU2.5-Pro; PaddleOCR-VL-1.5; i LightOnOCR-2-1B. Na końcu przetestowano tradycyjne silniki OCR, takie jak Tesseract i docTR.

Trzy grupy opierają się na języku w różnym stopniu: ogólne modele sztucznej inteligencji korzystają intensywnie z ogólnej wiedzy językowej nabytej podczas pre-trenowania; specjalistyczne modele OCR kładą większy nacisk na wierną transkrypcję dokumentów poprzez szkolenie związane z zadaniem; i tradycyjne systemy OCR opierają się na rozpoznawaniu znaków, a nie na inferencji językowej.

Dwa metryki zostały przyjęte, zaczynając od Wskaźnik błędu słowa (WER), standardowego metryki OCR do określenia, ile słów system przetranskrybował niepoprawnie. Zamiast po prostu liczyć błędne znaki, WER rejestruje substytucje, usunięcia i wstawienia w stosunku do oryginalnego tekstu, co sprawia, że jest on wrażliwy zarówno na niepoprawne słowa, jak i na słowa, które zostały pominięte lub dodane.

Dla chińskiego języka, w którym słowa nie są rozdzielone spacjami, zastosowano ten sam podejście na poziomie znaku, jako Wskaźnik błędu znaku (CER).

Aby uchwycić subtelniejsze błędy, użyto również metryki Podobieństwo odległości edycyjnej (EDS). EDS porównuje przewidywany tekst z oryginałem na poziomie znaku i – w przeciwieństwie do WER – może odróżnić słowo, które jest całkowicie błędne, od słowa, które różni się tylko o jeden lub dwa znaki. To sprawia, że jest ono przydatne do wykrywania przypadków, w których tekst jest prawie poprawny, a także częściowych przepisów, które mogą wydawać się podobne.

Jak widać na poniższym wykresie, tradycyjne systemy OCR okazały się najbardziej odporne na wszystkie trzy typy perturbacji, z niewielką utratą dokładności, ponieważ głównie rozpoznają indywidualne znaki, a nie próbują wnioskować o słowach z kontekstu:

Zmiany w wskaźniku błędu słowa (po lewej) i podobieństwie odległości edycyjnej (po prawej) w językach angielskim, chińskim i koreańskim po zastosowaniu trzech metod perturbacji tekstu. Tradycyjne systemy OCR wykazały najmniejszy spadek wydajności, modele OCR specjalistyczne zajęły miejsce pośrednie, a ogólne modele sztucznej inteligencji były najbardziej dotknięte przez uszkodzony tekst. Source

Modele OCR specjalistyczne zajęły miejsce pośrednie; MinerU i LightOn pozostały względnie odporne; i olmOCR i DeepSeek-OCR wykazały większą wrażliwość na uszkodzony tekst, co wskazuje, że szkolenie związane z dokumentami zmniejszyło, ale nie wyeliminowało, tendencję do reinterpretacji tego, co było czytane.

Ogólne modele sztucznej inteligencji radziły sobie najgorzej, wykazując największy wzrost błędów transkrypcyjnych, gdy spotkały uszkodzony tekst. Większość z nich doświadczyła znacznie większego spadku niż modele OCR specjalistyczne lub tradycyjne systemy OCR – chociaż Gemini-3-Flash wyróżniał się jako wyjątek, zachowując się bardziej jak konwencjonalny system OCR.

Całkowita klasyfikacja była ściśle związana ze stopniem, w jakim każdy model opierał się na wiedzy językowej: silniejsze prawa językowe odpowiadały większej tendencji do przepisywania zamiast prostego transkrybowania tekstu.

Szczegółowy rozbiór błędów, przedstawiony w poniższej tabeli, wskazuje, że tradycyjne systemy OCR w większości produkowały konwencjonalne błędy transkrypcyjne, takie jak substytucje, usunięcia i wstawienia:

Wyniki z angielskiego testu perturbacji "Scramble", pokazujące, jak każdy system transkrypcyjny rozkładał swoje błędy na dokładne przepisy, transkrypcje bliskie ("Close"), bardziej znaczące błędy transkrypcyjne ("Moderate") i całkowicie błędne dane wyjściowe ("Wrong"). Modele są uporządkowane według ich tempa przepisywania uszkodzonych słów.

Odwrót, ogólne modele sztucznej inteligencji były znacznie bardziej skłonne do zastępowania uszkodzonych słów prawdopodobnymi alternatywami, zachowując przy tym otaczające zdanie, co świadczy o tym, że nie tylko źle odczytywały uszkodzony tekst, ale aktywnie go przepisywały, korzystając z kontekstu językowego.

Badanie również wykazało, że błędy transkrypcyjne nie pozostawały ograniczone do uszkodzonych słów:

Wyniki z analizy propagacji błędów, pokazujące stawki błędów na słowach uszkodzonych i nieuszkodzonych po każdym typie perturbacji. Zmiana około 4,7% słów spowodowała, że błędy transkrypcyjne rozprzestrzeniły się na otaczający, niezmodyfikowany tekst w wielu modelach.

Jak widać w powyższej tabeli wyników i poniższym wykresie, zmiana tylko około 4,7% słów w dokumencie angielskim znacznie zwiększyła stawki błędów w otaczającym, niezmodyfikowanym tekście:

Dalsze wyniki z analizy propagacji błędów, pokazujące wzrost błędów transkrypcyjnych w uszkodzonych i nieuszkodzonych słowach po każdym typie perturbacji. Ogólne modele sztucznej inteligencji wykazały największe wzmocnienie błędów, z błędami często rozprzestrzeniającymi się poza oryginalnie uszkodzone słowa.

Modele VLM ogólnego przeznaczenia były najbardziej dotknięte, z stawkami błędów w niezmodyfikowanych słowach wzrastającymi o dziesięć razy w porównaniu z wartościami podstawowymi. Odwrotnie, tradycyjne systemy OCR wykazały tylko niewielki wzrost. Modele, które przepisywały największy odsetek uszkodzonych słów, wykazały również największą propagację błędów, co sugeruje, że oba zachowania wynikają z tego samego podstawowego zależności od kontekstu językowego.

W praktyce oznacza to, że niewielka ilość uszkodzonego tekstu może skompromitować dokładność w przeciwnym razie nienaruszonego dokumentu, sprawiając, że czyste wyniki benchmarków OCR są niewiarygodnym przewodnikiem po wierności transkrypcyjnej w świecie rzeczywistym.

Na końcu autorzy również zbadali, czy długość słowa wpływa na zachowanie przepisywania, stwierdzając, że krótsze słowa były znacznie bardziej podatne niż dłuższe.

Ponieważ zawierają one mniej wskazówek wizualnych, krótkie słowa wydają się zachęcać modele VLM do polegania bardziej na wiedzy językowej kontekstowej – zwiększając prawdopodobieństwo, że uszkodzony tekst zostanie zastąpiony przez prawdopodobną alternatywę, zamiast być transkrybowanym dosłownie (co mogłoby spowodować przydatne ostrzeżenie dla nadzoru ludzkiego).

Autorzy również stwierdzili, że podczas gdy explicite instrukcje nie do korygowania błędów zmniejszały tę tendencję, nie eliminowały jej całkowicie. To sugeruje, że transkrypcja interpretacyjna jest wbudowaną cechą bieżących modeli VLM, a nie zachowaniem, które można byłooby niezawodnie stłumić za pomocą samych tylko sugestii.

Autorzy kończą:

„Dla aplikacji, które wymagają literalnej transkrypcji, takich jak przetwarzanie dokumentów prawnych, digitalizacja rękopisów historycznych i kryminalistyka, tradycyjne systemy OCR lub starannie wybrane specjalistyczne modele VLM pozostają najbezpieczniejszym wyborem, podczas gdy ogólne modele VLM wprowadzają systematyczne przepisywanie, którego czyste benchmarki nie ujmują.”

Wnioski

To badanie powtarza to, co staje się powtarzającym się wątkiem w literaturze LLM: że chociaż wytrenowane modele VLM są ogromnie potężne, są również odporne na krytyczne instrukcje – w tym przypadku Przeczytaj i sparsuj litery, które znajdziesz na obrazie.

Bardziej zaawansowane modele po prostu nie mogą tego zrobić, wydaje się – jak gdyby uważały to za „pracę poniżej ich godności” lub są irracjonalnie zmuszane do zakończenia „niedokończonego zadania”.

* Moja konwersja cytowań wstawianych przez autorów do linków.

Pierwotnie opublikowane w poniedziałek, 27 lipca 2026