Навіть провідні мовні моделі схильні до «інтерпретативного» транскрибування

Нові дослідження від Amazon показали, що чим розумніша модель, тим більша ймовірність того, що вона «стане креативною», коли їй буде запропоновано виконати оптичне розпізнавання символів.

Оптичне розпізнавання символів (OCR) вважається в основному розв’язаною проблемою. Якщо ви скануєте текст або представляєте фотографію тексту системі OCR, вона виконує складну індивідуалізацію кожного символу, роблячи найкращу можливу спробу на рівні кожного символу:

Верхній лівий кут, зонування характерних локусів у сегментованому ідентифікованому символу (джерело); основне зображення: результат сегментації для інституційного репозиторію (Джерело).

OCR інтерпретує символи індивідуально; ці символи, у досить близькій близькості, можуть або не можуть становити слова чи інші лінгвістичні конструкції. OCR не турбується; до тих пір, поки ці питання не виникнуть, воно вже вийшло за двері і перейшло до наступної роботи, оскільки перевірка орфографії не входить до його повноважень.

Одна з найпопулярніших систем OCR – це шановний Tesseract, суворо алгоритмічний інтерпретатор, широко використовуваний у різних відкритих джерелах програмного забезпечення та робочих процесах. З великою кількістю «плоских» алгоритмічних додатків OCR, доступних на всіх операційних системах, можливість перетворення зображень тексту назад у редактований текст зараз досягла статусу безкоштовної комодіті – навіть якщо жодна система не позбавлена недоліків чи вад.

Крім того, щоб залишатися актуальними, організації та комерційні продукти, які традиційно конкурують у сфері алгоритмічного OCR, адаптували свої спадкові системи у системи документного управління, підтримувані штучним інтелектом. Однак основна технологія – генерація оцінених груп сегментованих та ідентифікованих символів – залишається незмінною.

Слово

Разом з зростаючою кількістю завдань OCR усе частіше обробляється новим поколінням моделей мови та зору (VLMs); зіткнувшись з нередакованими або растровими текстами, агентні версії цих останніх систем можуть уміло читати та транслітерувати за необхідності.

Однак, згідно з новим дослідженням від Amazon.com, ті, хто вважає, що штучний інтелект відтворить точно ту саму функцію, що й OCR, можуть бути у приємному шоці: нове дослідження показало, що ваш улюблений LLM наймовірніше «піде на додаткову милю» у транскрибуванні, незалежно від того, чи хочете ви цього чи ні; перевищуючи контекст на рівні символу у контекст на рівні слова – і виправляючи будь-які «помилки», які він знаходить, способами, які можуть мати нежадані наслідки для таких галузей, як юридична, медична та історична транслітерація.

Автори стверджують:

‘Моделі мови та зору (VLMs) усе частіше використовуються замість традиційних трубопроводів OCR для розуміння документів.

‘[Ми] показали, що вони не завжди діють як вірні транскрибувальники: коли текст не досконалий, вони часто схильні переписати його у більш правдоподібну форму – поведінка, яку чистий текст OCR-бенчмарків не може виявити.’

Автори вводять об’ємну нову кураторську базу даних та бенчмарк під назвою FaithC4, який вони протестували на вибірці з 15 відкритих джерел та закритих моделей, включаючи версії ChatGPT та Google Gemini.

Вони виявили, що загальні моделі штучного інтелекту були значно більш схильні, ніж традиційні системи OCR, заміняти неідеальні слова на більш «правдоподібні» ones, іноді переписуючи майже 65% заплутаних слів, тоді як мали місцеві помилки також спричиняли помилки в інших місцях у інакше точному тексті.

Короткі слова були особливо вразливі, і явні інструкції не робити виправлення зменшили проблему, хоча не усунули її.

У роботі зазначається*:

‘Хоча поведінка переписування може бути корисною для відновлення деяких справжніх помилок, вона може бути проблематичною для деяких галузей, які можуть вимагати буквальної транскрибування, таких як юридичні документи, медичні записи та історичні рукописи.

‘Незважаючи на свою важливість, цю поведінку переписування в основному не помічали у дослідженнях VLM. Існуючі OCR бенчмарки зосереджені на розпізнаванні чистого тексту та тому недостатні для дослідження того, як моделі можуть справитися з неідеальними входами.’

Центральним повідомленням є те, що більш просунуті системи штучного інтелекту борються з тим, щоб не виправляти помилки, які алгоритмічні платформи OCR можуть легко бути сконфігуровані для доставки «сирого»; у багатьох випадках людська інтерпретація є суттєвою для вирішення проблеми; але якщо неправильне «виправлення» вже було застосовано, проблема буде схильна гладко пройти під радаром більшості систем перевірки.

Нова робота називається Чи читає VLM чи переписує? Про вірність транскрибування у моделях мови та зору, і походить від п’яти дослідників у Amazon.com.

Дані та метод

Щоб заселити свою базу даних бенчмарків, автори використали Colossal Cleaned Crawled Corpus – також відомий як C4 – гіпермасштабну веб-кроулед-колекцію з 2020 року. З цієї колекції було вибрано 1 455 односторінкових документів по англійській, китайській та корейській мовах, причому кожен пасаж був розміром, щоб поміститися на одну відтворену сторінку.

Фінальний бенчмарк містив 500 англійських документів, 500 китайських документів та 455 корейських документів, забезпечуючи багатомовний тестовий стенд для вимірювання того, чи копіюють системи штучного інтелекту текст вірно, чи в якійсь мірі переписують його.

Щоб протестувати, чи будуть моделі штучного інтелекту вірно копіювати те, що вони бачать, контрольовані помилки були введені у документи до того, як вони були відтворені у вигляді зображень, причому близько 8% усіх слів було змінено, кожне з яких містило щонайменше чотири символи. Недоторкані версії цих документів були використані як основа для порівняння.

Три варіанти порушення були потім застосовані: заплутування перемішувало внутрішні символи слів, зберігаючи перші та останні символи; випадковість замінила кожен символ випадковим альтернативним символом з того ж письма; і візуальність замінила візуально схожі символи, які залишалися правдоподібними для ока, але змінювали основний текст.

Китайський варіант опустив умову заплутування, оскільки його система письма не має слів, розділених пробілами, а замість цього використовує фіксовані чотири-символьні вікна для інших порушень; Крім того, коротша середня довжина слова корейської мови означала, що менше слів мали право на зміну.

Кожен документ був потім відтворений у вигляді PDF-сторінки та переданий конкуруючим системам транскрибування.

Тести

Тести для дослідження охоплювали як закриті джерела загальних моделей штучного інтелекту, зокрема GPT-5.4-mini; Gemini-3-Flash; і Gemini-2.5-Flash; і відкриті джерела моделей, що складаються з загальних моделей штучного інтелекту Qwen3.5-4B; Qwen3-VL-4B; InternVL3.5-4B; Gemma4-E4B; і Gemma4-E2B.

Крім того, були включені спеціалізовані моделі OCR, що складаються з olmOCR-2-7B; DeepSeek-OCR-2; MinerU2.5-Pro; PaddleOCR-VL-1.5; і LightOnOCR-2-1B. Нарешті, традиційні двигуни OCR Tesseract і docTR також були протестовані.

Три групи залежать від мови по-різному: загальні моделі штучного інтелекту сильно залежать від широких знань мови, набраних під час попереднього навчання; спеціалізовані моделі OCR ставлять більший акцент на вірну транскрибування документів через завдання-специфічне навчання; і традиційні системи OCR залежать від розпізнавання символів, а не лінгвістичного висновку.

Було прийнято два метрики, починаючи з Коефіцієнт помилок у словах (WER), стандартний метрик OCR для визначення кількості повних слів, які система транскрибувала неправильно. Натомість ніж просто рахувати неправильні символи, WER реєструє заміни, видалення та вставки відносно оригінального тексту, роблячи його чутливим як до неправильних слів, так і до слів, які були пропущені або додані.

Для китайської мови, де слова не розділені пробілами, був застосований той же підхід на рівні символу, як Коефіцієнт помилок у символах (CER).

Щоб захопити більш тонкі помилки, був також використаний метрик Похідна подібності відредагованого відстані (EDS). EDS порівнює передбачуваний текст з оригінальним на рівні символу та, на відміну від WER, може розрізняти слово, яке повністю неправильне, і слово, яке відрізняється лише одним чи двома символами. Природно це робить його корисним для виявлення майже-помилок, а також часткових переписувань, які інакше могли б виглядати схожими.

Як показано на графіку нижче, традиційні системи OCR довели себе найбільш стійкими до всіх трьох типів порушень, з мінімальною втратою точності, оскільки вони в основному розпізнавали окремі символи, а не намагалися виводити слова з контексту:

Зміни в коефіцієнті помилок у словах (ліворуч) та похідній подібності відредагованого відстані (праворуч) по англійській, китайській та корейській мовах після застосування трьох методів порушення тексту. Традиційні системи OCR показали найменшу загальну деградацію продуктивності, спеціалізовані моделі OCR зайняли середню позицію, тоді як загальні моделі штучного інтелекту були найбільш постраждалими від пошкодженого тексту. Джерело

Спеціалізовані моделі OCR зайняли середню позицію; MinerU та LightOn залишилися відносно стійкими; і olmOCR та DeepSeek-OCR показали більшу чутливість до пошкодженого тексту, вказуючи на те, що документ-специфічне навчання зменшило, але не усунуло, схильність до переінтерпретації того, що читалося.

Загальні моделі штучного інтелекту показали найгірші результати в цілому, демонструючи найбільше збільшення транскрибувальних помилок при зіткненні з пошкодженим текстом. Більшість з них зазнали значно більшої деградації, ніж спеціалізовані моделі OCR або традиційні системи OCR – хоча Gemini-3-Flash виділився як помітний виняток, виконуючи набагато краще, ніж традиційна система OCR.

У цілому рейтинг близько збігався з ступенем, у якому кожна модель залежала від знань мови, причому сильніші мовні попередження відповідали більший схильності до переписування тексту, а не просто транскрибування.

Розбивка типів помилок, показана в таблиці нижче, вказує на те, що традиційні системи OCR в основному виробляли звичайні транскрибувальні помилки, такі як заміни, видалення та вставки:

Результати англійського тесту «заплутування», що показують, як кожна система транскрибування розподілила свої помилки по точним переписуванням, майже-помилкам транскрибування («Близько»), більш суттєвим транскрибувальним помилкам («Помірно») та повністю неправильним виводам («Неправильно»). Моделі впорядковані за їхнім показником переписування пошкоджених слів.

Навпаки, загальні моделі штучного інтелекту були значно більш схильні замінити пошкоджені слова на правдоподібні альтернативи, зберігаючи при цьому навколишній речення, що свідчить про те, що вони не просто неправильно читали пошкоджений текст, а активно переписували його, використовуючи лінгвістичний контекст.

Дослідження також показало, що транскрибувальні помилки не залишилися обмеженими пошкодженими словами:

Результати аналізу поширення помилок, що показують показники помилок на слово для пошкоджених та неушкоджених слів після кожного типу порушення. Зміна близько 4,7% слів викликала поширення транскрибувальних помилок у навколишній, неушкоджений текст у багатьох моделей.

Як показано в таблиці результатів вище та графіку нижче, зміна близько 4,7% слів у англійському документі суттєво збільшувала показники помилок у навколишньому, неушкодженому тексті:

Додаткові результати аналізу поширення помилок, що показують збільшення транскрибувальних помилок у пошкоджених та неушкоджених словах після кожного типу порушення. Загальні моделі штучного інтелекту показали найбільше збільшення помилок, причому помилки часто поширювалися за межі початково пошкоджених слів.

Загальні моделі VLM були найбільш постраждалими, з показниками помилок у неушкоджених словах, які збільшувалися до десяти разів порівняно з базовим рівнем. Навпаки, традиційні системи OCR показали лише незначне збільшення. Моделі, які переписували найбільшу частку пошкоджених слів, також показали найсильніше поширення помилок, вказуючи на те, що обидві поведінки походять від тієї ж основної залежності від лінгвістичного контексту.

На практиці це означає, що невелика кількість пошкодженого тексту може компрометувати точність іншого мого документа, роблячи чисті бенчмарки OCR ненадійним орієнтиром для реальної вірності транскрибування.

Нарешті, автори також вивчили, чи впливає довжина слова на поведінку переписування, виявивши, що коротші слова були суттєво більш вразливими, ніж довші.

Через те, що вони містять менше візуальних підказок, короткі слова, як видається, спонукають моделі VLM більше покладатися на контекстну мовну інформацію – збільшуючи ймовірність того, що пошкоджений текст буде замінений на правдоподібну альтернативу, а не транскрибуватися буквально (що могло б викликати корисний сигнал для людського нагляду).

Автори також виявили, що хоча явні інструкції не виправляти помилки зменшили цю схильність, вони не усунули її. Це, здається, вказує на те, що інтерпретативна транскрибування є внутрішньою властивістю поточних моделей VLM, а не поведінкою, яку можна надійно придушити лише за допомогою промптів.

Автори роблять висновок:

‘Для застосунків, які вимагають буквальної транскрибування, таких як обробка юридичних документів, оцифрування історичних рукописів та судова експертиза, традиційні системи OCR або ретельно вибрані спеціалізовані моделі VLM залишаються найбезпечнішим вибором, тоді як загальні моделі VLM вводять систематичне переписування, яке бенчмарки чистого тексту не виявляють.’

Висновок

Це дослідження повторює те, що стає повторюваною ниттю у літературі LLM: хоча треновані моделі VLM надзвичайно потужні, вони також стійкі до критичних інструкцій – у цьому випадку Прочитайте та розіб’jte літери, які ви знаходитьесь у зображенні.

Більш просунуті моделі просто не можуть зробити цього, здається – як якщо б вони вважали це «черновою роботою» або були ірраціонально змушені завершити «напівзавершену задачу».

* Мій переклад інлайн-цитат авторів у гіперпосилання.

Перша публікація понеділка, 27 липня 2026 року