Chiar și modelele lingvistice de top sunt predispuse la transcrieri „interpretative”

Cercetarea nouă de la Amazon arată că, cu cât modelul este mai inteligent, cu atât este mai probabil să devină „creativ” atunci când este solicitat să efectueze recunoașterea optică a caracterelor.

Recunoașterea optică a caracterelor (OCR) este considerată a fi o problemă în mare măsură rezolvată. Dacă scanați un text sau prezentați o fotografie a textului sistemului OCR, acesta efectuează o individuare elaborată a fiecărui caracter, făcând cea mai bună presupunere pe care o poate face la nivel de caracter:

Top left, the zoning of characteristic loci in a segmented identified letter (source); main image: segmentation result for an institutional repository (Source).

OCR interpretează caracterele individual; aceste caractere, în proximitate suficient de apropiată, pot sau nu să constituie cuvinte sau alte construcții lingvistice. OCR nu se preocupă; până când aceste probleme apar, este ieșit din sarcină și trece la următoarea sarcină, deoarece verificarea ortografică nu este în sarcina sa.

Unul dintre cele mai populare sisteme OCR este venerabilul Tesseract, un interpret strict algoritmic, utilizat pe scară largă într-o varietate de aplicații și fluxuri de lucru cu sursă deschisă. Cu o gamă largă de suplimente OCR algoritmic „plat” disponibile pe toate sistemele de operare, capacitatea de a converti textul imaginii înapoi în text editabil a atins statutul de marfă gratuită – chiar dacă niciun sistem nu este lipsit de defecte sau ciudățenii.

În plus, pentru a rămâne relevanți, organizațiile și produsele comerciale care concurează tradițional în spațiul OCR algoritmic și-au adaptat sistemele lor legacy în sisteme de gestionare a documentelor asistate de IA. Cu toate acestea, tehnologia de bază – generarea de grupuri estimate de caractere segmentate și identificate – rămâne neschimbată.

Cuvântul

Împreună cu o serie de sarcini în creștere, OCR este gestionat din ce în ce mai mult de noua generație de modele de limbaj vizual (VLM); confruntate cu text neliteral sau rasterizat, versiunile agențice ale acestor sisteme pot citit și transcrie cu abilitate.

Cu toate acestea, conform unei noi cercetări de la Amazon.com, cei care cred că IA va replica exact aceeași funcție ca OCR pot fi într-o surpriză: noul studiu a constatat că modelul dvs. preferat de LLM este probabil să „depășească” transcrierea, indiferent dacă doriți sau nu; depășind contextul per-caracter în context per-cuvânt – și corectând orice „erori” pe care le găsește, în moduri care ar putea avea consecințe nedorite pentru domenii precum juridic, medical și istoric.

Autorii afirmă:

‘Modelele de limbaj vizual (VLM) sunt din ce în ce mai utilizate în locul conductelor OCR tradiționale pentru înțelegerea documentelor.

‘[Noi] arătăm că nu acționează întotdeauna ca transcriptori credincioși: atunci când textul este imperfect, adesea tind să-l rescrie într-o formă mai plauzibilă – un comportament pe care benchmark-urile OCR de text curat nu le pot detecta.’

Autorii introduc un nou set de date curate și un benchmark intitulat FaithC4, pe care l-au testat pe o selecție de 15 modele FOSS și cu sursă închisă, inclusiv versiuni ale ChatGPT și Google Gemini.

Ei au constatat că modelele de IA cu scop general erau mult mai predispuse decât sistemele OCR tradiționale să înlocuiască cuvintele imperfecte cu unele mai „plauzibile”, uneori rescriind până la 65% din cuvintele învârtite, în timp ce erorile locale mici au cauzat, de asemenea, greșeli în altă parte în textul în general precis.

Cuvintele scurte erau deosebit de vulnerabile, iar instrucțiunile explicite nu să corecteze erorile au redus problema, deși nu au eliminat-o.

Articolul afirmă*:

‘În timp ce comportamentul de rescriere poate fi benefic pentru recuperarea unor erori reale, poate fi problematic pentru anumite domenii care pot necesita transcriere literală, cum ar fi documente juridice, înregistrări medicale și manuscrise istorice.

‘În ciuda importanței sale, acest comportament de rescriere a fost în mare măsură ignorat în cercetarea VLM. Benchmark-urile OCR existente se concentrează pe recunoașterea textului curat și, prin urmare, sunt insuficiente pentru a investiga modul în care modelele pot gestiona intrări imperfecte.’

Mesajul central este că sistemele de IA mai avansate se luptă să nu corecteze erorile pe care platformele OCR algoritmic le pot configura cu ușurință pentru a livra „raw”; în multe cazuri, interpretarea umană este esențială pentru a rezolva problema; dar dacă o „corectură” incorectă a fost deja aplicată, problema va tend să alunece sub radarul majorității sistemelor de verificare.

Noul articol se intitulează Modelele VLM citesc sau rescriu? Despre fidelitatea transcrierii în modelele de limbaj vizual și provine de la cinci cercetători de la Amazon.com.

Date și Metodă

Pentru a popula baza de date a benchmark-ului, autorii au extras din Colossal Cleaned Crawled Corpus – cunoscut sub numele de C4 – o colecție web-crawledă hiperscalabilă din 2020. Din acest corpus, au fost selectate 1.455 de documente cu o singură pagină în limbile engleză, chineză și coreeană, cu fiecare pasaj dimensionat pentru a se potrivi pe o singură pagină renderizată.

Benchmark-ul final a conținut 500 de documente în engleză, 500 de documente în chineză și 455 de documente în coreeană, oferind un test multilingv pentru măsurarea fidelității copierii textului de către sistemele de IA.

Pentru a testa dacă modelele de IA vor copia cu fidelitate ceea ce văd, au fost introduse erori controlate în documente înainte de a fi renderizate ca imagini, cu aproximativ 8% din cuvintele eligibile modificate, fiecare conținând cel puțin patru caractere. Versiunile nemodificate ale acestora au fost utilizate ca adevăr de bază.

Au fost aplicate trei variante de perturbație: învârtirea a amestecat literele interne ale cuvintelor, păstrând prima și ultima literă; aleatoriu a înlocuit fiecare caracter cu un caracter aleatoriu din același sistem de scriere; și vizual a înlocuit caracterele vizual asemănătoare care au rămas plauzibile pentru ochi, în timp ce schimba textul de bază.

Varianta chineză a omis condiția învârtirea deoarece sistemul său de scriere lipsește de cuvinte delimitate de spații, utilizând în schimb ferestre fixe de patru caractere pentru celelalte perturbații; în plus, lungimea medie mai scurtă a cuvintelor coreene a însemnat că mai puține cuvinte s-au calificat pentru modificare.

Fiecare document a fost apoi renderizat ca o pagină PDF și a fost transmis sistemelor de transcriere concurente.

Teste

Testele pentru studiu au acoperit atât modelele cu sursă închisă cu scop general, și anume GPT-5.4-mini; Gemini-3-Flash; și Gemini-2.5-Flash; și modelele cu sursă deschisă, care cuprind modelele cu scop general Qwen3.5-4B; Qwen3-VL-4B; InternVL3.5-4B; Gemma4-E4B; și Gemma4-E2B.

În plus, au fost incluse și modele OCR specializate, care cuprind olmOCR-2-7B; DeepSeek-OCR-2; MinerU2.5-Pro; PaddleOCR-VL-1.5; și LightOnOCR-2-1B. În cele din urmă, au fost testate și sistemele OCR tradiționale Tesseract și docTR.

Grupurile se bazează pe limbaj în grade diferite: modelele de IA cu scop general se bazează puternic pe cunoștințele lingvistice generale dobândite în timpul pregătirii; modelele OCR specializate pun accent mai mare pe transcrierea documentelor cu fidelitate prin pregătirea specifică sarcinii; și sistemele OCR tradiționale se bazează pe recunoașterea caracterelor, mai degrabă decât pe inferența lingvistică.

Au fost adoptate două metrice, începând cu Rata de eroare a cuvântului (WER), metrica standard OCR pentru determinarea numărului de cuvinte complete transcrise incorect de un sistem. În loc să numărească doar caracterele greșite, WER înregistrează substituiri, ștergeri și inserții în raport cu textul original, făcându-l sensibil atât la cuvintele incorecte, cât și la cuvintele care au fost omise sau adăugate.

Pentru chineză, unde cuvintele nu sunt separate de spații, s-a aplicat aceeași abordare la nivel de caracter, ca Rata de eroare a caracterului (CER).

Pentru a capta greșeli mai subtile, s-a utilizat și metrica Asemănarea distanței de editare (EDS). EDS compară textul prezis cu originalul la nivel de caracter și – spre deosebire de WER – poate distinge între un cuvânt care este complet greșit și unul care diferă doar cu unul sau două caractere. În mod natural, acest lucru o face utilă pentru detectarea apropiatelor greșeli, precum și a rescrierilor parțiale care ar putea altfel să pară similare.

După cum se arată în graficul de mai jos, sistemele OCR tradiționale s-au dovedit a fi cele mai rezistente la toate cele trei tipuri de perturbație, cu o pierdere mică de precizie, deoarece recunosc în primul rând caractere individuale, mai degrabă decât încercând să inferă cuvinte din context:

Schimbări în rata de eroare a cuvântului (stânga) și asemănarea distanței de editare (dreapta) în engleză, chineză și coreeană după aplicarea celor trei metode de perturbație a textului. Sistemele OCR tradiționale au arătat cea mai mică degradare a performanței în general, modelele OCR specializate au ocupat poziția de mijloc, în timp ce modelele de IA cu scop general au fost, în general, cele mai afectate de textul corupt. Source

Modelele OCR specializate au ocupat poziția de mijloc; MinerU și LightOn au rămas relativ robuste; și olmOCR și DeepSeek-OCR au arătat o sensibilitate mai mare la textul corupt, indicând faptul că antrenamentul specific documentului a redus, dar nu a eliminat, tendința de a reinterpreta ceea ce se citea.

Modelele de IA cu scop general au avut, în general, cele mai slabe performanțe, arătând o creștere semnificativă a erorilor de transcriere atunci când au fost confruntate cu text perturbat. Majoritatea au suferit o degradare mult mai mare decât modelele OCR specializate sau sistemele OCR tradiționale – deși Gemini-3-Flash a fost o excepție notabilă, performând mult mai bine decât un sistem OCR convențional.

În general, clasamentul a corespuns strâns gradului în care fiecare model se baza pe cunoștințele lingvistice; cu priors lingvistici mai puternici corespunzând unei tendințe mai mari de a rescrie în loc de a transcrie pur și simplu textul.

O analiză a tipurilor de erori, prezentată în tabelul de mai jos, indică faptul că sistemele OCR tradiționale au produs, în principal, erori de transcriere convenționale, cum ar fi substituiri, ștergeri și inserții:

Rezultate din testul de perturbație „învârtire” în engleză, arătând modul în care fiecare sistem de transcriere a distribuit erorile sale pe rescrieri exacte, transcrieri apropiate („Aproape”), erori de transcriere mai substanțiale („Moderate”) și ieșiri complet incorecte („Greșit”). Modelele sunt ordonate după rata lor de rescriere a cuvintelor corupte.

Pe de altă parte, modelele de IA cu scop general au fost mult mai predispuse să înlocuiască cuvintele corupte cu alternative plauzibile, păstrând propoziția înconjurătoare, oferind dovezi puternice că nu doar citesc textul deteriorat, ci îl și rescriu activ, utilizând contextul lingvistic.

Studiul a constatat, de asemenea, că erorile de transcriere nu au rămas confinate la cuvintele corupte:

Rezultate din analiza propagării erorilor, arătând ratele de eroare pe cuvânt pentru cuvintele perturbate și neperturbate după fiecare metodă de perturbație a textului. Modificarea a aproximativ 4,7% din cuvinte a cauzat erori de transcriere care s-au răspândit în textul înconjurător, nemodificat, în multe modele.

Modelele de IA cu scop general au fost cele mai afectate, arătând o creștere de până la zece ori a ratelor de eroare pe cuvânt pentru cuvintele nemodificate față de nivelul de bază. Pe de altă parte, sistemele OCR tradiționale au arătat doar creșteri modeste. Modelele care au rescris cea mai mare proporție de cuvinte corupte au arătat, de asemenea, cea mai puternică propagare a erorilor, sugerând că ambele comportamente provin din aceeași dependență de subtilitățile contextului lingvistic.

În practică, acest lucru înseamnă că o cantitate mică de text deteriorat poate compromite precizia unui document în altfel intact, făcând ca scorurile de benchmark OCR curat să fie o ghidare nesigură pentru fidelitatea reală a transcrierii.

În cele din urmă, autorii au examinat, de asemenea, dacă lungimea cuvântului a influențat comportamentul de rescriere, constatând că cuvintele mai scurte erau semnificativ mai vulnerabile decât cele mai lungi.

Deoarece conțin mai puține indicii vizuale, cuvintele scurte par să încurajeze modelele de IA să se bazeze mai mult pe cunoștințele lingvistice contextuale – creșterea probabilității ca textul deteriorat să fie înlocuit cu o alternativă plauzibilă, în loc de a fi transcris literal (ceea ce ar putea provoca un alert util pentru supravegherea umană).

Autorii au constatat, de asemenea, că, deși instrucțiunile explicite nu să corecteze erorile au redus această tendință, nu au eliminat-o. Acest lucru pare să indice că transcrierea interpretativă este o caracteristică inerentă a modelelor VLM actuale, mai degrabă decât un comportament care poate fi suprimat în mod fiabil prin promptarea singură.

Autorii conchid:

‘Pentru aplicații care necesită transcriere literală, cum ar fi prelucrarea documentelor juridice, digitizarea manuscriselor istorice și criminalistică, sistemele OCR tradiționale sau modelele VLM OCR specializate, selectate cu atenție, rămân alegerea cea mai sigură, în timp ce modelele VLM cu scop general introduc rescrierea sistematică pe care benchmark-urile de text curat nu o pot capta.’

Concluzie

Acest studiu reiterează ceea ce devine o temă repetitivă în literatura LLM: că, deși modelele VLM antrenate sunt extraordinar de puternice, ele sunt, de asemenea, rezistente la instrucțiuni critice – în acest caz, Citirea și analiza literelor pe care le găsiți în imagine.

Modelele mai avansate nu pot face acest lucru, pare-se – ca și cum ar considera că este „muncă de rutină” sau ar fi irațional conduse să finalizeze o „sarcină neterminată”.

* Conversia mea a citărilor inline ale autorilor în legături.

Publicat pentru prima dată luni, 27 iulie 2026