Anche i Principali Modelli Linguistici sono Propensi a Trascrizioni ‘Interpretative’

Nuova ricerca di Amazon scopre che più il modello è intelligente, più è probabile che si comporti in modo ‘creativo’ quando richiesto di eseguire il Riconoscimento Ottico dei Caratteri.

Il Riconoscimento Ottico dei Caratteri (OCR) è considerato un problema in gran parte risolto. Se si scansiona del testo o si presenta una foto del testo al sistema OCR, esso esegue un’elaborata individuazione di ogni lettera, facendo la migliore ipotesi che può su base per lettera:

Top left, the zoning of characteristic loci in a segmented identified letter (source); main image: segmentation result for an institutional repository (Source).

OCR interpreta i caratteri individualmente; quei caratteri, in prossimità sufficiente, possono o non possono costituire parole o altre costruzioni linguistiche. OCR non si cura; una volta che quei problemi sorgono, è già uscito e passa al prossimo lavoro, perché la correzione ortografica non rientra nella sua competenza.

Uno dei sistemi OCR più popolari è il venerabile Tesseract, un interprete strettamente algoritmico, ampiamente utilizzato in una varietà di applicazioni open source e flussi di lavoro. Con una vasta gamma di estensioni OCR algoritmiche “piatte” disponibili su tutti i sistemi operativi, la capacità di convertire il testo dell’immagine in testo modificabile ha ora raggiunto lo status di bene gratuito – anche se nessun sistema è senza difetti o peculiarità.

Inoltre, per rimanere rilevanti, le organizzazioni e i prodotti commerciali che tradizionalmente competono nello spazio OCR algoritmico hanno adattato i loro sistemi legacy in sistemi di gestione dei documenti aiutati dall’AI. Tuttavia, la tecnologia di base – che produce gruppi stimati di lettere segmentate e identificate – rimane invariata.

Parola

Insieme a una crescente numero di attività, OCR è gestito sempre più dai nuovi modelli di linguaggio visivo (VLM); di fronte a testo non modificabile o rasterizzato, versioni agentic di questi ultimi sistemi possono leggere e trascrivere con destrezza.

Tuttavia, secondo un nuovo studio di ricerca di Amazon.com, coloro che credono che l’AI replicherà esattamente la stessa funzione dell’OCR potrebbero essere sorpresi: lo studio ha scoperto che il vostro modello LLM preferito è probabile che “vada oltre” nella trascrizione, che lo si voglia o no; superando il contesto per lettera nel contesto per parola – e correggendo gli “errori” che trova, in modi che potrebbero avere conseguenze indesiderabili per aree come legale, medica e storica.

Gli autori affermano:

‘I Modelli di Linguaggio Visivo (VLM) sono sempre più utilizzati al posto dei tradizionali pipeline OCR per la comprensione dei documenti.

‘[Noi] mostrano che non agiscono sempre come trascrittori fedeli: quando il testo è imperfetto, spesso tendono a riscriverlo in una forma più plausibile – un comportamento che le prove di OCR pulito non possono rilevare.’

Gli autori introducono un nuovo dataset curato e una prova intitolata FaithC4, che hanno testato su una selezione di 15 modelli FOSS e closed-source, comprese versioni di ChatGPT e Google Gemini.

Essi hanno scoperto che i modelli AI general-purpose erano molto più propensi dei tradizionali sistemi OCR a sostituire parole imperfette con altre più “plausibili”, a volte riscrivendo quasi il 65% delle parole confuse, mentre piccoli errori locali causavano anche errori altrove nel testo altrimenti accurato.

Le parole brevi erano particolarmente vulnerabili, e istruzioni esplicite non di correggere gli errori riducevano il problema, anche se non lo eliminavano.

Lo studio afferma*:

‘Mentre il comportamento di riscrittura può essere benefico per recuperare alcuni errori genuini, potrebbe essere problematico per alcuni domini che potrebbero richiedere trascrizione letterale, come documenti legali, registri medici e manoscritti storici.

‘Nonostante la sua importanza, questo comportamento di riscrittura è stato ampiamente trascurato nella ricerca su VLM. Le prove di OCR esistenti OCR benchmarks si concentrano sul riconoscimento di testo pulito e sono quindi insufficienti per indagare su come i modelli possano gestire input imperfetti.’

Il messaggio centrale è che i sistemi AI più avanzati lottano per non correggere gli errori che le piattaforme OCR algoritmiche possono facilmente essere configurate per consegnare “grezzo”; in molti casi, l’interpretazione umana è essenziale per risolvere il problema; ma se una “correzione” errata è già stata applicata, il problema tenderà a scivolare sotto il radar della maggior parte dei sistemi di controllo.

Il nuovo studio è intitolato Leggono o Riscrivono i VLM? Sulla Fedeltà della Trascrizione nei Modelli di Linguaggio Visivo, e proviene da cinque ricercatori di Amazon.com.

Dati e Metodi

Per popolare il loro dataset di prova, gli autori hanno attinto dal Colossal Cleaned Crawled Corpus – noto come C4 – una raccolta web crawled su larga scala del 2020. Da questo corpus, 1.455 documenti singoli sono stati selezionati in inglese, cinese e coreano, con ogni passaggio dimensionato per adattarsi a una singola pagina resa.

La prova finale ha contenuto 500 documenti in inglese, 500 documenti in cinese e 455 documenti in coreano, fornendo un test-bed multilingue per misurare se i sistemi AI copiano fedelmente il testo o in qualche modo lo riscrivono.

Per testare se i modelli AI avrebbero copiato fedelmente ciò che vedevano, sono stati introdotti errori controllati nei documenti prima che fossero resi come immagini, con circa l’8% delle parole idonee alterate, ciascuna contenente almeno quattro caratteri. Le versioni non toccate di questi sono state utilizzate come verità di base.

Tre varianti di perturbazione sono state applicate: scramble ha mescolato le lettere interne delle parole mentre preservava le prime e le ultime lettere; random ha sostituito ogni carattere con un carattere alternativo casuale dallo stesso sistema di scrittura; e visual ha sostituito caratteri visivamente simili che rimanevano plausibili all’occhio, mentre cambiava il testo sottostante.

La variante cinese ha omesso la scramble condizione perché il suo sistema di scrittura manca di parole delimitate da spazi, utilizzando invece finestre fisse di quattro caratteri per le altre perturbazioni; inoltre, la lunghezza media della parola coreana più breve ha significato che meno parole si qualificavano per la modifica.

Ogni documento è stato quindi reso come una pagina PDF e passato ai sistemi di trascrizione in competizione.

Test

I test per lo studio hanno coperto sia modelli general-purpose chiusi, come GPT-5.4-mini; Gemini-3-Flash; e Gemini-2.5-Flash; e modelli open source, che comprendono i modelli general-purpose Qwen3.5-4B; Qwen3-VL-4B; InternVL3.5-4B; Gemma4-E4B; e Gemma4-E2B.

Inoltre, sono stati inclusi modelli OCR specializzati, che comprendono olmOCR-2-7B; DeepSeek-OCR-2; MinerU2.5-Pro; PaddleOCR-VL-1.5; e LightOnOCR-2-1B. Infine, sono stati testati anche i motori OCR tradizionali Tesseract e docTR.

I tre gruppi si basano sul linguaggio in misura diversa: i modelli AI general-purpose attingono ampiamente alla conoscenza linguistica generale acquisita durante la pre-formazione; i modelli OCR specializzati pongono maggiore enfasi sulla trascrizione fedele del documento attraverso la formazione specifica del compito; e i sistemi OCR tradizionali si basano sul riconoscimento dei caratteri, piuttosto che sull’inferenza linguistica.

Due metriche sono state adottate, a partire da Word Error Rate (WER), la metrica OCR standard per determinare quanti parole complete un sistema ha trascritto in modo errato. Piuttosto che semplicemente contare i caratteri errati, WER registra sostituzioni, cancellazioni e inserimenti relativi al testo originale, rendendolo sensibile sia agli errori di parole che alle parole che sono state omesse o aggiunte.

Per il cinese, dove le parole non sono separate da spazi, è stato applicato lo stesso approccio a livello di carattere, come Character Error Rate (CER).

Per catturare errori più sottili, è stata utilizzata anche la metrica Edit Distance Similarity (EDS). EDS confronta il testo previsto con l’originale a livello di carattere e – a differenza di WER – può distinguere tra una parola che è completamente errata e una che differisce solo di uno o due caratteri. Naturalmente, questo la rende utile per rilevare near-miss, così come riscritture parziali che potrebbero altrimenti apparire simili.

Come mostrato nel grafico in basso, i sistemi OCR tradizionali si sono rivelati i più resistenti a tutti e tre i tipi di perturbazione, con poca perdita di accuratezza perché riconoscono principalmente singoli caratteri piuttosto che cercare di inferire parole dal contesto:

Changes in Word Error Rate (left) and Edit Distance Similarity (right) across English, Chinese and Korean after applying the three text perturbation methods. Traditional OCR systems showed the smallest performance degradation overall, OCR-specialized models occupied the middle ground, while general-purpose AI models were typically the most affected by corrupted text. Source

I modelli OCR specializzati occupavano il terreno di mezzo; MinerU e LightOn sono rimasti relativamente robusti; e olmOCR e DeepSeek-OCR hanno mostrato una maggiore sensibilità al testo corrotto, indicando che la formazione specifica del documento ha ridotto, ma non eliminato, la tendenza a reinterpretare ciò che stava leggendo.

I modelli AI general-purpose hanno eseguito peggio nel complesso, esibendo il maggior aumento degli errori di trascrizione quando confrontati con testo perturbato. La maggior parte ha subito una degradazione sostanzialmente maggiore rispetto ai modelli OCR specializzati o ai sistemi OCR tradizionali – sebbene Gemini-3-Flash si sia distinto come un’eccezione notevole, eseguendo molto più come un sistema OCR convenzionale.

Nel complesso, la classifica si è avvicinata al grado in cui ogni modello si basa sulla conoscenza linguistica, con forti priori linguistici che corrispondono a una maggiore tendenza a riscrivere piuttosto che semplicemente trascrivere il testo.

Una suddivisione dei tipi di errori, mostrata nella tabella in basso, indica che i sistemi OCR tradizionali hanno prodotto principalmente errori di trascrizione convenzionali, come sostituzioni, inserimenti e cancellazioni:

Results from the English ‘Scramble’ perturbation test, showing how each transcription system distributed its errors across exact rewrites, near-miss transcriptions (‘Close’), more substantial transcription errors (‘Moderate’) and outright incorrect outputs (‘Wrong’). Models are ordered by their rate of rewriting corrupted words.

Al contrario, i modelli AI general-purpose erano molto più propensi a sostituire parole corrotte con alternative plausibili mentre preservavano la frase circostante, fornendo una forte prova che non stavano semplicemente leggendo male il testo danneggiato, ma attivamente riscrivendolo utilizzando il contesto linguistico.

Lo studio ha anche scoperto che gli errori di trascrizione non sono rimasti confinati alle parole corrotte:

Results from the error propagation analysis, showing per-word error rates on perturbed and unperturbed words after each perturbation type. Altering only around 4.7% of words caused transcription errors to spread into surrounding, unmodified text across many models.

Come mostrato nella tabella dei risultati sopra e nel grafico in basso, alterare solo circa il 4,7% delle parole in un documento inglese ha aumentato notevolmente i tassi di errore nel testo non modificato circostante:

Further results from the error propagation analysis, showing the increase in transcription errors on both perturbed and unperturbed words after each perturbation type. General-purpose AI models exhibited the greatest error amplification, with mistakes frequently spreading beyond the originally corrupted words.

I modelli VLM general-purpose sono stati i più colpiti, con tassi di errore sulle parole non toccate che aumentavano di oltre dieci volte rispetto al valore di base. Al contrario, i sistemi OCR tradizionali hanno mostrato solo modesti aumenti. I modelli che hanno riscritto la maggior parte delle parole corrotte hanno anche esibito la più forte propagazione degli errori, suggerendo che entrambi i comportamenti derivano dalla stessa dipendenza sottostante dal contesto linguistico.

In pratica, ciò significa che una piccola quantità di testo danneggiato può compromettere l’accuratezza di un documento altrimenti integro, rendendo le prove di OCR pulito una guida inaffidabile per la fedeltà della trascrizione nel mondo reale.

Infine, gli autori hanno anche esaminato se la lunghezza della parola influenzava il comportamento di riscrittura, scoprendo che le parole più brevi erano sostanzialmente più vulnerabili di quelle più lunghe.

Perché contengono meno indizi visivi, le parole brevi sembrano incoraggiare i VLM a fare affidamento più pesantemente sulla conoscenza linguistica del contesto – aumentando la probabilità che il testo danneggiato venga sostituito con un’alternativa plausibile, invece di essere trascritto letteralmente (il che potrebbe causare un utile allarme per la supervisione umana).

Gli autori hanno anche scoperto che mentre le istruzioni esplicite non di correggere gli errori riducevano questa tendenza, non l’hanno eliminata. Ciò sembrerebbe indicare che la trascrizione interpretativa è una caratteristica intrinseca degli attuali VLM, piuttosto che un comportamento che può essere affidabilmente soppresso attraverso la sola istruzione.

Gli autori concludono:

‘Per le applicazioni che richiedono trascrizione letterale, come l’elaborazione di documenti legali, la digitalizzazione di manoscritti storici e la medicina forense, i sistemi OCR tradizionali o i modelli VLM OCR specializzati selezionati con cura rimangono la scelta più sicura, mentre i modelli VLM general-purpose introducono una riscrittura sistematica che le prove di testo pulito non catturano.’

Conclusione

Questo studio ribadisce ciò che sta diventando un filo ripetuto nella letteratura LLM: che sebbene i modelli VLM addestrati siano incredibilmente potenti, sono anche resistenti alle istruzioni critiche – in questo caso Leggi e analizza le lettere che trovi nell’immagine.

I modelli più avanzati non possono semplicemente farlo, sembra – come se considerassero il lavoro “lavoro di bassa qualità” o fossero irrazionalmente costretti a concludere un “lavoro a metà”.

* La mia conversione delle citazioni in linea degli autori in collegamenti ipertestuali.

Pubblicato per la prima volta lunedì, 27 luglio 2026