È fondamentale: gli agenti aziendali non comprendono l’evidenziazione

Nel mondo, e in particolare in quello degli affari, esistono moltissimi documenti cartacei importanti che non sono stati scansionati. Si stima che solo l’1% dei quattro miliardi di documenti cartacei che circolano ogni anno nel commercio mondiale venga digitalizzato, lasciando il resto al di là delle capacità analitiche dell’apprendimento automatico.

È solo una valutazione approssimativa del problema nel settore aziendale; anche i governi producono una quantità enorme di documenti stampati o rilegati su carta e, quest’anno, l’Archivio nazionale degli Stati Uniti ha riferito che è stato digitalizzato solo il 4,04% dei documenti analogici che conserva, mentre ne restano da digitalizzare 11,97 miliardi.

Perciò il problema è tuttora attuale, non un retaggio del passato, e confesso di contribuire anch’io al problema:

Quello che ho davanti quasi tutti i giorni.

Quando esamino dei documenti, li stampo, perché richiedono un’attenta lettura umana, oltre a un riepilogo automatico. Siccome ho poco tempo, segno con grandi evidenziazioni le sezioni chiave e i potenziali passaggi da citare, così che, quando è il momento di scrivere, la struttura dei dati mi salti all’occhio. Non sono però abbastanza maniaco da mettermi a usare gli evidenziatori: per dare risalto ai contenuti uso simboli diversi, caratteri più grandi e altri segni molto personali.

Molte persone, tra cui molte figure importanti che scrivono cose importanti, usano però gli evidenziatori colorati e colori diversi per il testo, per mettere in risalto alcuni passaggi.

Winston Churchill usava penne di colori diversi per mettere in risalto contenuti diversi. Qui, mentre prepara il discorso sulla sua «ora più bella», sembra usare il rosso come codice per le correzioni. Fonte

Stando proprio al documento mostrato nella foto precedente (quello sul leggio nero), potrebbero esserci centinaia di milioni di documenti contenenti un livello di evidenziazione che i sistemi di acquisizione dei documenti come Docling al momento non sono in grado di rilevare.

Queste evidenziazioni manuali sono significative: danno risalto al testo in un modo che non si riflette necessariamente nella formulazione. Di conseguenza, ridurre il contenuto di una pagina evidenziata al solo testo tramite OCR (o con metodi più avanzati, come i VLM) non restituisce tutte le intenzioni dell’autore e può persino rappresentare in modo errato gli scopi e le intenzioni del documento.

Solo le evidenziazioni

Il nuovo studio* rileva che i convertitori di documenti ampiamente utilizzati eliminano sistematicamente le evidenziazioni e i colori del testo, impedendo agli agenti di IA di individuare istruzioni importanti. Dei 6.462 documenti normativi esaminati nelle prove dello studio, quasi un terzo conteneva testo o evidenziazioni in rosso e circa un documento su dieci usava questi segni per attirare l’attenzione su requisiti importanti.

A proposito degli agenti aziendali per l’acquisizione dei documenti, gli autori^† affermano^††:

«I convertitori maturi recuperano fedelmente testo, tabelle e struttura, quindi la pipeline sembra funzionare bene.

«Dimostriamo che tutti perdono un livello: il significato che l’autore codifica nel modo in cui il testo appare, e che questa perdita rende gli agenti convinti di avere ragione pur sbagliando, anziché palesemente incompleti: un errore più difficile da individuare quando il sistema viene messo in funzione.»

Nel test degli autori, quando ai modelli di IA è stato chiesto di individuare requisiti importanti in documenti normativi reali, i risultati sono stati nettamente migliori se venivano mantenuti i colori originali del testo e le evidenziazioni. Il risultato è stato confermato su sei modelli, tra cui GPT-5.6 Terra, Claude Opus 5 e Claude Sonnet 5.

In pratica, dall’evidenziazione si possono ricavare due segnali: a) il fatto che sia stato evidenziato qualcosa e b) il colore usato per evidenziarlo. Se per l’evidenziazione manuale sono stati usati più colori, una classificazione logica potrebbe codificare il rosso come indicativo di qualcosa di negativo (come abbiamo visto prima, nelle correzioni di Winston Churchill ai suoi stessi discorsi):

In fondo a questo output JSON del parser degli autori della prima fase vediamo che la pipeline ha rilevato e codificato l’evidenziazione rossa e, logicamente, possiamo vedere che le parole corrispondono al livello di intensità codificato. Il metodo è però più utile quando si mettono in risalto parole che, di per sé, non accentuano molto il tono e quando l’evidenziazione serve quindi ad aggiungere un’enfasi altrimenti assente. Fonte

Gli autori suggeriscono che le pipeline esistenti possano risolvere il problema in modo piuttosto semplice, preservando i colori originali delle evidenziazioni e del testo durante la conversione dei documenti e aggiungendo etichette che ne spieghino il significato al modello di IA. Sebbene ciò non richieda ulteriore elaborazione da parte dell’IA, raddoppia all’incirca il numero di token necessari per rappresentare ciascun documento:

‘Recuperare questi indizi è un processo deterministico, basato solo sul codice, e non richiede chiamate agli LLM; l’intero effetto riportato qui deriva dalla sola analisi. Ha però un costo in token — circa il doppio rispetto al testo semplice — quindi si tratta di uno scambio deliberato tra budget di contesto e fedeltà ai fatti, non di un vantaggio gratuito.’

L’indifferenza del grassetto

Un aspetto interessante dello studio è quanto i metodi di enfasi già disponibili nei documenti digitali redatti al computer risultino apparentemente inefficaci a causa dell’uso eccessivo^††:

‘L’intero effetto [i.e., of the new pipeline] è dovuto a evidenziazione [and] [colour]. Grassetto, corsivo, carattere monospaziato e barrato non contribuiscono in alcun modo [measurable], e i relativi intervalli di confidenza comprendono lo zero.

‘Non è perché questi indizi siano assenti: un singolo documento contiene oltre mille marcatori di grassetto. È perché sono troppo comuni per essere informativi.

‘Un autore che mette in grassetto ogni titolo e ogni termine definito non ha per questo messo in risalto nulla in particolare, mentre colorare o evidenziare un requisito è un gesto deliberato e misurato. La classificazione degli indizi per tipo è utile solo per quelli abbastanza rari da segnalare un’intenzione.’

Compiti e test

Per mettere a punto il sistema, gli autori hanno esaminato 6.462 documenti normativi reali in formato .docx, provenienti da un corpus pubblico non specificato, verificando la presenza di testo rosso ed evidenziazioni senza fare supposizioni basate sulla formulazione. Ai modelli è stato poi chiesto di individuare i requisiti contrassegnati come particolarmente importanti e di ignorare quelli non contrassegnati, usando il seguente prompt principale:

‘Elenca tutti i requisiti di questo documento che l’autore ha segnalato come meritevoli di particolare attenzione o di priorità elevata.’

Per il test principale sono stati selezionati 84 documenti, contenenti 332 requisiti contrassegnati e 4.192 non contrassegnati (cioè requisiti senza testo rosso o evidenziazioni colorate). Ogni documento doveva contenere almeno un requisito contrassegnato e tre non contrassegnati, così che l’IA non potesse limitarsi a elencare tutto.

La verità di riferimento è stata stabilita direttamente sulla base della formattazione dei documenti, senza ricorrere al giudizio umano o a un altro modello di IA. Le prestazioni sono state misurate usando i punteggi di precisione, richiamo e F1, tenendo conto sia dei requisiti individuati correttamente sia dei falsi positivi, ossia dei requisiti non contrassegnati inclusi per errore.

La valutazione è stata eseguita in modo programmatico, senza ricorrere a un valutatore LLM. Per essere considerata corrispondente, una risposta doveva contenere almeno quattro parole di contenuto consecutive tratte dal requisito originale, così da evitare che requisiti simili ma diversi venissero considerati corretti.

Ablazione delle evidenziazioni

È stato condotto un ulteriore test per verificare se fosse possibile individuare i requisiti importanti basandosi solo sulla loro formulazione, senza evidenziazioni o colori. Un classificatore basato solo sul testo, addestrato su alcuni esempi, ha ottenuto un punteggio di area sotto la curva ROC pari a 0,664 (dove 0,5 corrisponde a una scelta casuale).

I metodi più semplici non hanno ottenuto risultati migliori del caso: usando come indizi parole che suggerivano urgenza si è registrato un punteggio di 0,508, mentre la lunghezza delle frasi ha prodotto un punteggio di 0,492. Questi risultati suggeriscono che dalla sola formulazione si può dedurre ben poco su ciò che l’autore che ha usato l’evidenziatore intendeva.

È una conclusione sensata: presumibilmente, se il linguaggio fosse stato abbastanza incisivo, l’autore non avrebbe sentito il bisogno di aggiungere alcuna enfasi a posteriori.

Metodi a confronto

Gli approcci messi a confronto comprendevano il parser degli autori, OURS; OURS con ruoli di salienza; OURS con markup non tipizzato; docx2python; Docling; e la conversione in testo semplice.

Per ciascun approccio sono stati usati gli stessi documenti e le stesse domande; a cambiare era soltanto il modo in cui venivano convertiti i documenti. Il confronto principale ha riguardato 76 documenti, e ciascun test è stato ripetuto tre volte:

Risultati dei test che confrontano sei metodi per individuare i requisiti contrassegnati come ‘importanti’ nei documenti Word. La sezione superiore mostra i risultati ottenuti su 76 documenti, testati tre volte. La sezione inferiore mostra i risultati di un test di conferma distinto, condotto su 79 documenti con sei ripetizioni. Punteggi F1 più alti indicano prestazioni migliori; tassi di falsi positivi più bassi indicano che vengono selezionati per errore meno requisiti non contrassegnati. Le differenze statisticamente significative sono indicate in grassetto.

Come mostrato sopra, il sistema degli autori ha ottenuto il miglior punteggio F1 complessivo, pari a 0.690, rispetto a 0.586 per docx2python, 0.150 per Docling e appena 0.075 per il testo semplice (F1 combina precisione e richiamo in un’unica misura di accuratezza, in cui 1.0 rappresenta un punteggio perfetto).

L’importanza di preservare la formattazione è emersa anche dai risultati relativi ai falsi positivi: con Docling, i requisiti non contrassegnati sono stati selezionati per errore a un tasso quasi quattro volte superiore a quello registrato per il sistema degli autori (4.3% contro 1.1%).

È stato condotto un test separato per verificare se i modelli di IA traessero beneficio dal sapere che cosa significava la formattazione, anziché limitarsi a vedere i colori e le evidenziazioni originali. Fornendo queste etichette aggiuntive, è stato rilevato un miglioramento contenuto ma statisticamente significativo. Tuttavia, la maggior parte dei benefici era già stata ottenuta preservando la formattazione in sé.

Pressioni esterne

I ricercatori hanno condotto un’ulteriore valutazione utilizzando l’Office Comprehension Benchmark (OCB) di Microsoft, che misura l’accuratezza con cui è possibile recuperare informazioni dai documenti di Office.

Sono state estratte 326 domande da 59 documenti Word, riguardanti formattazione, tabelle, collegamenti ipertestuali, commenti e note a piè di pagina. Sia le domande sia i criteri di valutazione sono stati forniti da Microsoft, indipendentemente dallo studio:

Risultati del confronto tra cinque metodi di conversione dei documenti nell’Office Comprehension Benchmark di Microsoft, con 326 domande tratte da 59 documenti Word. I punteggi vanno da 0 a 1; i valori più alti indicano prestazioni migliori. Il punteggio migliore in ogni categoria è in grassetto. Le righe in fondo riepilogano le prestazioni complessive e la significatività statistica. In questo caso, il sistema degli autori ha ottenuto il punteggio complessivo più alto, anche se docx2python ha fornito risultati migliori per l’evidenziazione.

Come mostrato sopra, il sistema degli autori ha ottenuto l’eccellente punteggio complessivo di 0.959, rispetto al buon 0.810 di docx2python, al discreto 0.720 di Docling e al relativamente scarso 0.634 del testo semplice.

Il nuovo sistema ha ottenuto punteggi perfetti per metadati, commenti e note a piè di pagina, mentre tutti i metodi concorrenti hanno ottenuto zero. Questi miglioramenti, tuttavia, non sono dovuti esclusivamente alla conservazione delle evidenziazioni e dei colori del testo; inoltre, il sistema degli autori si è dimostrato più efficace nel recuperare informazioni da tabelle, impaginazione dei documenti, caratteri e collegamenti ipertestuali.

Conclusione

Di recente ho provato, con scarso successo, a capire se fosse possibile automatizzare con gli LLM e/o Python le evidenziazioni che avevo aggiunto manualmente a tabelle e figure di un articolo scientifico in PDF. I risultati sono stati… beh, esilaranti. La stratificazione, la quantificazione e l’analisi degli articoli scientifici sono ormai un filone ampiamente consolidato nella letteratura, e per l’appassionato dilettante c’è poco spazio — e poca speranza.

Per quanto riguarda questo articolo, il merito degli autori è aver individuato un indicatore significativo di enfasi che andava perso nella traduzione. Tuttavia, il raddoppio del consumo di token richiesto dalla loro soluzione non è cosa da poco, soprattutto considerando la scala operativa necessaria per i livelli di OCR e acquisizione dei documenti. Credo quindi che il risultato più importante sia aver individuato il problema.

* Intitolato «Ciò che scrive l’autore, ciò che legge l’agente: la perdita silenziosa di indizi nell’acquisizione di documenti aziendali».

^† Tutto da Amazon.

^†† Le enfasi sono degli autori, non mie, anche se converto regolarmente le citazioni inserite nel testo dagli autori in collegamenti ipertestuali.

Pubblicato per la prima volta venerdì 30 ottobre 2026