Un aspect esențial: agenții pentru companii nu înțeleg evidențierile

În lume există foarte multe documente importante pe hârtie, care nu au fost scanate, mai ales în mediul de afaceri. Se estimează că doar 1% din cele patru miliarde de documente pe hârtie care circulă anual în comerțul global sunt digitizate, restul rămânând dincolo de capacitatea analitică a învățării automate.

Aceasta este doar o evaluare aproximativă a problemei din sectorul de afaceri; și guvernele produc o cantitate enormă de documente tipărite sau legate pe hârtie, iar Arhivele Naționale ale SUA au raportat anul acesta că doar 4,04% dintre documentele analogice pe care le păstrează sunt digitizate, în timp ce 11,97 miliarde încă așteaptă să fie digitizate.

Prin urmare, problema este una de actualitate, nu doar o moștenire a trecutului, iar recunosc că și eu contribui la ea:

În fața acestui birou stau în majoritatea zilelor.

Când analizez documente, le tipăresc, pentru că necesită multă interpretare umană, pe lângă rezumarea automată. Cum timpul este limitat, trasez în grabă semne mari de accentuare peste secțiunile-cheie și citatele potențiale, astfel încât structura datelor să-mi sară în ochi când mă apuc de scris. Nu sunt însă atât de obsedat de ordine încât să folosesc markere de evidențiere; în schimb, accentuarea suplimentară este indicată prin simboluri diverse, text mai mare și alte semne foarte personalizate ale importanței.

Dar mulți oameni, inclusiv mulți oameni importanți care scriu lucruri importante, folosesc markere de evidențiere colorate și culori diferite pentru text, ca să accentueze anumite pasaje.

Winston Churchill folosea pixuri de culori diferite pentru a marca diferite tipuri de accentuări. Aici, în timp ce pregătește discursul său despre „cea mai mare oră”, pare să folosească roșul ca marcaj de corectură. Sursa

Potrivit chiar documentului din fotografia anterioară (cel de pe pupitrul negru), este posibil să existe sute de milioane de documente care conțin astfel de marcaje de accentuare, pe care sistemele de preluare a documentelor, precum Docling, nu le pot detecta în prezent.

Aceste marcaje adăugate manual sunt semnificative, deoarece conferă greutate textului într-un mod care nu se reflectă neapărat în structura limbajului. Prin urmare, transformarea conținutului unei pagini cu evidențieri în simplu text prin recunoaștere optică a caracterelor (OCR) (sau prin metode mai avansate, cum ar fi modelele vizuale-lingvistice (VLM)) nu transmite întreaga intenție a autorului și poate chiar denatura scopul și intențiile documentului.

Doar evidențierile

Un nou studiu* arată că programele de conversie a documentelor utilizate pe scară largă elimină sistematic evidențierile și culorile textului, astfel încât agenții IA nu pot distinge instrucțiunile importante. Dintre cele 6.462 de documente de politici analizate în cadrul testelor studiului, aproape o treime conțineau text roșu sau evidențieri, iar aproximativ unul din zece folosea aceste marcaje pentru a atrage atenția asupra unor cerințe importante.

Referitor la agenții care preiau documente în mediul enterprise, autorii^† afirmă^††:

„Programele de conversie mature recuperează cu fidelitate textul, tabelele și structura, așa că fluxul de procesare pare să funcționeze bine.

„Arătăm că toate pierd un strat — sensul pe care autorul îl codifică în felul în care textul arată — și că această pierdere îi face pe agenți să greșească cu convingere, în loc să pară în mod evident incompleți, un eșec mai greu de detectat în mediul de producție.”

În testul autorilor, modelele IA au identificat cerințele importante din documentele de politici reale mult mai bine atunci când evidențierile și culorile originale ale textului erau păstrate — constatare confirmată pentru șase modele, printre care GPT-5.6 Terra, Claude Opus 5 și Claude Sonnet 5.

În practică, dintr-o evidențiere se pot extrage două semnale: a) faptul că un element a fost evidențiat și b) culoarea folosită. Dacă au fost folosite mai multe culori pentru evidențierea manuală, o grilă de interpretare logică ar asocia roșul cu ceva negativ (așa cum am văzut mai devreme în corecturile aduse de Winston Churchill propriilor discursuri):

În partea de jos a acestui rezultat JSON al analizatorului inițial al autorilor, vedem că fluxul de procesare a detectat și codificat evidențierea cu roșu și, logic, putem observa că termenii corespund nivelului de intensitate astfel codificat. Metoda este însă mai utilă atunci când accentuarea este aplicată unor cuvinte care, prin ele însele, nu intensifică prea mult tonul și când evidențierea adaugă astfel un accent care lipsea. Sursa

Autorii sugerează că problema poate fi rezolvată destul de simplu cu ajutorul fluxurilor de procesare existente: se păstrează evidențierile și culorile textului originale în timpul conversiei documentelor și se adaugă etichete care explică semnificația acestora pentru modelul de IA. Deși această metodă nu necesită procesare suplimentară cu IA, ea aproape dublează numărul de tokenuri necesare pentru a reprezenta fiecare document:

„Recuperarea acestor indicii este deterministă, se bazează exclusiv pe cod și nu necesită apeluri către LLM; întregul efect raportat aici provine doar din analizarea documentelor. Metoda necesită însă tokenuri — aproximativ de două ori mai multe decât textul simplu —, așadar presupune un compromis deliberat: se alocă mai mult din bugetul de context pentru a obține mai multă acuratețe factuală, nu un avantaj fără costuri.”

Aldinele nu mai impresionează

Un aspect interesant al studiului este măsura în care mijloacele de accentuare folosite în mod obișnuit în documentele digitale redactate se dovedesc, aparent, ineficiente din cauza utilizării excesive^††:

„Întregul efect [i.e., of the new pipeline] se datorează evidențierii [and] [colour]. Caracterele aldine, cursivele, fontul monospațiat și textul tăiat cu o linie nu contribuie cu nimic [measurable], intervalele de încredere incluzând valoarea zero.

„Nu pentru că acești indici lipsesc: un singur document conține peste o mie de marcaje de text aldin. Ci pentru că sunt prea frecvenți ca să ofere informații utile.

„Un autor care scrie cu caractere aldine toate titlurile și toți termenii definiți nu evidențiază, prin aceasta, nimic anume, în timp ce colorarea sau evidențierea unei cerințe este un gest deliberat și cumpătat. Identificarea tipului de indiciu este utilă doar când aceștia sunt suficient de rari pentru a semnala o intenție.”

Sarcini și teste

Pentru a configura sistemul, autorii au analizat 6.462 de documente reale de politici, în format .docx, dintr-un corpus public nespecificat, verificând prezența textului roșu și a evidențierilor, fără a face presupuneri pe baza formulării. Apoi, modelelor li s-a cerut să identifice cerințele marcate ca fiind deosebit de importante și să le ignore pe cele nemarcate, folosind următoarea instrucțiune de bază:

„Enumerați toate cerințele din acest document pe care autorul le-a evidențiat pentru a le acorda o atenție specială sau o prioritate sporită.”

Pentru testul principal au fost selectate 84 de documente, care conțineau 332 de cerințe marcate și 4.192 de cerințe nemarcate (adică cerințe fără text roșu sau evidențiere colorată). Fiecare document trebuia să conțină cel puțin o cerință marcată și trei cerințe nemarcate, astfel încât IA să nu poată pur și simplu să le enumere pe toate.

Adevărul de referință a fost stabilit direct pe baza formatării documentelor, nu prin judecata unor oameni sau cu ajutorul unui alt model de IA. Performanța a fost măsurată folosind scorurile de precizie, acoperire și F1, luând în calcul atât cerințele identificate corect, cât și rezultatele fals pozitive, când cerințele nemarcate erau incluse din greșeală.

Punctajul a fost calculat automat, fără implicarea unui evaluator LLM. Pentru a fi considerat o potrivire, un răspuns trebuia să conțină cel puțin patru cuvinte consecutive cu conținut din cerința originală, ceea ce a ajutat la evitarea clasificării drept corecte a unor cerințe similare, dar diferite.

Eliminarea evidențierilor

A fost efectuat un test suplimentar pentru a afla dacă cerințele importante puteau fi identificate doar pe baza formulării, fără evidențieri sau culori. Un clasificator bazat exclusiv pe text, antrenat cu exemple, a obținut un scor ROC AUC de 0,664 (unde 0,5 reprezintă o ghicire aleatorie).

Metodele mai simple nu au depășit nivelul întâmplării: folosirea drept indicii a unor cuvinte care sugerează urgența a dus la un scor de 0,508, iar lungimea propozițiilor, la un scor de 0,492. Aceste rezultate sugerează că doar din formulare se poate afla foarte puțin despre ce a intenționat autorul care a folosit instrumentul de evidențiere.

Acest lucru are sens: se poate presupune că, dacă formularea ar fi fost suficient de categorică, autorul nu ar fi simțit nevoia să adauge vreo accentuare ulterioară.

Metode comparate

Au fost comparate următoarele metode: analizatorul creat de autori, OURS; OURS cu roluri de saliență; OURS cu marcaj fără tipizare; docx2python; Docling; și conversia în text simplu.

Pentru fiecare metodă au fost folosite aceleași documente și aceleași întrebări; s-a schimbat doar modul în care erau convertite documentele. Comparația principală a cuprins 76 de documente, fiecare test fiind repetat de trei ori:

Rezultatele testelor compară șase metode de identificare a cerințelor marcate drept „importante” în documentele Word. Secțiunea de sus prezintă rezultatele obținute pentru 76 de documente, testate de trei ori. Secțiunea de jos prezintă un test de confirmare separat, realizat cu 79 de documente și șase repetări. Scorurile F1 mai mari indică o performanță mai bună; ratele mai mici de rezultate fals pozitive indică faptul că au fost selectate din greșeală mai puține cerințe nemarcate. Diferențele semnificative statistic sunt evidențiate cu caractere aldine.

După cum se arată mai sus, cel mai bun scor F1 general, de 0,690, a fost obținut de sistemul autorilor, comparativ cu 0,586 pentru docx2python, 0,150 pentru Docling și doar 0,075 pentru textul simplu (F1 combină precizia și rata de regăsire într-o singură măsură a acurateței, unde 1,0 reprezintă un scor perfect).

Importanța păstrării formatării a fost demonstrată și de rezultatele privind alarmele false: cu Docling, cerințele nemarcate au fost selectate din greșeală într-un ritm de aproape patru ori mai mare decât cel înregistrat pentru sistemul autorilor (4,3% față de 1,1%).

Un test separat a urmărit să stabilească dacă modelele IA aveau de câștigat atunci când li se explica semnificația formatării, în loc să li se arate doar culorile și evidențierile originale. S-a constatat o îmbunătățire mică, dar semnificativă statistic, atunci când au fost furnizate aceste etichete suplimentare. Totuși, cea mai mare parte a beneficiului fusese deja obținută prin păstrarea formatării propriu-zise.

Presiuni externe

Cercetătorii au efectuat o evaluare suplimentară folosind Benchmarkul Office pentru înțelegerea documentelor (OCB) al Microsoft, care măsoară cât de exact pot fi recuperate informațiile din documentele Office.

Au fost extrase 326 de întrebări din 59 de documente Word, care acopereau formatarea, tabelele, hyperlinkurile, comentariile și notele de subsol. Atât întrebările, cât și criteriile de evaluare au fost furnizate de Microsoft, independent de studiu:

Rezultatele compară cinci metode de conversie a documentelor pe Benchmarkul Office pentru înțelegerea documentelor al Microsoft, cuprinzând 326 de întrebări din 59 de documente Word. Scorurile variază de la 0 la 1; scorurile mai mari indică performanțe mai bune, iar cel mai bun scor din fiecare categorie este îngroșat. Rândurile de jos rezumă performanța generală și semnificația statistică. În acest caz, sistemul autorilor a obținut cel mai mare scor general, deși docx2python a avut rezultate mai bune la evidențiere.

După cum se arată mai sus, sistemul autorilor a obținut un scor general excelent, de 0,959, comparativ cu scorul bun de 0,810 al docx2python, scorul moderat de 0,720 al Docling și scorul relativ slab de 0,634 al textului simplu.

Noul sistem a obținut scoruri perfecte la metadate, comentarii și note de subsol, în timp ce toate metodele concurente au obținut zero — deși aceste îmbunătățiri nu s-au datorat exclusiv păstrării evidențierilor și culorilor textului; sistemul autorilor s-a dovedit, de asemenea, mai bun la recuperarea informațiilor din tabele, aspectul documentelor, fonturi și hyperlinkuri.

Concluzie

Am încercat recent, fără prea mult succes, să aflu dacă sublinierea manuală de către mine a tabelelor și figurilor dintr-o lucrare științifică în format PDF ar putea fi automatizată cu ajutorul LLM-urilor și/sau al Python, iar rezultatele au fost… ei bine, hilare. Stratificarea, cuantificarea și analizarea lucrărilor științifice reprezintă acum o direcție de cercetare bine reprezentată în literatura de specialitate și nu prea mai este loc — sau speranță — pentru amatorul ocazional.

În ceea ce privește această lucrare, reușita autorilor constă în identificarea unui indiciu important de evidențiere care se pierdea în procesul de conversie. Totuși, dublarea consumului de tokenuri necesară pentru soluția lor nu este deloc neglijabilă, mai ales la scara la care trebuie să funcționeze straturile de OCR și de ingestie a documentelor. Așadar, cred că meritul aici constă în faptul că au identificat problema.

* Intitulat „Ce a scris autorul, ce citește agentul: pierderea invizibilă a indiciilor la ingestia documentelor de întreprindere”.

^† Toate de la Amazon.

^†† Accentuările autorilor, nu ale mele, deși convertesc în mod obișnuit citările din text ale autorilor în hyperlinkuri.

Publicat inițial vineri, 30 octombrie 2026