Când AI citește între rânduri: OCR vs. VLM-uri

Pot mașinile să înțeleagă cu adevărat documentele, sau pur și simplu au devenit mai eficiente în extragerea informațiilor din ele? Cu OCR-ul tradițional, o eroare poate fi de obicei localizată și măsurată, în timp ce un VLM poate produce o interpretare convingătoare, dar greșită. Pentru companii, aceasta mută prima decizie de la alegerea modelului către o întrebare mai incomodă: ce tip de eroare își poate permite afacerea? Granița dintre recunoaștere și înțelegere devine o chestiune practică de calitate, automatizare și încredere. 

Cum au schimbat Transformerele procesarea documentelor

Pentru a înțelege cum recunoașterea documentelor a devenit interpretarea documentelor, trebuie mai întâi să analizăm schimbarea tehnologică care a făcut acest lucru posibil.

Dezvoltarea AI s-a bazat pe o idee relativ simplă: introducerea probabilității în calcule care anterior erau deterministe. În loc să producă mereu același rezultat pentru același input, un sistem putea evalua mai multe rezultate posibile și să aleagă cel mai probabil.

În stadiile incipiente, companii precum Google au început să dezvolte modele sofisticate pentru a căuta și a clasifica volume imense de informații. Deși traducerea unei fraze, selectarea unui rezultat de căutare și recomandarea unui videoclip YouTube par sarcini diferite, ele împărtășesc un principiu comun: găsirea celui mai relevant element următor pe baza a ceea ce a precedat. Transformerele au transformat acest principiu într-o arhitectură mai universală.

Cu alte cuvinte, un transformer ia în considerare contextul disponibil și prezice ce ar trebui să vină în continuare. Acest lucru permite unui model lingvistic să proceseze cuvintele ca părți ale unei structuri mai mari, nu ca unități izolate.

Această dezvoltare a schimbat procesarea documentelor. OCR-ul putea recunoaște deja literele și le transforma în text citibil de mașină de zeci de ani. Un transformer putea prelua acele cuvinte recunoscute, să examineze relațiile dintre ele și să deducă ce înseamnă documentul. 

Când o eroare începe să semene cu un răspuns

OCR-ul este în principal o tehnologie de recunoaștere. Citește un document caracter cu caracter și poate atribui un scor de încredere fiecărui rezultat. Dacă un simbol este neclar, sistemul poate indica că există 50% șanse să fie cifra „3” și 40% șanse să fie litera „Z”. Incertitudinea rămâne vizibilă și măsurabilă.

Un VLM primește textul recunoscut și folosește contextul înconjurător pentru a rezolva această ambiguitate. Dacă un caracter nu are sens într-un cuvânt sau într-o propoziție, modelul poate alege opțiunea mai plauzibilă. În multe cazuri, aceasta produce un rezultat mai bun.

În același timp, această capacitate schimbă semnificația calității. O eroare OCR tradițională este adesea ușor de localizat: documentul conține un caracter, în timp ce textul extras conține altul. O eroare VLM poate fi mult mai puțin vizibilă, deoarece sistemul construiește o interpretare coerentă în jurul ei.

Un sistem care nu reușește să proceseze un document creează o întrerupere evidentă. Un sistem care îl interpretează incorect fără să semnaleze incertitudinea poate permite erorii să se răspândească într-o bază de date, o plată sau o altă decizie automată. Calitatea nu mai poate fi măsurată doar prin numărul de caractere sau câmpuri extrase corect. Trebuie să țină cont și de faptul dacă sistemul diferențiază informațiile recunoscute de propriile inferențe.

Ce tip de eroare poate tolera procesul?

Până de curând, cea mai sigură abordare a procesării documentelor bazate pe VLM ar fi fost să se valideze aproape totul. Astăzi, acest răspuns devine mai puțin simplu, pe măsură ce modelele devin mai bune la identificarea incoerențelor și la gestionarea imperfecțiunilor care anterior necesitau revizuire manuală.

Decizia privind automatizarea ar trebui, așadar, să înceapă cu consecințele unei erori, nu cu un scor general de acuratețe.

Citirea greșită a unei categorii de produse pe o chitanță de supermarket și citirea greșită a sumei finale pot apărea în același document, dar nu generează același nivel de risc. Diferența devine și mai mare când sistemul procesează o clauză contractuală, un dosar medical sau un formular guvernamental. Un model poate performa bine pe întregul set de date și totuși să eșueze pe un număr mic de câmpuri care determină dacă rezultatul afacerii este corect.

Aceasta înseamnă că firmele trebuie să definească elementele critice ale unui document înainte de a decide cât din fluxul de lucru să automatizeze. Unele erori pot fi puțin costisitoare și ușor de corectat. Altele pot duce la o plată incorectă, la o obligație contractuală sau la o decizie bazată pe informații medicale sau financiare false.

Prin urmare, prima întrebare nu ar trebui să fie „Ce model să alegem?” Ci „Unde poate o interpretare incorectă să cauzeze consecințe inacceptabile?” Doar după ce răspunde la această întrebare poate o companie decide ce documente pot trece prin sistem automat și care necesită control suplimentar.