Adit Abraham, cofondator și director general al Reducto – Seria de interviuri

Adit Abraham este cofondatorul și directorul general al Reducto, unde se ocupă de transformarea documentelor complexe ale companiilor în date fiabile pentru aplicațiile de IA. Înainte de a fonda compania împreună cu Raunak Chowdhuri, colegul său de la MIT, a studiat informatica la MIT, a făcut cercetare în domeniul învățării automate la MIT Media Lab și a lucrat ca manager de produs pentru publicitate și căutare la Google. Reducto a luat naștere din eforturile fondatorilor de a crea instrumente de memorie pentru modelele lingvistice mari, când importarea nesigură a documentelor a devenit un obstacol recurent. Munca directă a lui Abraham cu primii clienți a contribuit la conturarea priorităților companiei: acuratețe, securitate, flexibilitate în implementare și performanță previzibilă în producție.

Reducto dezvoltă o infrastructură de inteligență documentară care ajută echipele de IA să transforme PDF-uri, scanări, foi de calcul și alte fișiere în informații structurate și utilizabile. Platforma sa combină recunoașterea optică a caracterelor, vederea computerizată și modelele de viziune-limbaj pentru a interpreta textul, tabelele, graficele, formatarea și aspectul complex al paginilor. Pe lângă analizarea documentelor, oferă instrumente pentru extragerea structurată a informațiilor, divizarea, clasificarea și editarea documentelor, precum și citări care leagă informațiile extrase de sursa lor. Printre clienți se numără Harvey, Scale AI, Vanta, Mercor și Rogo. Activitatea companiei acoperă generarea augmentată prin recuperare, căutarea și fluxurile de lucru cu documente în domenii precum finanțele, sănătatea și dreptul, unde importarea corectă a documentelor și rezultatele verificabile sunt esențiale.

Reducto a luat naștere din dificultățile întâmpinate de tine și de Raunak Chowdhuri în timp ce creați instrumente de memorie pentru modelele lingvistice mari. Ce anume nu funcționa la instrumentele existente de procesare a documentelor și când v-ați dat seama că problema analizării documentelor era suficient de amplă pentru a construi o companie în jurul ei?

Încercam să le oferim modelelor acces la contextul din documente, așa că am adăugat o funcție de încărcare a fișierelor, dar ne-am lovit în mod repetat de probleme legate de calitatea procesării. Am încercat toate instrumentele existente la acea vreme, însă niciunul nu corespundea standardelor noastre când era vorba de documentele dezordonate din lumea reală pe care oamenii le încărcau efectiv.

Așa că ne-am creat propria soluție de analizare a documentelor, inițial ca funcție a produsului nostru de memorie pentru LLM-uri. Apoi am observat un interes extraordinar din partea dezvoltatorilor care se confruntaseră și ei cu această problemă și cărora le plăcea soluția noastră. Unele echipe petreceau săptămâni întregi construindu-și și întreținându-și propriile fluxuri de importare a documentelor, deoarece instrumentele disponibile nu le puteau procesa fiabil. Aceste discuții ne-au ajutat să înțelegem mult mai clar oportunitatea, pentru că, deși modelele devin tot mai inteligente, contextul curat și exact făcea în continuare o diferență uriașă.

PDF-urile sunt concepute, din punct de vedere tehnic, pentru afișarea informațiilor, nu pentru a le face lizibile de către mașini. De ce sunt documentele complexe atât de greu de înțeles în mod fiabil pentru sistemele de IA, mai ales când conțin tabele, grafice, machete cu mai multe coloane sau imagini încorporate?

Când citim un document, noi, oamenii, considerăm de la sine înțeles o mare parte din înțelegerea noastră intuitivă: putem deduce aproape instantaneu relațiile dintre elemente, pentru că vedem că un număr aparține unei anumite rubrici de coloană, că textul continuă într-o altă coloană sau că o legendă se referă la figura de deasupra ei.

Modelele de IA întâmpină dificultăți reale în acest sens, deoarece PDF-urile nu sunt concepute să păstreze acest tip de informații relaționale sau metadate; în esență, sunt imagini cu o densitate foarte mare de date. Un analizor trebuie să reconstruiască relațiile respective pornind de la pagină, iar problema devine mult mai dificilă în cazul celulelor îmbinate, al tabelelor imbricate, al graficelor, al documentelor scanate și al machetelor neobișnuite. Întrucât ne concentrăm asupra acestei probleme de înțelegere a documentelor, putem procesa fiabil și documentele mai rare sau atipice, pe care modelele de IA tind să le interpreteze halucinând și să le proceseze greșit.

Reducto combină vederea computerizată, recunoașterea optică a caracterelor și modelele de viziune-limbaj în fluxul său de procesare a documentelor. Cum colaborează aceste tehnologii și în ce privințe sistemele OCR tradiționale încă tind să nu fie suficiente?

OCR-ul tradițional există de zeci de ani și a fost creat pentru a citi documente cu text clar și lizibil, caracter cu caracter. Acest lucru nu mai funcționează când apar documente scrise de mână, scanate, înclinate sau sub formă de tabel, care tind să constituie majoritatea datelor companiilor.

Reducto a fost pionieră în integrarea modelelor de viziune-limbaj în procesarea documentelor, prin „Agentic OCR”, deoarece am văzut potențialul acestor modele de a înțelege mai mult decât simplul text din documente: inteligența documentară reală are nevoie de context, acuratețe și capabilități multimodale. Cel mai nou model al nostru de analizare, r-1, îmbină într-o singură trecere capacitățile Agentic OCR cu funcții precum păstrarea formatării, citările și detectarea aspectului paginii.

Această muncă suplimentară contează, deoarece chiar și un analizor cu o acuratețe generală foarte ridicată poate cauza o problemă gravă dacă tocmai puținele informații pe care nu le identifică includ cifra, clauza sau intrarea din tabel de care are nevoie cineva.

Pe măsură ce modelele de IA devin tot mai multimodale și capabile să interpreteze direct imagini și documente, cum credeți că va evolua rolul platformelor specializate de inteligență documentară? Ar putea modelele fundamentale să ajungă să facă singure mare parte din această muncă sau va rămâne necesară o infrastructură dedicată?

Mizăm, de fapt, pe faptul că modelele AI se vor îmbunătăți și vor deveni mai rapide și mai performante. Pe măsură ce apar constant modele noi, ne menținem la curent evaluându-le punctele slabe și integrându-le punctele forte în propriile noastre fluxuri de lucru, pentru a le oferi clienților performanțe generale cât mai bune. Reducto își propune să fie echipa dumneavoastră de ingestie a datelor și să vă ajute să vă dezvoltați pe măsură ce creșteți.

Întreprinderile se confruntă în continuare cu provocarea specifică de a avea nevoie nu doar de performanță, ci și de un debit scalabil, guvernanță și verificabilitate la scară de producție — cerințe pe care modelele fundamentale încă le îndeplinesc cu dificultate.

Am testat recent acest lucru folosind benchmarkul GDP.pdf, care a arătat că modelele de ultimă generație încă întâmpină dificultăți în a raționa asupra unor documente profesionale complexe, din lumea reală, și au obținut rate stricte de succes la nivel de sarcină sub 15%–25%. Dacă Reducto analizează mai întâi aceste documente, apoi transmite datele structurate modelelor de ultimă generație, acuratețea macro a crescut cu nouă puncte procentuale, iar numărul de tokenuri folosite pentru raționament a scăzut cu 13%, comparativ cu modelele care procesează direct documentele.

Acest lucru arată că infrastructura dedicată pentru ingestia datelor rămâne extrem de valoroasă, deoarece majoritatea datelor din întreprinderi sunt încă neexploatate.

Multe aplicații AI pentru întreprinderi se bazează, în cele din urmă, pe sisteme de generare augmentată prin recuperare sau pe sisteme cu agenți care accesează informații ascunse în documentele interne. În ce măsură problemele de fiabilitate ale acestor sisteme își au, de fapt, originea în etapele anterioare, la ingestia și analizarea documentelor?

O parte semnificativă a problemei apare în etapa de ingestie — echipele o descoperă adesea mult mai târziu, deoarece răspunsul greșit apare la capătul fluxului de lucru. Dacă un analizor omite un rând dintr-un tabel, inversează ordinea de citire a două coloane sau nu detectează o figură, sistemul de recuperare nu poate găsi informații care nici măcar nu au ajuns în baza de date.

Observăm adesea o îmbunătățire semnificativă a experienței utilizatorilor finali ai clienților noștri după ce aceștia înlocuiesc soluția de ingestie cu Reducto, deoarece sistemele RAG și cele de căutare oferă rezultate mai bune și mai consecvente. De exemplu, după ce a implementat Reducto ca strat de procesare, Harvey a înregistrat o scădere drastică a tichetelor de asistență ale clienților legate de OCR, iar utilizarea produsului s-a multiplicat.

Reducto și-a extins activitatea dincolo de analizarea documentelor, incluzând acum extragerea structurată a datelor și fluxuri de lucru mai ample pentru documente. Cum arată următoarea etapă a inteligenței documentelor, odată ce un sistem poate înțelege cu acuratețe structura de bază a unui document?

Ingestia datelor este, de regulă, doar primul pas dintr-un proces de afaceri mult mai amplu. O companie ar putea primi un fișier de 500 de pagini și ar putea avea nevoie să identifice documentele incluse în acesta, să le clasifice, să extragă informații specifice, să compare acele informații cu cele dintr-un alt sistem și să trimită cazurile neobișnuite unui specialist pentru verificare. Am petrecut 2 ani antrenând unele dintre cele mai bune modele de înțelegere a documentelor de pe piață, iar acum ne concentrăm tot mai mult asupra simplificării etapelor care urmează.

Odată ce poți înțelege în mod fiabil conținutul și structura unui document, poți automatiza mai multe dintre activitățile cărora oamenii le dedică acum timpul: asamblarea informațiilor, verificarea lor și transferul acestora între sisteme. Aproape orice flux de lucru de afaceri cu miză mare poate fi descompus în etape în care oamenii citesc documente, iau decizii și introduc informații în alte documente. Ne propunem ca, în viitor, Reducto să devină modalitatea implicită prin care oamenii sau agenții interacționează cu datele din documente.

Aveți clienți care variază de la companii construite în jurul AI, precum Harvey, Vanta, Scale AI, Mercor și Rogo, până la instituții financiare importante și companii din topul Fortune 10. Cât de diferite sunt cerințele de procesare a documentelor ale unui startup din domeniul AI față de cele ale unei mari întreprinderi dintr-un sector reglementat?

Companiile construite în jurul AI tind să se miște rapid, iar echipele lor de inginerie își doresc un API care să poată gestiona documente dificile, fără să fie nevoite să-și construiască și să-și întrețină propria infrastructură de procesare. Marile întreprinderi pun preț pe aceeași acuratețe, dar au adesea cerințe suplimentare privind locul în care sunt stocate datele, modul de implementare a software-ului, comportamentul sistemului în cazul creșterilor bruște de volum și posibilitatea ca utilizatorii să urmărească o valoare extrasă până la pagina originală. De exemplu, Scale AI folosește Reducto în medii guvernamentale, unde confidențialitatea și implementarea la sediul clientului sunt importante, în timp ce Harvey ne-a evaluat în funcție de acuratețe, fiabilitate, cost, latență și modurile de eșec înainte de a trece în producție în aproximativ șase săptămâni. Colaborarea cu ambele tipuri de clienți ne-a determinat să ne concentrăm atât asupra performanței Reducto în condiții reale de producție, cât și asupra acurateței cu care procesează un anumit document.

Se pare că Reducto a depășit pragul de 5 milioane de dolari în venituri recurente anuale, în mare parte datorită vânzărilor conduse de fondatori, înainte de a-și forma o echipă de vânzări dedicată. Ce ați învățat din discuțiile directe cu primii clienți despre problemele pe care dezvoltatorii încercau, de fapt, să le rezolve?

Aceste conversații ne-au învățat să petrecem mai puțin timp vorbind în general despre procesarea documentelor și mai mult timp încercând să înțelegem ce voiau, de fapt, clienții să realizeze. Discuțiile inițiale de vânzări se transformau adesea în sesiuni de lucru, în care un client ne arăta documentele care îi blocaseră fluxul de procesare, iar noi cercetam ce se întâmplase ulterior, atunci când extragerea datelor eșuase. În domeniul sănătății, asta însemna să vedem cum omiterea unui rând dintr-un tabel sau interpretarea greșită a unei unități de măsură dintr-un raport de laborator putea întârzia o cerere de decontare sau putea lăsa un clinician fără un istoric complet al pacientului. Miza aceasta ne-a determinat să ridicăm standardul de acuratețe: un scor bun la testele de referință înseamnă puțin dacă ascunde erorile care contează cel mai mult. Clienții aveau nevoie de acuratețe, dar și de fiabilitate, securitate, flexibilitate la implementare și performanță previzibilă la scară largă, iar faptul că am auzit acest lucru direct de la ei a influențat în mod decisiv ceea ce am construit.

Reducto procesează acum miliarde de pagini pe lună. Ce provocări de inginerie apar la această scară, în special în ceea ce privește latența, acuratețea, costurile și menținerea unor rezultate consecvente pentru tipuri de documente foarte diferite?

Am pierdut deja șirul paginilor pe care le procesăm, așa că și o ineficiență minoră poate deveni foarte repede costisitoare. Adăugarea unor inferențe inutile pentru fiecare pagină crește atât costurile, cât și latența, în timp ce optimizarea excesivă a vitezei poate afecta acuratețea în cazul documentelor dificile. De aceea, depunem mult efort ingineresc pentru a stabili câtă procesare necesită, de fapt, fiecare pagină.

Cu r-1, am îmbunătățit acuratețea analizării documentelor, reducând în același timp latența și coborând prețul la un cent pe pagină. Lucrăm, de asemenea, la o direcționare mai automatizată, astfel încât o pagină simplă să nu consume aceleași resurse ca una care conține un tabel sau o figură complicată. La volumul nostru actual, aceste decizii afectează milioane de pagini în fiecare zi, ceea ce face din eficiență o parte esențială a problemei inginerești.

Dacă privim cu câțiva ani înainte, pe măsură ce agenții IA interacționează tot mai mult cu contracte, documente financiare, lucrări de cercetare, prezentări și alte documente ale companiilor, cum credeți că va arăta interfața ideală dintre sistemele IA și informațiile nestructurate din lume?

Agenții IA de astăzi sunt, prin natura lor, concepuți să opereze cu text. Raționează foarte bine asupra informațiilor digitale, curate, însă lumea reală funcționează în continuare pe baza fișierelor PDF, a foilor de calcul, a prezentărilor, a documentelor scanate, a contractelor și a documentelor financiare. În timp, cred că agenții ar trebui să poată interacționa cu aceste documente la fel de firesc cum interacționează astăzi cu un fișier text.

Dezvoltatorii nu ar trebui să fie nevoiți să se preocupe în detaliu de recunoașterea optică a caracterelor (OCR), de analizarea documentelor, de alegerea modelelor sau de structura documentelor. Un agent ar trebui să poată primi orice fișier, să înțeleagă ce conține, să urmărească informațiile importante până la sursă și să le folosească în mod fiabil pentru orice sarcină pe care trebuie să o îndeplinească. Infrastructura de bază ar trebui să stabilească modul de procesare a documentului, să aleagă modelele potrivite și să semnaleze incertitudinea atunci când este necesară, într-adevăr, judecata umană.

În cele din urmă, aceasta este împărțirea muncii pe care cred că ne-o dorim: mașinile să se ocupe de activitățile repetitive legate de documente, iar oamenii să-și dedice timpul deciziilor care necesită context, cunoașterea organizației și discernământ. Documentele conțin o mare parte din informațiile pe care se bazează activitatea companiilor, așa că transformarea acestor informații în date pe care agenții le pot utiliza în mod nativ va fi un factor major în creșterea utilității IA în procesele reale de afaceri.

Vă mulțumim pentru acest interviu excelent. Cititorii care doresc să afle mai multe despre transformarea documentelor complexe în date fiabile pentru aplicații IA pot vizita Reducto.