Adit Abraham, medgründer og administrerende direktør i Reducto – intervjuserie

Adit Abraham er medgründer og administrerende direktør i Reducto, der han arbeider med å gjøre komplekse bedriftsdokumenter om til pålitelige data for KI-applikasjoner. Før han grunnla selskapet sammen med MIT-utdannede Raunak Chowdhuri, studerte han informatikk ved MIT, forsket på maskinlæring ved MIT Media Lab og arbeidet med annonser og søk som produktsjef hos Google. Reducto oppsto da grunnleggerne forsøkte å utvikle minneverktøy for store språkmodeller, og ustabil innlesing av dokumenter stadig viste seg å være et hinder. Abrahams direkte samarbeid med de første kundene bidro til å forme selskapets vektlegging av nøyaktighet, sikkerhet, fleksible utrullingsmuligheter og forutsigbar ytelse i produksjon.

Reducto utvikler infrastruktur for dokumentforståelse som hjelper KI-team med å gjøre PDF-er, skannede dokumenter, regneark og andre filer om til strukturert og anvendelig informasjon. Plattformen kombinerer optisk tegngjenkjenning, datasyn og visjons- og språkmodeller for å tolke tekst, tabeller, figurer, formatering og komplekse sidelayouts. I tillegg til parsing tilbyr den verktøy for strukturert uttrekk, oppdeling, klassifisering og redigering av dokumenter, med kildehenvisninger som knytter den uttrukne informasjonen til kilden. Kundene omfatter Harvey, Scale AI, Vanta, Mercor og Rogo. Selskapets arbeid dekker generering med søkeforsterkning, søk og dokumentarbeidsflyter innen blant annet finans, helsevesen og jus, der nøyaktig innlesing og etterprøvbare resultater er avgjørende.

Reducto vokste fram av utfordringer du og Raunak Chowdhuri støtte på mens dere utviklet minneverktøy for store språkmodeller. Hva var det konkret som ikke fungerte med eksisterende verktøy for dokumentbehandling, og når innså dere at selve parsingproblemet var stort nok til å bygge et selskap rundt?

Vi prøvde å gi modellene tilgang til kontekst fra dokumenter, så vi la til en funksjon for filopplasting. Men vi støtte stadig på problemer med kvaliteten på behandlingen. Vi prøvde alle de tilgjengelige verktøyene som fantes på den tiden, men ingen av dem holdt mål når det gjaldt rotete dokumenter fra virkeligheten, slike folk faktisk lastet opp.

Derfor bygde vi vår egen parserløsning, opprinnelig som en funksjon i LLM-minneproduktet vårt. Deretter merket vi en sterk interesse fra utviklere som selv hadde støtt på problemet, og som likte løsningen vår. Noen team brukte flere uker på å bygge og vedlikeholde egne dataflyter for innlesing fordi de tilgjengelige verktøyene ikke kunne håndtere dokumentene deres pålitelig. Disse samtalene gjorde muligheten langt tydeligere for oss: Selv om modellene stadig blir bedre, utgjør ren og nøyaktig kontekst fortsatt en stor forskjell.

PDF-er er teknisk sett utformet for å vise informasjon, ikke for å gjøre den maskinlesbar. Hvorfor er det så vanskelig for KI-systemer å forstå komplekse dokumenter på en pålitelig måte, særlig dokumenter med tabeller, diagrammer, flere kolonner eller innebygde bilder?

Når vi mennesker leser et dokument, tar vi mye av vår naturlige forståelse for gitt – vi kan nesten umiddelbart utlede sammenhenger fordi vi ser at et tall hører til under en bestemt kolonneoverskrift, at teksten fortsetter i en annen kolonne, eller at en bildetekst viser til figuren over den.

KI-modeller har faktisk store problemer med dette, ettersom PDF-er ikke er laget for å bevare denne typen relasjonsinformasjon eller metadata; i praksis er de svært informasjonstette bilder. En parser må rekonstruere sammenhengene ut fra siden, og problemet blir mye vanskeligere når dokumentet inneholder sammenslåtte celler, nestede tabeller, diagrammer, skannede sider og uvanlige oppsett. Fordi vi fokuserer på denne utfordringen med dokumentforståelse, kan vi behandle den lange halen av dokumenter som KI-modeller ofte hallusinerer om og håndterer feil.

Reducto kombinerer datasyn, optisk tegngjenkjenning og visjons- og språkmodeller i sin pipeline for dokumentbehandling. Hvordan virker disse ulike teknologiene sammen, og hvor kommer tradisjonelle OCR-systemer fortsatt til kort?

Tradisjonell OCR har eksistert i flere tiår og ble utviklet for å lese dokumenter med ren og tydelig tekst, tegn for tegn. Dette fungerer dårlig så snart dokumentene inneholder håndskrevet tekst, er skannet eller skjeve, eller har tabeller – noe som gjelder for størstedelen av bedriftsdataene.

Reducto var først ute med å ta i bruk visjons- og språkmodeller innen dokumentbehandling med «Agentic OCR», fordi vi så potensialet for at VLM-er kunne forstå mer enn bare selve teksten i dokumenter. Reell dokumentforståelse krever kontekst, nøyaktighet og multimodale egenskaper. Den nyeste parsemodellen vår, r-1, kombinerer styrkene til Agentic OCR med funksjoner som formatering, kildehenvisninger og gjenkjenning av layout i én enkelt gjennomgang.

Dette ekstra arbeidet er viktig fordi selv en parser med svært høy samlet nøyaktighet kan skape et alvorlig problem hvis den lille mengden informasjon den overser, inneholder akkurat den figuren, klausulen eller tabelloppføringen noen trenger.

Etter hvert som KI-modeller blir stadig mer multimodale og i stand til å tolke bilder og dokumenter direkte, hvordan ser du for deg at spesialiserte plattformer for dokumentforståelse vil utvikle seg? Kan grunnmodeller etter hvert utføre mye av dette arbeidet selv, eller vil dedikert infrastruktur fortsatt være nødvendig?

Vi satser faktisk på at AI-modellene bare vil bli bedre og raskere. Det kommer stadig nye modeller, så vi følger med på svakhetene deres og integrerer styrkene deres i våre egne arbeidsflyter for å gi kundene våre best mulig ytelse totalt sett. Reducto vil fungere som teamet ditt for datainnlesing og hjelpe deg med å bygge opp løsningen etter hvert som virksomheten vokser.

Store virksomheter står fortsatt overfor den særlige utfordringen at de ikke bare trenger god ytelse, men også skalerbar gjennomstrømning, styring og etterprøvbarhet i produksjonsskala – noe grunnmodeller fortsatt har vanskelig for å levere i dag.

Vi testet nylig dette med referansetesten GDP.pdf, som viste at de mest avanserte modellene fortsatt sliter med å resonnere seg fram til svar i komplekse, profesjonelle dokumenter fra virkeligheten, og oppnådde bestått på under 15–25 % av oppgavene etter strenge kriterier. Når Reducto først tolker dokumentene og deretter sender de strukturerte dataene videre til de mest avanserte modellene, økte den samlede nøyaktigheten med ni prosentpoeng, samtidig som antallet resonneringstokener ble redusert med 13 prosent sammenlignet med modeller som behandlet dokumentene direkte.

Dette viser at dedikert infrastruktur for datainnlesing fortsatt har stor verdi, ettersom det meste av dataene i store virksomheter ennå ikke er utnyttet.

Mange KI-applikasjoner for store virksomheter er i siste instans avhengige av generering med informasjonsinnhenting eller agentbaserte systemer som henter informasjon fra interne dokumenter. Hvor mye av pålitelighetsproblemene i disse systemene skyldes egentlig forhold tidligere i prosessen, som innlesing og parsing av dokumenter?

Mye av problemet oppstår under innlesingen. Team oppdager det ofte langt senere fordi det dårlige svaret dukker opp helt på slutten av arbeidsflyten. Hvis en parser utelater en rad i en tabell, blander sammen leserekkefølgen i to kolonner eller overser en figur, kan ikke informasjonsinnhentingen hente fram informasjon som aldri ble lagt inn i databasen.

Vi ser ofte at sluttbrukeropplevelsen hos kundene våre blir betydelig bedre når de bytter ut sin egen løsning for datainnlesing med Reducto, fordi systemer for generering med informasjonsinnhenting og søk gir bedre og mer konsistente resultater. Harvey opplevde for eksempel en kraftig nedgang i kundesaker knyttet til OCR og en mangedobling av produktbruken etter at de tok i bruk Reducto som prosesseringslag.

Reducto har utvidet virksomheten fra parsing til strukturert datauttrekk og mer omfattende dokumentarbeidsflyter. Hvordan ser neste nivå av dokumentforståelse ut når et system kan forstå den underliggende strukturen i et dokument på en pålitelig måte?

Datainnlesing er som regel bare det første trinnet i en mye større forretningsprosess. Et selskap kan for eksempel motta en fil på 500 sider og måtte identifisere dokumentene i den, klassifisere dem, hente ut bestemte opplysninger, sammenligne disse opplysningene med et annet system og sende uvanlige saker til en fagspesialist for gjennomgang. Vi har brukt 2 år på å trene opp de beste modellene for dokumentforståelse på markedet, og bruker nå mer tid på å effektivisere det som skjer videre i prosessen.

Når du på en pålitelig måte kan forstå innholdet og strukturen i et dokument, kan du automatisere mer av arbeidet som folk nå bruker tiden på å sette sammen, kontrollere og flytte mellom systemer. Nesten alle forretningsprosesser der mye står på spill, kan deles opp i trinn der mennesker enten leser informasjon fra andre dokumenter, tar beslutninger eller skriver i dem. Vi ønsker å bli standardmåten mennesker eller agenter samhandler med dokumentdata på i framtiden.

Dere har kunder som spenner fra KI-baserte selskaper som Harvey, Vanta, Scale AI, Mercor og Rogo til store finansinstitusjoner og Fortune 10-selskaper. Hvor forskjellige er kravene til dokumentbehandling hos en KI-oppstartsbedrift sammenlignet med en stor, regulert virksomhet?

KI-baserte selskaper beveger seg gjerne raskt, og ingeniørteamene deres ønsker seg et API som håndterer vanskelige dokumenter uten at de må bygge og vedlikeholde sin egen prosesseringsløsning. Store virksomheter er opptatt av den samme nøyaktigheten, men har ofte flere krav knyttet til hvor dataene lagres, hvordan programvaren distribueres, hva som skjer når volumet øker kraftig, og om brukerne kan spore en verdi som er hentet ut, tilbake til den opprinnelige siden. Scale AI bruker for eksempel Reducto i offentlige miljøer der konfidensialitet og lokal utrulling er viktig, mens Harvey vurderte oss ut fra nøyaktighet, pålitelighet, kostnader, forsinkelse og feilmoduser før de gikk over til produksjon etter omtrent seks uker. Samarbeidet med begge kundetypene har fått oss til å legge like stor vekt på hvordan Reducto fungerer under reelle produksjonskrav, som på hvor nøyaktig løsningen behandler et enkelt dokument.

Det er rapportert at Reducto nådde mer enn 5 millioner dollar i årlige gjentakende inntekter, i stor grad gjennom salg ledet av grunnleggerne, før selskapet bygde opp en egen salgsorganisasjon. Hva lærte du av samtalene direkte med de første kundene om problemene utviklerne faktisk prøvde å løse?

Disse samtalene lærte oss å bruke mindre tid på å snakke generelt om dokumentbehandling og mer tid på å forstå hva kundene faktisk forsøkte å få til. Tidlige salgssamtaler ble ofte til arbeidsøkter der en kunde delte dokumentene som hadde fått arbeidsflyten deres til å bryte sammen, og vi undersøkte hva som skjedde videre når datauttrekket mislyktes. I helsesektoren betydde det å se hvordan en utelatt tabellrad eller en feiltolket måleenhet i en laboratorierapport kunne forsinke et krav eller føre til at en kliniker manglet deler av pasientens sykehistorie. Slike konsekvenser hevet kravene våre til nøyaktighet: En høy poengsum på en referansetest betyr lite hvis den skjuler feilene som betyr mest. Kundene trengte nøyaktighet, men også pålitelighet, sikkerhet, fleksibilitet i valg av distribusjonsløsning og forutsigbar ytelse i stor skala. Det å høre dette direkte formet det vi bygget.

Reducto behandler nå milliarder av sider hver måned. Hvilke tekniske utfordringer oppstår i en slik skala, særlig når det gjelder responstid, nøyaktighet, kostnader og å sikre jevne resultater på tvers av svært ulike dokumenttyper?

Jeg har for lengst mistet oversikten over hvor mange sider vi behandler, så selv en liten ineffektivitet kan fort bli kostbar. Unødvendig inferens på hver side øker både kostnadene og responstiden, mens en for aggressiv optimalisering for hastighet kan svekke nøyaktigheten på krevende dokumenter. Derfor bruker vi mye teknisk arbeid på å finne ut hvor mye behandling hver enkelt side faktisk krever.

Med r-1 forbedret vi nøyaktigheten i parsing samtidig som vi reduserte responstiden og fikk prisen ned til ett cent per side. Vi jobber også med å få til mer automatisk ruting, slik at en enkel side ikke bruker de samme ressursene som en side med en komplisert tabell eller figur. Med dagens volum påvirker disse beslutningene millioner av sider hver dag, noe som gjør effektivitet til en sentral teknisk utfordring.

Hvis vi ser flere år fram i tid, etter hvert som KI-agenter i stadig større grad samhandler med kontrakter, finansielle dokumenter, forskningsartikler, presentasjoner og andre bedriftsdokumenter, hvordan tror du det ideelle grensesnittet mellom KI-systemer og verdens ustrukturerte informasjon vil se ut?

Dagens KI-agenter er i bunn og grunn laget for tekst. De er svært gode til å resonnere rundt ren, digital informasjon, men den virkelige verden er fortsatt basert på PDF-filer, regneark, presentasjoner, skannede dokumenter, kontrakter og finansielle dokumenter. Etter hvert tror jeg agenter bør kunne samhandle med disse dokumentene like naturlig som de i dag samhandler med en tekstfil.

Utviklere bør ikke måtte bruke mye tid på å tenke på OCR, parsing, valg av modeller eller dokumentstruktur. En agent bør kunne motta hvilken som helst fil, forstå hva den inneholder, spore viktig informasjon tilbake til kilden og bruke den pålitelig i oppgaven den skal utføre. Den underliggende infrastrukturen bør avgjøre hvordan dokumentet skal behandles, velge de riktige modellene og varsle om usikkerhet når det faktisk er nødvendig med menneskelig skjønn.

Det er til syvende og sist den arbeidsdelingen jeg tror vi ønsker: Maskiner tar seg av repetitive dokumentoppgaver, mens mennesker bruker tiden på beslutninger som krever kontekst, institusjonell kunnskap og skjønn. Dokumenter inneholder enorme mengder av informasjonen bedrifter er avhengige av, så det å gjøre denne informasjonen virkelig tilgjengelig for agenter vil være et stort gjennombrudd for hvor nyttig KI kan bli i faktiske forretningsprosesser.

Takk for et flott intervju. Lesere som ønsker å lære mer om hvordan komplekse dokumenter kan gjøres om til pålitelige data for KI-applikasjoner, bør besøke Reducto.