Adit Abraham, Reducton perustajajäsen ja toimitusjohtaja – haastattelusarja

Adit Abraham on Reducton perustajajäsen ja toimitusjohtaja. Hän keskittyy muuttamaan monimutkaiset yritysasiakirjat luotettavaksi dataksi tekoälysovelluksia varten. Ennen kuin hän perusti yrityksen yhdessä MIT:stä valmistuneen Raunak Chowdhurin kanssa, hän opiskeli tietojenkäsittelytiedettä MIT:ssä, teki koneoppimistutkimusta MIT Media Labissa ja työskenteli Googlella mainonnan ja haun parissa tuotepäällikkönä. Reducto sai alkunsa perustajien pyrkimyksistä rakentaa suurille kielimalleille muistiin liittyviä työkaluja. Tuolloin epäluotettava asiakirjojen käsittely syötteeksi muodostui toistuvaksi ongelmaksi. Abrahamin suora työskentely varhaisten asiakkaiden kanssa auttoi muovaamaan yrityksen painotuksia: tarkkuus, tietoturva, käyttöönoton joustavuus ja tuotantokäytön ennakoitava suorituskyky.

Reducto kehittää asiakirjojen älykäsittelyn infrastruktuuria, jonka avulla tekoälytiimit voivat muuntaa PDF-tiedostot, skannaukset, taulukkolaskentatiedostot ja muut tiedostot jäsennellyksi, käyttökelpoiseksi tiedoksi. Sen alusta yhdistää tekstintunnistuksen, konenäön ja näkö-kielimallit tekstin, taulukoiden, kuvioiden, muotoilun ja monimutkaisten sivuasettelujen tulkitsemiseksi. Jäsentämisen lisäksi se tarjoaa työkaluja jäsenneltyyn tiedonpoimintaan, asiakirjojen jakamiseen, luokitteluun ja muokkaamiseen sekä lähdeviitteitä, jotka yhdistävät poimitut tiedot niiden lähteisiin. Asiakkaisiin kuuluvat Harvey, Scale AI, Vanta, Mercor ja Rogo. Yrityksen toiminta kattaa tiedonhakuun perustuvan generoinnin, haun ja asiakirjatyönkulut muun muassa rahoituksen, terveydenhuollon ja oikeustieteen aloilla, joilla tietojen tarkka käsittely syötteeksi ja tulosten jäljitettävyys ovat olennaisia.

Reducto sai alkunsa haasteista, joita sinä ja Raunak Chowdhuri kohtasitte rakentaessanne muistiin liittyviä työkaluja suurille kielimalleille. Mikä olemassa olevissa asiakirjankäsittelytyökaluissa ei toiminut, ja milloin ymmärsitte, että jäsentämiseen liittyvä ongelma oli riittävän laaja yrityksen perustamiseen?

Yritimme antaa malleille pääsyn asiakirjojen sisältämään tietoon, joten lisäsimme tiedostojen lataustoiminnon. Törmäsimme kuitenkin jatkuvasti käsittelyn laatuongelmiin. Kokeilimme kaikkia tuolloin saatavilla olleita työkaluja, mutta yksikään niistä ei yltänyt vaatimustasoomme, kun käsiteltävänä oli tosielämän sotkuisia asiakirjoja, joita ihmiset todella latasivat.

Rakensimme siis oman jäsennysratkaisumme, joka oli alun perin suurille kielimalleille tarkoitetun muistituotteemme ominaisuus. Sitten huomasimme, että kehittäjät, jotka olivat itse törmänneet samaan ongelmaan, ottivat ratkaisumme innostuneesti vastaan ja pitivät siitä. Jotkin tiimit käyttivät viikkoja omien tiedonsyöttöputkiensa rakentamiseen ja ylläpitoon, koska saatavilla olevat työkalut eivät kyenneet käsittelemään niiden asiakirjoja luotettavasti. Nämä keskustelut selvensivät meille tilaisuuden suuruutta: vaikka mallien älykkyys paranee jatkuvasti, puhtaalla ja tarkalla kontekstilla on yhä suuri merkitys.

PDF-tiedostot on teknisesti suunniteltu tiedon näyttämiseen, eivät sen tekemiseen koneellisesti luettavaksi. Miksi monimutkaisia asiakirjoja – etenkin sellaisia, joissa on taulukoita, kaavioita, monipalstaisia asetteluja tai upotettuja kuvia – on niin vaikea saada tekoälyjärjestelmien ymmärtämään luotettavasti?

Kun luemme asiakirjaa ihmisinä, pidämme monia luontaisia ymmärtämisen taitojamme itsestäänselvyyksinä: pystymme päättelemään lähes välittömästi asioiden välisiä suhteita, koska näemme, että luku kuuluu tietyn sarakeotsikon alle, teksti jatkuu toisessa sarakkeessa tai kuvateksti viittaa yläpuolella olevaan kuvioon.

Tekoälymallien on todellisuudessa vaikea suoriutua tästä, sillä PDF-tiedostoja ei ole suunniteltu säilyttämään tällaisia tietojen välisiä suhteita tai metatietoja; ne ovat käytännössä erittäin tietotiheitä kuvia. Jäsentimen on rekonstruoitava nämä suhteet sivun perusteella, ja tehtävä vaikeutuu huomattavasti, kun mukana on yhdistettyjä soluja, sisäkkäisiä taulukoita, kaavioita, skannauksia ja epätavallisia asetteluja. Koska keskitymme asiakirjojen ymmärtämiseen, pystymme käsittelemään luotettavasti myös harvinaisia ja vaikeita asiakirjoja, joiden kanssa tekoälymallit usein hallusinoivat ja epäonnistuvat.

Reducto yhdistää asiakirjojen käsittelyputkessaan konenäön, tekstintunnistuksen ja näkö-kielimallit. Miten nämä eri teknologiat toimivat yhdessä, ja missä perinteiset OCR-järjestelmät eivät edelleenkään yleensä pärjää?

Perinteistä OCR-tekstintunnistusta on käytetty jo vuosikymmeniä, ja se kehitettiin lukemaan asiakirjoja, joissa oli selkeää ja luettavaa tekstiä merkki kerrallaan. Sen toiminta pettää helposti, kun asiakirjat ovat käsinkirjoitettuja, skannattuja, vinossa tai taulukkomuotoisia – ja tällaiset asiakirjat muodostavat yleensä valtaosan yritysten datasta.

Reducto oli ensimmäinen, joka toi näkö-kielimallit asiakirjojen käsittelyyn Agentic OCR -ratkaisullaan, sillä näimme, että näkö-kielimallit voisivat ymmärtää asiakirjoista muutakin kuin pelkän tekstin. Asiakirjojen todellinen älykäs käsittely edellyttää kontekstin ymmärtämistä, tarkkuutta ja kykyä käsitellä useita eri mediamuotoja. Uusin jäsennysmallimme r-1 yhdistää Agentic OCR:n vahvuudet muotoilun, lähdeviitteiden ja asettelun tunnistuksen kaltaisiin ominaisuuksiin yhdeksi käsittelyvaiheeksi.

Tämä lisätyö on tärkeää, sillä vaikka jäsentimen kokonaistarkkuus olisi erittäin korkea, se voi aiheuttaa vakavan ongelman, jos sen ohittama vähäinen tietomäärä sisältää juuri sen kuvion, sopimusehdon tai taulukon kohdan, jota joku tarvitsee.

Miten näet erikoistuneiden asiakirjojen älykäsittelyalustojen roolin muuttuvan, kun tekoälymallit muuttuvat yhä multimodaalisemmiksi ja pystyvät tulkitsemaan kuvia ja asiakirjoja suoraan? Voisivatko perustamallit lopulta tehdä suuren osan tästä työstä itse, vai tarvitaanko jatkossakin erillistä infrastruktuuria?

Luotamme siihen, että tekoälymallit kehittyvät jatkuvasti ja muuttuvat nopeammiksi ja paremmiksi. Uusia malleja julkaistaan jatkuvasti, joten seuraamme niiden heikkouksia arvioimalla niitä ja integroimme niiden vahvuudet omiin käsittelyputkiimme tarjotaksemme asiakkaillemme parhaan mahdollisen suorituskyvyn. Reducto haluaa toimia tiedon sisäänlukuun keskittyvänä tiiminäsi ja auttaa sinua rakentamaan ratkaisuja yrityksesi kasvaessa.

Suuryrityksillä on edelleen erityinen haaste: ne tarvitsevat suorituskyvyn lisäksi tuotantokäyttöön skaalautuvaa läpimenoa, hallintaa ja todennettavuutta, joita perustamallien on nykyään yhä vaikea tarjota.

Testasimme tätä hiljattain GDP.pdf-vertailuaineistolla. Tulokset osoittivat, että edistyneimmillä malleilla on yhä vaikeuksia päätellä monimutkaisten, ammattikäytössä olevien asiakirjojen sisältöä, ja niiden tiukkojen tehtävätason läpäisyasteiden tulokset jäivät alle 15–25 prosentin. Kun Reducto jäsensi asiakirjat ensin ja rakenteinen data syötettiin sen jälkeen edistyneille malleille, makrotason tarkkuus parani yhdeksän prosenttiyksikköä ja päättelyyn käytettyjen tokenien määrä pieneni 13 prosenttia verrattuna siihen, että mallit käsittelivät asiakirjat suoraan.

Tämä osoittaa, että erilliselle tiedon sisäänlukua palvelevalle infrastruktuurille on edelleen valtavasti tarvetta, sillä suurinta osaa yritysten datasta ei vielä hyödynnetä.

Monet yritysten tekoälysovellukset perustuvat viime kädessä haun avulla täydennettyyn generointiin tai agenttijärjestelmiin, jotka hakevat tietoa sisäisiin asiakirjoihin kätkeytyneistä lähteistä. Kuinka suuri osa näiden järjestelmien luotettavuusongelmista alkaa jo aiemmassa vaiheessa, asiakirjojen sisäänluvussa ja jäsentämisessä?

Merkittävä osa ongelmista alkaa jo sisäänlukuvaiheessa. Tiimit havaitsevat ne usein vasta paljon myöhemmin, koska virheellinen vastaus syntyy käsittelyputken lopussa. Jos jäsennin pudottaa taulukosta rivin, sekoittaa kahden sarakkeen lukujärjestyksen tai jättää kuvan huomaamatta, tiedonhaku ei voi palauttaa tietoa, joka ei koskaan päätynyt tietokantaan.

Asiakkaidemme loppukäyttäjien käyttökokemus paranee usein huomattavasti, kun heidän tiedon sisäänlukuratkaisunsa vaihdetaan Reductoon, sillä hakuun ja generointiin perustuvat järjestelmät sekä hakutoiminnot tuottavat johdonmukaisesti parempia tuloksia. Esimerkiksi Harveyssa OCR-tekniikkaan liittyvien asiakastukipyyntöjen määrä väheni merkittävästi ja tuotteen käyttö moninkertaistui, kun Reducto otettiin käyttöön käsittelykerroksena.

Reducto on laajentanut toimintaansa jäsentämisestä rakenteiseen tiedon poimintaan ja laajempiin asiakirjatyönkulkuihin. Miltä asiakirjatiedonhallinnan seuraava vaihe näyttää, kun järjestelmä pystyy ymmärtämään asiakirjan rakenteen tarkasti?

Tiedon sisäänluku on yleensä vasta ensimmäinen vaihe paljon laajemmassa liiketoimintaprosessissa. Yritys voi esimerkiksi saada 500-sivuisen tiedoston ja joutua tunnistamaan sen sisältämät asiakirjat, luokittelemaan ne, poimimaan niistä tiettyjä tietoja, vertaamaan näitä tietoja toisen järjestelmän tietoihin sekä lähettämään poikkeustapaukset asiantuntijan tarkistettaviksi. Olemme käyttäneet 2 vuotta markkinoiden parhaiden asiakirjojen ymmärtämiseen tarkoitettujen mallien kouluttamiseen, ja nyt keskitymme yhä enemmän siihen, miten koulutuksen jälkeisiä vaiheita voidaan sujuvoittaa.

Kun asiakirjan sisällön ja rakenteen ymmärtämiseen voi luottaa, voidaan automatisoida yhä suurempi osa työstä, johon ihmiset nyt käyttävät aikaansa tietojen kokoamiseen, tarkistamiseen ja siirtämiseen järjestelmästä toiseen. Lähes jokainen suuren riskin liiketoimintatyönkulku voidaan jakaa vaiheisiin, joissa ihmiset lukevat asiakirjoja, tekevät päätöksiä ja kirjoittavat tietoja muihin asiakirjoihin. Tavoitteenamme on, että meistä tulee tulevaisuudessa oletusarvoinen tapa, jolla ihmiset tai agentit käsittelevät asiakirjojen tietoja.

Asiakkaisiinne kuuluu niin tekoälyä alusta asti hyödyntäviä yrityksiä, kuten Harvey, Vanta, Scale AI, Mercor ja Rogo, kuin suuria rahoituslaitoksia ja Fortune 10 -yrityksiä. Miten tekoälystartupin asiakirjojen käsittelytarpeet eroavat suuren, säännellyn yrityksen tarpeista?

Tekoälyä alusta asti hyödyntävät yritykset toimivat yleensä nopeasti, ja niiden tekniset tiimit haluavat rajapinnan, joka pystyy käsittelemään vaikeita asiakirjoja pakottamatta niitä rakentamaan ja ylläpitämään omaa käsittelyjärjestelmäänsä. Suuryritykset arvostavat yhtä lailla tarkkuutta, mutta niillä on usein lisävaatimuksia esimerkiksi siitä, missä data sijaitsee, miten ohjelmisto otetaan käyttöön, mitä tapahtuu käyttömäärien kasvaessa äkillisesti ja voiko käyttäjä jäljittää poimitun arvon alkuperäiselle sivulle. Esimerkiksi Scale AI käyttää Reductoa viranomaisympäristöissä, joissa luottamuksellisuus ja paikallinen käyttöönotto ovat tärkeitä. Harvey puolestaan arvioi ennen tuotantokäyttöön siirtymistä tarkkuuttamme, luotettavuuttamme, kustannuksiamme, viivettämme ja virhetilanteita noin kuuden viikon ajan. Yhteistyö molemmantyyppisten asiakkaiden kanssa on saanut meidät keskittymään yhtä lailla siihen, miten Reducto toimii todellisissa tuotantoympäristöissä, kuin siihen, kuinka tarkasti se käsittelee yksittäisiä asiakirjoja.

Reducton kerrotaan saavuttaneen yli 5 miljoonan dollarin vuotuiset toistuvat tuotot pääosin perustajien johtaman myynnin avulla, ennen kuin yritys rakensi oman myyntiorganisaation. Mitä suorat keskustelut ensimmäisten asiakkaiden kanssa opettivat siitä, mitä ongelmia kehittäjät todella yrittivät ratkaista?

Nuo keskustelut opettivat meitä käyttämään vähemmän aikaa asiakirjojen käsittelystä yleisellä tasolla puhumiseen ja enemmän siihen, että ymmärtäisimme, mitä asiakkaat todella yrittivät saada aikaan. Varhaiset myyntipuhelut muuttuivat usein työskentelytapaamisiksi, joissa asiakas jakoi asiakirjat, jotka olivat rikkoneet heidän käsittelyputkensa, ja selvitimme, mitä tiedonpoiminnan epäonnistumisesta seurasi. Terveydenhuollossa tämä tarkoitti sen näkemistä, kuinka laboratoriotuloksen taulukosta puuttuva rivi tai väärin luettu yksikkö saattoi viivästyttää korvaushakemuksen käsittelyä tai jättää lääkärille puutteellisen potilashistorian. Näin suurten seurausten vuoksi asetimme tarkkuudelle uuden riman: korkealla vertailutestituloksella ei ole juuri merkitystä, jos se peittää alleen kaikkein tärkeimmät virheet. Asiakkaat tarvitsivat tarkkuutta mutta myös luotettavuutta, tietoturvaa, joustavuutta käyttöönotossa ja ennakoitavaa suorituskykyä suuressa mittakaavassa. Kun kuulimme tämän suoraan asiakkailta, se vaikutti siihen, mitä rakensimme.

Reducto käsittelee nyt miljardeja sivuja kuukaudessa. Millaisia teknisiä haasteita näin suuri mittakaava tuo, erityisesti viiveen, tarkkuuden ja kustannusten osalta sekä siinä, miten tulokset pidetään yhdenmukaisina hyvin erityyppisissä asiakirjoissa?

Olen jo kadottanut laskuista käsittelemiemme sivujen määrän, joten pienikin tehottomuus voi tulla hyvin nopeasti kalliiksi. Tarpeettoman inferenssin lisääminen jokaiselle sivulle kasvattaa sekä kustannuksia että viivettä, kun taas liian aggressiivinen nopeuden optimointi voi heikentää tarkkuutta vaikeiden asiakirjojen kohdalla. Siksi käytämme paljon insinöörityötä sen selvittämiseen, kuinka paljon käsittelyä kukin sivu todella vaatii.

r-1:n avulla paransimme jäsennyksen tarkkuutta, lyhensimme viivettä ja laskimme hinnan yhteen senttiin sivua kohden. Pyrimme myös kehittämään automaattisempaa reititystä, jotta yksinkertaisen sivun käsittelyyn ei kuluisi yhtä paljon resursseja kuin sivuun, jolla on monimutkainen taulukko tai kuvaaja. Nykyisillä käsittelymäärillämme nämä ratkaisut vaikuttavat päivittäin miljooniin sivuihin, minkä vuoksi tehokkuus on keskeinen osa teknistä ongelmaa.

Kun katsotaan useita vuosia eteenpäin ja tekoälyagentit käsittelevät yhä enemmän sopimuksia, taloustietoja, tutkimusartikkeleita, esityksiä ja muita yritysasiakirjoja, millaiseksi uskot tekoälyjärjestelmien ja maailman jäsentymättömän tiedon välisen ihanteellisen rajapinnan muodostuvan?

Nykyiset tekoälyagentit ovat pohjimmiltaan tekstipohjaisia. Ne ovat erittäin hyviä päättelemään selkeän digitaalisesta tiedosta, mutta tosielämä toimii edelleen PDF-tiedostojen, taulukkolaskentatiedostojen, esitysten, skannausten, sopimusten ja taloustietojen varassa. Uskon, että ajan myötä agenttien pitäisi pystyä käsittelemään tällaisia asiakirjoja yhtä luontevasti kuin ne käsittelevät nykyään tekstitiedostoa.

Kehittäjien ei pitäisi joutua miettimään syvällisesti tekstintunnistusta (OCR), jäsennystä, mallin valintaa tai asiakirjan rakennetta. Agentin pitäisi pystyä vastaanottamaan mikä tahansa tiedosto, ymmärtämään sen sisältö, jäljittämään tärkeät tiedot takaisin lähteeseen ja käyttämään niitä luotettavasti kulloinkin suoritettavassa tehtävässä. Taustalla olevan infrastruktuurin pitäisi ratkaista, miten asiakirja käsitellään, valita sopivat mallit ja nostaa esiin epävarmuus silloin, kun tarvitaan ihmisen harkintaa.

Tämä on viime kädessä mielestäni haluamamme työnjako: koneet hoitavat toistuvat asiakirjatehtävät, kun taas ihmiset käyttävät aikansa päätöksiin, jotka edellyttävät tilannetajua, organisaation tuntemusta ja harkintaa. Asiakirjat sisältävät valtavan määrän tietoa, jonka varassa yritykset toimivat, joten tämän tiedon saaminen aidosti agenttien hyödynnettäväksi avaa merkittäviä mahdollisuuksia sille, miten hyödylliseksi tekoäly voi muodostua todellisissa liiketoimintaprosesseissa.

Kiitos hienosta haastattelusta. Lukijoiden, jotka haluavat oppia lisää monimutkaisten asiakirjojen muuntamisesta luotettavaksi dataksi tekoälysovelluksia varten, kannattaa tutustua palveluun Reducto.