Adit Abraham, spoluzakladatel a generální ředitel společnosti Reducto – rozhovorový seriál

Adit Abraham je spoluzakladatelem a generálním ředitelem společnosti Reducto, kde se zaměřuje na převod složitých firemních dokumentů na spolehlivá data pro aplikace umělé inteligence. Než společnost založil s Raunakem Chowdhurim, svým spolužákem z MIT, studoval na MIT informatiku, věnoval se výzkumu strojového učení v MIT Media Lab a pracoval jako produktový manažer pro oblast reklamy a vyhledávání ve společnosti Google. Reducto vzešlo ze snahy zakladatelů vytvářet nástroje pro práci s pamětí velkých jazykových modelů; opakovanou překážkou při tom bylo nespolehlivé načítání dokumentů. Abrahamova přímá spolupráce s prvními zákazníky pomohla utvářet důraz společnosti na přesnost, zabezpečení, flexibilitu nasazení a předvídatelný výkon v produkčním prostředí.

Reducto vyvíjí infrastrukturu pro inteligentní zpracování dokumentů, která týmům pracujícím s umělou inteligencí pomáhá převádět soubory PDF, naskenované dokumenty, tabulky a další soubory na strukturované a použitelné informace. Její platforma kombinuje optické rozpoznávání znaků, počítačové vidění a modely vidění a jazyka, aby dokázala interpretovat text, tabulky, obrázky, formátování i složité rozvržení stránek. Kromě parsování nabízí nástroje pro strukturovanou extrakci, rozdělování dokumentů, klasifikaci a úpravy; citace přitom propojují extrahované informace s jejich zdrojem. Mezi zákazníky patří Harvey, Scale AI, Vanta, Mercor a Rogo. Společnost působí v oblastech generování s rozšířením o vyhledávání, vyhledávání informací a pracovních postupů s dokumenty v oborech, jako jsou finance, zdravotnictví a právo, kde jsou přesné načítání dokumentů a dohledatelné výsledky zásadní.

Reducto vzniklo z problémů, na které jste s Raunakem Chowdhurim narazili při vytváření nástrojů pro práci s pamětí velkých jazykových modelů. Co konkrétně nefungovalo u stávajících nástrojů na zpracování dokumentů a kdy jste si uvědomili, že problém s parsováním je natolik rozsáhlý, aby se kolem něj dala vybudovat firma?

Snažili jsme se modelům zpřístupnit kontext z dokumentů, a tak jsme přidali funkci pro nahrávání souborů. Opakovaně jsme ale naráželi na problémy s kvalitou jejich zpracování. Vyzkoušeli jsme všechny tehdy dostupné nástroje, žádný však nesplňoval naše nároky při práci s neuspořádanými dokumenty z reálného světa, které lidé skutečně nahrávali.

Nejprve jsme tedy vytvořili vlastní řešení pro parsování jako funkci našeho produktu pro práci s pamětí velkých jazykových modelů. Pak jsme ale zaznamenali mimořádný zájem ze strany vývojářů, kteří se s tímto problémem sami setkali a naše řešení si oblíbili. Některé týmy trávily týdny vytvářením a údržbou vlastních procesů pro načítání dokumentů, protože dostupné nástroje je nedokázaly spolehlivě zpracovat. Tyto rozhovory nám pomohly lépe pochopit potenciál této příležitosti: přestože se schopnosti modelů neustále zlepšují, čistý a přesný kontext stále znamená obrovský rozdíl.

Formát PDF je technicky navržený k zobrazování informací, nikoli k tomu, aby byly strojově čitelné. Proč je pro systémy umělé inteligence tak obtížné spolehlivě porozumět složitým dokumentům, zejména těm, které obsahují tabulky, grafy, vícesloupcové rozvržení nebo vložené obrázky?

Když jako lidé čteme dokument, mnohé z toho, čemu přirozeně rozumíme, považujeme za samozřejmost – téměř okamžitě dokážeme odvodit souvislosti, protože vidíme, že číslo patří pod určitou záhlaví sloupce, že text pokračuje v dalším sloupci nebo že popisek odkazuje na obrázek nad ním.

Pro modely umělé inteligence je to ve skutečnosti velmi obtížné, protože soubory PDF nejsou navržené tak, aby uchovávaly tento typ vztahových informací nebo metadat; v podstatě jde o obrázky s velmi vysokou hustotou dat. Parser musí tyto souvislosti znovu sestavit z obsahu stránky a úloha je mnohem náročnější v případě sloučených buněk, vnořených tabulek, grafů, naskenovaných dokumentů a neobvyklého rozvržení. Protože se zaměřujeme na tento problém porozumění dokumentům, dokážeme spolehlivě zpracovávat i méně obvyklé dokumenty, u nichž modely umělé inteligence často halucinují a chybují.

Reducto ve svém procesu zpracování dokumentů kombinuje počítačové vidění, optické rozpoznávání znaků a modely vidění a jazyka. Jak tyto různé technologie spolupracují a v čem tradiční systémy OCR stále zaostávají?

Tradiční OCR se používá už desítky let a bylo vytvořeno ke čtení dokumentů s čistým, dobře čitelným textem, znak po znaku. Jakmile se ale objeví rukou psané, naskenované nebo zkosené dokumenty či tabulky, snadno selhává. Přitom právě takové dokumenty tvoří většinu firemních dat.

Reducto jako první začalo v oblasti zpracování dokumentů využívat modely vidění a jazyka v rámci funkce „Agentic OCR“, protože jsme viděli, že tyto modely dokážou porozumět více než jen samotnému textu v dokumentech – skutečné inteligentní zpracování dokumentů vyžaduje kontext, přesnost a schopnost pracovat s více druhy dat. Náš nejnovější model pro parsování r-1 spojuje možnosti funkce Agentic OCR s prvky, jako jsou formátování, citace a detekce rozvržení, v jediném průchodu.

Tato práce navíc je důležitá, protože i parser s velmi vysokou celkovou přesností může způsobit vážný problém, pokud mezi malým množstvím přehlédnutých informací chybí obrázek, ustanovení nebo položka tabulky, kterou někdo skutečně potřebuje.

Jak se s rostoucí multimodalitou a schopností modelů umělé inteligence přímo interpretovat obrázky a dokumenty bude podle vás vyvíjet role specializovaných platforem pro inteligentní zpracování dokumentů? Mohou základní modely nakonec většinu této práce zvládnout samy, nebo zůstane specializovaná infrastruktura nezbytná?

Ve skutečnosti sázíme na to, že se modely umělé inteligence budou jen zlepšovat a zrychlovat. Neustále vznikají nové modely, a tak průběžně vyhodnocujeme jejich slabiny a začleňujeme jejich silné stránky do vlastních postupů, abychom zákazníkům nabídli co nejlepší výkon. Reducto chce fungovat jako váš tým pro příjem dat a pomáhat vám s budováním řešení, jak vaše firma poroste.

Podniky stále čelí specifické výzvě: potřebují nejen výkon, ale také škálovatelnou propustnost, správu a možnost ověřovat výsledky v produkčním měřítku, což je pro základní modely dnes stále obtížné.

Nedávno jsme to ověřili pomocí benchmarku GDP.pdf, který ukázal, že nejpokročilejší modely mají stále potíže s uvažováním nad složitými skutečnými odbornými dokumenty a při přísném hodnocení úspěšnosti jednotlivých úloh dosáhly skóre pod 15 % až 25 %. Když jsme nechali Reducto tyto dokumenty nejprve analyzovat a poté předali strukturovaná data nejpokročilejším modelům, přesnost na makroúrovni se zlepšila o devět procentních bodů a počet tokenů použitých k uvažování se snížil o 13 procent oproti modelům, které dokumenty zpracovávaly přímo.

To ukazuje, že specializovaná infrastruktura pro příjem dat má stále obrovskou hodnotu, protože většina podnikových dat zůstává nevyužitá.

Mnoho podnikových aplikací umělé inteligence v konečném důsledku závisí na generování s rozšířeným vyhledáváním nebo na agentních systémech, které čerpají informace skryté v interních dokumentech. Do jaké míry problémy se spolehlivostí těchto systémů skutečně vznikají už v rané fázi, při příjmu a analýze dokumentů?

Významná část problémů vzniká už při příjmu dat – týmy na ně často přijdou mnohem později, protože chybná odpověď se projeví až na konci zpracovatelského řetězce. Pokud analyzátor vynechá řádek v tabulce, zamění pořadí čtení dvou sloupců nebo přehlédne obrázek, vyhledávání nedokáže obnovit informace, které se do databáze vůbec nedostaly.

Často pozorujeme, že se zkušenost koncových uživatelů našich zákazníků po nahrazení jejich řešení pro příjem dat systémem Reducto výrazně zlepší, protože systémy RAG a vyhledávání poskytují konzistentně lepší výsledky. Harvey například po zavedení Reducto jako vrstvy pro zpracování zaznamenal výrazný pokles zákaznických požadavků souvisejících s OCR a několikanásobný nárůst využívání produktu.

Reducto se od analýzy dokumentů rozšířilo ke strukturované extrakci dat a komplexnějším pracovním postupům s dokumenty. Jak vypadá další úroveň inteligentního zpracování dokumentů, když už systém dokáže přesně porozumět jejich vnitřní struktuře?

Příjem dat obvykle představuje jen první krok v mnohem rozsáhlejším obchodním procesu. Firma může obdržet soubor o 500 stranách a potřebovat v něm rozpoznat jednotlivé dokumenty, roztřídit je, extrahovat konkrétní informace, porovnat je s údaji v jiném systému a předat neobvyklé případy specialistovi k posouzení. Dva roky jsme věnovali trénování nejlepších modelů pro porozumění dokumentům na trhu a nyní se více zaměřujeme na zefektivnění navazujících kroků.

Jakmile dokážete spolehlivě porozumět obsahu a struktuře dokumentu, můžete automatizovat větší část práce, kterou lidé nyní tráví sestavováním informací, jejich kontrolou a přesouváním mezi systémy. Téměř každý důležitý obchodní proces lze rozložit na kroky, při nichž lidé čtou z jiných dokumentů, rozhodují se a zapisují do nich. Chceme se stát výchozím způsobem, jakým budou lidé nebo agenti v budoucnu pracovat s daty v dokumentech.

Mezi vaše zákazníky patří jak firmy, které stavějí na umělé inteligenci, například Harvey, Vanta, Scale AI, Mercor a Rogo, tak významné finanční instituce a společnosti z žebříčku Fortune 10. Jak se liší požadavky startupu zaměřeného na umělou inteligenci na zpracování dokumentů od požadavků velkého regulovaného podniku?

Firmy, které stavějí na umělé inteligenci, obvykle postupují rychle a jejich vývojové týmy chtějí API, které zvládne obtížné dokumenty, aniž by je nutilo vytvářet a udržovat vlastní systém pro jejich zpracování. Velkým podnikům záleží na stejné přesnosti, ale často mají další požadavky týkající se toho, kde jsou data uložena, jak software nasazují, co se děje při náhlém nárůstu objemu a zda uživatelé mohou dohledat, ze které původní stránky byla hodnota extrahována. Scale AI například využívá Reducto v prostředích státní správy, kde jsou důležité důvěrnost a místní nasazení, zatímco Harvey nás před nasazením do produkce přibližně po šesti týdnech hodnotil z hlediska přesnosti, spolehlivosti, nákladů, latence a způsobů selhání. Spolupráce s oběma typy zákazníků nás přiměla věnovat stejnou pozornost tomu, jak si Reducto vede při skutečných produkčních požadavcích, jako tomu, jak přesně zpracovává jednotlivé dokumenty.

Reducto podle zpráv dosáhlo ročních opakujících se výnosů přes 5 milionů dolarů, a to převážně díky prodeji vedenému zakladateli, ještě než vybudovalo samostatný obchodní tým. Co vás přímé rozhovory s prvními zákazníky naučily o problémech, které se vývojáři skutečně snažili vyřešit?

Tyto rozhovory nás naučily méně obecně mluvit o zpracování dokumentů a více se snažit pochopit, čeho chtějí zákazníci skutečně dosáhnout. Z prvních obchodních hovorů se často stala pracovní setkání, na kterých nám zákazník ukázal dokumenty, jež narušily fungování jeho procesu, a společně jsme zjišťovali, co se dělo dál, když extrakce dat selhala. Ve zdravotnictví to znamenalo vidět, jak může vynechaný řádek v tabulce nebo nesprávně přečtená jednotka v laboratorní zprávě zpozdit vyřízení pojistného nároku nebo zanechat lékaře s neúplnou zdravotní dokumentací pacienta. Tyto důsledky změnily naše nároky na přesnost: vysoké skóre v benchmarku nic neznamená, pokud zakrývá chyby, na kterých záleží nejvíc. Zákazníci potřebovali přesnost, ale také spolehlivost, zabezpečení, flexibilitu nasazení a předvídatelný výkon ve velkém měřítku. Právě jejich přímá zpětná vazba ovlivnila, co jsme vybudovali.

Reducto nyní zpracovává miliardy stránek měsíčně. Jaké technické výzvy se při takovém rozsahu objevují, zejména pokud jde o latenci, přesnost, náklady a konzistentní výsledky napříč velmi různými typy dokumentů?

Už jsem ztratil přehled o počtu stránek, které zpracováváme, takže i malá neefektivita se může velmi rychle prodražit. Zbytečné odvozování u každé stránky zvyšuje náklady i latenci, zatímco příliš agresivní optimalizace rychlosti může zhoršit přesnost u složitých dokumentů. Velkou část technického úsilí proto věnujeme určování toho, kolik zpracování každá stránka skutečně vyžaduje.

Díky r-1 jsme zvýšili přesnost parsování, snížili latenci a dostali cenu na jeden cent za stránku. Zároveň pracujeme na automatickém směrování, aby jednoduchá stránka nespotřebovala stejné zdroje jako stránka se složitou tabulkou nebo obrázkem. Při našem současném objemu se tato rozhodnutí týkají milionů stránek každý den, a efektivita se tak stává jedním ze základních technických problémů.

Když se podíváte o několik let dopředu, až budou AI agenti stále častěji pracovat se smlouvami, finančními záznamy, výzkumnými studiemi, prezentacemi a dalšími podnikovými dokumenty, jak podle vás bude vypadat ideální rozhraní mezi systémy AI a nestrukturovanými informacemi světa?

Dnešní AI agenti jsou svou podstatou založení na textu. Velmi dobře si poradí s uvažováním nad čistými digitálními informacemi, ale skutečný svět stále funguje na PDF, tabulkách, prezentacích, naskenovaných dokumentech, smlouvách a finančních záznamech. Myslím, že agenti by časem měli být schopni pracovat s těmito dokumenty stejně přirozeně jako dnes s textovým souborem.

Vývojáři by se neměli muset podrobně zabývat OCR, parsováním, výběrem modelů ani strukturou dokumentů. Agent by měl být schopen přijmout jakýkoli soubor, porozumět jeho obsahu, dohledat důležité informace až k jejich zdroji a spolehlivě je využít při plnění zadaného úkolu. Infrastruktura na pozadí by měla rozhodovat o tom, jak dokument zpracovat, které modely zvolit a kdy při nejistotě zapojit člověka.

Právě takové rozdělení práce podle mě nakonec chceme: stroje se postarají o opakující se práci s dokumenty, zatímco lidé věnují čas rozhodnutím, která vyžadují kontext, znalost fungování organizace a úsudek. Dokumenty obsahují obrovské množství informací, na nichž stojí chod firem, takže zpřístupnění těchto informací agentům bude zásadním krokem k tomu, aby se AI dala lépe využít v reálných podnikových procesech.

Děkujeme za skvělý rozhovor. Čtenáři, kteří se chtějí dozvědět více o tom, jak složité dokumenty převádět na spolehlivá data pro aplikace AI, mohou navštívit Reducto.