Адіт Абрагам, співзасновник і генеральний директор Reducto — серія інтерв’ю

Адіт Абрагам — співзасновник і генеральний директор Reducto, де він зосереджується на перетворенні складних корпоративних документів на надійні дані для застосунків штучного інтелекту. Перш ніж заснувати компанію разом із Раунаком Чоудхурі, випускником MIT, він вивчав інформатику в MIT, проводив дослідження з машинного навчання в MIT Media Lab і працював продакт-менеджером у напрямі реклами та пошуку в Google. Reducto виникла з роботи засновників над інструментами пам’яті для великих мовних моделей: ненадійне завантаження документів знову й знову ставало перешкодою. Безпосередня робота Абрагама з першими клієнтами допомогла сформувати пріоритети компанії: точність, безпека, гнучкість розгортання та передбачувана продуктивність у виробничому середовищі.

Reducto розробляє інфраструктуру інтелектуальної обробки документів, яка допомагає командам зі штучного інтелекту перетворювати PDF-файли, скани, електронні таблиці та інші файли на структуровану інформацію, придатну до використання. Її платформа поєднує оптичне розпізнавання символів, комп’ютерний зір і візуально-мовні моделі, щоб інтерпретувати текст, таблиці, ілюстрації, форматування та складну структуру сторінок. Окрім аналізу, платформа пропонує інструменти для структурованого вилучення даних, поділу документів, класифікації та редагування, а також цитати, що пов’язують вилучену інформацію з її джерелом. Серед клієнтів — Harvey, Scale AI, Vanta, Mercor і Rogo. Компанія працює над генерацією з доповненням пошуком, пошуком і документообігом у таких сферах, як фінанси, охорона здоров’я та право, де важливі точне завантаження даних і результати, які можна перевірити.

Reducto виникла на основі труднощів, з якими ви та Раунок Чоудхурі зіткнулися під час створення інструментів пам’яті для великих мовних моделей. Що саме не працювало в наявних інструментах обробки документів і коли ви зрозуміли, що проблема аналізу документів достатньо масштабна, аби створити навколо неї компанію?

Ми хотіли надати моделям доступ до контексту з документів, тож додали функцію завантаження файлів, але постійно стикалися з проблемами якості обробки. Ми випробували всі доступні на той час інструменти, але жоден не відповідав нашим вимогам до роботи з безладними документами з реального життя, які люди справді завантажували.

Тож спочатку ми створили власне рішення для аналізу документів як функцію нашого продукту пам’яті для великих мовних моделей, але згодом побачили надзвичайний інтерес з боку розробників, які також стикалися з цією проблемою і яким сподобалося наше рішення. Деякі команди витрачали тижні на створення та підтримку власних конвеєрів завантаження, бо доступні інструменти не могли надійно обробляти їхні документи. Ці розмови значно чіткіше показали нам масштаб можливості: попри постійне вдосконалення інтелекту моделей, чистий і точний контекст і далі мав величезне значення.

PDF-файли технічно призначені для відображення інформації, а не для того, щоб машини могли її зчитувати. Чому складні документи, зокрема ті, що містять таблиці, діаграми, кілька стовпців або вбудовані зображення, так важко надійно обробляти системам штучного інтелекту?

Читаючи документ, ми, люди, багато чого сприймаємо як належне завдяки природному розумінню: майже миттєво визначаємо зв’язки, бо бачимо, що число належить до певного заголовка стовпця, текст продовжується в іншому стовпці або підпис стосується зображення над ним.

Моделям штучного інтелекту це дається вкрай складно, адже PDF-файли не призначені для збереження таких зв’язків чи метаданих; по суті, це зображення з дуже високою щільністю даних. Аналізатор має відновити ці зв’язки на основі сторінки, а об’єднані комірки, вкладені таблиці, діаграми, скани та незвичні макети значно ускладнюють завдання. Оскільки ми зосереджені на проблемі розуміння документів, то можемо надійно обробляти рідкісні й нетипові документи з довгого хвоста, на яких моделі штучного інтелекту схильні галюцинувати й помилятися.

Reducto поєднує комп’ютерний зір, оптичне розпізнавання символів і візуально-мовні моделі у своєму конвеєрі обробки документів. Як ці різні технології працюють разом і в чому традиційні системи оптичного розпізнавання символів досі зазвичай не справляються?

Традиційне оптичне розпізнавання символів існує вже десятиліттями й було створене для посимвольного зчитування документів із чітким, розбірливим текстом. Воно легко дає збій, коли йдеться про рукописні, відскановані, перекошені документи або таблиці, а саме такі дані становлять більшість корпоративної інформації.

Reducto стала першою компанією, що запровадила в обробку документів візуально-мовні моделі у форматі «Agentic OCR», адже ми побачили потенціал VLM краще розуміти не лише сам текст у документах: справжній інтелектуальний аналіз документів потребує контексту, точності та мультимодальних можливостей. Наша найновіша модель аналізу r-1 поєднує можливості Agentic OCR із такими функціями, як збереження форматування, цитування та розпізнавання макета, в одному проході.

Ця додаткова робота має значення, адже навіть аналізатор із дуже високою загальною точністю може спричинити серйозну проблему, якщо серед невеликої кількості пропущеної ним інформації буде саме потрібне комусь число, положення чи рядок таблиці.

Як змінюватиметься роль спеціалізованих платформ інтелектуальної обробки документів у міру того, як моделі штучного інтелекту ставатимуть дедалі мультимодальнішими й краще навчатимуться безпосередньо інтерпретувати зображення та документи? Чи зможуть базові моделі зрештою виконувати значну частину цієї роботи самостійно, чи спеціалізована інфраструктура й надалі буде необхідною?

Ми справді робимо ставку на те, що моделі ШІ лише вдосконалюватимуться, ставатимуть швидшими й кращими. Оскільки постійно з’являються нові моделі, ми стежимо за їхніми слабкими сторонами й інтегруємо їхні сильні сторони у власні конвеєри, щоб забезпечувати клієнтам найкращу загальну продуктивність. Reducto прагне стати вашою командою з приймання даних і допомагати вам розвиватися.

Для великих компаній залишається особливий виклик: їм потрібні не лише висока продуктивність, а й масштабована пропускна здатність, контроль і можливість перевірки на рівні промислової експлуатації — вимоги, з якими базовим моделям поки що важко впоратися.

Нещодавно ми перевірили це на тесті GDP.pdf: він показав, що передові моделі досі не можуть належно міркувати на основі складних реальних професійних документів і набрали менш як 15–25% за суворими критеріями проходження завдань. Якщо спершу дати Reducto розібрати ці документи, а потім передати структуровані дані передовим моделям, точність на макрорівні зростає на дев’ять процентних пунктів, а кількість токенів для міркування зменшується на 13 відсотків порівняно з моделями, які обробляють документи безпосередньо.

Це свідчить, що спеціалізована інфраструктура для приймання даних і досі має величезну цінність, адже більшість корпоративних даних досі не охоплена.

Багато корпоративних застосунків ШІ зрештою спираються на генерацію з доповненням пошуком або агентні системи, які отримують доступ до інформації, прихованої у внутрішніх документах. Наскільки проблеми з надійністю таких систем насправді виникають на попередніх етапах — під час приймання й розбору документів?

Значна частина проблем виникає ще під час приймання даних: команди часто виявляють їх набагато пізніше, бо хибна відповідь з’являється наприкінці конвеєра. Якщо парсер пропускає рядок таблиці, плутає порядок читання двох стовпців або не розпізнає рисунок, пошук не зможе відновити інформацію, яка взагалі не потрапила до бази даних.

Ми часто бачимо, що після заміни системи приймання даних на Reducto досвід кінцевих користувачів наших клієнтів значно поліпшується, адже системи генерації з доповненням пошуком і пошуку стабільніше повертають кращі результати. Наприклад, після впровадження Reducto як рівня обробки Harvey різко скоротила кількість звернень клієнтів, пов’язаних з OCR, а використання продукту зросло в рази.

Reducto вийшла за межі розбору документів і тепер пропонує структуроване вилучення даних і ширші сценарії роботи з документами. Який наступний рівень інтелектуальної обробки документів стає можливим, коли система здатна точно розуміти їхню структуру?

Приймання даних зазвичай є лише першим кроком у значно ширшому бізнес-процесі. Компанія може отримати файл на 500 сторінок і потребувати визначити, які документи він містить, класифікувати їх, вилучити певну інформацію, зіставити її з даними в іншій системі й передати нетипові випадки фахівцю на перевірку. Ми витратили 2 роки на навчання найкращих на ринку моделей для розуміння документів, а тепер більше зосереджуємося на тому, як спростити все, що відбувається далі.

Коли ви можете надійно розуміти вміст і структуру документа, то здатні автоматизувати більшу частину роботи, на яку люди нині витрачають час, збираючи й перевіряючи інформацію та переміщуючи її між системами. Майже будь-який важливий бізнес-процес можна звести до послідовності кроків, у межах яких люди читають дані з документів, ухвалюють рішення та вносять інформацію в інші документи. Ми прагнемо стати стандартним способом взаємодії людей або агентів із даними документів у майбутньому.

Серед ваших клієнтів — як компанії, створені з орієнтацією на ШІ, зокрема Harvey, Vanta, Scale AI, Mercor і Rogo, так і великі фінансові установи та компанії зі списку Fortune 10. Наскільки відрізняються вимоги до обробки документів у стартапу зі сфери ШІ та великого регульованого підприємства?

Компанії, створені з орієнтацією на ШІ, зазвичай працюють швидко, а їхні інженерні команди хочуть мати API, який обробляє складні документи й не змушує їх самостійно створювати та підтримувати власний стек обробки. Великим підприємствам так само важлива точність, але вони часто мають додаткові вимоги: де зберігаються дані, як розгортається програмне забезпечення, що відбувається під час різкого зростання обсягів і чи можуть користувачі простежити, з якої сторінки оригіналу взято певне значення. Наприклад, Scale AI використовує Reducto в державних установах, де важливі конфіденційність і локальне розгортання, тоді як Harvey оцінила нас за точністю, надійністю, вартістю, затримкою та типами збоїв, перш ніж перейти до промислової експлуатації приблизно за шість тижнів. Робота з обома типами клієнтів спонукала нас приділяти однакову увагу тому, як Reducto працює за реальних вимог промислової експлуатації та наскільки точно обробляє окремий документ.

За повідомленнями, Reducto досягла понад $5 мільйонів регулярного річного доходу переважно завдяки продажам під керівництвом засновників — ще до створення спеціалізованого відділу продажів. Чого вас навчили безпосередні розмови з першими клієнтами про проблеми, які розробники насправді намагалися розв’язати?

Ці розмови навчили нас менше говорити про обробку документів загалом і більше з’ясовувати, чого саме прагнули досягти клієнти. Ранні дзвінки з потенційними клієнтами часто перетворювалися на робочі сесії: клієнт показував документи, через які його процес давав збій, а ми розбиралися, що відбувалося далі, коли дані не вдавалося витягти. У сфері охорони здоров’я ми бачили, як пропущений рядок таблиці або неправильно прочитана одиниця виміру в лабораторному звіті могли затримати розгляд страхового запиту чи залишити лікаря без повної історії хвороби пацієнта. Такі наслідки змінили наші вимоги до точності: високий результат на тестовому наборі мало що означає, якщо він приховує найважливіші помилки. Клієнтам потрібна була не лише точність, а й надійність, безпека, гнучкість розгортання та передбачувана продуктивність у великих масштабах, і безпосередньо почуті від них вимоги визначили, що саме ми створювали.

Тепер Reducto обробляє мільярди сторінок на місяць. Які інженерні проблеми виникають у таких масштабах, особливо щодо затримки, точності, вартості та стабільності результатів для дуже різних типів документів?

Я вже збився з рахунку, скільки сторінок ми обробляємо, тож навіть невелика неефективність може дуже швидко обійтися дорого. Зайве застосування моделей до кожної сторінки збільшує і витрати, і затримку, а надмірна оптимізація швидкості може погіршити точність на складних документах. Тому ми докладаємо чимало інженерних зусиль, щоб визначити, який обсяг обробки насправді потрібен для кожної сторінки.

З r-1 ми підвищили точність розбору документів, скоротили затримку й знизили ціну до одного цента за сторінку. Також ми працюємо над більш автоматичним спрямуванням запитів, щоб для простої сторінки не використовувалися ті самі ресурси, що й для сторінки зі складною таблицею або рисунком. За нинішніх обсягів ці рішення впливають на мільйони сторінок щодня, тож ефективність є однією з ключових інженерних проблем.

Якщо зазирнути на кілька років уперед, коли ШІ-агенти дедалі частіше взаємодіятимуть із договорами, фінансовими документами, науковими статтями, презентаціями та іншими корпоративними документами, яким, на вашу думку, має бути ідеальний інтерфейс між системами ШІ та неструктурованою інформацією у світі?

Сучасні ШІ-агенти за своєю суттю працюють із текстом. Вони чудово вміють аналізувати впорядковану цифрову інформацію, але реальний світ і далі спирається на PDF-файли, електронні таблиці, презентації, скановані документи, договори та фінансові документи. З часом, на мою думку, агенти мають навчитися взаємодіяти з такими документами так само природно, як сьогодні взаємодіють із текстовими файлами.

Розробникам не варто занурюватися в тонкощі оптичного розпізнавання символів, розбору документів, вибору моделей чи їхньої структури. Агент має вміти отримати будь-який файл, зрозуміти його вміст, відстежити важливу інформацію до першоджерела й надійно використати її для виконання потрібного завдання. Базова інфраструктура має визначати спосіб обробки документа, добирати відповідні моделі та передавати завдання на розгляд людині, коли справді потрібне людське судження.

Зрештою, саме таким, на мою думку, має бути розподіл праці: машини виконують рутинну роботу з документами, а люди присвячують час рішенням, для яких потрібні контекст, знання специфіки організації та вміння судити. Документи містять величезну частину інформації, на якій ґрунтується діяльність компаній, тож перетворення цієї інформації на формат, природний для ШІ-агентів, значно розширить можливості ШІ в реальних бізнес-процесах.

Дякуємо за чудове інтерв’ю! Читачам, які хочуть дізнатися більше про перетворення складних документів на надійні дані для застосунків ШІ, варто відвідати сайт Reducto.