Adit Abraham, соучредитель и генеральный директор Reducto — серия интервью

Adit Abraham — соучредитель и генеральный директор Reducto, где он занимается преобразованием сложных корпоративных документов в надежные данные для приложений на базе ИИ. До основания компании вместе с Раунком Чоудхури, выпускником MIT, он изучал информатику в MIT, занимался исследованиями в области машинного обучения в MIT Media Lab и работал продакт-менеджером в Google, отвечая за рекламу и поиск. Reducto появилась благодаря попыткам основателей создать инструменты памяти для больших языковых моделей: ненадежное извлечение данных из документов постоянно становилось препятствием. Непосредственная работа Абрахама с первыми клиентами помогла определить приоритеты компании: точность, безопасность, гибкость развертывания и предсказуемая производительность в рабочей среде.

Reducto разрабатывает инфраструктуру для анализа документов, которая помогает командам, работающим с ИИ, преобразовывать PDF-файлы, сканы, электронные таблицы и другие файлы в структурированную информацию, пригодную для использования. Платформа объединяет технологии оптического распознавания символов, компьютерного зрения и модели, работающие с изображениями и языком, чтобы интерпретировать текст, таблицы, иллюстрации, форматирование и сложную структуру страниц. Помимо разбора документов, она предлагает инструменты для извлечения структурированных данных, разделения документов на части, классификации и редактирования, а также ссылки на источники, позволяющие связать извлеченную информацию с исходным материалом. Среди клиентов — Harvey, Scale AI, Vanta, Mercor и Rogo. Компания работает над решениями для генерации с дополнением поиском, поиска и обработки документов в таких областях, как финансы, здравоохранение и право, где крайне важны точное извлечение данных и возможность проверить результаты.

Reducto выросла из проблем, с которыми вы и Раунк Чоудхури столкнулись при создании инструментов памяти для больших языковых моделей. Что именно не работало в существующих инструментах обработки документов и когда вы поняли, что проблема разбора документов достаточно масштабна, чтобы создать вокруг нее компанию?

Мы хотели дать моделям доступ к контексту из документов и добавили функцию загрузки файлов, но постоянно сталкивались с низким качеством их обработки. Мы попробовали все доступные на тот момент инструменты, однако ни один из них не соответствовал нашим требованиям при работе с неаккуратными документами из реальной жизни, которые люди загружали на практике.

Поэтому мы разработали собственное решение для разбора документов — изначально как функцию нашего продукта для создания памяти LLM. Затем мы увидели огромный интерес со стороны разработчиков, которые сами сталкивались с этой проблемой и высоко оценили наше решение. Некоторые команды тратили недели на создание и поддержку собственных конвейеров извлечения данных, потому что доступные инструменты не могли надежно обрабатывать их документы. Эти разговоры помогли нам гораздо яснее увидеть перспективы: несмотря на постоянное повышение интеллектуальных возможностей моделей, чистый и точный контекст по-прежнему имеет огромное значение.

Формат PDF технически предназначен для отображения информации, а не для того, чтобы ее можно было считывать машиной. Почему сложные документы, особенно содержащие таблицы, графики, несколько столбцов или встроенные изображения, так трудно надежно интерпретировать системам ИИ?

Читая документ, мы, люди, многое воспринимаем как само собой разумеющееся: почти мгновенно устанавливаем связи, поскольку видим, что число относится к определенному заголовку столбца, текст продолжается в соседнем столбце, а подпись относится к изображению над ней.

Моделям ИИ это дается с большим трудом: PDF-файлы не предназначены для сохранения такой информации о связях и метаданных и по сути представляют собой изображения с очень высокой плотностью данных. Парсеру приходится восстанавливать эти связи по содержимому страницы, а объединенные ячейки, вложенные таблицы, графики, сканы и необычная верстка значительно усложняют задачу. Поскольку мы специализируемся на понимании документов, мы можем надежно обрабатывать длинный хвост документов, в которых модели ИИ часто галлюцинируют и допускают ошибки.

В конвейере обработки документов Reducto объединены компьютерное зрение, оптическое распознавание символов и модели, работающие с изображениями и языком. Как взаимодействуют эти технологии и в чем традиционные системы OCR по-прежнему не справляются?

Традиционные системы OCR существуют уже несколько десятилетий и изначально были созданы для распознавания чистого, разборчивого текста посимвольно. Они легко дают сбой, если документы написаны от руки, отсканированы, перекошены или содержат таблицы, а именно такими часто бывают корпоративные данные.

Reducto стала одной из первых компаний, внедривших модели, работающие с изображениями и языком, в сферу обработки документов, создав «Agentic OCR»: мы увидели, что такие модели способны понимать не только буквальный текст документа. Для полноценного понимания документов необходимы контекст, точность и работа с разными типами данных. Наша новейшая модель разбора r-1 объединяет возможности Agentic OCR с такими функциями, как сохранение форматирования, ссылки на источники и распознавание структуры, выполняя все это за один проход.

Эта дополнительная работа важна, потому что даже очень точный в целом парсер может привести к серьезной проблеме, если среди небольшого объема пропущенной им информации окажется нужный кому-то рисунок, пункт договора или строка таблицы.

По мере того как модели ИИ становятся все более мультимодальными и учатся напрямую интерпретировать изображения и документы, как, по-вашему, будет меняться роль специализированных платформ для анализа документов? Смогут ли базовые модели со временем выполнять большую часть этой работы самостоятельно или специализированная инфраструктура останется необходимой?

Мы действительно делаем ставку на то, что модели ИИ будут становиться всё лучше и быстрее: постоянно выходят новые модели, и мы следим за их слабыми сторонами, оценивая их, а также встраиваем их сильные стороны в собственные конвейеры, чтобы обеспечивать клиентам наилучшую производительность в целом. Reducto стремится стать вашей командой по загрузке данных и помогать вам развивать этот процесс по мере роста компании.

Перед крупными компаниями по-прежнему стоит особая задача: им нужны не только производительность, но и масштабируемая пропускная способность, управление и возможность проверять результаты при эксплуатации в промышленном масштабе. Сегодня фундаментальным моделям всё ещё трудно обеспечить всё это.

Недавно мы проверили это на тесте GDP.pdf: он показал, что передовым моделям по-прежнему трудно рассуждать о сложных реальных профессиональных документах, а их показатели строгой проверки на уровне задач составили менее 15–25%. Если сначала обработать эти документы с помощью Reducto, а затем передать структурированные данные передовым моделям, точность на макроуровне повышается на девять процентных пунктов, а число токенов, затрачиваемых на рассуждения, сокращается на 13 процентов по сравнению с моделями, которые обрабатывают документы напрямую.

Это показывает, что специализированная инфраструктура для загрузки данных по-прежнему имеет огромную ценность, поскольку большая часть корпоративных данных всё ещё остаётся неохваченной.

Многие корпоративные приложения ИИ в конечном счёте опираются на генерацию с дополненной выборкой (RAG) или агентные системы, которые обращаются к информации, скрытой во внутренних документах. Какая часть проблем с надёжностью таких систем на самом деле возникает на ранних этапах — при загрузке и разборе документов?

Значительная часть проблем возникает при загрузке данных: команды часто обнаруживают их гораздо позже, поскольку неверный ответ появляется в конце конвейера. Если парсер пропускает строку в таблице, нарушает порядок чтения двух столбцов или не распознаёт иллюстрацию, поиск не сможет восстановить информацию, которая так и не попала в базу данных.

Мы часто видим, как пользовательский опыт клиентов резко улучшается после того, как они заменяют собственную систему загрузки данных на Reducto: системы RAG и поиска начинают выдавать более качественные результаты и делают это стабильнее. Например, после внедрения Reducto в качестве слоя обработки у Harvey резко сократилось количество обращений клиентов, связанных с OCR, а использование продукта многократно выросло.

Reducto вышла за рамки разбора документов и теперь предлагает структурированное извлечение данных и более широкие рабочие процессы с документами. Как выглядит следующий этап развития интеллектуальной обработки документов, когда система уже умеет точно понимать структуру документа?

Загрузка данных обычно является лишь первым шагом в гораздо более масштабном бизнес-процессе. Компания может получить файл объёмом 500 страниц и затем определить, какие документы в нём содержатся, классифицировать их, извлечь нужную информацию, сопоставить её с данными другой системы и направить нестандартные случаи специалисту на проверку. Мы потратили 2 года на обучение лучших представленных на рынке моделей для понимания документов, а теперь уделяем больше времени оптимизации последующих этапов.

Когда система надёжно распознаёт содержимое и структуру документа, можно автоматизировать большую часть работы, на которую люди сейчас тратят время: собирают информацию, проверяют её и перемещают между системами. Практически любой важный для бизнеса рабочий процесс можно представить как последовательность действий, в которых люди читают одни документы, принимают решения и вносят данные в другие. В будущем мы хотим стать стандартным способом взаимодействия людей и агентов с данными в документах.

Среди ваших клиентов — как компании, изначально ориентированные на ИИ, например Harvey, Vanta, Scale AI, Mercor и Rogo, так и крупные финансовые организации и компании из списка Fortune 10. Насколько отличаются требования к обработке документов у ИИ-стартапа и крупной компании, работающей в условиях жёсткого регулирования?

Компании, изначально ориентированные на ИИ, обычно действуют быстро, и их инженерным командам нужен API, способный обрабатывать сложные документы без необходимости создавать и поддерживать собственный стек обработки. Крупным компаниям важна та же точность, но у них часто есть и дополнительные требования: где хранятся данные, как развёртывается ПО, что происходит при резком росте объёма данных и могут ли пользователи проследить путь извлечённого значения до исходной страницы. Например, Scale AI использует Reducto в государственных организациях, где важны конфиденциальность и локальное развёртывание, а Harvey оценивала нас по точности, надёжности, стоимости, задержке и вариантам сбоев, прежде чем примерно через шесть недель перевести решение в промышленную эксплуатацию. Работа с обоими типами клиентов побудила нас уделять не меньше внимания тому, как Reducto работает в реальных условиях промышленной эксплуатации, чем точности обработки отдельного документа.

Как сообщается, Reducto достигла годовой регулярной выручки свыше $5 миллионов во многом благодаря продажам, которыми занимались сами основатели, ещё до создания отдельного отдела продаж. Что прямое общение с первыми клиентами помогло вам понять о задачах, которые разработчики действительно пытались решить?

Эти разговоры научили нас меньше говорить в общих чертах об обработке документов и больше разбираться в том, чего именно пытались добиться клиенты. Первые звонки о продажах часто превращались в рабочие встречи: клиент показывал документы, из-за которых давал сбой его конвейер обработки, а мы выясняли, что происходило дальше, когда извлечение данных не удавалось. В здравоохранении это означало, что мы видели, как пропущенная строка в таблице или неверно распознанная единица измерения в лабораторном отчёте могли задержать рассмотрение страхового требования или оставить врача без полной истории болезни пациента. Такая цена ошибок изменила наши представления о необходимой точности: высокий результат на тестах мало значит, если он скрывает самые важные ошибки. Клиентам были нужны не только точность, но и надёжность, безопасность, гибкость развёртывания и предсказуемая производительность при масштабировании, и эта обратная связь напрямую повлияла на то, что мы создавали.

Сейчас Reducto обрабатывает миллиарды страниц в месяц. Какие инженерные сложности возникают при таком масштабе, особенно в том, что касается задержки, точности, стоимости и стабильности результатов для самых разных типов документов?

Я уже сбился со счёта, сколько страниц мы обрабатываем, поэтому даже небольшая неэффективность очень быстро обходится дорого. Если для каждой страницы использовать избыточные вычисления модели, растут и затраты, и задержка, а чрезмерная оптимизация скорости может снизить точность при обработке сложных документов. Поэтому мы тратим много инженерных усилий на то, чтобы определить, какой объём обработки действительно требуется для каждой страницы.

С помощью r-1 мы повысили точность разбора документов, сократили задержку и снизили стоимость до одного цента за страницу. Кроме того, мы работаем над более автоматической маршрутизацией, чтобы простая страница не требовала столько же ресурсов, сколько страница со сложной таблицей или иллюстрацией. При нынешнем объёме обработки эти решения влияют на миллионы страниц каждый день, поэтому эффективность — одна из ключевых инженерных задач.

Если заглянуть на несколько лет вперёд и представить, что ИИ-агенты всё чаще взаимодействуют с договорами, финансовой документацией, научными статьями, презентациями и другими корпоративными документами, каким, по-вашему, будет идеальный интерфейс между системами ИИ и неструктурированной информацией в мире?

Современные ИИ-агенты изначально ориентированы на работу с текстом. Они отлично умеют анализировать чистую цифровую информацию, но реальный мир по-прежнему опирается на PDF-файлы, электронные таблицы, презентации, сканы, договоры и финансовую документацию. Со временем, как я думаю, агенты должны научиться взаимодействовать с такими документами так же естественно, как сегодня работают с текстовыми файлами.

Разработчикам не должно приходиться глубоко разбираться в OCR, разборе документов, выборе моделей или структуре документов. Агент должен уметь принять любой файл, понять его содержимое, проследить путь важной информации до исходного документа и надёжно использовать её для выполнения поставленной задачи. Базовая инфраструктура должна определять, как обрабатывать документ, выбирать подходящие модели и передавать задачу человеку, если неопределённость требует его участия.

В конечном счёте именно так, на мой взгляд, и должно распределяться участие в работе: машины выполняют повторяющиеся задачи с документами, а люди посвящают время решениям, для которых необходимы контекст, знание специфики организации и здравое суждение. В документах содержится огромная часть информации, на которой строится работа компаний, поэтому, если сделать её по-настоящему доступной для ИИ-агентов, это значительно повысит полезность ИИ в реальных бизнес-процессах.

Спасибо за интересное интервью! Читателям, которые хотят узнать больше о том, как превращать сложные документы в надёжные данные для приложений ИИ, стоит посетить сайт Reducto.