Йоав Наве, сооснователь и один из генеральных директоров Reindeer — серия интервью

Йоав Наве — сооснователь и один из генеральных директоров Reindeer. Он обладает опытом создания технологических компаний, масштабирования бизнеса и инвестирования в основателей. До Reindeer он создал ConvertMedia, продолжил работу в Taboola и инвестировал в основателей через INT3. Сегодня он помогает крупным компаниям перейти от изолированного внедрения ИИ к агентам, способным выполнять сложные операционные задачи, учиться у экспертов и сохранять надежность по мере изменения бизнес-процессов.

Reindeer разрабатывает корпоративных ИИ-агентов для ключевых операций в таких областях, как финансы, цепочки поставок, логистика и общие службы. Платформа объединяет выполнение рабочих процессов с обратной связью от экспертов, оценкой результатов и одобрением со стороны людей, чтобы агенты могли адаптироваться к нестандартным ситуациям и меняющимся правилам. В этом интервью Наве рассказывает об ограничениях моделей внедрения, требующих значительных инженерных ресурсов, о том, как институциональные знания становятся контекстом для агентов, а также об управлении и оценке, необходимых для постепенного сокращения совокупных трудозатрат людей.

После создания ConvertMedia, масштабирования бизнеса в Taboola и инвестиций в других основателей через INT3 какая проблема побудила вас снова заняться созданием компании и как она повлияла на ваше решение стать сооснователем Reindeer?

Рынок ИИ был слишком захватывающим, чтобы оставаться в стороне. Мы с моим сооснователем Яиром заинтересовались разрывом между тем, насколько полезным стал ИИ в индивидуальной работе с ним, и тем, насколько сложно крупным компаниям внедрять его в масштабах всей организации. Технологии развиваются невероятно быстро, однако большинство организаций по-прежнему не могут преобразовать этот потенциал в значимые изменения в операционной деятельности.

ИИ изменит работу компаний, но для этого недостаточно просто улучшить технологии. Нужны лидеры, готовые переосмыслить организацию труда, и практичный способ внедрить ИИ в повседневную деятельность, не создавая новых уровней сложности.

Именно эта задача определила направление развития Reindeer. Мы создали платформу, которая помогает крупным компаниям перейти от первого агента к целому стаду агентов, обучающихся на обратной связи от людей и со временем совершенствующихся. Наша цель — сократить разрыв между потенциалом ИИ и его практическим внедрением, помогая компаниям превращать ключевые операции в рабочую силу из ИИ-агентов без необходимости перестраивать или постоянно обслуживать каждого агента.

Вы утверждали, что модель инженерной поддержки непосредственно на площадке заказчика грозит превратить корпоративный ИИ в трудоемкий бизнес по оказанию услуг. В каких случаях работа инженеров в тесной связке с заказчиком создает долгосрочную ценность, а в каких становится зависимостью, мешающей клиентам масштабироваться?

Инженеры, работающие непосредственно у заказчика (FDE), полезны при сложных интеграциях и запуске первых агентов в рабочей среде. Проблемы начинаются, когда меняются сами рабочие процессы и инженеры FDE становятся постоянно необходимы, чтобы эти агенты продолжали выполнять свои задачи. Особенно при масштабировании. Модель FDE работает, когда у вас 5 агентов. Но она перестает работать, когда их сто.

Если для каждого нового рабочего процесса или неожиданного исключения требуется все больше инженерной работы, вы масштабируете не программное обеспечение, а дорогостоящий человеческий труд.

Большинство компаний, привлекающих инженеров FDE, утверждают, что со временем те переходят к другим задачам. Прежде чем подписывать контракт, предусматривающий привлечение таких инженеров, крупным компаниям следует потребовать доказательства, что это действительно происходит. Мы уже видели, насколько хрупкой стала роботизированная автоматизация процессов (RPA) по мере изменения бизнес-процессов. Не стоит рассчитывать, что созданные вручную агенты будут вести себя иначе.

В рабочих процессах крупных компаний часто встречаются незадокументированные исключения и противоречащие друг другу практики разных команд. Как Reindeer фиксирует реальный порядок работы и при этом отличает полезные институциональные знания от привычек, которые не следует автоматизировать?

В большинстве крупных компаний накоплен огромный объем институциональных знаний, которые нигде не задокументированы. Они хранятся в головах сотрудников. Наши агенты начинают с неполных знаний и учатся на реальных случаях, обращаясь за советом к профильным экспертам, когда сталкиваются с незнакомыми ситуациями.

Но учиться у сотрудника не значит бездумно копировать его поведение. Наша система отличает единичные исключения от повторяющихся закономерностей и предлагает более широкие изменения на одобрение людей.

Мы не стремимся автоматизировать каждую привычку. Наша задача — превратить ценные институциональные знания в надежный источник интеллектуальных решений, не требуя от инженеров заранее предусматривать все возможные сценарии.

Большинство компаний, работающих с агентным ИИ, начинают с документирования процесса, а затем программируют его, проводя интервью и тщательно изучая исторические данные. Но на практике эффективнее всего процесс осваивается тогда, когда в команду приходит новый сотрудник: он не заучивает данные за год или стандартную операционную процедуру объемом в 3 000 страниц. Он осваивает несколько навыков, знакомится с несколькими примерами, приступает к работе, задает вопросы, когда сталкивается с непонятным, и постепенно накапливает знания. Именно такой процесс мы и создали.

Агентный ИИ также дает компаниям возможность переосмыслить процесс, а не просто автоматизировать его в нынешнем виде. Команды, состоящие только из людей, автоматизация на основе правил и традиционное программное обеспечение — все они формировали процессы с учетом собственных ограничений. Благодаря тому, что агенты учатся вместе с экспертами, Reindeer помогает крупным компаниям заново продумать устройство процессов: определить, какие практики сохранить, от каких отказаться и где агенты и люди приносят наибольшую пользу.

Когда вы говорите, что агенты Reindeer непрерывно обучаются в рабочей среде, что именно меняется: веса модели, память, логика рабочих процессов или явно заданные политики? Можете привести пример исключения, которое учит агента иначе обрабатывать будущие случаи?

Меняются контекст и навыки агента: логика рабочих процессов, политики и инструкции о том, когда применять каждую из них.

Возьмём агента по обработке счетов. Он получает счёт, сумма в котором на 4% превышает сумму заказа на закупку, и не может найти политику, которая распространялась бы на этот случай. Вместо того чтобы обработать счёт, агент передаёт его эксперту. Эксперт объясняет, что для этого поставщика одобрено исключение, допускающее топливные надбавки. Агент разрешает этот случай, а объяснение сохраняется в контексте только для этого поставщика.

Если такое же исключение возникает у других поставщиков, а другие эксперты разрешают его аналогичным образом, система предлагает изменить политику, например: «топливные надбавки до 5% допустимы, если это предусмотрено договором». Прежде чем агент начнёт применять это предложение, оно проходит тестирование и утверждение человеком. Ответ одного эксперта помогает разрешить один случай. Закономерность, выявленная в ряде случаев, может стать основанием для нового правила.

Решение сотрудника может быть уместным для одного клиента или одной операции, но не подходить в качестве общего правила. Как вы определяете, когда отзыв должен остаться разовым исключением, а когда — стать предложением изменить политику?

Мы отделяем разрешение отдельного случая от изменения дальнейшего принципа работы агента.

Сотрудник может разрешить исключение для одного клиента, но это не значит, что такое же исключение следует применять повсеместно. Я бы даже сказал, что два разных сотрудника могут по-разному разрешить исключение для одного и того же клиента. Наша система оценивает обстоятельства, выявляет повторяющиеся закономерности, устраняет противоречия и проверяет, нет ли потенциальных конфликтов с действующими политиками.

Если есть основания для более широких изменений, мы запускаем агента на нашей платформе оценки — своего рода «Шоу Трумана» для агентов — и предлагаем обновление на утверждение человеком.

Цель — учиться у людей, а не бездумно копировать их решения. Иначе вы просто автоматизируете ошибки.

Агент может лучше справляться с недавними случаями, но при этом стать менее надёжным в ситуациях, которые раньше обрабатывал правильно. Какие тесты и этап утверждения должно пройти предлагаемое изменение, прежде чем попасть в рабочую среду, и как вы выявляете и устраняете регрессии?

Непрерывное обучение без надлежащего контроля опасно, поэтому каждое предлагаемое изменение проходит три этапа защиты: регрессионное тестирование, утверждение человеком и проверку по пороговому значению уверенности, которое определяет, когда агент может действовать самостоятельно.

Тестирование — прежде всего, и это сложнее, чем кажется, поскольку в операционной работе нет фиксированного набора правильных ответов. Мы отбираем типичные случаи на основе отзывов экспертов, определяем критерии сравнения результатов и повторно проверяем эти случаи на текущей версии агента и на предлагаемой. Действия с побочными эффектами, например отправка электронного письма, выполняются в симуляторе, созданном на основе прошлых запусков, а тестовые случаи, которые больше не соответствуют действующей политике, исключаются. Мы можем измерить реальный эффект изменения; при этом агенты должны считать, что действуют в реальном мире, а их действия имеют реальные последствия — например, запись в SAP или письмо клиенту. Только так можно создать полноценную систему оценки для каждого агента.

Затем руководитель проверяет изменение, подтверждающие его данные и результаты тестирования и может одобрить, доработать или отклонить его. До утверждения ничего не меняется в работе агента.

Порог уверенности защищает бизнес после внедрения изменения. Агент действует самостоятельно, только если его уверенность превышает порог; в противном случае случай передаётся эксперту. Операционные команды сами настраивают этот порог: они могут начать с осторожных значений и предоставлять агенту больше самостоятельности по мере того, как накапливается история его успешной работы.

Если после изменения качество снижается, система автоматически повышает пороги проверки, чтобы больше случаев передавалось экспертам, а их отзывы выявляли проблему в том же цикле, который привёл к предложению изменения. Каждое изменение политики имеет номер версии, сведения об ответственном и запись в журнале, поэтому команда может узнать, что именно изменилось, кто это утвердил и почему, а также вернуться к предыдущей версии.

Сокращение инженерной работы всё же может оставить операционным командам значительный объём задач по проверке исключений и исправлению ошибок агентов. Как вы измеряете, снижает ли Reindeer общие трудозатраты людей, а не просто переносит их на другую команду?

В действительности в большинстве компаний уже есть команда, которая вручную выполняет эту работу. Наша цель — не перенести эту нагрузку на другую команду, а со временем уменьшить её. Мы привлекаем самых опытных сотрудников из этой команды и помогаем им обучать агента обработке исключений и самостоятельному принятию более взвешенных решений.

Проблема модели FDE в том, что она часто переносит работу от относительно низкооплачиваемых операционных сотрудников к дорогостоящим инженерам. Это не решает проблему трудозатрат, а лишь делает её дороже. Reindeer не привлекает к этому процессу инженеров. Вместо этого мы оцениваем успех по тому, насколько больше задач агенты могут со временем решать самостоятельно и насколько меньше вмешательства людей требуется во всём процессе.

Мы отслеживаем три показателя: долю случаев, которые агент решает самостоятельно от начала до конца; число обращений к экспертам по каждому случаю; и общее время обработки каждого случая с учетом работы и агентов, и людей. Если третий показатель не снижается, значит, мы просто перераспределяем работу.

Можете рассказать на примере одного внедрения в Hellmann Worldwide Logistics или Papaya Global, что изменилось с момента запуска и в ходе дальнейшей работы? Как изменились точность, частота исключений, время выполнения и объем необходимого вмешательства людей?

Hellmann Worldwide Logistics — отличный пример того, как агенты могут со временем улучшать реальные рабочие процессы. Команда по ценообразованию тратила огромное количество времени на ручную обработку запросов на перевозку, поступавших по электронной почте, в таблицах и других документах. Нередко на подготовку ценового предложения уходило несколько дней.

Сначала мы использовали около 20 примеров запросов, чтобы разобраться в рабочем процессе и обучить агента. Затем специалисты Hellmann по ценообразованию стали напрямую работать с системой, давать обратную связь и помогать ей справляться с нестандартными ситуациями. Во время тестирования мы отслеживали точность и скорость, а после запуска агента в промышленную эксплуатацию продолжили следить за его работой.

Теперь рутинные запросы обрабатываются автоматически, а более сложные передаются команде. Важно, что агент распознает отсутствие необходимой информации, а не строит догадки, поэтому сотрудники могут вмешаться именно там, где требуется их экспертиза.

В результате сократилось время подготовки ценовых предложений, стало меньше задач по ручному вводу данных, а у сотрудников появилось больше времени на работу с клиентами. Кроме того, в Hellmann выросла доля выигранных предложений. Цель не в том, чтобы исключить людей из процесса, а в том, чтобы постоянно сокращать объем рутинной работы, требующей их вмешательства.

Что вы узнали об ограничениях такого подхода? Какие особенности рабочего процесса указывают на то, что он готов к использованию адаптивного агента, а какие говорят о том, что компании сначала следует перестроить процесс или оставить традиционную автоматизацию?

Не каждому процессу нужен ИИ-агент. Наибольшие возможности открывают повторяющиеся рабочие процессы с большим объемом операций, требующие контекстных суждений, особенно если информация распределена между несколькими системами, а сотрудникам регулярно приходится разбирать нестандартные ситуации.

Самый очевидный вывод из наших внедрений — в компаниях появляется новая функция, подобно тому как управление доходами возникло вместе с CRM, а DevOps — с облачными технологиями. Когда компании переходят от нескольких агентов к целому их множеству, им нужен человек или команда, которые будут управлять агентами так же, как руководитель отдела управляет коллективом: отвечать за их ключевые показатели эффективности и окупаемость инвестиций, решать, какие задачи поручать агентам, а какие нет, и утверждать изменения в их работе. Компании, которые уже создают такую функцию, движутся быстрее всех и имеют наилучшие шансы на успех.

Разногласия в существующих практиках — не повод ждать. Эксперты расходятся во мнениях почти в каждой сфере деятельности, а наша система помогает выявлять такие противоречия и превращать их в предложения по формированию правил. Устранение этих противоречий входит в обязанности ответственного за эту функцию — это еще одна причина создать ее до масштабирования числа агентов.

У самого этого подхода тоже есть ограничения. Основные операции не будут полностью автоматизированы, и мы не ставим перед собой такой цели. Агенты постепенно расширяют круг выполняемых задач, а работа с ситуациями высокого риска намеренно остается за людьми.

Какие этапы внедрения решений в компаниях, по вашим ожиданиям, станут типовыми по мере совершенствования базовых моделей и инструментов для создания агентов, а в чем Reindeer формирует преимущество, которое будет усиливаться с каждым запуском в промышленную эксплуатацию?

По мере того как базовые модели будут становиться дешевле, быстрее и функциональнее, их будет все проще заменять друг другом. Создавать простых агентов и подключать их к корпоративным системам тоже становится все легче.

Но создать агента — не то же самое, что обеспечить его надежную работу в сложной компании на протяжении длительного времени.

Настоящее конкурентное преимущество — это уникальное знание о том, как на самом деле работает компания, причем эти процессы постоянно меняются. Каждый случай в промышленной эксплуатации дает нашим агентам возможность учиться, разбирать будущие нестандартные ситуации и сокращать необходимость вмешательства людей.

Модели будут дешеветь. Создавать агентов будет проще.

Победителями станут те, кто избавится от дорогостоящей инженерной инфраструктуры, необходимой для поддержания работоспособности и актуальности агентов с течением времени.

Спасибо за интересное интервью! Читателям, которые хотят больше узнать об адаптивных корпоративных ИИ-агентах, автоматизации операций и обучении под руководством человека, рекомендуем посетить сайт Reindeer.