Али Саррафи, генеральный директор и основатель Kovant — серия интервью

Али Саррафи, генеральный директор и основатель Kovant, является опытным технологическим и ИИ-руководителем, базирующимся в Стокгольме, с опытом создания и масштабирования быстрорастущих ИИ-компаний. С момента основания Kovant в конце 2024 года он опирался на глубокий опыт в области стратегии ИИ для предприятий, реализации стратегии выхода на рынок и оперативного масштабирования. Ранее он занимал должность вице-президента по стратегии в Silo AI после его приобретения компанией AMD, где он был ответственным за формирование стратегии ИИ для предприятий и стимулирование широкомасштабного внедрения. Ранее в своей карьере он стал сооснователем Combient Mix, возглавляя компанию через быстрый рост и успешную продажу компании Silo AI, и с тех пор занимал консультативные и должности в советах директоров в области образования и ИИ-стартапов, отражая постоянную направленность на перевод передовых ИИ в реальное бизнес-воздействие.

Kovant – это компания в области корпоративного ИИ, ориентированная на то, чтобы позволить организациям перейти от экспериментального использования ИИ к полностью действующим, автономным бизнес-процессам. Компания разрабатывает платформу на основе агентов, предназначенную для оркестровки команд ИИ-агентов в сложных оперативных доменах, таких как закупки, цепочки поставок, соблюдение требований и операции с клиентами. Подчеркивая безопасное, корпоративное развертывание и быстрое получение практической пользы, Kovant позиционирует себя как мост между стратегической амбицией ИИ и повседневным выполнением, помогая крупным организациям внедрять ИИ непосредственно в основные рабочие процессы, а не рассматривать его как отдельный инструмент или пилотный проект.

Вы возглавляли крупные ИИ-инициативы в Spotify, масштабировали и вышли из Combient Mix, а позже сформировали стратегию ИИ для предприятий в Silo AI до основания Kovant. С какими конкретными пробелами или разочарованиями вы столкнулись на этих должностях, что убедило вас, что время пришло для создания автономной ИИ-платформы, и как эта история сформировала основную философию дизайна Kovant?

На протяжении моих предыдущих ролей несколько постоянных пробелов постоянно появлялись. Во-первых, большинство “вертикальных” ИИ-инструментов фактически являются пленниками единого программного стека: они делают что-то немного лучше внутри этой границы, но борются, когда рабочий процесс должен охватывать несколько систем. В то же время предприятия имеют данные, разбросанные по множеству инструментов, и многие решения по автоматизации просто не могут до них добраться. Добавьте годы точечных интеграций, и вы получите классическую спагетти-архитектуру: сложность увеличивается, изменение становится медленнее, и команды в конечном итоге автоматизируют отдельные шаги, а не переосмысливают рабочий процесс от начала до конца. Результатом является то, что отдача от инвестиций часто появляется позже и оказывается меньше – чем организации ожидают.

Kovant разработана как ответ на эту реальность. Наша основная философия заключается в том, что агенты должны вести себя более как сотрудники: они работают в нескольких инструментах, они “нанимаются” для выполнения задач, а не для автоматизации единой сценарной последовательности. Вот почему интеграции и оркестровка встроены, и почему мы предполагаем, что данные предприятий часто бывают грязными и неструктурированными – им требуется более человеческий подход для обработки исключений и двусмысленности.

Мы используем базовых агентов для достижения скорости и масштаба, сохраняя при этом суверенитет данных в центре внимания: предприятия могут получить доступ и использовать собственные данные между системами, причем данные не покидают помещения предприятия.

Kovant позиционирует себя как автономная ИИ-платформа, способная управлять всей операцией и отделами с помощью ИИ-агентов. Как вы определяете “автономный” в контексте предприятия, и как это отличается от автоматизации и инструментов агентов, с которыми компании уже экспериментируют сегодня?

В контексте предприятия, когда мы говорим “автономный”, мы не имеем в виду “без надзора”. Мы имеем в виду, что ИИ-агенты могут выполнять реальные действия от начала до конца операции с четкими целями и ограничениями, и они будут эскалировать к людям, когда надзор необходим.

Kovant отличается своими базовыми агентами. Вместо автоматизации единого, фиксированного процесса или следования предварительно построенной последовательности агенты Kovant могут работать в команде (или роем) над операцией, используя только инструкции и обзор операции, который мы называем планом. Они не предназначены для одной узкой задачи; они сотрудничают для решения сложных рабочих процессов, адаптируются при изменении условий и передают людям, когда ситуация требует надзора.

Например, команда агентов по управлению запасами может выполнять все следующие задачи без перестройки их с нуля, включая: общение с поставщиками по электронной почте, мониторинг уровней запасов и сигналов отсутствия запасов, отслеживание поставок и заказов на покупку, обновление статусов в системах, создание заявок о расхождениях для утверждения специалистами по планированию запасов, перераспределение запасов между складами и консолидация отчетов о запасах.

Таким образом, сдвиг происходит вместо “чат плюс инструменты” или хрупких автоматизаций, которые ломаются при масштабировании, предприятия переходят от построения агентов к их запуску в масштабе.

Несмотря на огромный интерес к агентскому ИИ, многие организации остаются застрявшими в пилотном режиме. Из того, что вы видите в реальных развертываниях, по каким основным причинам компании испытывают трудности при переходе от экспериментирования к масштабному производству?

То, что мы видим, заключается в том, что большинство организаций не застревают в пилотном режиме, потому что идея неправильна; они застревают, потому что окружающая среда враждебна к масштабированию.

Первым блокатором является фрагментированный ландшафт технологий предприятия. Рабочие процессы охватывают множество систем, данные живут в нескольких местах, и надежная стыковка всего этого является сложной. И агентский ИИ часто развертывается как добавка к существующим инструментам, а не как способ переосмыслить, как должен работать рабочий процесс от начала до конца.

Есть также реальная проблема архитектуры и данных. Многие поставщики программного обеспечения все еще пытаются заблокировать данные, что создает несовместимости и ограничивает то, что агенты могут фактически сделать в нескольких системах. И многие команды недооценивают тот факт, что большинство данных предприятий является неструктурированным (электронные письма, документы, заявки, PDF, журналы чата). Если ваш подход предполагает чистые, структурированные данные, время до получения пользы становится долгим, болезненным и трудным для воспроизведения за пределами пилота.

Вкратце: фрагментация, блокировка и неструктурированные данные создают тормоз – и пилоты никогда не переходят в производство, пока эти реалии не будут учтены при проектировании.

Надежность часто цитируется как самый большой блокатор для развертывания ИИ-агентов в реальном мире. Почему многие системы агентов терпят неудачу, когда они покидают контролируемые среды, и как подход Kovant снижает проблемы, такие как галлюцинации и непредсказуемое поведение?

Некоторые системы агентов выглядят отлично в демонстрациях, затем терпят неудачу в реальном мире, потому что окружающая среда грязна и непредсказуема. Данные неполны или несовместимы, крайние случаи появляются постоянно (возвраты, споры, специальные одобрения). Рабочие процессы охватывают несколько инструментов, платформ и интеграций, которые меняются со временем, и разрешения варьируются. Когда ИИ-агенту поручено выполнить большую задачу и ему предоставляют слишком много контекста одновременно, риск галлюцинаций и странного поведения увеличивается.

Kovant снижает это по дизайну. Наша уникальная архитектура сужает проблемное пространство, пространство принятия решений и контекст, с которым работают модели, чтобы снизить галлюцинации. Мы также разбиваем операции на узкие, сосредоточенные задачи для отдельных агентов и шагов. Это делает поведение более предсказуемым и добавляет прослеживаемость и контролируемость в систему и может лучше управлять галлюцинациями. Мы можем увидеть, что сделал каждый агент, где началась неудача, и вмешаться или эскалировать, когда это необходимо.

Галлюцинации не магически исчезают, но, ограничивая, за что отвечает каждый агент, и ограничивая контекст, на основе которого он может действовать, мы можем снизить их частоту и ограничить их влияние. Этот “узкий задача/контекст” подход также был поддержан в недавней работе команды исследователей Nvidia (NVDA ), которая обнаружила аналогичные преимущества от ограничения принятия решений агентом.

Ответственность является серьезной проблемой, когда ИИ-агенты начинают выполнять реальные действия в бизнес-системах. Как подробные журналы действий меняют разговор вокруг доверия, соблюдения требований и оперативного риска?

С подробными журналами действий мы можем увидеть, что произошло, почему оно произошло и что произойдет дальше.

Подробные журналы превращают агента из загадочного бота, работающего в машине, в систему, которую можно осмотреть.

В Kovant с любым развертыванием ИИ-агента будет карта рисков, на основе которой организация может действовать, мы имеем встроенный механизм одобрения рискованных действий человеком, то есть агенты могут выполнять эти задачи только в том случае, если человек рассмотрит и одобрит решение. Все это регистрируется таким же образом, как и система учета записей, и прослеживается.

Мы считаем, что важно сочетать журналы действий с человеческим надзором и наблюдаемостью, чтобы минимизировать риск. Это означает, что вы все равно получаете преимущества скорости и масштаба от агентов, выполняющих реальные операции.

Есть растущий разговор о том, можно ли вообще страховать ИИ-агентов из-за непрозрачности принимаемых ими решений. Как сделать рабочие процессы агентов доступными для аудита и воспроизводимыми, чтобы помочь решить проблему “черного ящика” и открыть дверь к страхованию?

Проблема “черного ящика” является тем, что делает страхование трудным. Если вы не можете четко показать, что сделал агент, почему он это сделал и какие контроли были в наличии, это трудно для кого-либо, особенно для страховщиков, определить цену риска.

Наш подход является по сути расширением настройки ответственности в предыдущем ответе. Мы разбиваем объем принятия решений и влияние действий на более мелкие части, так что модель не принимает одно гигантское, непрозрачное решение, которое может изменить всю операцию. Каждый шаг уже, более предсказуем и легче оценить.

Мы затем добавляем подробные журналы, наблюдаемость и человеческий надзор. Для наиболее важных и влиятельных решений мы используем человеческого посредника, так что агент может продолжить только после рассмотрения и утверждения. Это создает гораздо большую прозрачность в том, как рабочий процесс ведет себя на практике.

Сделать рабочие процессы доступными для аудита и воспроизводимыми – это последний кусок. Если что-то пойдет не так, вы можете воспроизвести, что произошло, быстро расследовать, проверить исправления и продемонстрировать, как часто требуется человеческое утверждение и где находятся гарантии. В терминах страхования это превращает загадочное поведение ИИ в нечто более похожее на стандартный оперативный риск.

С инициативами, такими как Фонд агентского ИИ, целью которых является создание общих стандартов для агентских систем, какие аспекты этих усилий, по вашему мнению, являются наиболее перспективными, и где они все еще не дотягивают до реальных операций предприятия?

Стандартизация в целом является хорошей вещью. AAIF может выполнить непритязательную, но необходимую работу по приведению систем агентов к одному языку, что должно сделать интеграции проще и снизить зависимость от одного поставщика со временем.

Где я осторожен, так это в том, чья точка зрения формирует стандарты. Если большинство работы ведется создателями моделей и технологическими стартапами, есть риск, что “стандарты” оптимизируются для того, что легче построить или продемонстрировать, а не для того, что крупным организациям действительно нужно для безопасного выполнения агентов каждый день.

Для реальных операций предприятия пробелы, как правило, меньше связаны с коннекторами и больше — с контролем: к чему агент может получить доступ и что он может изменить, рабочие процессы утверждения для действий с большим влиянием, журналы, доступные для аудита, и наблюдаемость, чтобы команды могли контролировать поведение, расследовать инциденты и доказать соблюдение требований. Предприятия также нуждаются в практических стандартах для работы в реальной реальности: тестирование на крайние случаи, обработка изменений систем и возможность безопасно приостановить, ограничить или откатить действия в различных устаревших инструментах и регулируемых средах данных.

Итак, это перспективное направление, но влияние будет ограничено, если требования предприятий и меры контроля операционных рисков не будут учитываться с самого начала.

Kovant уже сгенерировала значительный доход от крупных североевропейских предприятий, работая в основном в скрытном режиме. Какие типы бизнес-функций или рабочих процессов наиболее готовы к автономным ИИ-агентам сегодня?

Из того, что мы видели в реальных развертываниях, рабочие процессы, которые наиболее “готовы” сегодня, являются теми, которые состоят из реактивной беловоротничковой работы: мониторинг, напоминания и последующее сопровождение, проверка, обновление систем, обработка исключений и поддержание операций в нескольких инструментах.

В производстве и более широких цепочках поставок предприятия это проявляется в:

• Закупки/закупки: доступность сырья, устойчивые закупки, операции по соблюдению требований, выбор поставщика (включая использование двух или нескольких поставщиков), управление контрактами, управление рисками поставщиков и управление тендерами/заявками.
• Производство: планирование мощностей, планирование производства, управление техническим обслуживанием, управление качеством, управление узкими местами и предотвращение потерь.
• Складирование: прием и осмотр, управление запасами, ротация запасов (FIFO/FEFO) и циклический учет/аудит.
• Транспортировка / логистика: выбор режима и перевозчика, таможенное оформление/документация, отслеживание и видимость, мониторинг выбросов и соблюдение торговых требований.
• Продажи и обслуживание: доступность продукции, предотвращение отсутствия запасов, управление продажами/возвратами, анализ поведения потребителей, а также послепродажные области, такие как ремонты, отслеживание окончания срока службы, операции мастерской и контракты на обслуживание.

Когда предприятия развертывают ИИ-агентов в критических операциях, как вы рекомендуете сбалансировать автономию с человеческим надзором, чтобы обеспечить контроль без замедления всего?

Баланс заключается в управляемой автономии. Вы должны позволить агентам быстро выполнять работу с низким риском в пределах четких ограничений и эскалировать к людям, когда действие пересекает определенный порог риска.

Многие неудачи возникают из-за предоставления модели слишком широкого объема и слишком большого контекста одновременно. Я рекомендую разбить операции на более мелкие, узкие решения, где каждый шаг имеет четкие разрешения и ограниченный радиус влияния. Это снижает непредсказуемое поведение и делает производительность легче контролировать и улучшать.

Затем вы объединяете три вещи: наблюдаемость, журналы действий и одобрение человеком. Все, что делает агент, должно быть прослеживаемым, так что вы можете осмотреть, что произошло, и быстро расследовать. Для действий с большим влиянием или риском вы ставите человеческий шаг утверждения в рабочий процесс, так что агент может предложить и подготовить, но только выполняет после подписи человека.

Это сохраняет все в движении. Если что-то замедляется, это происходит только слегка на шаге человеческого надзора, но это важная часть процесса. Люди не застряли в надзоре за каждым кликом, но они все еще контролируют моменты, которые имеют значение. Результатом является скорость, где это безопасно, и надзор, где это необходимо.

Оглядываясь вперед, как вы ожидаете, что роль автономных ИИ-агентов будет развиваться внутри крупных организаций в течение следующих нескольких лет, и что будет отделять компании, которые преуспеют в агентском ИИ, от тех, которые будут бороться?

В течение следующих нескольких лет автономные ИИ-агенты перейдут от интересных экспериментов к реальному оперативному слою внутри крупных организаций. Они будут использоваться для операций, обслуживания клиентов, финансов и HR. По мере улучшения надежности, управления и надзора мы увидим, как предприятия переходят от изолированных пилотов к запуску команд агентов в сквозных рабочих процессах.

Самое большое изменение заключается в том, что скорость, гибкость, масштаб, эффективность и затраты станут более прямым конкурентным рычагом. Я думаю, что “движение Uber” идет для предприятий. Те, кто действительно освоит агентский ИИ, смогут работать с фундаментально более высоким темпом, чем отсталые, захватывать рынки быстрее и реагировать на изменения без обычной оперативной задержки.

То, что отделяет победителей, не только развертывание агентов, но и развертывание их хорошо. Управляемая автономия, высокая наблюдаемость и журналы действий, а также архитектуры, которые сужают объем принятия решений, будут ключом к этому. Компании, которые рассматривают агентский ИИ как основную оперативную способность, с правильными контролями, интеграцией и владением, будут использовать его, чтобы сделать больше, а не меньше. Это освободит команды, чтобы сосредоточиться на росте и инновациях, а не тратить свои дни, застрявшими в административных задачах. Вкратце, радикальная скорость и эффективность станут настоящим конкурентным преимуществом в масштабе предприятия.

Спасибо за отличное интервью, читателям, которые хотят узнать больше, следует посетить Kovant.