Али Саррафи, генеральный директор и основатель компании Kovant – серия интервью.

Али Саррафи, Генеральный директор и основатель Kovant — опытный руководитель в сфере технологий и искусственного интеллекта, проживающий в Стокгольме, с успешным опытом создания и масштабирования быстрорастущих компаний в области ИИ. С момента основания Kovant в конце 2024 года он опирается на глубокий опыт в разработке корпоративной стратегии ИИ, выводе продуктов на рынок и масштабировании операционной деятельности. Ранее он занимал должность вице-президента по стратегии в Silo AI после ее приобретения компанией AMD, где отвечал за формирование корпоративной стратегии ИИ и обеспечение широкомасштабного внедрения. В начале своей карьеры он стал соучредителем Combient Mix, возглавив компанию в период ее быстрого роста и успешного приобретения компанией Silo AI, а с тех пор занимал консультативные и руководящие должности в образовательных и ИИ-стартапах, что отражает его неизменную ориентацию на преобразование передового ИИ в реальный бизнес-результат.

Ковант Kovant — это компания, специализирующаяся на корпоративном искусственном интеллекте и помогающая организациям перейти от экспериментального использования ИИ к полностью функционирующим, автономным бизнес-процессам. Компания разрабатывает платформу на основе агентов, предназначенную для управления командами агентов ИИ в сложных операционных областях, таких как закупки, цепочки поставок, соблюдение нормативных требований и работа с клиентами. Делая акцент на безопасном развертывании корпоративного уровня и быстрой окупаемости инвестиций, Kovant позиционирует себя как мост между стратегическими амбициями в области ИИ и повседневной практикой, помогая крупным организациям внедрять ИИ непосредственно в основные рабочие процессы, а не рассматривать его как отдельный инструмент или пилотный проект.

Вы руководили крупными инициативами в области ИИ в Spotify, масштабировали и продали Combient Mix, а позже формировали стратегию корпоративного ИИ в Silo AI, прежде чем основать Kovant. С какими конкретными пробелами или трудностями вы столкнулись на этих должностях, которые убедили вас в том, что настало время создать автономную корпоративную платформу, и как этот опыт повлиял на основную философию проектирования Kovant?

На предыдущих должностях я постоянно сталкивался с несколькими повторяющимися проблемами. Во-первых, большинство «вертикальных» инструментов ИИ фактически привязаны к единому программному стеку: они немного лучше справляются с одной задачей в рамках этого стека, но испытывают трудности, когда рабочий процесс должен охватывать несколько систем. В то же время корпоративные данные разбросаны по множеству инструментов, и многие решения для автоматизации просто не могут до них дотянуться. Добавьте к этому многолетнюю точечную интеграцию, и вы получите классическую «спагетти-архитектуру»: сложность возрастает, изменения происходят медленнее, и команды в итоге автоматизируют отдельные шаги, вместо того чтобы переосмыслить рабочий процесс от начала до конца. В результате окупаемость инвестиций часто оказывается медленнее и меньше, чем ожидают организации.

Kovant разработан в ответ на эту реальность. Наша основная философия заключается в том, что агенты должны вести себя больше как сотрудники: они работают с различными инструментами, их «нанимают» для выполнения задач, а не для автоматизации одной конкретной последовательности действий. Именно поэтому в систему встроены интеграции и оркестровка, и именно поэтому мы предполагаем, что корпоративные данные часто бывают неструктурированными и неорганизованными — для обработки исключений и неоднозначностей необходим более человекоподобный подход.

Мы используем базовые агенты для достижения скорости и масштабируемости, при этом сохраняя суверенитет данных в центре внимания: предприятия могут получать доступ к своим данным и использовать их в горизонтальном режиме, не покидая территорию предприятия.

Kovant позиционирует себя как автономная корпоративная платформа, способная управлять целыми операциями и подразделениями с помощью агентов искусственного интеллекта. Как вы определяете понятие «автономность» в контексте предприятия, и чем это отличается от инструментов автоматизации и агентов, с которыми компании уже экспериментируют сегодня?

В контексте предприятия, когда мы говорим «автономный», мы не имеем в виду «без надзора». Мы подразумеваем, что агенты ИИ могут выполнять реальные действия от начала до конца в рамках всей операции с четкими целями и ограничениями, и они будут передавать управление человеку, когда потребуется контроль.

Отличительной чертой Kovant являются наши базовые агенты. Вместо автоматизации одного фиксированного процесса или следования заранее заданной последовательности, агенты Kovant могут работать в команде (или рое) над операцией, используя только инструкции и общий план действий, который мы называем «чертежом». Они не предназначены для решения одной узкой задачи; они сотрудничают для решения сложных рабочих процессов, адаптируются к меняющимся условиям и передают управление другим сотрудникам, когда ситуация требует контроля.

Например, команда специалистов по управлению запасами может выполнять все следующие задачи без необходимости перестраивать их с нуля, включая: общение с поставщиками по электронной почте, мониторинг уровня запасов и сигналов об отсутствии товара на складе, отслеживание отгрузок и заказов на закупку, обновление статусов в различных системах, создание заявок на устранение несоответствий для утверждения специалистами по планированию запасов, перераспределение запасов между складами и консолидацию отчетов по запасам.

Таким образом, вместо концепции «чат плюс инструменты» или ненадежных автоматизированных систем, которые ломаются в больших масштабах, предприятия переходят от создания агентов к их масштабируемому запуску.

Несмотря на огромный интерес к агентному ИИ, многие организации по-прежнему находятся в режиме пилотного внедрения. Исходя из того, что вы наблюдаете в реальных проектах, каковы основные причины, по которым компаниям трудно перейти от экспериментов к масштабируемому производству?

Мы видим, что большинство организаций застревают в пилотном режиме не потому, что идея неверна, а потому, что окружающая среда неблагоприятна для масштабирования.

Первая проблема — это фрагментированный ландшафт корпоративных технологий. Рабочие процессы охватывают множество систем, данные хранятся в разных местах, и надежно объединить все это воедино сложно. Кроме того, агентный ИИ часто используется как дополнение к существующим инструментам, а не как способ переосмысления того, как должен работать рабочий процесс от начала до конца.

Существует также реальная проблема архитектуры и данных. Многие поставщики SaaS-решений по-прежнему пытаются ограничить доступ к данным, что создает несовместимость и ограничивает возможности агентов в разных системах. Кроме того, многие команды недооценивают тот факт, что большая часть корпоративных данных неструктурирована (электронная почта, документы, заявки, PDF-файлы, журналы чатов). Если ваш подход предполагает чистые, структурированные данные, получение результатов становится долгим, сложным и трудновоспроизводимым процессом после пилотного проекта.

Короче говоря: фрагментация, зависимость от конкретных условий и неструктурированные данные создают препятствия, и пилотные проекты никогда не переходят в серийное производство, пока эти факторы не будут учтены при проектировании.

Надежность часто называют самым большим препятствием для внедрения агентов ИИ в реальном мире. Почему так много систем агентов выходят из строя, как только покидают контролируемую среду, и как подход Kovant уменьшает такие проблемы, как галлюцинации и непредсказуемое поведение?

Некоторые системы ИИ отлично показывают себя в демонстрациях, но терпят неудачу в реальном мире из-за несовершенства и непредсказуемости среды. Данные неполны или противоречивы, постоянно возникают нестандартные ситуации (возвраты, споры, специальные согласования). Рабочие процессы охватывают множество инструментов, платформ и интеграций, которые меняются со временем, а права доступа различаются. Когда от ИИ-агента требуется выполнить большую задачу и одновременно получить слишком много контекста, возрастает риск галлюцинаций и странного поведения.

Kovant целенаправленно снижает этот эффект. Наша уникальная архитектура сужает проблемное пространство, пространство решений и контекст, с которыми работают модели, чтобы уменьшить количество ложных срабатываний. Мы также разбиваем операции на узкие, сфокусированные задачи для отдельных агентов и этапов. Это делает поведение более предсказуемым, добавляет отслеживаемость и управляемость в систему и позволяет лучше управлять ложными срабатываниями. Мы можем видеть, что делал каждый агент, где начался сбой, и вмешиваться или эскалировать ситуацию при необходимости.

Галлюцинации не исчезают волшебным образом, но, ограничивая обязанности каждого агента и контекст, в котором он может действовать, мы можем уменьшить их частоту и ограничить их воздействие. Этот подход «сужения задачи/контекста» также был подтвержден в недавних исследованиях исследовательской группы Nvidia, которая обнаружила аналогичные преимущества от ограничения процесса принятия решений агентами.

Вопрос подотчетности становится все более актуальным по мере того, как агенты ИИ начинают совершать реальные действия в бизнес-системах. Как подробные журналы действий меняют дискуссию о доверии, соблюдении нормативных требований и операционных рисках?

Подробные журналы действий позволяют увидеть, что произошло, почему это произошло и что будет дальше.

Подробные журналы превращают загадочного бота, работающего в машине, в систему, которую можно исследовать.

В Kovant при развертывании любого ИИ-агента создается карта рисков, на основе которой организация может принимать решения. У нас встроен механизм контроля доступа для людей к рискованным действиям, это означает, что агенты могут выполнять эти задачи только после проверки и одобрения решения человеком. Все эти действия регистрируются так же, как и в системе учета, и являются отслеживаемыми.

Мы считаем важным сочетать ведение журналов действий с человеческим контролем и наблюдением, чтобы минимизировать риски. Это позволяет сохранить преимущества скорости и масштабируемости, которые обеспечивают агенты, управляющие реальными операциями.

Всё чаще обсуждается вопрос о возможности страхования ИИ-агентов из-за непрозрачности процесса принятия решений. Как обеспечение возможности аудита и воспроизведения рабочих процессов агентов помогает решить проблему «чёрного ящика» и открывает путь к страхованию?

Проблема «черного ящика» — вот что затрудняет страхование. Если вы не можете четко показать, что сделал агент, почему он это сделал и какие меры контроля были приняты, любому, особенно страховщикам, будет сложно оценить риск.

Наш подход, по сути, является расширением системы подотчетности, описанной в предыдущем ответе. Мы разбиваем сферу принятия решений и влияние действий на более мелкие части, чтобы модель не принимала одно большое, непрозрачное решение, способное повлиять на всю операцию. Каждый шаг становится более узким, предсказуемым и простым для оценки.

Затем мы добавляем подробные журналы, возможность наблюдения и человеческий контроль. Для принятия наиболее важных и значимых решений мы используем человека-контролера, чтобы агент мог продолжить работу только после проверки и одобрения. Это обеспечивает гораздо большую прозрачность того, как рабочий процесс работает на практике.

Завершающим этапом является обеспечение возможности аудита и воспроизведения рабочих процессов. Если что-то пойдет не так, вы сможете воспроизвести произошедшее, быстро провести расследование, проверить правильность исправлений и продемонстрировать, как часто требуется одобрение человека и где находятся механизмы защиты. С точки зрения андеррайтинга, это приводит к следующему: загадочное поведение ИИ в нечто более близкое к стандартному операционному риску.

В контексте таких инициатив, как Agentic AI Foundation, направленных на создание общих стандартов для агентных систем, что вы считаете наиболее перспективными аспектами этих усилий, и в чем они все еще не соответствуют реальным потребностям предприятий?

Стандартизация, как правило, — это хорошо. AAIF может выполнить не самую привлекательную, но необходимую работу по обеспечению единого языка общения агентских систем, что должно упростить интеграцию и со временем снизить зависимость от конкретного поставщика.

Меня настораживает вопрос о том, чья точка зрения формирует стандарты. Если большая часть работы выполняется создателями моделей и технологическими компаниями, находящимися на этапе масштабирования, существует риск того, что «стандарты» будут оптимизированы для того, что проще всего создать или продемонстрировать, а не для того, что действительно необходимо крупным организациям для безопасной работы агентов в повседневной деятельности.

В реальных условиях работы предприятия пробелы, как правило, связаны не столько с коннекторами, сколько с контролем: к чему агент может получить доступ и что он может изменить, рабочие процессы утверждения для действий, оказывающих существенное влияние, журналы аудита и наблюдаемость, позволяющая командам отслеживать поведение, расследовать инциденты и доказывать соответствие требованиям. Предприятиям также необходимы практические стандарты для работы в сложных условиях: тестирование на крайних случаях, обработка изменяющихся систем и возможность безопасно приостанавливать, изолировать или отменять действия в устаревших инструментах и ​​регулируемых средах данных.

Таким образом, это многообещающее направление, но его влияние будет ограниченным, если требования предприятия и меры контроля операционных рисков не будут рассматриваться как второстепенные.

Компания Kovant уже получила значительный доход от крупных скандинавских предприятий, работая при этом преимущественно в режиме скрытности. Какие типы бизнес-функций или рабочих процессов сегодня наиболее готовы для автономных агентов искусственного интеллекта?

Как показывает опыт реальных внедрений, сегодня наиболее «готовыми» являются рабочие процессы, состоящие из реактивной офисной работы: мониторинг, отслеживание, проверка, обновление систем, обработка исключений и поддержание бесперебойной работы различных инструментов.

В производственной сфере и в более широких цепочках поставок предприятий это проявляется во многих аспектах:

• Поиск поставщиков/закупки: доступность сырья, устойчивые источники поставок, соблюдение нормативных требований, выбор поставщиков (включая двойные/многоканальные источники поставок), управление контрактами, управление рисками поставщиков и управление тендерами/заявками.
• Постановка: планирование производственных мощностей, составление графиков производства, управление техническим обслуживанием, управление качеством, управление узкими местами и предотвращение потерь.
• Складирование: приемка и проверка, управление запасами, ротация запасов (FIFO/FEFO) и циклическая инвентаризация/аудит.
• Транспорт / Логистика: выбор вида транспорта и перевозчика, таможенное оформление/документация, отслеживание и прозрачность, мониторинг выбросов и соблюдение торговых правил.
• Продажи и сервис: наличие продукции, предотвращение дефицита, управление продажами/возвратами, анализ поведения потребителей, а также послепродажное обслуживание, такое как ремонт, отслеживание окончания срока службы, работа мастерских и сервисные контракты.

Как вы рекомендуете сбалансировать автономность и человеческий контроль при внедрении ИИ-агентов в критически важные процессы предприятий, чтобы обеспечить управление без замедления работы?

Баланс заключается в управляемой автономии. Необходимо позволять агентам быстро выполнять работу с низким уровнем риска в рамках четких ограничений и передавать задачу человеку, когда действие превышает определенный порог риска.

Многие сбои возникают из-за того, что модель получает слишком большой объем данных и слишком большой контекст одновременно. Я рекомендую разбивать операции на более мелкие, узкоспециализированные решения, где каждый шаг имеет четкие права доступа и ограниченный радиус воздействия. Это уменьшает непредсказуемое поведение и упрощает мониторинг и улучшение производительности.

Затем вы объединяете три вещи: наблюдаемость, журналы действий и человеческий контроль. Все действия агента должны быть отслеживаемыми, чтобы вы могли проверить, что произошло, и быстро провести расследование. Для действий, имеющих большое значение или сопряженных с риском, вы добавляете этап утверждения человеком в рабочий процесс, чтобы агент мог предложить и подготовить действия, но выполнял их только после одобрения сотрудником.

Это позволяет поддерживать быстрый темп работы. Замедление происходит лишь незначительно на этапе человеческого контроля, но это важная часть процесса. Люди не обязаны контролировать каждый щелчок мышью, но они по-прежнему контролируют моменты, имеющие значение. В результате достигается скорость там, где это безопасно, и контроль там, где это необходимо.

Заглядывая в будущее, как, по вашему мнению, будет развиваться роль автономных агентов искусственного интеллекта в крупных организациях в ближайшие несколько лет, и что будет отличать компании, которые добьются успеха в использовании агентного ИИ, от тех, кто столкнется с трудностями?

В ближайшие несколько лет автономные агенты на основе ИИ перейдут от интересных экспериментов к полноценному операционному уровню в крупных организациях. Их будут использовать в операционной деятельности, обслуживании клиентов, финансах и управлении персоналом. По мере повышения надежности, управления и контроля мы увидим, как предприятия перейдут от изолированных пилотных проектов к управлению командами агентов на всех этапах рабочих процессов.

Самое значительное изменение заключается в том, что скорость, гибкость, масштабируемость, эффективность и затраты станут гораздо более прямым конкурентным преимуществом. Я думаю, что для предприятий назревает «движение Uber». Те, кто по-настоящему освоит агентный ИИ, смогут работать в принципиально более высоком темпе, чем отстающие, быстрее захватывать рынки и реагировать на изменения без обычных операционных задержек.

Победителей отличает не просто развертывание агентов, а их грамотное развертывание. Ключевыми факторами станут управляемая автономность, надежная наблюдаемость и журналы действий, а также архитектуры, сужающие область принятия решений. Компании, которые рассматривают агентный ИИ как ключевой операционный инструмент, с правильным контролем, интеграцией и управлением, будут использовать его для достижения больших результатов, а не для уменьшения их объема. Это позволит командам сосредоточиться на росте и инновациях, а не тратить дни на административную работу. Короче говоря, радикальная скорость и эффективность становятся настоящим конкурентным преимуществом в масштабах предприятия.

Спасибо за отличное интервью, читатели, которые хотят узнать больше, должны посетить Ковант.