Вин Шарма, сооснователь и генеральный директор Vijil — серия интервью

Вин Шарма — сооснователь и генеральный директор Vijil. За его плечами более 30 лет работы в сфере кибербезопасности, открытого программного обеспечения, облачных вычислений и инфраструктуры ИИ. До основания компании он руководил инженерными работами в области глубокого обучения для Amazon SageMaker и Amazon Bedrock в AWS, занимался разработкой инфраструктуры центров обработки данных в Intel, а также занимал должности в сфере разработки продуктов и инженерии в Hewlett-Packard. Его карьера началась с автоматизированного тестирования доверенных UNIX-систем методом «красной команды»; этот опыт определил его стремление сделать корпоративных ИИ-агентов надежными, защищенными и безопасными.

Vijil создает инфраструктуру доверия для корпоративных ИИ-агентов, помогая организациям оценивать их поведение, обеспечивать соблюдение ограничений и повышать устойчивость на всех этапах жизненного цикла агента. Этот подход объединяет тестирование, безопасность и непрерывную обратную связь, чтобы поведение агентов соответствовало целям и политикам организации. В этом интервью Шарма рассказывает, как определить и измерить доверие, чем тестирование агентов отличается от традиционного обеспечения безопасности программного обеспечения и какой надзор необходим предприятиям по мере роста автономности агентов.

Вы более 30 лет работали в таких компаниях, как AWS, Intel и Hewlett-Packard, прежде чем основать Vijil. Что в итоге убедило вас в том, что доверие к ИИ и его безопасность — настолько масштабная нерешенная проблема, что вокруг нее стоит создать компанию?

За 30 лет до того, как я присоединился к стартапу в сфере безопасности, я учился в аспирантуре и занимался ИИ и машинным обучением. С тех пор я работал в продуктовых командах, которые внедряли защиту военного уровня в операционные системы на базе Unix и Linux, создавали защищенные веб-серверы для интернет-банкинга и доверенные среды исполнения для облачных вычислений, встраивали шифрование в платформы аналитики данных, а совсем недавно — пройдя полный круг, — вернулся к разработке готовых к использованию в корпоративной среде сервисов ИИ и машинного обучения в AWS. Этот путь убедил меня, что встроить доверие в интеллектуальную систему сложнее, чем создать саму интеллектуальную систему. Индустрия ИИ, похоже, в целом сосредоточена на расширении возможностей агентов, но я считаю, что не меньше ресурсов нужно вкладывать в создание масштабируемых механизмов надзора и контроля для них. Без таких показателей и механизмов, адаптированных к потребностям конкретных организаций, первоначальная волна бурного внедрения сойдет на нет, разбившись о подводные камни рисков и окупаемости инвестиций: компании не смогут доказать, что агенты действуют в их интересах.

Vijil основана на идее, что многие ИИ-агенты так и не доходят до стадии промышленной эксплуатации, поскольку предприятия не могут должным образом проверить их надежность, защищенность и безопасность. Где, на ваш взгляд, возникают самые серьезные пробелы в доверии, когда компании переходят от прототипов ИИ к промышленному развертыванию?

Главное препятствие для развертывания все большего числа агентов с растущей автономностью — способность организаций задать предполагаемое поведение агентов и проверить, что они действительно ведут себя так, как задумано. Причем это нужно делать с той скоростью и в том масштабе, в которых работают агенты. Поэтому логично, что нам нужен способ, позволяющий агентам измерять и корректировать поведение других агентов. Два самых серьезных пробела — непонимание того, что именно измерять (что считать хорошим поведением агента), и того, что именно корректировать (какие компоненты системы агента настраивать, чтобы добиться поведения, которого ожидает его принципал: модель и ее параметры, системную инструкцию, пользовательские инструкции, программную среду агента или граф мультиагентных систем).

Как Vijil определяет и измеряет «доверие» к ИИ-агенту и какие сигналы или контрольные показатели важнее всего при оценке готовности агента к работе в корпоративной среде?

Мы определяем доверие как ожидаемую пользу от делегирования задач автономному агенту за вычетом риска того, что он поступит вопреки нашим намерениям. Иными словами, агенту можно доверять, если он правильно ведет себя в обычных, зашумленных и враждебных условиях, а в случае сбоя сводит к минимуму масштаб последствий. Тогда доверие можно оценивать по трем основным критериям: надежности, защищенности и безопасности. Агенты надежны, если они действуют ожидаемым образом в различных условиях; защищены, если сохраняют ожидаемое поведение в условиях враждебного воздействия; и безопасны, если способны сводить к минимуму деловые, юридические и технические риски.

ИИ-агенты могут вести себя непредсказуемо, поскольку объединяют модели, инструменты, источники данных, память и внешние системы. Чем тестирование агента отличается от традиционного тестирования безопасности приложений или стандартной оценки моделей?

Традиционное программное обеспечение дает сбои по причинам, которые теперь хорошо изучены. В общих чертах к ним относятся неспособность обрабатывать некорректные входные данные, недостатки логики и системного проектирования, ошибки реализации, скрытые уязвимости для атак и непреднамеренные побочные эффекты результатов работы. Поэтому результаты тестирования на такие сбои вполне предсказуемы. Агенты значительно расширяют поверхность возможных сбоев — настолько, что ее принципиально невозможно полностью охватить оценкой моделей, модульными и интеграционными тестами, тестами безопасности приложений, тестами на проникновение и проверками соответствия требованиям. Чтобы проверять новые риски, связанные с агентами, нужны новые показатели и механизмы оценки их поведения с учетом цели, заданной принципалом, особенностей пользователей и политик организации, отрасли и региона, в котором агент работает.

Ваш опыт включает руководство разработкой систем глубокого обучения для Amazon SageMaker и Amazon Bedrock. Какие уроки, извлечённые при создании инфраструктуры ИИ в AWS, сильнее всего повлияли на ваш подход к безопасности и надёжности агентов в Vijil?

Самым важным для меня стало понимание, что выявлять проблемы с надёжностью, безопасностью и соответствием требованиям на ранних этапах разработки гораздо эффективнее и проще, чем накануне запуска — как обычно делали раньше, — и тем более после ввода сервиса в эксплуатацию, когда о его сбоях узнаёшь из телефонных звонков.

Vijil не только тестирует агентов перед развёртыванием, но и защищает их и постоянно совершенствует в рабочей среде. Какие риски становятся заметны лишь тогда, когда агент начинает взаимодействовать с реальными пользователями, данными и корпоративными системами?

Реальный мир способен удивлять бесконечно. А агент, которого удалось застать врасплох, чаще ошибается. Никого не волнует, если агент ошибётся, создавая мем. Но агент, созданный для помощи финансовому консультанту, помощнику юриста, адвокату, медсестре, врачу, пациенту или любому специалисту в отрасли, где необходимо подтверждать соблюдение фидуциарных обязанностей, не сможет работать, если допустимые пределы не будут чётко определены и тщательно контролироваться, а поведение агента — оперативно корректироваться.

По мере того как предприятия внедряют всё более автономных агентов, способных выполнять действия, а не просто генерировать ответы, как должна меняться модель безопасности? Достаточно ли традиционных понятий — разрешений, идентификации и контроля доступа?

Нет. Когда агенты становятся действующими участниками организации, им необходимо присваивать уникальные проверяемые идентификаторы и назначать роли, которые ограничивают как их поведение, так и функции их компонентов — инструментов с разрешениями на доступ к ресурсам, — с помощью политик обязательного управления доступом. Кроме того, необходимо непрерывно отслеживать отклонения от заданных целей и направлять агентов так, чтобы они сохраняли устойчивость при атаках.

Компания Vijil прошла путь от посевного раунда на 6 миллионов долларов до раунда серии A на 17 миллионов долларов, сформировала команду основателей численностью около 20 человек и достигла первого миллиона долларов регулярной годовой выручки. Какие решения сыграли ключевую роль в переходе от ранней технической концепции к коммерческому внедрению?

С самого начала мы решили создать уровень доверия, интегрируемый с выбранной клиентом платформой, и при этом предполагали, что предприятиям со временем понадобятся более широкие возможности настройки, более детальный контроль и более низкая стоимость мультиагентных систем на базе открытых моделей. Стратегия долгосрочного развития платформенного уровня, а не отдельного продукта, даёт нам конкурентные преимущества, но одновременно создаёт непростые условия: найти предприятия, готовые к масштабному управлению агентами, не так просто, как продать услугу переноса системы без изменений.

Вы начали карьеру в 1995 году с разработки автоматизированных тестов для команд «красной команды» в доверенных системах UNIX. Почти три десятилетия спустя как изменились принципы таких проверок, когда тестируемая система — это ИИ-агент, способный рассуждать, адаптироваться и использовать внешние инструменты?

Исторически работа «красной команды» заключалась в проверке защиты организации от скоординированной атаки. Основные принципы по-прежнему актуальны. Нам всё так же нужно проводить скоординированные атаки в контролируемых условиях, чтобы выявлять уязвимости проверяемой организации. Однако сценарные учения «красных команд», разработанные для проверки программных систем в промежуточный период развития этой практики, больше не подходят: ИИ-агенты не похожи на детерминированное программное обеспечение — они созданы, чтобы адаптироваться к окружению, поэтому одну и ту же атаку нельзя предсказуемо повторить. Я считаю, что к агентам следует относиться как к корпорациям. Следовательно, проверка агентов «красной командой» должна учитывать их назначение, выявлять отклонения от намерений пользователей, а также проверять готовность и способность агента обходить правила своего окружения.

Как вы считаете, станет ли независимое тестирование и наличие измеримых стандартов доверия к ИИ-агентам обязательным условием их внедрения на предприятиях? Что должно произойти во всей отрасли, чтобы такой уровень гарантий стал стандартной практикой?

Сегодня разработчики оценивают возможности агентов, «красные команды» проверяют их устойчивость к инъекциям промптов и джейлбрейкам, а команды GRC только начинают тестировать соответствие агентов нормативным требованиям. Очень немногие организации внедряют систему непрерывной проверки поведения, которая работает в фоновом режиме на протяжении всего жизненного цикла агента, пока меняются модели, инструменты, ресурсы, рабочие процессы и целевая среда. Что ещё важнее, Vijil помогает предприятиям уникальным образом: отслеживает фактическое поведение агента в рабочей среде и сопоставляет его со спецификацией, обеспечивая обратную связь для постоянного совершенствования агента. Агенты, выдерживающие атаки, — это те, которые адаптируются и сохраняют устойчивость.

Спасибо за интересное интервью! Читатели, которые хотят больше узнать о тестировании, защите и постоянном совершенствовании корпоративных ИИ-агентов, могут посетить сайт Vijil.