Джонатан Зангер, технический директор Check Point – Интервью

Джонатан Зангер, технический директор Check Point, обладает редкой комбинацией опыта в области военной разведки, глубоких знаний в области ИИ и лидерского опыта в стартапах и глобальных корпорациях. До своего нынешнего поста он занимал должность технического директора в Trigo, где возглавлял разработку следующего поколения систем ИИ и компьютерного зрения, обеспечивающих беспроблемную розничную торговлю и предотвращение потерь в масштабе, а также согласовывал продукцию и исследования с реальными коммерческими целями. Ранее он занимал руководящие должности в области исследований и разработок в Trigo и более десяти лет служил в элитном подразделении 8200 Израиля, в конечном итоге возглавив отдел кибернетических исследований и разработок, отвечающий за национальные инициативы в области разведки и кибербезопасности, и получил высшие национальные награды за свою работу.

Check Point Software Technologies (CHKP ) является мировым лидером в области кибербезопасности, предоставляющим решения по кибербезопасности на основе ИИ, доставляемые через облако, предназначенные для защиты предприятий и правительств от все более сложных цифровых угроз. Компания обслуживает более 100 000 организаций по всему миру с помощью комплексной платформы, обеспечивающей безопасность сетей, облачных сред, конечных точек и пользователей посредством подхода, основанного на предотвращении, целью которого является остановка атак до их возникновения. Ее интегрированная архитектура использует искусственный интеллект и информацию о угрозах в реальном времени для упрощения операций по безопасности, снижения рисков и обеспечения возможности организациям масштабировать безопасность при внедрении ИИ, облачных вычислений и распределенных систем.

Вы возглавляли крупномасштабные инициативы по кибербезопасности и ИИ, создавали системы на основе ИИ в Trigo, и теперь курируете стратегию ИИ в Check Point. Какие конкретные режимы отказа вы наблюдали, когда системы ИИ переходят из контролируемых сред в производство, особенно когда им предоставляется доступ к инструментам и данным предприятия?

Две вещи фундаментально меняются в производстве. Во-первых, масштаб превращает пограничные случаи в повседневные события. Коэффициент ложных положительных результатов в 0,1 процента звучит отлично в лаборатории, но когда вы обрабатываете миллионы взаимодействий, это переводится в тысячи инцидентов, которые требуют внимания. Статистические выбросы при тестировании становятся операционными реалиями в масштабе.

Во-вторых, производство означает враждебное воздействие. В контролируемой среде входные данные являются безобидными и предсказуемыми. В реальном мире некоторые пользователи и злоумышленники будут активно пытаться обмануть систему, используя каждый недоверенный канал данных для манипулирования поведением. Переход от демонстрации к производству не является проблемой масштабирования. Это сдвиг от кооперативной среды к спорной, и это требует фундаментально разных предположений о проектировании.

В агентных системах, где модели могут вызывать API, выполнять код и объединять действия, какие наиболее критические поверхности атаки остаются недостаточно инструментированы командами безопасности?

Критическая поверхность, которую большинство команд недооценивают, – это сами данные. Агентные системы регулярно получают доступ к недоверенным источникам данных – входящим электронным письмам, веб-сайтам, тикетам Jira, открытым исходным кодам, внешней документации. Эти данные анализируются моделями в рамках их процесса рассуждения.

Это создает два конкретных риска. Во-первых, отравление памяти – когда манипулированный контент тонко формирует будущие ответы и решения модели без какого-либо очевидного внедрения подсказки. Во-вторых, косвенное внедрение подсказки – когда враждебные инструкции встраиваются в эти внешние данные и эффективно освобождают модель изнутри. Нападавший никогда не касается подсказки напрямую. Он просто сажает инструкции, где агент их найдет.

Внедрение подсказки часто представляется как проблема модели, но на практике это становится системной проблемой. Как должны предприятия переработать свою архитектуру, чтобы изолировать входные данные модели, выполнение инструментов и доступ к чувствительным данным?

Внедрение подсказки не является универсальной проблемой с универсальным решением. То, является ли данная входная информация законной или враждебной, зависит полностью от контекста. Запрос агенту “изменить пароль администратора” является совершенно законным, если это технический агент службы поддержки. Аналогичный запрос чат-боту онлайн-ретейлера является атакой.

Это почему архитектура имеет значение больше, чем любой отдельный метод обнаружения. Системы нуждаются в детерминированных и недетерминированных механизмах, работающих вместе. Детерминированные контроли управляют доступом к инструментам и данным на основе идентификатора агента, идентификатора пользователя и определенной роли системы. Недетерминированные, основанные на модели контроли добавляют возможность понимания языка, контекста и намерения. Вам нужны оба слоя – жесткое соблюдение политики и интеллектуальное контекстное рассуждение – потому что ни один из них в отдельности не является достаточным.

Многие агенты ИИ полагаются на генерацию, дополненную извлечением, и внешние источники данных. Каковы риски вокруг отравления данных и манипулирования контекстом в этих конвейерах, и как их можно смягчить во время выполнения?

Риски различаются в зависимости от направления потока данных. Для внутренних источников данных основным риском является утечка чувствительных данных – раскрытие личной информации, обмен данными между клиентами, внутренней информацией, доступной неуполномоченным сторонам. Для внешних источников данных риски включают предвзятость модели из-за не проверенной информации, косвенное внедрение подсказки, встроенной в извлеченную информацию, и зависимость от недоверенных или манипулированных источников.

Смягчение должно происходить на уровне транзакции, в реальном времени. Каждое агентное взаимодействие должно быть защищено в обоих направлениях: обеспечение того, что чувствительные данные не просачиваются изнутри наружу, и обеспечение того, что отравленные или враждебные данные не поступают извне в систему или модель. Вы не можете решить эту проблему только на уровне приема, потому что контекст динамичен, и ландшафт угроз постоянно меняется.

Ваша плоскость защиты ИИ вводит унифицированный слой контроля на уровне использования ИИ сотрудниками, приложениями и агентными системами. Какими были самые большие архитектурные проблемы при построении системы, которая может наблюдать и обеспечивать соблюдение политики на таком фрагментированном стеке ИИ?

Мы считаем, что в ближайшем будущем агентные рабочие нагрузки будут охватывать конечные точки, приложения, сервисы SaaS и облачные рабочие нагрузки – все гипер-связаны в том, что мы называем “Интернетом агентов”. Идея защиты ИИ – обнаружить, управлять и защитить эту развивающуюся агентную инфраструктуру предприятия в едином окне.

Основной архитектурный вызов заключается в динамической оценке профиля риска и контекста каждого агента, а также в разработке эффективной защиты в реальном времени для каждой агентной транзакции. Это означает поддержание высоких показателей блокировки против реальных угроз, минимизируя ложные положительные результаты – на производственной скорости и масштабе, в нескольких средах. Построение системы, которая может наблюдать и обеспечивать соблюдение политики последовательно на таком фрагментированном и быстро эволюционирующем стеке ИИ, потребовало от нас переосмыслить, как мы абстрагируем и оцениваем деятельность ИИ на фундаментальном уровне.

Платформа подчеркивает принятие решений в реальном времени на машинной скорости на нескольких языках и рабочих процессах. Как вы балансируете ограничения задержки с необходимостью глубокого осмотра и контроля действий ИИ в производственных средах?

Мы разрабатываем и обучаем основные модели специально для предотвращения угроз, затем используем методы дистилляции для того, чтобы сделать их чрезвычайно эффективными. Это позволяет нам запускать вывод быстро и с минимальными вычислениями – даже на CPU или коммерческих GPU – при сохранении максимальной точности и покрытия на нескольких языках и модальностях, включая анализ изображений и аудио.

Такой подход позволяет нам глубоко осматривать агентные транзакции без того, чтобы стать узким местом. Безопасность, которая вводит недопустимую задержку, будет обойдена. Безопасность, которая невидима для рабочего процесса, но обеспечивает значимые контроли, – это то, что фактически развертывается и остается развернутым.

Агенты ИИ все чаще работают с делегированными разрешениями на нескольких системах. Как должны организации пересмотреть управление идентификацией и доступом для нечеловеческих акторов, особенно когда агенты динамически расширяют свой объем через использование инструментов?

Ошибка, которую совершают большинство организаций, заключается в том, что они рассматривают агентов ИИ либо как расширения человеческих пользователей, либо как традиционные учетные записи служб. Ни одна из этих моделей не подходит. Думайте о них как о цифровых сотрудниках – сущностях с определенными ролями, обязанностями и границами.

Идентификация агента должна определяться тремя измерениями: конкретным рабочим процессом, который агент выполняет, пользователем, который владеет или создал агента, и пользователем, который в настоящее время взаимодействует с ним. Все три фактора формируют то, что агент должен быть разрешен делать. Помимо этого, организации должны применять принципы нулевого доверия к агентам – никогда не предполагайте доверие на основе происхождения, постоянно проверяйте поведение и обеспечивайте минимальные привилегии на каждом шаге. Без этого агенты будут молча накапливать больше полномочий, чем кто-либо намеревался.

Большинство предприятий сейчас имеют тень ИИ-использования на уровне сопилотов, плагинов и внутренних скриптов. Какую телеметрию должны команды безопасности собирать, чтобы получить реальную видимость того, как ИИ взаимодействует с чувствительными данными?

Видимость должна работать на уровне агентной транзакции – не только подсказки и ответы, но и вызовы инструментов, данные, возвращенные этими инструментами, и действия, предпринятые в результате. Команды безопасности должны видеть полную цепочку: что было запрошено, какие данные были доступны, какие инструменты были вызваны, какие параметры были переданы, и что произошло дальше.

Без этой транзакционной телеметрии вы не можете ответить на基本ные вопросы об воздействии, неправильном использовании или влиянии. Тень ИИ не опасна потому, что она существует. Она опасна потому, что она работает без этого уровня управления или прозрения.

Красная команда агентных систем фундаментально отличается от тестирования статических приложений. Как вы имитируете враждебное поведение на нескольких рабочих процессах, и какие виды эксплойтов чаще всего обнаруживаются?

Мы эксплуатируем Гэндальфа (https://gandalf.lakera.ai), который является крупнейшим упражнением по красной команде ИИ в мире. Это платформа, основанная на краудсорсинге, где реальные пользователи пытаются убедить агентов ИИ нарушить их ограничения. Это дает нам уникальный и непрерывно растущий набор данных реальных тактик противников – не теоретических атак, а стратегий, которые реальные люди используют для манипулирования системами ИИ.

Мы используем этот набор данных для стимулирования наших возможностей красной команды. Атаки, которые мы видим чаще всего, включают в себя пользователей, постепенно убеждающих агентов нарушить их ограничения – через косвенное внедрение подсказки, творческое переформулирование, манипулирование контекстом и постепенное использование доверия на протяжении нескольких взаимодействий. Эти проблемы невидимы, если вы тестируете только отдельные подсказки. Вам нужно тестировать последовательности и устойчивые враждебные кампании.

Когда атакующие начинают использовать автономные агенты для постоянного сканирования систем, ожидаете ли вы, что защита сдвинется в сторону адаптивных контролей в реальном времени, управляемых ИИ, и как выглядит эта архитектура на практике?

Да. Статическая защита не может идти в ногу с автономными атаками, работающими непрерывно. Защита должна стать адаптивной, управляемой в реальном времени и автоматизированной. Это означает мониторинг поведения ИИ в реальном времени, постоянную оценку рисков и немедленное принуждение, когда политики нарушаются. Скорость и масштаб атак, управляемых ИИ, будут противостоять только равно быстрым, машинно-скоростным защитам.

На практике безопасность становится обратной связью, а не набором правил. Системы ИИ наблюдаются, оцениваются и ограничиваются динамически, на той же скорости и масштабе, на которой они работают. Этот сдвиг необходим, если организации хотят развернуть ИИ безопасно на уровне предприятия.

Спасибо за отличное интервью, читателям, которые хотят узнать больше, следует посетить Check Point Software Technologies.