Интервью
Джонатан Зангер, технический директор Check Point – Интервью
Джонатан Зангер, технический директор Check Point, обладает редкой комбинацией элитного опыта военной разведки, глубоких знаний в области ИИ и лидерского опыта в стартапах и глобальных корпорациях. До своей текущей должности он занимал пост технического директора в Trigo, где руководил разработкой следующего поколения ИИ и систем компьютерного зрения, обеспечивающих бесшовную розничную торговлю и предотвращение потерь в масштабе, а также выравнивал продукт и НИОКР с реальным коммерческим развертыванием. Ранее он занимал руководящие должности в НИОКР в Trigo и более десяти лет служил в элитном подразделении 8200 Израиля, в конечном итоге возглавив отдел кибернетических НИОКР, ответственный за национальные инициативы по разведке и кибербезопасности, и получил высшее национальное признание за свою работу.
Check Point Software Technologies является глобальным лидером в области кибербезопасности, предоставляющим решения по безопасности, управляемым ИИ и доставляемым через облако, предназначенные для защиты предприятий и правительств от все более сложных цифровых угроз. Компания обслуживает более 100 000 организаций по всему миру с помощью комплексной платформы, которая защищает сети, облачные среды, конечные точки и пользователей посредством подхода, основанного на предотвращении, целью которого является остановка атак до их возникновения. Ее интегрированная архитектура использует искусственный интеллект и информацию о угрозах в режиме реального времени для упрощения операций по безопасности, снижения риска и обеспечения возможности организациям масштабироваться безопасно при принятии ИИ, облачных вычислений и распределенных систем.
Вы возглавляли крупномасштабные инициативы по кибербезопасности и ИИ, построили системы, управляемые ИИ, в Trigo, и теперь курируете стратегию ИИ в Check Point. Какие конкретные режимы отказа вы наблюдали, когда системы ИИ переходят из контролируемых сред в производство, особенно когда им предоставляется доступ к инструментам и данным предприятия?
Два основных момента меняются фундаментально в производстве. Во-первых, масштаб превращает крайние случаи в повседневные события. Коэффициент ложных положительных результатов 0,1 процента кажется отличным в лаборатории, но когда вы обрабатываете миллионы взаимодействий, это переводится в тысячи инцидентов, требующих внимания. Статистические выбросы при тестировании становятся операционными реалиями в масштабе.
Во-вторых, производство означает враждебное воздействие. В контролируемой среде входные данные являются безобидными и предсказуемыми. В реальном мире некоторые пользователи и злоумышленники будут активно пытаться обмануть систему, используя каждый недостоверный канал данных для манипулирования поведением. Переход от демонстрации к производству не является проблемой масштабирования. Это сдвиг от кооперативной среды к спорной, и это требует фундаментально разных предположений при проектировании.
В агентных системах, где модели могут вызывать API, выполнять код и цепочить действия, какие наиболее критические поверхности атаки безопасности не инструментируются должным образом?
Критическая поверхность, которую большинство команд недооценивают, – это сами данные. Агентные системы регулярно получают доступ к недостоверным источникам данных – входящим электронным письмам, веб-сайтам, тикетам Jira, открытым исходным кодам, внешней документации. Эти данные анализируются моделями в рамках их процесса рассуждения.
Это создает два конкретных риска. Первый – отравление памяти, когда манипулируемый контент тонко формирует будущие ответы и решения модели без какого-либо очевидного внедрения подсказки. Второй – косвенное внедрение подсказки, когда враждебные инструкции встраиваются в эти внешние данные и эффективно освобождают модель изнутри. Атакующий никогда не касается подсказки напрямую. Они просто сажают инструкции, где агент их найдет.
Внедрение подсказки часто представляется как проблема модели, но на практике это становится системной проблемой. Как должны предприятия переработать свою архитектуру, чтобы изолировать входные данные модели, выполнение инструментов и доступ к чувствительным данным?
Внедрение подсказки не является универсальной проблемой с универсальным решением. То, является ли данная входная информация законной или враждебной, зависит полностью от контекста. Запрос агенту “изменить пароль администратора” является совершенно законным, если это технический агент службы поддержки. Аналогичный запрос чат-боту онлайн-ретейлера – это атака.
Это почему архитектура имеет значение больше, чем любая отдельная методика обнаружения. Системы нуждаются в детерминированных и недетерминированных механизмах, работающих вместе. Детерминированные контроли управляют доступом к инструментам и данным на основе идентификатора агента, идентификатора пользователя и определенной роли системы. Недетерминированные, основанные на модели контроли добавляют возможность понимания языка, контекста и намерения. Вам нужны оба слоя – жесткое соблюдение политики и интеллектуальное контекстное рассуждение – потому что ни один из них в отдельности не является достаточным.
Многие агенты ИИ полагаются на генерацию, дополненную извлечением, и внешние источники данных. Каковы риски вокруг отравления данных и манипуляции контекстом в этих конвейерах, и как их можно смягчить во время выполнения?
Риски различаются в зависимости от направления потока данных. Для внутренних источников данных основным риском является утечка чувствительных данных – раскрытие персональных данных, обмен данными между клиентами, внутренней информацией, представленной неуполномоченным лицам. Для внешних источников данных риски включают предвзятость модели из-за неверифицированной информации, косвенное внедрение подсказки, встроенной в извлеченный контент, и зависимость от недостоверных или манипулированных источников.
Смягчение должно происходить на уровне транзакции, в реальном времени. Каждое агентное взаимодействие должно быть защищено в обоих направлениях: обеспечение того, что чувствительные данные не утекают изнутри наружу, и обеспечение того, что отравленная или враждебная информация не подается извне в систему или модель. Вы не можете решить эту проблему только на уровне ингестии, потому что контекст динамичен, а ландшафт угроз постоянно меняется.
Ваша оборонительная плоскость ИИ вводит единый слой управления на уровне использования ИИ сотрудниками, приложениями и агентными системами. Какими были наиболее значительные архитектурные проблемы при построении системы, которая может наблюдать и обеспечивать соблюдение политики во всей фрагментированной структуре ИИ?
Мы считаем, что в ближайшем будущем агентные рабочие нагрузки будут охватывать конечные точки, приложения, сервисы SaaS и облачные рабочие нагрузки – все гиперсвязанные в том, что мы называем “Интернетом агентов”. Идея за оборонительной плоскостью ИИ заключается в обнаружении, управлении и защите этой развивающейся инфраструктуры агентов предприятия в едином окне.
Основная архитектурная проблема заключается в динамической оценке профиля риска и контекста каждого агента, а также в разработке эффективной защиты в реальном времени для каждой агентной транзакции. Это означает поддержание высоких показателей блокировки против реальных угроз, минимизируя ложные положительные результаты – на производственной скорости и масштабе, на нескольких запущенных средах. Построение системы, которая может наблюдать и обеспечивать соблюдение политики последовательно во всей такой фрагментированной и быстро эволюционирующей структуре ИИ потребовало от нас переосмыслить, как мы абстрагируем и оцениваем деятельность ИИ на фундаментальном уровне.
Платформа подчеркивает принятие решений в реальном времени на скорости машин по нескольким языкам и рабочим процессам. Как вы балансируете ограничения задержки с необходимостью глубокого инспектирования и контроля действий, управляемых ИИ, в производственных средах?
Мы разрабатываем и обучаем основные модели специально для предотвращения угроз, затем используем методы дистилляции, чтобы сделать их чрезвычайно эффективными. Это позволяет нам запускать выводы быстро и с минимальными вычислениями – даже на ЦП или коммодитизированных GPU – сохраняя при этом покрытие на нескольких языках и модальностях, включая анализ изображений и аудио, с максимальной точностью.
Этот подход позволяет нам глубоко инспектировать агентные транзакции без того, чтобы стать узким местом. Безопасность, которая вводит недопустимую задержку, будет обходить. Безопасность, которая невидима для рабочего процесса, но обеспечивает значимые контроли, – это то, что фактически развертывается и остается развернутым.
Агенты ИИ все чаще работают с делегированными разрешениями на нескольких системах. Как должны организации пересмотреть управление идентификацией и доступом для нечеловеческих акторов, особенно когда агенты динамически расширяют свой объем через использование инструментов?
Ошибка, которую большинство организаций совершают, заключается в том, что они обращаются с агентами ИИ либо как с расширением человеческих пользователей, либо как с традиционными учетными записями служб. Ни одна из этих моделей не подходит. Думайте о них как о цифровых сотрудниках – сущностях с определенными ролями, обязанностями и границами.
Идентификация агента должна определяться тремя измерениями: конкретным рабочим процессом, который выполняет агент, пользователем, который владеет или создал агента, и пользователем, в настоящее время взаимодействующим с ним. Все три фактора формируют то, что агент должен быть допущен к выполнению. Помимо этого, организации должны применять принципы нулевого доверия к агентам – никогда не предполагайте доверие на основе происхождения, постоянно проверяйте поведение и обеспечивайте доступ с минимальными привилегиями на каждом шаге. Без этого агенты будут молча накапливать больше полномочий, чем кто-либо намеревался.
Многие предприятия сейчас имеют тень использования ИИ на уровне копилотов, плагинов и внутренних скриптов. Какую телеметрию должны команды безопасности собирать, чтобы получить реальную видимость того, как ИИ взаимодействует с чувствительными данными?
Видимость должна работать на уровне агентной транзакции – не только подсказки и ответы, но и вызовы инструментов, данные, возвращенные этими инструментами, и действия, принятые в результате. Команды безопасности должны видеть полную цепочку: что было запрошено, какие данные были доступны, какие инструменты были вызваны, какие параметры были переданы, и что произошло дальше.
Без этой транзакционной телеметрии вы не можете ответить на基本ные вопросы об воздействии, злоупотреблении или влиянии. Тень ИИ не опасна потому, что она существует. Она опасна потому, что действует без такого уровня управления или прозрения.
Красная командировка агентных систем фундаментально отличается от тестирования статических приложений. Как вы имитируете враждебное поведение на многоступенчатых рабочих процессах, и какие типы эксплойтов обычно обнаруживаются?
Мы эксплуатируем Гэндальфа (https://gandalf.lakera.ai), который является крупнейшим в мире ИИ-ред-тестированием. Это крауд-сорсинговая платформа, где реальные пользователи пытаются убедить агентов ИИ нарушить их ограничения. Это дает нам уникальный и непрерывно растущий набор данных реальных тактик атак – не теоретических атак, а стратегий, которые реальные люди используют для манипулирования системами ИИ.
Мы используем этот набор данных для стимулирования наших возможностей красной команды. Атаки, которые мы видим чаще всего, включают в себя постепенное убеждение агентов нарушить их ограничения – через косвенное внедрение подсказки, творческое переформулирование, манипулирование контекстом и постепенное использование доверия на многоступенчатых взаимодействиях. Эти проблемы невидимы, если вы тестируете только отдельные подсказки. Вы должны тестировать последовательности и устойчивые враждебные кампании.
Когда атакующие начинают использовать автономные агенты для постоянного сканирования систем, ожидаете ли вы, что защита сместится в сторону адаптивных контролей в реальном времени, управляемых ИИ, и как выглядит эта архитектура на практике?
Да. Статические защиты не могут идти в ногу с автономными атаками, действующими непрерывно. Защита должна стать адаптивной, управляемой в реальном времени и автоматизированной. Это означает мониторинг поведения ИИ в реальном времени, непрерывную оценку риска и немедленное обеспечение соблюдения политики при нарушении. Скорость и масштаб атак, управляемых ИИ, будут противостоять только равно быстрым, управляемым машинами защитам.
На практике безопасность становится обратной связью, а не набором правил. Системы ИИ наблюдаются, оцениваются и ограничиваются динамически, на той же скорости и масштабе, на котором они работают. Этот сдвиг необходим, если организации хотят развернуть ИИ безопасно в масштабе предприятия.
Спасибо за отличное интервью, читатели, которые хотят узнать больше, должны посетить Check Point Software Technologies.
