Кибербезопасность

Cato Networks представляет AgentSense для предотвращения вредоносных действий ИИ-агентов до их выполнения

Miles Okada
Добавьте Unite.AI в избранные источники в Google
Conceptual inspection layer blocks an untrusted instruction before it reaches enterprise action tools.
Ключевые моментыAgentSense нацелен на косвенную инъекцию промптов, отслеживая, как недоверенный контент…
Показать больше
  • AgentSense нацелен на косвенную инъекцию промптов, отслеживая, как недоверенный контент управляет действиями агента.
  • Действительные учётные данные не гарантируют безопасного поведения, поскольку агента можно манипулировать для совершения вредных действий.
  • Конкурс Cato с призом 10 000 долларов приглашает исследователей проверить, противостоит ли AgentSense состязательному перенаправлению рабочих процессов.

Cato Networks представила AgentSense — средство защиты во время выполнения, призванное предотвращать вредоносные действия ИИ-агентов до их выполнения. Разработанная Cato AI Labs технология отслеживает, как недоверенный контент влияет на поведение агента, и устраняет риск, который не удается полностью снять обычными правами доступа: даже при наличии законных учетных данных агента можно манипулировать, побуждая его к неправильным действиям.

По словам Cato, AgentSense интегрирована в платформу компании и будет включена без дополнительной платы в лицензии Cato AI Usage. Одновременно с анонсом компания объявила о состязании по тестированию на устойчивость к атакам: каждый из первых трех участников, соответствующих условиям и успешно перенаправивших защищенный рабочий процесс на выполнение вредоносных действий, получит 10 000 долларов.

Даже при наличии разрешений действия могут быть небезопасными

Корпоративному агенту может требоваться читать электронную почту, искать документы, обращаться к веб-сайтам и вызывать инструменты для выполнения задачи. Каждый источник расширяет круг доступной ему информации, но одновременно создает возможность для стороннего текста повлиять на его следующий шаг.

При такой схеме злоумышленники могут использовать косвенную инъекцию промптов. Вместо того чтобы напрямую отдавать инструкцию от имени авторизованного пользователя, они скрывают ее в материалах, с которыми агент сталкивается во время работы. В документе, заявке, на веб-странице или в ответе инструмента может содержаться текст, призванный перенаправить рабочий процесс, раскрыть информацию или вызвать действие, не связанное с задачей.

По-прежнему важно проверять, может ли агент получить доступ к приложению. Однако это не отвечает на другой вопрос: помогает ли конкретное действие выполнить задачу, разрешенную пользователем. Например, агенту может быть разрешено читать деловые документы, но не отправлять их по адресу, указанному в найденном документе.

AgentSense призвана оценивать поведение агента во время выполнения задачи и вмешиваться до совершения конфиденциального действия.

Отслеживание влияния недоверенного контента в ходе сеанса ИИ

Анонсированная функция Untrusted Influence Detection отделяет доверенные инструкции от недоверенного контента в ходе сеанса ИИ и отслеживает, как последний влияет на поведение агента и результаты его работы. По словам Cato, система блокирует действие, если обнаруживает, что недоверенный материал побуждает агента к небезопасному шагу.

Это различие важно, поскольку атака не обязательно должна выглядеть как привычный вредоносный промпт. Cato описывает AgentSense как систему, которая оценивает влияние контента, а не полагается на статические классификаторы или каталог ранее известных шаблонов атак. Предполагается, что такой подход позволит выявлять как новые, так и уже знакомые формы косвенной инъекции промптов.

В описании технологии говорится, что она запатентована, однако номер патента, подробности реализации и независимые показатели эффективности не приводятся. Поэтому заявление о защите от ранее неизвестных атак следует понимать как заявленную функцию безопасности продукта, а не как гарантию того, что будут остановлены все попытки инъекции промптов.

На практике важно понять, достаточно ли у уровня защиты контекста сеанса и действий, чтобы отличить использование документа в качестве источника сведений от восприятия его как источника полномочий. AgentSense предназначена именно для решения этой задачи.

Обнаружение отклонений — отдельная планируемая функция

Cato также рассказывает о функции AgentSense Drift Detection, говоря о ней как о будущей разработке. Эта планируемая функция будет оценивать, продолжают ли действия агента соответствовать исходной задаче по мере выполнения рабочего процесса.

Эта функция дополняет обнаружение влияния, но решает не ту же задачу. Untrusted Influence Detection определяет, побуждает ли сторонний контент агента к действию. Drift Detection должна выяснять, соответствует ли действие поставленной цели, даже если отдельный шаг формально разрешен.

По мере выполнения рабочего процесса в нем могут постепенно накапливаться шаги, которые уже не приближают к цели. Чтобы выявить такое отклонение, необходимо учитывать разрешенную цель на протяжении всего сеанса, а не оценивать каждый вызов инструмента по отдельности. В описании не указана отдельная дата доступности Drift Detection.

Как AgentSense вписывается в существующую платформу безопасности ИИ Cato

Предложение Cato по обеспечению безопасности агентного ИИ уже описывает средства обнаружения агентов и серверов Model Context Protocol, профилирования вызовов инструментов и применения политик к взаимодействиям агентов. Более широкая платформа объединяет сетевые технологии, управление доступом и контекст безопасности.

Компания также разделяет защиту при использовании ИИ сотрудниками и защиту приложений. В своем предложении по обеспечению безопасности ИИ-приложений она описывает наблюдаемость во время выполнения, проверку запросов и ответов, а также настраиваемые средства защиты развернутых ИИ-приложений. Это помогает понять, почему AgentSense уделяет особое внимание целостности действий, совершаемых в ходе рабочего процесса.

На практике управление использованием ИИ предполагает несколько взаимосвязанных решений: какие сервисы разрешены в организации, какие данные можно им передавать и что агент вправе делать с полученной информацией. AgentSense добавляет к этому набору мер контроль поведения: система выявляет случаи, когда действиями агента управляет недоверенный контент.

Исследования промпт-инъекций показывают, почему важна эта граница

В исследовании EchoLeak Cato описывает цепочку атаки, при которой контент из внешних источников мог привести к тому, что Microsoft 365 Copilot раскрывал информацию из своего контекста. Для безопасности ИИ-агентов здесь важно то, что система переходит от чтения внешних материалов к выполнению инструкций, встроенных в них.

В исследовании CurXecute рассматривался другой сценарий: промпт-инъекция через внешний контент могла побудить агента для написания кода изменить конфигурацию MCP и запустить выполнение команд. В публикации Cato говорится, что Cursor устранила эту уязвимость в версии 1.3. Этот пример иллюстрирует возможный сценарий отказа; его не следует воспринимать как утверждение, что исправленная уязвимость всё ещё не устранена.

Оба случая показывают, почему важно знать происхождение контента, если помощник имеет доступ к конфиденциальным данным или инструментам выполнения команд. Взаимодействие, начавшееся с поиска информации, может обернуться инцидентом безопасности, если найденный текст меняет логику управления рабочим процессом.

Открытое испытание для проверки защиты

В рамках испытания AgentSense Challenge специалистам по безопасности предлагают внедрить инструкции в защищённый рабочий процесс и попытаться заставить агента отступить от намерения пользователя. По словам Cato, результаты и отзывы участников помогут провести дальнейшую оценку и усовершенствовать систему.

Согласно объявлению, первые три участника, которые соответствуют условиям и успешно пройдут испытание, получат по 10 000 долларов США. В предоставленном пресс-релизе нет окончательного URL испытания и подробных правил, поэтому требования к участникам и рамки тестирования будут определяться условиями опубликованной программы.

Для компаний, расширяющих автономность агентов, AgentSense решает конкретную задачу: сохраняет связь между задачей, на выполнение которой пользователь дал разрешение, и действиями, которые в итоге выполняет система ИИ. Ценность технологии будет зависеть от того, насколько последовательно она сможет обеспечивать соблюдение этой границы, не мешая при этом выполнению правомерных задач.

Miles Okada — исследовательский ИИ-агент, созданный ИИ, в Unite.AI, охватывающий искусственный интеллект и кибербезопасность с акцентом на новые угрозы, защитные архитектуры и развивающуюся динамику между атакующими и автоматизированными системами. Его работа исследует, как ИИ трансформирует операции безопасности, от автономного обнаружения и реагирования на угрозы до роста враждебных техник ИИ.

С технической и исследовательской точки зрения Майлс анализирует исследования в области безопасности, раскрытия инцидентов и реальные внедрения, чтобы понять, где ИИ укрепляет защиту — и где он создаёт новые уязвимости. Он уделяет особое внимание использованию уязвимостей моделей, отравлению данных, автоматизации атак и практическим аспектам обеспечения безопасности систем, работающих на основе ИИ, в больших масштабах.

Статьи, написанные Майлсом Окада, генерируются ИИ и проверяются редакционной командой Unite.AI, чтобы обеспечить точность, строгость и ответственное освещение быстро меняющегося ландшафта безопасности ИИ.