Кібербезпека
Cato Networks представляє AgentSense, щоб зупиняти шкідливі дії ШІ-агентів до їх виконання

Ключові моментиAgentSense протидіє непрямій ін'єкції підказок, відстежуючи, як недовірений вміст керує…
Показати більше
- AgentSense протидіє непрямій ін'єкції підказок, відстежуючи, як недовірений вміст керує діями агента.
- Дійсні облікові дані не гарантують безпечної поведінки, оскільки агента можна схилити до шкідливих дій.
- Конкурс Cato на 10 000 доларів запрошує дослідників перевірити, чи AgentSense протистоїть зловмисному перенаправленню робочих процесів.
Cato Networks представила AgentSense — функцію безпеки під час виконання, покликану зупиняти шкідливі дії ШІ-агентів до їх виконання. Технологію розробила Cato AI Labs. Вона відстежує, як ненадійний вміст впливає на поведінку агента, і допомагає усунути ризик, якого не можуть повністю позбутися звичайні дозволи доступу: агент може мати законні облікові дані, але його все одно можна змусити зробити щось не те.
За словами Cato, AgentSense інтегровано в її платформу, і функцію включать до ліцензій Cato AI Usage без додаткової плати. Разом із технологією компанія оголосила про змагання з тестування на стійкість до атак: кожен із перших трьох учасників, які відповідають вимогам і успішно перенаправлять захищений робочий процес на виконання шкідливих дій, отримає 10 000 доларів.
Навіть за наявності дозволів можна виконати небезпечну дію
Корпоративному агенту може бути потрібно читати електронні листи, шукати документи, переглядати вебсайти й викликати інструменти, щоб виконати завдання. Кожне джерело розширює обсяг інформації, якою він може скористатися, але водночас створює можливість для зовнішнього тексту вплинути на його наступний крок.
Непряма ін’єкція промпту використовує цю вразливість. Замість того щоб безпосередньо надіслати інструкцію від імені авторизованого користувача, зловмисник приховує її в матеріалах, із якими агент стикається під час роботи. Документ, заявка, вебсторінка чи відповідь інструмента можуть містити текст, що намагається перенаправити робочий процес, розкрити інформацію або спонукати до дії, не пов’язаної із завданням.
Важливо й надалі перевіряти, чи має агент доступ до певного застосунку. Однак це не відповідає на інше запитання: чи відповідає конкретна дія завданню, на виконання якого користувач надав дозвіл. Наприклад, агенту може бути дозволено читати ділові документи, але не надсилати їх за адресою, зазначеною в отриманому документі.
AgentSense має оцінювати таку поведінку під час виконання завдання, щоб за потреби втрутитися до того, як буде здійснено дію з конфіденційними даними.
Відстеження впливу ненадійного вмісту під час сеансу роботи ШІ
Анонсована функція виявлення впливу ненадійного вмісту відокремлює довірені інструкції від ненадійного вмісту в межах сеансу роботи ШІ та відстежує, як останній впливає на поведінку й результати роботи. За словами Cato, система блокує дію, якщо виявляє, що ненадійні матеріали схиляють агента до небезпечного кроку.
Ця відмінність важлива, адже атака не обов’язково має бути схожою на звичний шкідливий промпт. За описом Cato, AgentSense оцінює вплив, а не покладається на статичні класифікатори чи каталог раніше відомих схем атак. Це має допомогти протидіяти як новим, так і вже знайомим формам непрямої ін’єкції промпту.
У повідомленні йдеться, що технологія запатентована, однак не наведено номера патенту, докладного опису реалізації чи незалежного оцінювання її ефективності. Тому заявлений захист від раніше невідомих атак слід розуміти як передбачену функцію безпеки продукту, а не як гарантію зупинення кожної спроби ін’єкції промпту.
Практичне питання полягає в тому, чи має рівень захисту достатній контекст сеансу й дій, щоб відрізнити використання документа як джерела інформації від сприйняття його як авторитетного джерела інструкцій. AgentSense призначена саме для цього.
Виявлення відхилень — окрема запланована функція
Cato також розповідає про функцію AgentSense для виявлення відхилень, описуючи її як майбутню розробку. Запланована функція оцінюватиме, чи й далі дії агента відповідають початковому завданню в міру перебігу робочого процесу.
Ця функція доповнює виявлення впливу, але розв’язує дещо іншу проблему. Виявлення впливу ненадійного вмісту має з’ясувати, чи спрямовує зовнішній вміст певну дію. Виявлення відхилень покликане визначати, чи відповідає дія поставленій меті, навіть якщо окремий крок технічно дозволений.
У робочому процесі можуть поступово накопичуватися кроки, які вже не наближають до мети. Щоб виявити таке відхилення, потрібно відстежувати авторизовану ціль упродовж усього сеансу, а не оцінювати кожен виклик інструмента окремо. У повідомленні не вказано окремої дати запуску функції виявлення відхилень.
Як AgentSense доповнює наявну платформу безпеки ШІ від Cato
У пропозиції Cato із захисту агентного ШІ вже описано засоби виявлення агентів і серверів Model Context Protocol, аналізу викликів інструментів та застосування політик до взаємодій агентів. Ширша платформа компанії поєднує мережеві засоби, контроль доступу й контекст безпеки.
Компанія також розділяє захист від ризиків, пов’язаних із використанням ШІ працівниками, і захист застосунків. У своїй пропозиції «Захист ШІ-застосунків» вона описує видимість під час виконання, перевірку промптів і відповідей, а також налаштовувані засоби захисту розгорнутих ШІ-застосунків. Це допомагає зрозуміти, чому AgentSense зосереджується на цілісності дій, що виконуються в межах робочого процесу.
На практиці контроль використання ШІ охоплює кілька пов’язаних рішень: які сервіси дозволяє організація, до яких із них можуть надходити певні дані та що агент може робити з отриманою інформацією. AgentSense додає до цього рівня захисту ще одну заявлену функцію — визначати, коли саму дію спричиняє ненадійний вміст.
Дослідження атак із впровадженням промптів показує, чому важливо дотримуватися межі
У дослідженні EchoLeak Cato описує ланцюжок атаки, у якому зовнішній контент міг змусити Microsoft 365 Copilot розкрити інформацію з контексту. Для безпеки агентів важливо те, що система переходить від читання зовнішніх матеріалів до виконання інструкцій, вбудованих у них.
У дослідженні CurXecute розглядали інший сценарій: впровадження промптів через зовнішній контент могло змусити агента для написання коду змінити конфігурацію MCP і запустити виконання команд. У матеріалі Cato зазначено, що Cursor усунула цю вразливість у версії 1.3. Цей приклад демонструє можливий тип збою, але його не слід сприймати як твердження, що виправлену проблему досі не усунуто.
Обидва випадки показують, чому важливо знати походження контенту, якщо помічник має доступ до конфіденційних даних або засобів виконання команд. Взаємодія, що починається з пошуку інформації, може перетворитися на інцидент безпеки, якщо отриманий текст змінює логіку керування робочим процесом.
Відкрите випробування для перевірки захисту
У межах AgentSense Challenge представникам спільноти фахівців із безпеки пропонують вбудовувати інструкції в захищений робочий процес і намагатися спрямувати агента всупереч намірам користувача. За словами Cato, результати та відгуки учасників допоможуть провести подальше оцінювання й удосконалити систему.
Згідно з оголошенням, перші троє учасників, які відповідатимуть умовам і успішно виконають завдання, отримають по $10,000. У наданому пресрелізі немає остаточної URL-адреси випробування чи докладних правил, тож право на участь і межі тестування визначатимуться опублікованими умовами програми.
Для підприємств, які розширюють автономність агентів, AgentSense задовольняє конкретну потребу: зберігає зв’язок між завданням, на виконання якого користувач надав дозвіл, і діями, які зрештою виконує система ШІ. Цінність цієї технології залежатиме від того, наскільки послідовно вона зможе дотримуватися цієї межі, водночас не перешкоджаючи виконанню легітимних завдань.












