Kybernetická bezpečnost
Cato Networks představuje AgentSense, který má zastavit škodlivé akce agentů AI ještě před jejich provedením

Klíčové bodyAgentSense se zaměřuje na nepřímou injekci promptů tím, že sleduje, jak nedůvěryhodný…
Zobrazit více
- AgentSense se zaměřuje na nepřímou injekci promptů tím, že sleduje, jak nedůvěryhodný obsah řídí jednání agenta.
- Platné přihlašovací údaje nezaručují bezpečné chování, protože agenta lze zmanipulovat ke škodlivému jednání.
- Catoova výzva s odměnou 10 000 dolarů vyzývá výzkumníky, aby otestovali, zda AgentSense odolává adversariálnímu přesměrování pracovního postupu.
Cato Networks představila AgentSense, bezpečnostní funkci pro běhové prostředí, jejímž cílem je zastavit škodlivé akce agentů AI ještě před jejich provedením. Technologie vyvinutá společností Cato AI Labs sleduje, jak nedůvěryhodný obsah ovlivňuje chování agenta, a řeší tak riziko, které běžná přístupová oprávnění nedokážou plně odstranit: agent může mít legitimní přihlašovací údaje, a přesto být zmanipulován k nesprávnému jednání.
Cato uvádí, že AgentSense je integrován do její platformy a bude součástí licencí Cato AI Usage bez dalších poplatků. Oznámení představuje technologii spolu s výzvou k adversariálnímu testování, která nabízí odměnu 10 000 USD každému z prvních tří způsobilých účastníků, kteří úspěšně navedou chráněný pracovní postup ke škodlivým akcím.
Platná oprávnění mohou přesto vést k nebezpečné akci
Podnikový agent může potřebovat číst e-maily, vyhledávat v dokumentech, procházet webové stránky a volat nástroje, aby splnil úkol. Každý zdroj rozšiřuje okruh informací, které může využít, zároveň však vytváří příležitost, aby jeho další krok ovlivnil externí text.
Útoky prostřednictvím nepřímé injekce promptů této hranice zneužívají. Útočník místo toho, aby zadal pokyn přímo jako oprávněný uživatel, jej skryje do materiálu, se kterým se agent při práci setká. Dokument, tiket, webová stránka nebo odpověď nástroje mohou obsahovat text, který se pokouší změnit směr pracovního postupu, odhalit informace nebo vyvolat nesouvisející akci.
Ověřovat, zda má agent přístup k aplikaci, je stále důležité. Odpovídá to však na jinou otázku než na to, zda konkrétní akce slouží úkolu, který uživatel povolil. Agent může například mít povoleno číst obchodní záznamy, aniž by měl oprávnění odeslat je na místo určení navržené v dokumentu, který načetl.
AgentSense má podle svého popisu vyhodnocovat toto chování během provádění úkolu a umožnit zásah ještě před uskutečněním citlivé akce.
Sledování vlivu nedůvěryhodného obsahu v rámci relace AI
Oznámená funkce Untrusted Influence Detection odděluje v rámci relace AI důvěryhodné pokyny od nedůvěryhodného obsahu a sleduje, jak tento obsah ovlivňuje chování a výstupy. Cato uvádí, že zablokuje akci, pokud zjistí, že nedůvěryhodný materiál navádí agenta k nebezpečnému kroku.
Toto rozlišení je důležité, protože útok nemusí připomínat známý škodlivý prompt. Cato popisuje AgentSense jako technologii, která vyhodnocuje míru vlivu, místo aby se spoléhala na statické klasifikátory nebo katalog dříve zaznamenaných vzorců útoků. Cílem je tak čelit novým i rozpoznatelným formám nepřímé injekce promptů.
V oznámení je technologie označena za patentovanou, nejsou v něm však uvedeny číslo patentu, podrobnosti o implementaci ani nezávislé srovnávací hodnocení účinnosti. Tvrzení, že chrání před dosud neznámými útoky, je proto třeba chápat jako zamýšlenou bezpečnostní schopnost produktu, nikoli jako záruku, že zastaví každý pokus o injekci promptu.
Z provozního hlediska je otázkou, zda má bezpečnostní vrstva dostatek kontextu o relaci a akci, aby rozlišila mezi využitím dokumentu jako důkazu a tím, že je s ním zacházeno jako s autoritou. AgentSense se zaměřuje právě na toto rozlišení.
Detekce odchýlení od cíle je samostatná plánovaná funkce
Cato popisuje funkci AgentSense Drift Detection také jako plánovanou. Tato funkce má v průběhu pracovního postupu vyhodnocovat, zda akce agenta nadále slouží původnímu úkolu.
Tato funkce doplňuje detekci vlivu, ale neřeší přesně tentýž problém. Untrusted Influence Detection zjišťuje, zda externí obsah navádí akci určitým směrem. Drift Detection má zjišťovat, zda akce stále odpovídá cíli, i když je daný krok sám o sobě technicky povolen.
V pracovním postupu se mohou postupně hromadit kroky, které už nepřispívají k jeho účelu. Odhalení takového odklonu vyžaduje udržovat si v průběhu celé relace přehled o povoleném cíli, místo aby se každé volání nástroje posuzovalo izolovaně. Oznámení neuvádí samostatné datum, kdy bude Drift Detection k dispozici.
Jak AgentSense zapadá do stávající platformy Cato pro zabezpečení AI
Nabídka zabezpečení agentní AI společnosti Cato již zahrnuje popis nástrojů pro vyhledávání agentů a serverů Model Context Protocol, profilování volání nástrojů a vynucování zásad pro interakce agentů. Její širší platforma propojuje kontext sítí, přístupu a zabezpečení.
Společnost také odděluje zabezpečení při používání AI zaměstnanci od ochrany aplikací. Její nabídka Zabezpečení aplikací s umělou inteligencí zahrnuje přehled o běhovém prostředí, kontrolu promptů a odpovědí a konfigurovatelnou ochranu nasazených aplikací AI. To dokresluje zaměření AgentSense na integritu akcí prováděných v rámci pracovního postupu.
Řízení používání AI v praxi zahrnuje několik souvisejících rozhodnutí: které služby organizace povolí, která data k nim mohou proniknout a co agent smí dělat s informacemi, se kterými se setká. AgentSense k tomuto souboru opatření přidává tvrzení týkající se chování — dokáže rozpoznat, kdy samotnou akci řídí nedůvěryhodný obsah.
Výzkum prompt injection ukazuje, proč na této hranici záleží
Výzkum EchoLeak od společnosti Cato popisuje řetězec útoků, při němž mohl externě dodaný obsah způsobit, že Microsoft 365 Copilot zpřístupní informace ze svého kontextu. Z hlediska zabezpečení agentů je podstatný přechod od čtení externích materiálů k jednání na základě pokynů v nich obsažených.
Výzkum CurXecute se zabýval jiným scénářem: prompt injection prostřednictvím externího obsahu mohl vést k tomu, že programovací agent upravil konfiguraci MCP a spustil příkazy. Zpráva společnosti Cato uvádí, že Cursor tuto zranitelnost opravil ve verzi 1.3. Tento příklad ilustruje způsob selhání; nelze jej chápat jako tvrzení, že opravená chyba zůstává nevyřešená.
Oba případy ukazují, proč je původ obsahu důležitý, jakmile má asistent přístup k citlivým datům nebo nástrojům pro spouštění příkazů. Interakce, která začíná vyhledáváním informací, se může změnit v bezpečnostní incident, pokud načtený text změní řízení pracovního postupu.
Veřejná výzva k otestování ochrany
Výzva AgentSense Challenge vybízí bezpečnostní komunitu, aby do chráněného pracovního postupu vložila pokyny a pokusila se agenta odklonit od záměru uživatele. Společnost Cato uvádí, že zjištění a zpětná vazba účastníků poslouží k dalšímu hodnocení a vylepšování.
Podle oznámení získá každý z prvních tří způsobilých úspěšných účastníků 10 000 USD. Poskytnuté oznámení neobsahuje konečnou adresu URL výzvy ani její podrobná pravidla, takže způsobilost a meze testování budou záviset na zveřejněných podmínkách programu.
Pro podniky, které rozšiřují autonomii agentů, řeší AgentSense konkrétní potřebu: zachovat vazbu mezi úkolem, který uživatel schválí, a akcemi, jež systém umělé inteligence nakonec provede. Hodnota této technologie bude záviset na tom, nakolik dokáže tuto hranici důsledně vynucovat a zároveň umožnit pokračování legitimní práce.












