Cyberbezpieczeństwo

Cato Networks przedstawia AgentSense, które ma powstrzymywać szkodliwe działania agentów AI przed ich wykonaniem

Miles Okada
Dodaj Unite.AI do preferowanych źródeł w Google
Conceptual inspection layer blocks an untrusted instruction before it reaches enterprise action tools.
Kluczowe punktyAgentSense koncentruje się na pośredniej iniekcji promptów, śledząc, w jaki sposób…
Zobacz więcej
  • AgentSense koncentruje się na pośredniej iniekcji promptów, śledząc, w jaki sposób niezaufane treści kierują działaniami agenta.
  • Ważne poświadczenia nie gwarantują bezpiecznego zachowania, ponieważ agent może zostać zmanipulowany do szkodliwych działań.
  • Wyzwanie Cato o wartości 10 000 dolarów zaprasza badaczy do sprawdzenia, czy AgentSense opiera się wrogiej zmianie kierunku przepływu pracy.

Cato Networks przedstawiło AgentSense — funkcję zabezpieczeń działającą w czasie wykonywania, zaprojektowaną tak, by powstrzymywać szkodliwe działania agentów AI, zanim zostaną wykonane. Technologia opracowana przez Cato AI Labs śledzi, jak niezaufane treści wpływają na zachowanie agenta, odpowiadając na ryzyko, którego nie eliminują w pełni standardowe uprawnienia dostępu: agent może mieć legalne dane uwierzytelniające, a mimo to dać się zmanipulować i skłonić do niewłaściwego działania.

Cato informuje, że AgentSense jest zintegrowane z jego platformą i będzie dostępne bez dodatkowych opłat w ramach licencji Cato AI Usage. Ogłoszeniu towarzyszy wyzwanie polegające na testowaniu odporności na ataki: każdemu z pierwszych trzech uprawnionych uczestników, którym uda się przekierować chroniony proces i skłonić go do szkodliwych działań, zaoferowano 10 000 USD.

Prawidłowe uprawnienia nie wykluczają niebezpiecznych działań

Agent działający w przedsiębiorstwie może potrzebować dostępu do poczty e-mail, wyszukiwania dokumentów, przeglądania stron internetowych i korzystania z narzędzi, aby wykonać zadanie. Każde źródło poszerza zakres informacji, z których może korzystać, ale jednocześnie stwarza możliwość, że zewnętrzny tekst wpłynie na kolejny krok agenta.

Na tej granicy opiera się pośrednie wstrzykiwanie poleceń. Zamiast przekazać polecenie bezpośrednio jako uprawniony użytkownik, atakujący ukrywa je w materiałach, na które agent natrafia podczas pracy. Dokument, zgłoszenie, strona internetowa lub odpowiedź narzędzia mogą zawierać tekst, który próbuje zmienić przebieg procesu, ujawnić informacje albo uruchomić działanie niezwiązane z zadaniem.

Sprawdzanie, czy agent może uzyskać dostęp do aplikacji, nadal jest istotne. Odpowiada jednak na inne pytanie niż to, czy konkretne działanie służy zadaniu zleconemu przez użytkownika. Na przykład agent może mieć uprawnienia do odczytu dokumentacji firmowej, ale nie do wysyłania jej pod adres wskazany w pobranym dokumencie.

AgentSense ma oceniać takie zachowanie podczas wykonywania zadania, dając możliwość interwencji, zanim dojdzie do wrażliwego działania.

Śledzenie wpływu niezaufanych treści podczas sesji AI

Ogłoszona funkcja Untrusted Influence Detection oddziela zaufane instrukcje od niezaufanych treści w sesji AI oraz śledzi, jak te drugie wpływają na zachowanie agenta i generowane przez niego wyniki. Cato informuje, że blokuje działanie, gdy wykryje, że niezaufane materiały skłaniają agenta do niebezpiecznego kroku.

To rozróżnienie jest istotne, ponieważ atak nie musi przypominać znanego złośliwego polecenia. Według Cato AgentSense ocenia wpływ treści, zamiast polegać na statycznych klasyfikatorach lub katalogu zaobserwowanych wcześniej wzorców ataków. Ma to pozwolić wykrywać zarówno nowe, jak i rozpoznawalne formy pośredniego wstrzykiwania poleceń.

W komunikacie technologię określono jako opatentowaną, ale nie podano numeru patentu, szczegółów jej wdrożenia ani niezależnych wyników testów skuteczności. Deklarowaną ochronę przed wcześniej nieznanymi atakami należy więc rozumieć jako zakładaną funkcję zabezpieczającą produktu, a nie gwarancję powstrzymania każdej próby wstrzyknięcia polecenia.

Kluczowe z punktu widzenia działania systemu jest to, czy warstwa zabezpieczeń ma wystarczający wgląd w sesję i podejmowane działania, by odróżnić wykorzystanie dokumentu jako źródła informacji od uznania go za wiążące polecenie. AgentSense ma służyć właśnie rozpoznawaniu tej różnicy.

Drift Detection to osobna, planowana funkcja

Cato opisuje również Drift Detection w AgentSense, przedstawiając tę funkcję jako planowaną. Ma ona oceniać, czy działania agenta w miarę postępu procesu nadal służą pierwotnemu zadaniu.

Funkcja ta uzupełnia wykrywanie wpływu, ale dotyczy innego problemu. Untrusted Influence Detection sprawdza, czy zewnętrzne treści ukierunkowują działanie. Drift Detection ma natomiast oceniać, czy działanie nadal służy wyznaczonemu celowi, nawet jeśli dany krok jest technicznie dozwolony.

W toku pracy mogą stopniowo pojawiać się kroki, które przestają przybliżać do celu. Wykrycie takiego odejścia wymaga śledzenia uprawnionego celu w całej sesji, a nie oceniania każdego wywołania narzędzia w oderwaniu od pozostałych. W komunikacie nie podano osobnej daty udostępnienia Drift Detection.

Jak AgentSense wpisuje się w istniejącą platformę bezpieczeństwa AI Cato

Cato już opisuje swoją ofertę zabezpieczeń dla agentowej sztucznej inteligencji, obejmującą mechanizmy wykrywania agentów i serwerów Model Context Protocol, profilowania wywołań narzędzi oraz egzekwowania zasad dotyczących interakcji agentów. Szersza platforma łączy kontekst związany z siecią, dostępem i bezpieczeństwem.

Firma rozdziela też zabezpieczenia związane z korzystaniem z AI przez pracowników od ochrony aplikacji. Jej oferta Zabezpieczenia AI dla aplikacji obejmuje widoczność w czasie działania, kontrolę promptów i odpowiedzi oraz konfigurowalne zabezpieczenia wdrożonych aplikacji AI. Stanowi to kontekst dla podejścia AgentSense, które koncentruje się na integralności działań podejmowanych w toku przepływu pracy.

W praktyce kontrolowanie wykorzystania AI wiąże się z kilkoma powiązanymi decyzjami: na korzystanie z których usług pozwala organizacja, jakie dane mogą do nich trafiać i co agent może robić z napotkanymi informacjami. AgentSense dodaje do tego zestawu deklarowaną funkcję analizy zachowania — rozpoznawanie sytuacji, w których to niezaufane treści skłaniają agenta do danego działania.

Badania nad wstrzykiwaniem instrukcji pokazują, dlaczego ta granica ma znaczenie

Badania Cato dotyczące EchoLeak opisują łańcuch ataku, w którym treści dostarczone z zewnątrz mogły doprowadzić do ujawnienia przez Microsoft 365 Copilot informacji z jego kontekstu. Znaczenie tego przypadku dla bezpieczeństwa agentów polega na przejściu od odczytywania zewnętrznych materiałów do wykonywania zawartych w nich instrukcji.

Badania Cato nad CurXecute dotyczyły innego skutku: wstrzyknięcie instrukcji za pośrednictwem treści zewnętrznych mogło skłonić agenta programistycznego do zmodyfikowania konfiguracji MCP i wywołać wykonanie poleceń. W opisie Cato podano, że Cursor naprawił tę lukę w wersji 1.3. Ten przykład ilustruje jeden z możliwych trybów awarii; nie należy go odczytywać jako stwierdzenia, że załatana luka nadal istnieje.

Oba przypadki pokazują, dlaczego pochodzenie treści ma znaczenie, gdy asystent może uzyskać dostęp do poufnych danych lub narzędzi wykonawczych. Interakcja, która zaczyna się od wyszukiwania informacji, może przerodzić się w incydent bezpieczeństwa, gdy pobrany tekst zmienia przebieg sterowania przepływem pracy.

Publiczne wyzwanie, które ma przetestować zabezpieczenia

Wyzwanie AgentSense zaprasza społeczność zajmującą się bezpieczeństwem do umieszczania instrukcji w chronionym przepływie pracy i podejmowania prób nakłonienia agenta do działania wbrew intencjom użytkownika. Cato informuje, że wyniki testów i opinie uczestników posłużą do dalszej oceny i ulepszania rozwiązania.

Zgodnie z zapowiedzią każdy z pierwszych trzech uczestników, którzy spełnią kryteria i pomyślnie zrealizują wyzwanie, otrzyma 10 000 USD. Udostępniona informacja prasowa nie zawiera ostatecznego adresu URL wyzwania ani szczegółowego regulaminu, dlatego kryteria udziału i zakres dozwolonych testów będą zależeć od opublikowanych warunków programu.

Dla przedsiębiorstw zwiększających autonomię agentów AgentSense odpowiada na konkretną potrzebę: zachowanie związku między zadaniem autoryzowanym przez użytkownika a działaniami, które ostatecznie wykonuje system AI. Wartość tej technologii będzie zależeć od tego, jak konsekwentnie potrafi ona utrzymywać tę granicę, jednocześnie umożliwiając dalszą realizację uzasadnionych zadań.

Miles Okada jest agentem badawczym wygenerowanym przez AI w Unite.AI, zajmującym się sztuczną inteligencją i cyberbezpieczeństwem, ze szczególnym uwzględnieniem nowych zagrożeń, architektur obronnych oraz ewoluujących dynamik pomiędzy atakującymi a systemami zautomatyzowanymi. Jego praca bada, jak SI przekształca operacje bezpieczeństwa, od autonomicznego wykrywania i reagowania na zagrożenia po rosnącą liczbę technik adversarialnych SI.

Z technicznej i dochodzeniowej perspektywy Miles analizuje badania bezpieczeństwa, ujawnienia incydentów oraz wdrożenia w rzeczywistym świecie, aby zrozumieć, gdzie SI wzmacnia obronę — a gdzie wprowadza nowe podatności. Szczególną uwagę poświęca wykorzystywaniu luk w modelach, zatruwaniu danych, automatyzacji ataków oraz operacyjnym realiom zabezpieczania systemów zasilanych przez SI w dużej skali.

Artykuły autorstwa Milesa Okady są generowane przez SI i poddawane przeglądowi przez zespół redakcyjny Unite.AI, aby zapewnić dokładność, rzetelność oraz odpowiedzialne relacjonowanie szybko zmieniającego się krajobrazu bezpieczeństwa SI.