Od generatywnego do agenticznego AI: Przesunięcie od ryzyka zawartości do narażenia na wykonanie

Przedsiębiorstwa AI ewoluują szybko. To, co zaczęło się jako generatywne AI wspomagające pisanie e-maili i podsumowywanie dokumentów, staje się teraz czymś znacznie bardziej autonomicznym: systemami, które planują, decydują i wykonują zadania w różnych narzędziach i środowiskach.

To jest przesunięcie od generatywnego do agenticznego AI. To widzenie ryzyka, które ulega metamorfozie.

GenAI wprowadziło ryzyko zawartości, w tym halucynacje, wyciek danych za pośrednictwem podpowiedzi i stronnicze dane wyjściowe. Narażenie agenticznego AI występuje przez jego autonomiczne systemy, które mają pozwolenie, pamięć i możliwość dostępu do wszystkich dostępnych narzędzi z prędkością maszyn.

Jest to okazja dla specjalistów ds. bezpieczeństwa, zarządzania i AI, aby ponownie ocenić swoje stanowisko wobec tych nowych ryzyk.

Czym jest ryzyko agenticznego AI?

Ryzyko agenticznego AI odnosi się do ryzyka bezpieczeństwa, operacyjnego i zarządczego związanego z systemami AI, które działają autonomicznie, nie tylko generując tekst, ale także wykonywając wieloetapowe przepływy pracy na systemach przedsiębiorstwa.

W przeciwieństwie do tradycyjnych dużych modeli językowych (LLM), systemy agenticzne mogą rozbić zadania na dynamiczne przepływy pracy, wykonywać zewnętrzne żądania API i wywoływać aplikacje wewnętrzne, a także przechowywać i odwoływać pamięć. Mogą również działać pod delegowaną tożsamością i komunikować się z innymi agentami.

W innymi słowy, są one mniej podobne do chatbotów, a bardziej do młodszych cyfrowych pracowników. To reprezentuje ogromny wzrost powierzchni ataku agenta AI.

Generatywne vs agenticzne AI: Co się zmienia?

Ryzyko generatywnego AI koncentruje się na danych wyjściowych. Zespoły bezpieczeństwa zadają sobie pytania, czy model nie ujawnia danych, czy nie może halucynować, czy nie generuje szkodliwej lub niezgodnej z przepisami zawartości.

Ludzie są mocno zaangażowani w proces. AI proponuje, ludzie zatwierdzają.

Ryzyko agenticznego AI jest zorientowane na działanie. Teraz zespoły bezpieczeństwa muszą pytać się, z którymi systemami agent może wchodzić w interakcje, jakie pozwolenia odziedziczy, jak daleko jego plan może sięgać i co się stanie, jeśli zostanie oszukany podczas wykonywania.

Różnica może być bardzo mała, ale jest znacząca: Generatywne AI tworzy zawartość. Agenticzne AI tworzy konsekwencje. To jest przesunięcie od ryzyka zawartości do narażenia na wykonanie.

Jak agenticzne AI rozszerza powierzchnię ataku przedsiębiorstwa?

Agenticzne AI nie dodaje tylko nowej aplikacji. Tworzy nową warstwę operacyjną. Oto jak powierzchnia ataku rośnie:

1. Agenci AI z uprawnieniami

Istnieje wiele agentów działających w imieniu użytkowników lub kont usługowych. Kiedy zakres pozwolenia nie jest ściśle określony, stają się one cennymi celami.

Może to prowadzić do problemów zdezorientowanego zastępcy, eskalacji uprawnień i ruchu bocznego. To jest problem, gdy chmura, SaaS i wewnętrzne systemy zapewniają dynamiczny lub odziedziczony dostęp do agentów.

2. Dynamiczne ścieżki wykonania

Przepływy sterowania w tradycyjnych aplikacjach są deterministyczne. Przepływy sterowania w systemach agenticznego AI nie są deterministyczne.

Rozważają one cele, działania, refleksję, udoskonalenie i wywoływanie narzędzi w sposób niedeterministyczny. To prowadzi do trudnych do analizy przypadków awarii, złożonych grafów zależności i kaskadowych awarii w systemach wieloagentowych. Kontrole bezpieczeństwa opracowane dla deterministycznych przepływów sterowania nie są tutaj stosowane.

3. Trwała pamięć

Powierzchnia ataku spowodowana pamięcią agenta jest trwała.

Kiedy pamięć krótko- lub długoterminowa jest naruszona, stan złośliwy może wpływać na decyzje w wielu sesjach. To różni się od pojedynczego wstrzyknięcia podpowiedzi, ponieważ korupcja pamięci zapewnia trwałość.

4. Ryzyko podejmowania decyzji z prędkością maszyn

Autonomiczni agenci podejmują decyzje z prędkością, której nie można dorównać. To prowadzi do wyzwań związanych z podejmowaniem decyzji z prędkością maszyn, takich jak szybka propagacja błędów, cykle nadużyć znacznie szybsze niż reakcja ludzka i eskalacja przed możliwością wykrycia.

W systemach wieloagentowych zakres wpływu jest szybki. Złośliwy agent może spowodować kaskadową awarię w łańcuchach koordynacji.

Dlaczego tradycyjne kontrole nie działają w przypadku agenticznego AI

Większość tradycyjnych modeli bezpieczeństwa przedsiębiorstwa opiera się na statycznych aplikacjach, przewidywalnych grafach wywołań, zatwierdzeniach ludzkich i wyraźnym rozdziale między przetwarzaniem danych a wykonaniem. Agenticzne AI sprawia, że te założenia są nieważne.

Weźmy na przykład tradycyjną kontrolę, taką jak walidacja danych wejściowych. To zabezpiecza granicę systemu. Jednak ryzyko agenticzne zwykle pojawia się w środku pętli, w fazie planowania, refleksji lub narzędziowej.

Tradycyjne skanowanie pod kątem luk w zabezpieczeniach koncentruje się na infrastrukturze i oprogramowaniu. Jednak ryzyko wykonania AI znajduje się w warstwie rozumu i działania agenta.

Pytanie brzmi: Jak chronić coś, co może wybrać swoje następne działanie? Nie można po prostu otoczyć kontrolami pojedyncze wywołanie modelu. Trzeba zabezpieczyć przepływ pracy.

Zabezpieczanie agenticznego AI: Co naprawdę działa?

Kiedy chodzi o zabezpieczanie agenticznego AI, musi nastąpić przesunięcie od myślenia o obronie do myślenia o cyklu życia. Agenci nie powinni być pozwoleni na nieograniczone reinterpretowanie celów, a istnieją sposoby, aby to osiągnąć.

Ustanowienie dozwolonych sekwencji celów, regulacja głębokości drzewa rozwinięcia planu, monitorowanie dryfu rozumu i zakaz samodzielnie autorstwa celów poza zakresem są wszystkie niezbędne kontrole. Niespodziewane zmiany w rozumowaniu są często poprzednikami manipulacji.

Wzmocnij wykonanie narzędzi. Narzędzia są tam, gdzie plan spotyka się z rzeczywistością, a bezpieczeństwo musi obejmować sprawdzanie uprawnień przed wykonaniem narzędzia, środowiska wykonania z piaskownicą, ścisłą walidację parametrów i przekazywanie poświadczeń w czasie rzeczywistym. Każde wykonanie narzędzia musi być rejestrowane jako pierwszorzędne zdarzenie bezpieczeństwa.

Wyizoluj pamięć i zakres uprawnień. Pamięć musi być traktowana jako wrażliwa infrastruktura. To oznacza walidację operacji zapisu, partycjonowanie domeny pamięci, ograniczanie zakresu operacji odczytu na zadanie, używanie krótkotrwałych poświadczeń i zapobieganie odziedziczeniu uprawnień. Nagromadzenie niezweryfikowanych uprawnień jest głównym ryzykiem agenticznego AI.

Zabezpieczaj koordynację wielu agentów. W systemach rozproszonych agentów komunikacja sama w sobie staje się wektorem ataku. To powinno oznaczać uwierzytelnianie agentów, walidację schematu wiadomości, ograniczone kanały komunikacji i monitorowanie anomalnych wzorców wpływu. Kiedy koordynacja odbiega od oczekiwanych przepływów, izolacja powinna nastąpić automatycznie.

Od zarządzania narażeniem do oceny narażenia systemów AI

To jest miejsce, w którym szersza filozofia bezpieczeństwa staje się kluczem. Tradycyjne zarządzanie lukami w zabezpieczeniach identyfikuje znane słabości. Jednak autonomiczne systemy AI wprowadzają narażenie emergentne: ryzyka, które wynikają z konfiguracji, projektu uprawnień, ścieżek integracji i dynamicznego zachowania.

To jest zgodne z tym, co branża nazwała zarządzaniem narażeniem i, niedawno, oceną narażenia.

Zarządzanie narażeniem polega na ciągłej widoczności, w jaki sposób systemy (w tym aktywa chmury, tożsamości, aplikacje i teraz agenci AI) tworzą ścieżki, których mogą użyć złe aktorzy.

Dla bezpieczeństwa systemów AI oznacza to zadawanie pytań: Co ten agent może osiągnąć? Jakie uprawnienia agreguje? Jakie systemy orchestruje? I gdzie wykonanie przecina się z wrażliwymi danymi?

Zespoły, które już używają strategii opartych na narażeniu, aby zmniejszyć ryzyko cybernetyczne, są w dobrej sytuacji, aby rozszerzyć te zasady na swoje środowiska AI. Na przykład platformy, które ujednolicają widoczność tożsamości, chmury i luk w zabezpieczeniach, zapewniają sposób zrozumienia, w jaki agenci AI z uprawnieniami przecinają się z istniejącymi ścieżkami ataku.

Kluczem nie jest konkretny sprzęt. To nastawienie:

Nie zabezpieczasz agenticznego AI, chroniąc model. Zabezpieczasz go, ciągle mierząc i zmniejszając jego narażenie.

Zarządzanie ryzykiem warstwy wykonania w agenticznym AI

Cechą bezpieczeństwa agenticznego AI jest to, że powierzchnia ataku nie jest odpowiedzią, ale przepływem pracy.

Ryzyka warstwy wykonania są liczne, w tym nieuwierzytelnione użycie narzędzi, fałszerstwo tożsamości, eskalacja uprawnień, zatrucie pamięci, manipulacja między agentami i systemy z ludzkim uczestnictwem pod presją.

Łagodzenie tych ryzyk oznacza posiadanie widoczności w relacjach tożsamości, dziedziczeniu uprawnień, zależnościach API, aktywności czasu wykonywania i telemetrii wykonania.

To już nie jest tylko bezpieczeństwo GenAI; to również operacyjne bezpieczeństwo AI.

Ryzyko agenticznego AI jest architektoniczne, a nie hipotetyczne

Agenticzne AI jest następnym krokiem w ewolucji przedsiębiorstw AI. Obiecuje wydajność, automatyzację i skalowalność. Jednak wprowadza również ryzyko od tego, co AI mówi, do tego, co AI robi.

Przesunięcie od generatywnych do agenticznych systemów wpływa na następujące:

• Ryzyko zawartości do ryzyka wykonania
• Statyczne podpowiedzi do dynamicznych przepływów wykonania
• Przegląd ludzki do autonomicznego wykonania
• Bezpieczeństwo aplikacji do zarządzania narażeniem

Liderzy bezpieczeństwa, którzy rozumieją to przesunięcie jako pierwsi, mogą opracować barierki, które skalują się z autonomią. Inni będą mieć do czynienia z cyfrowymi insiderami bez kontroli insiderów.

Przyszłość AI w przedsiębiorstwie jest agenticzna. Przyszłość bezpieczeństwa AI musi być napędzana narażeniem, świadoma przepływu pracy i zaprojektowana dla operacji z prędkością maszyn.

Ponieważ raz, gdy agenci AI mają możliwość wykonania, jedyną słuszną odpowiedzią jest ciągłe zrozumienie (i łagodzenie) tego, na co są narażone.