Od sztucznej inteligencji generatywnej do agentycznej: Przesunięcie od ryzyka zawartości do narażenia na wykonanie

Sztuczna inteligencja przedsiębiorstw ewoluuje szybko. To, co zaczęło się jako sztuczna inteligencja generatywna, która pomagała w pisaniu e-maili i podsumowywaniu dokumentów, teraz staje się czymś znacznie bardziej autonomicznym: systemami, które planują, decydują i wykonują zadania w różnych narzędziach i środowiskach.

Jest to przejście od sztucznej inteligencji generatywnej do agentycznej. To widzenie, jak ryzyko ulega metamorfozie.

Sztuczna inteligencja generatywna wprowadziła ryzyko związane z zawartością, w tym halucynacje, wyciek danych za pośrednictwem podpowiedzi i tendencyjne dane wyjściowe. Narażenie na sztuczną inteligencję agentyczną występuje za pośrednictwem jej autonomicznych systemów, które mają uprawnienia, pamięć i możliwość dostępu do wszystkich dostępnych narzędzi z prędkością maszyn.

Jest to okazja dla specjalistów ds. bezpieczeństwa, zarządzania lub sztucznej inteligencji, aby ponownie ocenić swoje stanowisko wobec tych nowych ryzyk.

Co to jest ryzyko sztucznej inteligencji agentycznej?

Ryzyko sztucznej inteligencji agentycznej odnosi się do ryzyka bezpieczeństwa, operacyjnego i zarządczego związanego z systemami sztucznej inteligencji, które działają autonomicznie, nie tylko generując tekst, ale także wykonując wieloetapowe przepływy pracy na systemach przedsiębiorstwa.

W przeciwieństwie do tradycyjnych dużych modeli językowych (LLM), systemy agentyczne mogą rozbić zadania na dynamiczne przepływy pracy, wysyłać zewnętrzne żądania API i wywoływać aplikacje wewnętrzne, a także przechowywać i odwoływać się do pamięci. Mogą również działać pod delegowaną tożsamością i komunikować się z innymi agentami.

Innymi słowy, są one mniej podobne do czatbotów, a bardziej do młodszych cyfrowych pracowników. To reprezentuje ogromny wzrost powierzchni ataku agenta sztucznej inteligencji.

Sztuczna inteligencja generatywna a agentyczna: Co się zmienia?

Ryzyko sztucznej inteligencji generatywnej koncentruje się na danych wyjściowych. Zespoły ds. bezpieczeństwa zadają pytania, takie jak czy model nie ujawnia danych, czy może halucynować, czy też czy szkodliwa lub niezgodna z przepisami zawartość jest generowana.

Ludzie są mocno w pętli. Sztuczna inteligencja proponuje, ludzie zatwierdzają.

Ryzyko sztucznej inteligencji agentycznej jest zorientowane na działanie. Teraz zespoły ds. bezpieczeństwa muszą zadać sobie pytania, z jakimi systemami agent może wchodzić w interakcje, jakie uprawnienia odziedziczy, jak daleko jego plan może sięgać i co się stanie, jeśli zostanie oszukany podczas wykonywania.

Różnica może być bardzo mała, ale jest znacząca: sztuczna inteligencja generatywna tworzy zawartość. Sztuczna inteligencja agentyczna tworzy konsekwencje. To jest przejście od ryzyka zawartości do narażenia na wykonanie.

Jak sztuczna inteligencja agentyczna rozszerza powierzchnię ataku przedsiębiorstwa?

Sztuczna inteligencja agentyczna nie dodaje tylko nowej aplikacji. Tworzy nową warstwę operacyjną. Oto jak powierzchnia ataku rośnie:

1. Uprzywilejowani agenci sztucznej inteligencji

Istnieje wiele agentów działających w imieniu użytkowników lub kont usług. Kiedy zakres uprawnień nie jest ściśle określony, stają się one cennymi celami.

Może to prowadzić do problemów z pomyłką, eskalacją uprawnień i ruchem bocznym. Jest to problem, gdy chmura, SaaS i systemy wewnętrzne zapewniają dynamiczny lub odziedziczony dostęp do agentów.

2. Dynamiczne ścieżki wykonywania

Przepływy sterowania w tradycyjnych aplikacjach są deterministyczne. Przepływy sterowania w systemach sztucznej inteligencji agentycznej nie są.

Rozważają one cele, działania, refleksje, udoskonalają i wywołują narzędzia w sposób niedeterministyczny. Prowadzi to do trudnych do analizy przypadków awarii, złożonych grafów zależności i kaskadowych awarii w systemach wieloagentowych. Kontrole bezpieczeństwa opracowane dla deterministycznych przepływów sterowania nie są tutaj stosowane.

3. Trwała pamięć

Powierzchnia ataku spowodowana pamięcią agenta jest trwała.

Kiedy pamięć krótkotrwała lub długotrwała jest naruszona, stan malwersatywny może wpływać na decyzje w wielu sesjach. Różni się to od pojedynczego wstrzyknięcia podpowiedzi, ponieważ korupcja pamięci zapewnia trwałość.

4. Ryzyko podejmowania decyzji z prędkością maszyn

Autonomiczni agenci podejmują decyzje z prędkością, której nie można dorównać. Prowadzi to do wyzwań związanych z podejmowaniem decyzji z prędkością maszyn, takich jak szybka propagacja błędów, cykle nadużyć znacznie szybsze niż reakcja ludzi i eskalacja przed możliwym wykryciem.

W systemach wieloagentowych zakres wpływu jest szybki. Malwersatywny agent może spowodować kaskadową awarię w łańcuchach koordynacji.

Dlaczego tradycyjne kontrole nie działają w przypadku sztucznej inteligencji agentycznej

Większość tradycyjnych modeli bezpieczeństwa przedsiębiorstwa opiera się na statycznych aplikacjach, przewidywalnych grafach wywołań, zatwierdzeniach ludzkich i wyraźnym rozdziale między przetwarzaniem danych a wykonaniem. Sztuczna inteligencja agentyczna czyni te założenia nieważnymi.

Weźmy na przykład tradycyjną kontrolę, taką jak walidacja danych wejściowych. Zabezpiecza to granicę systemu. Jednak ryzyko agentyczne pojawia się zwykle w środku pętli, w fazie planowania, refleksji lub narzędziowej.

Tradycyjne skanowanie pod kątem luk w zabezpieczeniach koncentruje się również na infrastrukturze i oprogramowaniu. Jednak ryzyko wykonania sztucznej inteligencji znajduje się w warstwie rozumu i działania agenta.

Pytanie brzmi: Jak chronić coś, co może wybrać swoje następne działanie? Nie można po prostu otoczyć kontrolami pojedynczego wywołania modelu. Trzeba zabezpieczyć przepływ pracy.

Zabezpieczanie sztucznej inteligencji agentycznej: Co naprawdę działa?

Jeśli chodzi o zabezpieczanie sztucznej inteligencji agentycznej, musi nastąpić przejście od myślenia o obwodzie do myślenia o cyklu życia. Agenci nie powinni być dopuszczeni do nieograniczonej reinterpretacji celów, a istnieją sposoby, aby to osiągnąć.

Ustanowienie dozwolonych sekwencji celów, regulacja głębokości drzew planowania, monitorowanie dryfu rozumu i zakaz samodzielnie autorstwa celów poza zakresem są wszystkie niezbędne kontrole. Niespodziewane zmiany w rozumowaniu są często poprzednikami manipulacji.

Zabezpieczanie wykonania narzędzi. Narzędzia to miejsce, w którym plan spotyka się z rzeczywistością, a bezpieczeństwo musi obejmować kontrole uprawnień przed wykonaniem narzędzi, środowiska wykonania z piaskownicą, ścisłą walidację parametrów i przekazywanie poświadczeń w czasie rzeczywistym. Każde wykonanie narzędzia musi być rejestrowane jako pierwszorzędne zdarzenie bezpieczeństwa.

Izolacja pamięci i zakresu uprawnień. Pamięć musi być traktowana jako wrażliwa infrastruktura. Oznacza to walidację operacji zapisu, partycjonowanie domeny pamięci, ograniczanie zakresu operacji odczytu na zadanie, używanie krótkotrwałych poświadczeń i zapobieganie odziedziczeniu uprawnień. Nagromadzenie uprawnień niezatwierdzonych jest głównym ryzykiem sztucznej inteligencji agentycznej.

Zabezpieczanie koordynacji wieloagentowej. W systemach rozproszonych agentów komunikacja sama w sobie staje się wektorem ataku. To powinno oznaczać uwierzytelnianie agentów, walidację schematu wiadomości, ograniczone kanały komunikacji i monitorowanie nietypowych wzorców wpływu. Gdy koordynacja odbiega od oczekiwanych przepływów, izolacja powinna nastąpić automatycznie.

Od zarządzania narażeniem do oceny narażenia dla systemów sztucznej inteligencji

To jest miejsce, w którym szersza filozofia bezpieczeństwa staje się kluczem. Tradycyjne zarządzanie lukami w zabezpieczeniach identyfikuje znane słabości. Jednak autonomiczne systemy sztucznej inteligencji wprowadzają narażenie emergentne: ryzyka, które pojawiają się z konfiguracji, projektu uprawnień, ścieżek integracji i dynamicznego zachowania.

To odpowiada temu, co branża nazwała zarządzaniem narażeniem i, niedawno, oceną narażenia.

Zarządzanie narażeniem polega na ciągłej widoczności, jak systemy (w tym zasoby chmury, tożsamości, aplikacje i teraz agenci sztucznej inteligencji) tworzą ścieżki, których mogą użyć złe aktorzy.

Dla bezpieczeństwa autonomicznych systemów sztucznej inteligencji oznacza to zadawanie pytań: Co ten agent może dotknąć? Jakie uprawnienia agreguje? Jakie systemy orchestruje? I gdzie wykonanie przecina się z wrażliwymi danymi?

Zespoły, które już używają strategii opartych na narażeniu, aby zmniejszyć ryzyko cybernetyczne, są w dobrej pozycji, aby rozszerzyć te zasady na swoje środowiska sztucznej inteligencji. Na przykład platformy, które ujednolicają widoczność tożsamości, chmury i luk w zabezpieczeniach, zapewniają sposób zrozumienia, jak uprzywilejowani agenci sztucznej inteligencji przecinają się z istniejącymi ścieżkami ataku.

Kluczem nie jest sam sprzęt dostawcy. To nastawienie:

Nie zabezpieczasz sztucznej inteligencji agentycznej, chroniąc model. Zabezpieczasz ją, ciągle mierząc i zmniejszając jej narażenie.

Zarządzanie ryzykiem warstwy wykonania w sztucznej inteligencji agentycznej

Cechą charakterystyczną bezpieczeństwa sztucznej inteligencji agentycznej jest to: Powierzchnia ataku nie jest odpowiedzią, ale przepływem pracy.

Ryzyko warstwy wykonania jest duże i obejmuje nieuwierzytelnione użycie narzędzi, fałszerstwo tożsamości, eskalację uprawnień, zatrucie pamięci, manipulację między agentami i systemy z ludzkim uczestnictwem pod presją.

Zmniejszanie tych ryzyk oznacza posiadanie widoczności w relacjach tożsamości, dziedziczeniu uprawnień, zależnościach API, aktywności czasu wykonywania i telemetrii wykonania.

To już nie jest tylko bezpieczeństwo sztucznej inteligencji generatywnej; to również operacyjne bezpieczeństwo sztucznej inteligencji.

Ryzyko sztucznej inteligencji agentycznej jest architektoniczne, a nie hipotetyczne

Sztuczna inteligencja agentyczna jest następnym krokiem w ewolucji przyjęcia sztucznej inteligencji w przedsiębiorstwach. Obiecuje wydajność, automatyzację i skalowalność. Jednak wprowadza również ryzyko od tego, co sztuczna inteligencja mówi, do tego, co sztuczna inteligencja robi.

Przejście od systemów generatywnych do agentycznych wpływa na następujące aspekty:

• Ryzyko zawartości do ryzyka wykonania
• Statyczne podpowiedzi do dynamicznych przepływów wykonania
• Przegląd ludzki do autonomicznego wykonania
• Bezpieczeństwo aplikacji do zarządzania narażeniem

Liderzy ds. bezpieczeństwa, którzy rozumieją to przejście jako pierwsi, mogą opracować barierki, które skalują się z autonomią. Inni będą musieli radzić sobie z cyfrowymi insiderami bez kontroli insiderów.

Przyszłość sztucznej inteligencji w przedsiębiorstwie jest agentyczna. Przyszłość bezpieczeństwa sztucznej inteligencji musi być napędzana narażeniem, świadoma przepływu pracy i zaprojektowana dla operacji z prędkością maszyn.

Ponieważ gdy agenci sztucznej inteligencji mają możliwość wykonywania, jedynym słusznym podejściem jest ciągłe zrozumienie (i zmniejszanie) tego, czym są one narażone.