Agenci AI stają się coraz inteligentniejsi, a ich powierzchnia ataku staje się coraz większa

Odpowiedni moment, gdy agenci AI zaczęli rezerwować spotkania, wykonywać kod i przeglądać internet w Twoim imieniu, zmienił się sposób dyskusji o bezpieczeństwie cybernetycznym. Nie stopniowo, ale raczej w ciągu jednej nocy.

To, co wcześniej było zawarte w przewidywalnym systemie oprogramowania, stało się czymś, co rozumie, planuje i podejmuje działania w różnych narzędziach i interfejsach API, których nawet nie istniały rok temu.

To jest naprawdę ekscytujące, ale także naprawdę przerażające, ponieważ powierzchnia ataku, która pochodzi z tej autonomii, jest ogromna, a większość organizacji dopiero zaczyna rozumieć, co to znaczy, aby pozwolić agentom wejść do ich infrastruktury.

Od czatbotów do operatorów

Pierwotna obietnica AI była prosta: zadasz pytanie, otrzymasz odpowiedź. To wciąż jest prawdą dla większości interakcji konsumentów, ale nie jest to już to, co dzieje się w wdrożeniach przedsiębiorstw. Dzisiejsi agenci otrzymują poświadczenia, klucze API i możliwość usuwania, tworzenia i adnotowania danych, a także podejmowania rzeczywistych działań w systemach, które mają rzeczywiste konsekwencje.

Przełom nastąpił szybko. W ciągu moins niż dwóch lat agenci AI przeszli od generowania tekstu do umożliwienia prowadzenia gładkich, wieloagentowych ustawień. Czytają e-maile, uruchamiają przepływy pracy, wyszukują bazy danych i w niektórych przypadkach zarządzają innymi agentami pod nimi. Taki poziom dostępu wymagał wcześniej długiego procesu zakupowego i człowieka w pętli. Teraz jest to plik konfiguracyjny i kilka wywołań API.

Więcej dostępu oznacza większe narażenie

Tradycyjne ataki na oprogramowanie mają dość przewidywalny profil. Istnieje znany punkt wejścia, znana luka, znany patch. Agenci AI łamią ten model, ponieważ są dynamiczni przez projekt. Nie podążają statyczną ścieżką kodu. Rozumieją, co należy zrobić dalej, co oznacza, że ich zachowanie jest trudniejsze do przewidzenia i znacznie trudniejsze do audytu po fakcie.

To nieprzewidywalność jest przydatna do wykonywania pracy. Jest to również zaletą dla każdego, kto próbuje wykorzystać system. Gdy agent może zdecydować, w trakcie zadania, o wywołaniu zewnętrznego API lub pobraniu zewnętrznego narzędzia, nie ma czystej granicy do obrony.

Zespoły bezpieczeństwa są przyzwyczajone do ochrony znanych powierzchni i monitorowania kosztów Kubernetes. Agenci ciągle odkrywają nowe powierzchnie i eksploity, a nikt nie mapuje ich w czasie rzeczywistym. Zanim się zorientujesz, ktoś może przejąć poświadczenia i zyskać kontrolę nad całym organizmem AI za pomocą jednego ruchu.

Wstrzyknięcie promtu jest nowym wstrzyknięciem SQL

Jeśli istnieje jeden wektor ataku, do którego analitycy bezpieczeństwa ciągle wracają, to jest to wstrzyknięcie promtu. Pomysł jest prosty: zamiast wykorzystywać lukę w kodzie, atakujący manipuluje instrukcjami, które agent otrzymuje za pośrednictwem swoich wejść. Złośliwa instrukcja osadzona w stronie internetowej, dokumencie lub nawet wiadomości e-mail może przekierować, co agent robi dalej.

To, co sprawia, że jest to szczególnie ostre, to fakt, że agenci często robią dokładnie to, co im się mówi. Przetwarzają treści z internetu, z wiadomości użytkowników, z zewnętrznych narzędzi. Każda z tych treści jest potencjalną powierzchnią wstrzyknięcia. Agent, który czyta skompromitowany dokument, a następnie wywołuje wywołania API na podstawie jego zawartości, został przejęty, a prawdopodobnie nie zaloguje nic, co ujawniłoby łańcuch przyczynowości.

Obrony są realne, ale niekompletne. Izolacja działań agenta, ograniczanie narzędzi, które agent może wywołać w określonym kontekście, oraz tworzenie punktów kontrolnych ludzkich w przepływach pracy o wysokim ryzyku zmniejszają ryzyko. Nie eliminują go. Większość organizacji nie wdrożyła nawet podstawowych rozwiązań.

Problem zaufania wewnątrz systemów wieloagentowych

Systemy wieloagentowe wprowadzają warstwę złożoności, którą łatwo zaniżać. Gdy jeden agent koordynuje kilku innych, istnieje hierarchia zaufania. Koordynator przekazuje instrukcje w dół, a agenci podrzędni je wykonują. Jeśli koordynator zostanie skompromitowany, każdy agent pod nim jest skompromitowany, a promień rażenia staje się duży bardzo szybko.

Istnieje również problem nadmiernego upoważnienia. Agenci często otrzymują więcej dostępu, niż potrzebują, ponieważ łatwiej jest dać im szerokie uprawnienia na początku niż stopniowo je udoskonalać. Agent badawczy nie potrzebuje dostępu do bazy danych produkcyjnej.

Agent planistyczny nie potrzebuje dostępu do rekordów finansowych. Oczywiście, wydaje się to pocieszające, aby wszystko było połączone, ale jest to po prostu zbyt ryzykowne, aby zobaczyć jakiekolwiek niezmniejszające się zwroty. Ale granice stają się niewyraźne w praktyce, a zasady minimalnych uprawnień, które działają dobrze w teorii, są cicho porzucane w pośpiechu, aby wydać.

Co wygląda rozsądne bezpieczeństwo w tym miejscu

Nie ma jednego rozwiązania, które sprawia, że wdrożenia agentów są bezpieczne. To warstwowy problem i wymaga warstwowej odpowiedzi. Organizacje, które radzą sobie z tym dobrze, zaczynają od kontroli dostępu: dają każdemu agentowi określony, wąski zakres i tworzą kroki przeglądowe w każdej akcji, która dotyka wrażliwych systemów lub zewnętrznych usług.

Obserwowalność jest równie ważna jak prewencja. Jeśli agent zrobi coś nieoczekiwanego, zespoły potrzebują pełnego śladu otrzymanych instrukcji, wywołanych narzędzi i zwróconych wyników. Większość ustawień logowania nie jest zaprojektowana z tym poziomem szczegółowości. Budowanie go od samego początku jest warte tarcia.

Testowanie przeciwnika jest również niewykorzystane. Red-teamowanie agentów, próbowanie wstrzyknięcia złośliwych instrukcji i obserwowanie, co się dzieje, ujawnia słabości, których nie złapie statyczna kontrola kodu. To jest niekomfortowe do myślenia, ale ludzie, którzy ostatecznie będą próbowali wykorzystać te systemy, już to robią. Dotarcie tam pierwsze jest jedynym rozsądnym ruchem.

Końcowe myśli

Agenci AI staną się większą częścią działania organizacji, a ten przesunięcie już się rozpoczęło. Rozmowa o bezpieczeństwie musi nadrobić zaległości, a szybko. Ryzyko jest realne, wektory ataku są nowe, a okno na wyprzedzenie ich się kurczy.

Zrozumienie krajobrazu zagrożeń dla autonomicznych systemów AI nie jest już opcjonalne. To jedna z najważniejszych rzeczy, które zespoły bezpieczeństwa i inżynieryjne mogą robić teraz, a zegar na poprawne rozwiązanie już się rozpoczął.