Agenci AI stają się coraz inteligentniejsi, a ich powierzchnia ataku staje się coraz większa

Chwila, w której agenci AI zaczęli rezerwować spotkania, wykonywać kod i przeglądać internet w Twoim imieniu, zmieniła rozmowę o cyberbezpieczeństwie. Nie powoli, ale natychmiast.

To, co kiedyś było zawarte w przewidywalnym systemie oprogramowania, stało się czymś, co rozumie, planuje i podejmuje działania w narzędziach i API, których ledwie istnienie było znane rok temu.

To jest naprawdę ekscytujące, i to jest również naprawdę przerażające, ponieważ powierzchnia ataku, która pochodzi z tej autonomii, jest ogromna, a większość organizacji dopiero zaczyna rozumieć, co oznacza wprowadzenie agentów do ich infrastruktury.

Od czatbotów do operatorów

Pierwotna obietnica AI była prosta: zadasz pytanie, otrzymasz odpowiedź. To wciąż jest prawdą dla większości interakcji konsumenckich, ale nie jest to już to, co dzieje się w wdrożeniach przedsiębiorstw. Dzisiejsi agenci otrzymują poświadczenia, klucze API i możliwość usuwania, tworzenia i adnotowania danych, a także podejmowania rzeczywistych działań w systemach, które mają rzeczywiste konsekwencje.

Zmiana nastąpiła szybko. W ciągu weniger niż dwóch lat, agenci AI przeszli od generowania tekstu do umożliwienia nam uruchomienia gładkich, wieloagentowych konfiguracji. Czytają e-maile, uruchamiają przepływy pracy, zapytują bazy danych i w niektórych przypadkach zarządzają innymi agentami poniżej nich. Taki poziom dostępu wymagał wcześniej długiego procesu zakupowego i człowieka w pętli. Teraz jest to plik konfiguracyjny i kilka wywołań API.

Większy dostęp oznacza większą ekspozycję

Tradycyjne ataki na oprogramowanie mają dość przewidywalny profil. Istnieje znany punkt wejścia, znana luka, znany patch. Agenci AI łamią ten model, ponieważ są dynamiczne z natury. Nie podążają za statyczną ścieżką kodu. Rozumieją, co robić dalej, co sprawia, że ich zachowanie jest trudniejsze do przewidzenia i znacznie trudniejsze do audytu po fakcie.

Ta nieprzewidywalność jest przydatna do wykonania pracy. Jest to również zaletą dla każdego, kto próbuje wykorzystać system. Gdy agent może zdecydować, w trakcie wykonywania zadania, o wywołaniu zewnętrznego API lub włączeniu narzędzia zewnętrznego, nie ma czystego obwodu do obrony.

Zespoły bezpieczeństwa są przyzwyczajone do ochrony znanych powierzchni i monitorowania kosztów Kubernetes. Agenci ciągle odkrywają nowe powierzchnie i eksploatują je, a nikt nie mapuje ich w czasie rzeczywistym. Przedwcześnie ktoś może przejąć poświadczenia i zyskać kontrolę nad całym organizmem AI z jednym ruchem.

Wstrzyknięcie promtu jest nowym wstrzyknięciem SQL

Jeśli istnieje jeden wektor ataku, do którego badacze bezpieczeństwa ciągle wracają, to jest to wstrzyknięcie promtu. Pomysł jest prosty: zamiast wykorzystywać lukę w kodzie, atakujący manipuluje instrukcjami, które agent otrzymuje przez swoje dane wejściowe. Złośliwa instrukcja osadzona na stronie internetowej, w dokumencie lub nawet w e-mailu może przekierować, co agent robi dalej.

To, co sprawia, że jest to szczególnie ostre, to fakt, że agenci często robią dokładnie to, co im się mówi. Przetwarzają treści z internetu, z wiadomości użytkowników, z narzędzi zewnętrznych. Każda z tych treści jest potencjalną powierzchnią wstrzyknięcia. Agent, który czyta skompromitowany dokument, a następnie wywołuje wywołania API na podstawie jego zawartości, został przejęty, i prawdopodobnie nie zaloguje nic, co ujawniłoby łańcuch przyczynowo-skutkowy.

Obrona tutaj jest realna, ale niekompletna. Izolowanie działań agenta, ograniczanie narzędzi, których agent może używać w określonych kontekstach, oraz wprowadzanie punktów kontrolnych ludzkich do przepływów pracy o wysokim ryzyku redukują ryzyko. Nie eliminują go. A większość organizacji jeszcze nie wdrożyła nawet podstaw.

Problem zaufania w systemach wieloagentowych

Systemy wieloagentowe wprowadzają warstwę złożoności, której łatwo nie docenić. Gdy jeden agent koordynuje kilku innych, istnieje hierarchia zaufania. Koordynator przekazuje instrukcje w dół, a agenci podrzędni je wykonują. Jeśli ten koordynator zostanie skompromitowany, każdy agent poniżej niego jest skutecznie skompromitowany również, a promień rażenia staje się duży bardzo szybko.

Istnieje również problem nadmiernego upoważnienia. Agenci często otrzymują więcej dostępu, niż potrzebują, ponieważ jest łatwiej dać szerokie uprawnienia na początku niż je stopniowo doskonalić. Agent badawczy nie potrzebuje dostępu do bazy danych produkcyjnej.

Agent planowania nie potrzebuje dostępu do rekordów finansowych. Oczywiście, wydaje się to pocieszające, że wszystko jest splecione, ale jest to po prostu zbyt ryzykowne, aby widzieć jakiekolwiek nie Malejące zwroty. Ale linie stają się niewyraźne w praktyce, a zasady minimalnych uprawnień, które działają dobrze w teorii, są cicho porzucane w pośpiechu, aby coś wydać.

Wygląd rozsądnego bezpieczeństwa

Nie ma jednego rozwiązania, które sprawi, że wdrożenia agentów będą bezpieczne. To warstwowy problem i wymaga warstwowej odpowiedzi. Organizacje, które radzą sobie z tym dobrze, zaczynają od kontroli dostępu: dają każdemu agentowi określony, wąski zakres i budują kroki przeglądowe do każdego działania, które dotyka wrażliwych systemów lub zewnętrznych usług.

Obserwowalność jest równie ważna jak zapobieganie. Jeśli agent zrobi coś nieoczekiwanego, zespoły potrzebują pełnego śladu otrzymanych instrukcji, wywołanych narzędzi i zwróconych wyników. Większość konfiguracji logowania nie jest zaprojektowana z tym poziomem szczegółowości, a retrofiting po fakcie jest bolesny. Budowanie go od samego początku jest warte tarcia.

Testowanie adversarialne jest również niedoceniane. Red-teamowanie agentów, próbowanie wstrzyknięcia złośliwych instrukcji i obserwowanie, co się dzieje, ujawnia słabości, których statyczny przegląd kodu nigdy nie złapie. To jest niekomfortowe do myślenia, ale ludzie, którzy będą próbowali wykorzystać te systemy, już to robią. Dotarcie do nich jako pierwszy jest jedynym rozsądnym ruchem.

Końcowe myśli

Agenci AI staną się większą częścią tego, jak organizacje działają, a ta zmiana już się rozpoczęła. Rozmowa o bezpieczeństwie musi nadrobić zaległości, i szybko. Ryzyko jest realne, wektory ataku są nowe, a okno na ich wyprzedzenie się zmniejsza.

Zrozumienie krajobrazu zagrożeń dla autonomicznych systemów AI nie jest już opcjonalne. To jeden z najważniejszych tematów, który zespoły bezpieczeństwa i inżynieryjne mogą robić teraz, a zegar na ich poprawne wykonanie już się rozpoczął.