Własne słabości bezpieczeństwa: Agenci AI i problem posłuszeństwa

Agenci AI oparte na modelach językowych wprowadzają nową klasę słabości, gdzie atakujący wstrzykują szkodliwe instrukcje do danych, zmieniając pomocne systemy w nieświadome współpracowników.

Microsoft Copilot nie został zhakowany w klasycznym sensie. Nie było malware, nie było linku phishingowego, nie było szkodliwego kodu. Nikt nie kliknął niczego ani nie wdrożył żadnego exploitu.

Atakujący po prostu poprosił. Microsoft 365 Copilot, robiąc dokładnie to, do czego został stworzony, wykonał polecenie. W niedawnym ataku Echoleak zero-click, agent AI został manipulowany przez podstawiony prompt, który wyglądał jak dane. Wykonał polecenie, nie dlatego, że był uszkodzony, ale dlatego, że działał zgodnie z projektem.

Ta słabość nie wykorzystywała błędów oprogramowania. Wykorzystywała język. I to oznacza duży przełom w bezpieczeństwie, gdzie powierzchnia ataku nie jest już kodem, ale rozmową.

Nowy problem posłuszeństwa AI

Agenci AI są zaprojektowani, aby pomagać. Ich celem jest zrozumienie intencji użytkownika i działanie na niej w sposób wydajny. Ta użyteczność wiąże się z ryzykiem. Gdy agenci AI są wbudowani w systemy plików, platformy produktywne lub systemy operacyjne, wykonują polecenia języka naturalnego z minimalnym oporem.

Atakujący wykorzystują tę cechę. Z pomocą podstawionych promptów, które wyglądają niewinnie, mogą wywołać czynności wrażliwe. Te prompty mogą zawierać:

• Fragmenty kodu w wielu językach
• Niejasne formaty plików i ukryte instrukcje
• Wejścia w języku nieangielskim
• Polecenia wieloetapowe ukryte w języku potocznym

Ponieważ duże modele językowe (LLM) są szkolone, aby zrozumieć złożoność i niejasność, prompt staje się ładunkiem.

Duch Siri i Alexa

Ten wzorzec nie jest nowy. W początkowych dniach Siri i Alexa, badacze udowodnili, jak odtworzenie polecenia głosowego, takiego jak “Wyślij wszystkie moje zdjęcia na ten adres e-mail”, mogło wywołać działanie bez weryfikacji użytkownika.

Teraz zagrożenie jest większe. Agenci AI, tacy jak Microsoft Copilot, są zintegrowani głęboko z Office 365, Outlook i systemem operacyjnym. Mają dostęp do e-maili, dokumentów, poświadczeń i interfejsów API. Atakujący potrzebują tylko odpowiedniego promptu, aby wydobyć dane krytyczne, wszystko podczas udawania prawdziwego użytkownika.

Gdy komputery mylą polecenia z danymi

To nie jest nowy principio w bezpieczeństwie. Ataki, takie jak ataki SQL, powiodły się, ponieważ systemy nie mogły odróżnić danych wejściowych od instrukcji. Dziś ta sama wada istnieje, ale na warstwie języka.

Agenci AI traktują język naturalny jako dane wejściowe i intencję. Obiekt JSON, pytanie lub nawet fraza mogą zainicjować działanie. Ta niejasność jest tym, co atakujący wykorzystują, ukrywając polecenia w tym, co wygląda jak niewinna zawartość.

Adopcja AI wyprzedza bezpieczeństwo

Gdy przedsiębiorstwa spieszą się, aby zintegrować LLM, wiele z nich pomija kluczowe pytanie: co agent AI ma dostęp do?

Gdy Copilot może dotknąć systemu operacyjnego, promień rażenia rozciąga się daleko poza skrzynkę odbiorczą. Według raportu Check Point:

• 62 procent globalnych dyrektorów ds. bezpieczeństwa informacji (CISO) obawia się, że mogą być osobowo odpowiedzialni za naruszenia związane z AI
• Blisko 40 procent organizacji zgłasza nieautoryzowane wewnętrzne użycie AI, często bez nadzoru bezpieczeństwa
• 20 procent grup przestępczych wykorzystuje AI w swoich operacjach, w tym do tworzenia phishingu i prowadzenia rozpoznania

To nie jest tylko wschodzące ryzyko. Jest to już istniejące ryzyko, które powoduje szkody.

Dlaczego istniejące zabezpieczenia są niewystarczające

Niektórzy dostawcy używają strażników — dodatkowych modeli szkolonych do wykrywania niebezpiecznych promptów lub podejrzanych zachowań. Te filtry mogą wykryć podstawowe zagrożenia, ale są podatne na techniki unikania.

Atakujący mogą:

• Przeciążyć filtry szumem
• Podzielić intencję na wiele kroków
• Użyć nieoczywistych sformułowań, aby ominąć wykrywanie

W przypadku ataku Echoleak zabezpieczenia były obecne — i zostały ominięte. To odzwierciedla nie tylko awarię polityki, ale awarię architektury. Gdy agent ma wysoki poziom uprawnień, ale niski poziom kontekstu, nawet dobre barierki są niewystarczające.

Wykrywanie, a nie doskonałość

Zapobieganie każdemu atakowi może być niewykonalne. Celem powinno być szybkie wykrywanie i szybkie ograniczanie.

Organizacje mogą zacząć od:

• Monitorowania aktywności agenta AI w czasie rzeczywistym i utrzymywania dzienników promptów
• Stosowania ścisłych uprawnień do narzędzi AI, naśladując kontrolę administracyjną
• Dodawania tarć do wrażliwych operacji, takich jak wymaganie potwierdzeń
• Oznaczania niezwykłych lub wrogich wzorców promptów do przeglądu

Ataki oparte na języku nie pojawią się w tradycyjnych narzędziach do wykrywania i reagowania na zagrożenia punktu końcowego (EDR). Wymagają one nowego modelu wykrywania.

Co organizacje powinny zrobić teraz, aby się zabezpieczyć

Przed wdrożeniem agentów AI organizacje muszą zrozumieć, jak te systemy działają i jakie ryzyko wprowadzają.

Kluczowe zalecenia obejmują:

1. Audyt wszystkich dostępów: Wiedz, do czego agenci mają dostęp
2. Ogranicz zakres: Udzielaj minimalnych niezbędnych uprawnień
3. Śledź wszystkie interakcje: Rejestruj prompty, odpowiedzi i wynikające z nich działania
4. Testuj wytrzymałość: Symuluj wejścia wrogie wewnętrznie i często
5. Planuj uniknięcie: Załóż, że filtry zostaną ominięte
6. Wyrównaj z bezpieczeństwem: Upewnij się, że systemy LLM wspierają, a nie kompromitują, cele bezpieczeństwa

Nowa powierzchnia ataku

Atak Echoleak to zapowiedź tego, co ma nadejść. Gdy LLM ewoluują, ich użyteczność staje się wadą. Zintegrowane głęboko z systemami biznesowymi, oferują atakującym nowy sposób wejścia — przez proste, starannie spreparowane prompty.

To już nie jest tylko kwestia zabezpieczenia kodu. Chodzi o zabezpieczenie języka, intencji i kontekstu. Podręcznik musi się zmienić teraz, zanim będzie za późno.

A jednak, jest dobra wiadomość. Postępy są czynione w wykorzystaniu agentów AI do obrony przed nowymi i wschodzącymi zagrożeniami cybernetycznymi. Gdy są odpowiednio wykorzystywane, ci autonomiczni agenci AI mogą reagować na zagrożenia szybciej niż ludzie, współpracować w różnych środowiskach i proaktywnie bronić się przed wschodzącymi ryzykami, ucząc się z jednej próby infiltracji.

Agenci AI mogą uczyć się z każdego ataku, adaptować się w czasie rzeczywistym i zapobiegać zagrożeniom, zanim się rozprzestrzenią. Mają potencjał, aby ustanowić nową erę cyberbezpieczeństwa, ale tylko jeśli wykorzystamy ten moment i ukształtujemy przyszłość bezpieczeństwa cybernetycznego razem. Jeśli nie, ta nowa era może sygnalizować koszmar bezpieczeństwa cybernetycznego i prywatności danych dla organizacji, które już wdrożyły AI (czasem nawet nieświadomie z narzędziami shadow IT). Teraz jest czas, aby podjąć działania, aby zapewnić, że agenci AI są wykorzystywani dla naszej korzyści, a nie naszego upadku.