Gdy zdolności sztucznej inteligencji rosną szybciej niż modele bezpieczeństwa stworzone do ich ograniczania

Narzędzia sztucznej inteligencji zwykle pojawiają się z dobrze znanym hasłem. Obiecują usprawniać procesy pracy, zwiększać produktywność i wykonywać zadania, których nikt nie lubi. I większości przypadków spełniają dokładnie to, co obiecują. Uproszczają logowanie, podsumowują dokumenty, automatyzują procesy pracy i sprawiają, że rutynowe czynności wydają się prawie bezwysiłkowe.

Jednak pod tym wszystkim wygodnym ukrywa się inna historia. Te narzędzia nie są już ograniczone do pola tekstowego. Zaczynają działać na samym systemie operacyjnym. Mogą przeglądać pliki, tworzyć e-maile, wchodzić w interakcje z aplikacjami i wykonywać czynności, które wcześniej wymagały uwagi człowieka, który rozumiał konsekwencje. Ten przełom umieszcza sztuczną inteligencję w pozycji, której istniejące założenia dotyczące bezpieczeństwa nie były w stanie zarządzać.

Chwila, gdy sztuczna inteligencja uzyskuje dostęp do systemu

Gdy system sztucznej inteligencji może odczytywać rzeczywiste pliki i wykonywać rzeczywiste polecenia, staje się częścią zaufanego podstawowego systemu. To jest moment, w którym długotrwałe oczekiwania dotyczące bezpieczeństwa sztucznej inteligencji zaczynają się łamać.

Przez lata wstrzyknięcie polecenia było uważane za dziwne zachowanie modelu. Powodowało, że czatboty produkowały mylące lub nieodpowiednie odpowiedzi, ale szkoda kończyła się z konwersacją. Teraz ten sam błąd może spowodować działanie na poziomie hosta, a nie tylko tekst. Złośliwe polecenie ukryte w pliku PDF, stronie internetowej lub e-mailu nie produkuje już tylko dziwnej odpowiedzi. Produkuje działanie wykonane na maszynie.

To nie jest coś, co można odłożyć jako teoretyczne. Naukowcy z Carnegie Mellon i Uniwersytetu Waszyngtonu wielokrotnie demonstrowali, że ukryte polecenia mogą skierować duże modele językowe do wykonywania działań, których użytkownicy nie zamierzali. Tymczasem naukowcy badający modele widzenia pokazali, jak manipulowane obrazy mogą zmienić percepcję modelu w sposób, który wpływa na zachowanie w dół.

Te eksperymenty były wcześniej traktowane jako laboratoryjne ciekawostki. Nie wydają się już akademickie, gdy sztuczna inteligencja ma dostęp do systemu operacyjnego.

Gdy zdolność agenta przewyższa kontrolę obrońcy

Nawet firmy budujące te agenty uznają powagę wyzwania. Wzmocniły filtry do obsługi poleceń, ale otwarcie stwierdzają, że kontrolowanie rzeczywistych działań systemu sztucznej inteligencji pozostaje aktywnym, nierozwiązanym obszarem pracy w całej branży. Ta luka między tym, co agent może zrobić, a tym, co obrońcy mogą kontrolować, wprowadza nową kategorię ryzyka, której istniejące podręczniki bezpieczeństwa nie mogą pochłonąć.

Agenci sztucznej inteligencji przekroczyli granicę, na którą branża nie jest w pełni przygotowana. Jedynym sposobem, aby to zrozumieć, jest spojrzenie na to, jak wstrzyknięcie polecenia teraz przecina się z tymi samymi łańcuchami ataków, których obrońcy używali przez ponad dekadę.

Jak wstrzyknięcie polecenia teraz mapuje się na łańcuchy ataków, które wszyscy znają

Atakujący zawsze podążali za przewidywalnym wzorcem. Ramka MITRE ATT&CK wyjaśnia etapy wyraźnie. Początkowy dostęp jest następowany przez wykonanie, trwanie, odkrycie, ruch boczny, zbieranie i eksfiltrację. Techniki się różnią, ale struktura jest stabilna.

To, co się zmienia, to mechanizm dostarczania. Zamiast przekonywać użytkownika do otwarcia złośliwego załącznika lub kliknięcia niebezpiecznego łącza, atakujący mogą umieścić polecenia tam, gdzie agent sztucznej inteligencji je przeczyta. Agent staje się środowiskiem wykonawczym. Wykonuje kroki dokładnie tak, jak opisano. Model nie kwestionuje, czy polecenie jest szkodliwe. Nie stosuje sądu ani intuicji. Po prostu działa.

Gdy atakujący może wpłynąć na rozumowanie agenta, łańcuch ataku łączy się szybko. Zmanipulowany plik wyzwala wykonanie, polecenia następcze tworzą trwanie, wyszukiwania systemowe zapewniają odkrycie, a upload plików umożliwia zbieranie i eksfiltrację. Nie potrzeba żadnego złośliwego oprogramowania. Agent po prostu wykonuje kroki tak, jak napisano.

To jest ta część historii, z którą zespoły bezpieczeństwa mają trudności, aby się dostosować. Przez lata budowały reguły wykrywania, kontrolę i procesy odpowiedzi wokół kodu. Agenci sztucznej inteligencji wprowadzają różne rodzaje interpreterów. Wykonują przez język naturalny, a nie skompilowane pliki binarne. Istniejące narzędzia nie są zaprojektowane do śledzenia lub nawet analizowania tego procesu rozumowania.

Zespoły bezpieczeństwa nie są gotowe i nawet nie zdają sobie z tego sprawy

Programy bezpieczeństwa nadal zakładają, że człowiek siedzi między treścią a działaniem. Ludzie mogą być oszukani, ale zatrzymują się, gdy coś wydaje się nie tak. Zauważają dziwne wyrażenia, kwestionują nieoczekiwane zachowanie i stosują sąd w ostatniej milie decyzji.

Agenci sztucznej inteligencji nie robią nic z tego; są konsekwentni, literalni i szybsi niż jakikolwiek przeciwnik. Jedna linia ukrytego tekstu jest wystarczająca, aby nakazać agentowi odczytanie wrażliwych plików, przechodzenie przez aplikacje lub kontakt z serwerem zdalnym. To umieszcza obrońców w pozycji, w której nigdy nie byli.

Zespoły bezpieczeństwa mają ograniczoną widoczność, jak agent dochodzi do decyzji, i nie mogą łatwo określić, czy działanie pochodziło od użytkownika, czy od sztucznej inteligencji. Tradycyjne wykrywanie złośliwego oprogramowania nie pomaga, ponieważ nic złośliwego nie jest wykonywane w zwykłym sensie, i nie ma gwarancji, że agent zakwestionuje lub odrzuci szkodliwe polecenia ukryte w normalnej treści.

Narzędzia zaprojektowane dla ludzkiego zachowania po prostu nie przenoszą się do świata, w którym język naturalny staje się skryptem, który napędza zachowanie systemu.

Co tak naprawdę działające kontrole kompensujące

Wzmacnianie modelu nie jest wystarczające. Zespoły bezpieczeństwa potrzebują kontroli wokół agenta, które ograniczają, co sztuczna inteligencja może zrobić, nawet gdy jej rozumowanie jest wpływane.

Kilka strategii pokazuje obiecujące wyniki:

• Dostęp z najmniejszymi uprawnieniami jest niezbędny. Agenci powinni mieć dostęp tylko do plików i działań wymaganych do ich zadań. Ograniczanie niepotrzebnych uprawnień ogranicza wpływ manipulowanych poleceń.
• Kroki zatwierdzania przez człowieka mogą zatrzymać szkodliwe działania, zanim wystąpią. Gdy agent próbuje wykonać wrażliwą operację, taką jak uruchomienie polecenia lub dostęp do chronionych danych, użytkownik powinien zatwierdzić lub odrzucić żądanie.
• Filtrowanie treści tworzy bufor między niezaufanymi materiałami a agentem. Przesiewanie dokumentów, adresów URL i zewnętrznego tekstu redukuje szanse, że ukryte polecenia dotrą do modelu.
• Całkowite logowanie jest obowiązkowe. Każde działanie zainicjowane przez agenta musi być zarejestrowane i przeglądane. Te działania powinny być traktowane tak samo jak każda uprzywilejowana aktywność użytkownika.
• Mapowanie zachowań agenta na techniki ATT&CK pomaga obrońcom zidentyfikować, gdzie agent może być skierowany do szkodliwych działań i gdzie muszą być umieszczone barierki. Używa tego samego systemu, który już strukturyzuje strategię obronną.

Te kontrole kompensujące nie wyeliminują ryzyka. Ale zawierają je w sposób, w jaki obrona na poziomie modelu nie może.

Gdzie branża idzie dalej

Agenci sztucznej inteligencji reprezentują znaczącą zmianę w tym, jak działa komputacja. Oferują niesamowitą produktywność, ale również wprowadzają kategorię operacyjnego ryzyka, które nie mieści się w ramach istniejących struktur bezpieczeństwa. Wytyczne brytyjskiego Narodowego Centrum Bezpieczeństwa Cybernetycznego to dobry początek, ale większość organizacji nadal nie ma jasnego sposobu, aby rządzić agentami, które mogą działać na systemie.

Ten moment wydaje się podobny do wczesnych dni adopcji chmury. Technologia poruszała się szybciej niż kontrola. Organizacje, które dostosowały się szybko, były tymi, które rozpoznały zmianę wcześnie i zbudowały procesy, aby ją dopasować.

To samo będzie tutaj. Agenci sztucznej inteligencji nie są tylko pomocnikami. Są operatorami z dostępem na poziomie systemu. Zabezpieczanie ich wymaga nowych podręczników, nowych barier i nowych sposobów modelowania narażenia.

Branża nie musi się bać tych narzędzi. Ale musi je zrozumieć. I musi poruszać się szybko, ponieważ atakujący już widzą okazję. Pytanie brzmi, czy obrońcy zbudują odpowiednie zabezpieczenia, zanim będą mieli jeszcze czas.