Ukryte Zagrożenie Agentów AI Wymaga Nowego Modelu Bezpieczeństwa

Systemy AI agencji stały się powszechne w ciągu ostatniego roku. Są one obecnie wykorzystywane do kilku funkcji, w tym uwierzytelniania użytkowników, przenoszenia kapitału, uruchamiania workflow zgodności oraz koordynowania w środowiskach przedsiębiorstw z minimalnym nadzorem ludzkim.

Jednak cichy problem pojawia się wraz ze wzrostem autonomii, nie na poziomie poleceń lub zasad, ale na poziomie infrastruktury zaufania. Systemy agencji otrzymują uprawnienia wewnętrzne, podczas gdy nadal działają na środowiskach obliczeniowych, które nie zostały zaprojektowane w celu ochrony autonomicznych decydentów przed infrastrukturą pod spodem.

Tradycyjne bezpieczeństwo zakłada, że oprogramowanie jest biernym, ale systemy agencji nie są. One rozumieją, pamiętają i działają w sposób ciągły, autonomiczny i z delegowaną władzą.

Nie zapominajmy, że agenci AI mają prawdopodobnie dostęp do danych osobowych, w zależności od ich przypadku użycia, takich jak e-maile i nagrania rozmów, wśród innych rzeczy.

Ponadto, chociaż istnieją ochrony oparte na sprzęcie, takie jak maszyny wirtualne poufne i enklawy bezpieczne, nie są one jeszcze domyślną podstawą dla większości wdrożeń AI agencji. W rezultacie wiele agentów nadal wykonuje się w środowiskach, w których dane wrażliwe są narażone na podstawową infrastrukturę podczas wykonywania.

Agenci Są Wewnętrznymi, Nie Narzędziami

Zespoły bezpieczeństwa już wiedzą, jak trudno jest powstrzymać zagrożenia wewnętrzne, problem podkreślony w raporcie Verizon z 2025 roku, który pokazuje, że włamanie do systemu było odpowiedzialne za ponad 53% potwierdzonych naruszeń w zeszłym roku. W 22% tych przypadków atakujący wykorzystali skradzione poświadczenia, aby uzyskać dostęp, co pokazuje, jak często odnoszą sukces, wykorzystując prawidłowe tożsamości zamiast wykorzystywać techniczne błędy.

Teraz rozważmy agenta, który składa się z logiki polecenia, narzędzi i wtyczek, poświadczeń, a także zasad. Nie tylko może on uruchamiać kod i przeglądać internet, ale może również wyszukiwać CRM, czytać e-maile i wysyłać bilety, wśród wielu innych rzeczy. To, co połączenie funkcji przyniosło, to tradycyjne powierzchnie ataku w nowoczesnym interfejsie.

Niebezpieczeństwo stwarzane przez takie zagrożenia wewnętrzne nie jest spekulatywne. Projekt Open Web Application Security (OWASP) teraz wymienia „wstrzyknięcie polecenia” jako krytyczną lukę w zabezpieczeniach dla aplikacji LLM, zauważając jego szczególne niebezpieczeństwo dla systemów agencji, które łączą działania. Zespół wywiadu zagrożeń Microsoft opublikował również porady, ostrzegające, że systemy AI z dostępem do narzędzi mogą być podważane w celu kradzieży danych, jeśli zabezpieczenia nie są egzekwowane architektonicznie.

Raporty te przypominają nam, że agenci, którzy mają uzasadniony dostęp do systemów i danych, mogą być skierowani przeciwko swoim właścicielom. Jednakże, krajobraz ryzyka dla systemów agencji nie jest jednorodny. Zagrożenia na poziomie aplikacji, takie jak wstrzyknięcie polecenia i nadużycie narzędzi, wynikają z niezdolności modelu do rozróżnienia zaufanych poleceń od niezaufanych danych wejściowych użytkownika, ograniczenia projektowego, którego nie można naprawić żadnym wzmocnieniem pamięci.

Inny, równie ważny problem istnieje na poziomie infrastruktury: niektórzy agenci działają w pamięci w postaci zwykłego tekstu, co oznacza, że informacje wrażliwe, takie jak historie czatów, odpowiedzi API i dokumenty, mogą być widoczne podczas przetwarzania i mogą pozostać dostępne później. OWASP identyfikuje to ryzyko jako ujawnienie informacji wrażliwych (LLM02) i wyciek polecenia systemu (LLM07) i sugeruje stosowanie izolacji kontekstowej, segmentacji przestrzeni nazw i piaskownic pamięci jako ważnych środków bezpieczeństwa.

Tak więc, użytkownicy nie powinni traktować tych agentów jako zwykłych aplikacji, biorąc pod uwagę, że są to dynamiczne, rozumne wykonawcy wymagające modelu bezpieczeństwa, który uwzględnia ich unikalną naturę jako nie-ludzkie jednostki z agencją. Podejście to musi obejmować zarówno kontrolę oprogramowania, aby ograniczyć sposób, w jaki działa model, jak i ochronę sprzętową, aby zachować bezpieczeństwo danych podczas ich używania.

Architektura Zaufania Ma Krytyczną Wadę

Obecne praktyki bezpieczeństwa koncentrują się na ochronie danych w spoczynku i w transporcie. Ostatnia granica, dane w użyciu, pozostaje prawie całkowicie narażona. Kiedy agent AI rozważa poufny zestaw danych w celu zatwierdzenia pożyczki, analizy rekordów pacjentów lub wykonania transakcji, dane te są zwykle odszyfrowane i przetwarzane w postaci zwykłego tekstu w pamięci serwera.

W standardowych modelach chmury, każdy, kto ma wystarczającą kontrolę nad infrastrukturą, w tym administratorzy hypervisora lub atakujący współlokatorzy, może potencjalnie zajrzeć, co się dzieje, gdy obciążenie jest uruchomione. Dla agentów AI ta ekspozycja jest szczególnie niebezpieczna, ponieważ potrzebują dostępu do informacji wrażliwych, aby wykonywać swoje zadania, co może potencjalnie stać się powierzchnią ataku.

Jak Lumia Security wykazało, atakujący z dostępem do lokalnej maszyny mogą uzyskać JWT i klucze sesji bezpośrednio z pamięci procesu aplikacji ChatGPT, Claude i Copilot. Skradzione poświadczenia mogą pozwolić im udawać innego użytkownika, kradnąć historię rozmów i wstrzykiwać polecenia do trwających sesji, które mogą zmienić zachowanie agenta lub zaimplantować fałszywe wspomnienia.

Przykładem tego może być incydent z AWS CodeBuild, który wykazał, że atakujący mogą dodać złośliwy kod do projektu i gdy system go uruchomi, kod może zajrzeć do pamięci komputera i skraść ukryte tokeny logowania przechowywane tam. Z tymi tokenami atakujący mogą zmienić kod projektu i potencjalnie uzyskać dostęp do innych systemów.

Dla instytucji finansowych cicha manipulacja jest egzystencjalna. Banki, ubezpieczyciele i firmy inwestycyjne już absorbują średnie koszty naruszeń danych na poziomie ponad 10 milionów dolarów i rozumieją, że integralność ma takie same znaczenie, jak poufność. Według niedawnego raportu Informatica, „paradoks zaufania” został wyjaśniony w ten sposób: organizacje wdrożenia autonomicznych agentów szybciej niż mogą zweryfikować ich dane wyjściowe. Rezultatem jest automatyzacja, która może wpisać błędy lub uprzedzenia bezpośrednio do podstawowych procesów, działających z prędkością maszynową.

Obliczenia Poufne i Przypadek Izolacji

Naprawy stopniowe nie rozwiążą problemu, chociaż bardziej restrykcyjne kontrolki dostępu i lepsze monitorowanie mogą pomóc. Jednak żadne z nich nie mogą zmienić podstawowego problemu. Problem jest architektoniczny, a tak długo, jak obliczenia odbywają się w narażonej pamięci, agenci będą narażeni w momencie, gdy są najważniejsi, czyli podczas rozważań.

Obliczenia poufne, zdefiniowane przez Konsorcjum Obliczeń Poufnych (CCC) jako ochrona danych w użyciu za pomocą środowisk wykonawczych zaufanych opartych na sprzęcie (TEEs), bezpośrednio rozwiązują podstawową wadę.

Dla agentów AI izolacja na poziomie sprzętu jest przełomowa, ponieważ pozwala na pozostawienie poświadczeń tożsamości agenta, jego wag modelu, poufnych poleceń i wrażliwych danych użytkownika, które są przetwarzane, w postaci zaszyfrowanej nie tylko na dysku lub w sieci, ale aktywnie w pamięci podczas wykonywania. Rozdzielenie definitywnie łamie tradycyjny model, w którym kontrola nad infrastrukturą gwarantuje kontrolę nad obciążeniem.

Atestacja zdalna zapewnia weryfikowalne dowody kryptograficzne, że określone żądanie inferencyjne zostało wykonane w środowisku wykonawczym zaufanym opartym na sprzęcie, niezależnie od tego, czy jest to CPU czy GPU. Dowód jest generowany z pomiarów sprzętowych i dostarczany wraz z odpowiedzią, umożliwiając niezależną weryfikację, gdzie i jak obciążenie zostało wykonane.

Rekordy atestacji nie ujawniają kodu, który został wykonany. Zamiast tego, każde obciążenie jest skojarzone z unikalnym identyfikatorem obciążenia lub identyfikatorem transakcji, a rekord atestacji TEE jest połączony z tym identyfikatorem. Atestacja potwierdza, że obliczenia zostały wykonane w środowisku zaufanym bez ujawniania jego zawartości.

Konfiguracja tworzy nową podstawę dla zgodności i audytu, umożliwiając połączenie działań agenta z określoną wersją kodu, która została zaświadczona i znanym zestawem danych wejściowych.

Ku Odpowiedzialnej Autonomii

Wnioski z systemu opisanego powyżej sięgają poza podstawowe bezpieczeństwo. Rozważmy prawa, które regulują finanse, opiekę zdrowotną i informacje osobiste. Wiele jurysdykcji stosuje zasady suwerenności danych, które ograniczają, gdzie informacje mogą być przetwarzane. W Chinach Prawo o ochronie informacji osobowych i Prawo o bezpieczeństwie danych wymagają, aby pewne kategorie danych, takie jak ważne dane osobowe, były przechowywane w kraju i przeglądane przed transferem za granicę.

Podobnie, kilka krajów Zatoki, takich jak Zjednoczone Emiraty Arabskie i Arabia Saudyjska, przyjęło podobne podejścia, szczególnie w odniesieniu do danych finansowych, rządowych i infrastrukturalnych.

Obliczenia poufne mogą wzmocnić bezpieczeństwo i audytowanie, chroniąc dane podczas ich przetwarzania i umożliwiając atestację środowiska wykonawczego. Nie zmieniają one jednak, gdzie przetwarzanie występuje. Gdzie zasady suwerenności danych wymagają lokalnego przetwarzania lub nakładają warunki na transgraniczne transfery, środowiska wykonawcze zaufane mogą wspierać kontrole zgodności, a nie zastępować wymagania prawne.

Ponadto, obliczenia poufne umożliwiają bezpieczną współpracę w systemach wieloagentowych, w których agenci z różnych organizacji lub w ramach różnych departamentów często muszą udostępniać informacje lub weryfikować dane wyjściowe bez narażania danych własnych.

A gdy technologia ta jest połączona z architekturą zero-trust, wynikiem jest znacznie silniejsza podstawa. Zero trust ciągle weryfikuje tożsamość i dostęp, podczas gdy obliczenia poufne chronią pamięć sprzętu przed nieautoryzowanym wydobyciem i uniemożliwiają odzyskiwanie informacji wrażliwych w postaci zwykłego tekstu.

Razem bronią tego, co naprawdę się liczy, na przykład logiki decyzyjnej, wrażliwych danych wejściowych i kluczy kryptograficznych, które autoryzują działanie.

Nowy Standard dla Systemów Autonomicznych

Jeśli każda interakcja naraża ludzi na ryzyko narażenia, nie pozwolą, aby AI zajmowała się rzeczami takimi jak rekordy zdrowia lub podejmowała decyzje finansowe. Podobnie, firmy nie zautomatyzują swoich najważniejszych zadań, jeśli mogłoby to prowadzić do problemów regulacyjnych lub utraty ważnych danych.

Poważni budowniczowie rozumią, że naprawy na poziomie aplikacji są niewystarczające w środowiskach o wysokim poziomie zaufania.

Gdy agenci są powierzeni uprawnieniami finansowymi, danymi regulowanymi lub koordynacją międzyorganizacyjną, narażenie na poziomie infrastruktury staje się bardziej niż teoretyczne. A bez wykonywania poufnego w takich kontekstach wiele agentów pozostaje łatwym celem, z kradzionymi kluczami i giętką logiką. Rozmiar współczesnych naruszeń danych pokazuje dokładnie, dokąd prowadzi ta ścieżka.

Prywatność i integralność nie są opcjonalnymi funkcjami, które można dodać po wdrożeniu. Muszą być zaprojektowane od poziomu krzemowego. Dlatego, aby agenci AI mogli się rozwijać w sposób bezpieczny, egzekwowana sprzętowo poufność nie może być postrzegana jako tylko przewaga konkurencyjna, ale jako podstawa.