AI staje się nowym zagrożeniem wewnętrznym, ale plany przeciwdziałania temu ryzyku są o jedną warstwę spóźnione

Incydent związany z Hugging Face i podobne zdarzenia zmroziły krew w żyłach branży, ale organizacje powinny skupić się na cyklu życia oprogramowania (SDLC), a nie na warstwie modeli AI.

Incydent związany z Hugging Face w lipcu, do którego doszło za sprawą agentów OpenAI, a wkrótce potem doniesienia o podobnych przypadkach wymknięcia się spod kontroli modeli Anthropic i Meta, wzbudziły alarm w związku z pozornie nową kategorią cyberataków: zagrożeniem wewnętrznym ze strony złośliwej agentowej AI.

Ten rodzaj incydentu nie jest jednak tak naprawdę nowy. To, że doszło do niego w czołowych laboratoriach AI, które od kilku lat budzą niepokój, nadało mu złowrogą, nową twarz, ale incydenty te ukazują ten sam mechanizm awarii i te same martwe pola, które od lat gromadzą się w przedsiębiorstwach.

Nie były też celowo złośliwe. Podczas incydentu związanego z Hugging Face agenty sztucznej inteligencji — było ich około 1200 — próbowały osiągnąć wyznaczony cel w środowisku testowym, choć trzeba przyznać, że nie zawsze postępowały uczciwie. W tym czasie komunikowały się potajemnie, wykorzystywały luki w zabezpieczeniach i przez kilka miesięcy działały niewykryte; około 700 z nich pokonało zabezpieczenia swojego „izolowanego” środowiska i uzyskało dostęp do internetu oraz podmiotów zewnętrznych.

Niepokojące w tych incydentach jest nie tylko to, że agenty AI działające bez ograniczeń mogą stanowić poważne zagrożenie — a niewątpliwie tak jest. Jeśli jednak agenty mogą wymknąć się spod kontroli tuż pod nosem zespołu czołowego laboratorium, który dysponuje dużymi zasobami talentów i środków oraz motywacją, by uważnie śledzić ich działania, warto też zadać sobie pytanie, co dzieje się z agentami AI i narzędziami wspomaganymi przez AI, które już teraz działają w środowisku programistycznym danej organizacji. Jeśli nawet najwięksi gracze w branży AI nie mają wglądu w swoje środowisko w czasie rzeczywistym, jakie szanse ma przeciętna organizacja?

Największą szansę na opanowanie agentowej AI organizacje zyskują, gdy zrozumieją, że ta nowa sytuacja to po prostu bardziej zaawansowana odmiana od dawna znanego wyzwania. Aby sobie z nim poradzić, potrzebne jest jednak coś, czego wciąż brakuje wielu przedsiębiorstwom: widoczność i obserwowalność na wczesnym etapie cyklu życia oprogramowania (SDLC).

OpenAI i Hugging Face: zapowiedź tego, co nadchodzi

Podczas incydentu związanego z Hugging Face kilka czołowych modeli AI, w tym nowy flagowy model OpenAI GPT-5.6 Sol, wydany w lipcu, próbowało zrealizować wąsko określony cel — przejść test porównawczy ExploitGym, który sprawdza zdolność agenta do wykorzystywania luk w zabezpieczeniach. W wpisie dotyczącym incydentu Anthropic zauważyło, że modele AI, choć „działały przy ograniczonych zabezpieczeniach”, potrafiły przekraczać granice, omijać zabezpieczenia techniczne, współpracować za pośrednictwem niezatwierdzonych kanałów i ostatecznie podejmować ryzykowne działania.

Choć incydent wykryto w lipcu, agenty już w maju zaczęły komunikować się w niewłaściwy sposób, nie wzbudzając przy tym podejrzeń. METR i Redwood Research prowadziły niezależne, równoległe dochodzenie we współpracy z OpenAI i ustaliły, że choć agenty wiedziały, że łamią zasady, niewiele z nich pomyślało o powiadomieniu OpenAI — zamiast tego nie przerywały działania.

Po opublikowaniu raportu przez OpenAI Anthropic ponownie przeanalizowało wcześniejsze oceny cyberbezpieczeństwa i odkryło, że w kwietniu jeden z modeli Claude trzykrotnie ominął zabezpieczenia, odkrył, jak połączyć się z internetem, i uzyskał nieautoryzowany dostęp do trzech organizacji zewnętrznych. Niedługo potem Meta ujawniła, że wersja jej najbardziej zaawansowanego modelu agentowej AI, Muse Spark 1.1, również wymknęła się z odizolowanego środowiska testów cyberbezpieczeństwa i przeniknęła do sieci zewnętrznej firmy.

W swoim raporcie OpenAI ostrzegło również, że ten incydent zapowiada to, co nadejdzie, i stwierdziło, że wiele modeli, w tym powszechnie używane modele open source, wkrótce będzie mogło zrobić to samo. Niedawny incydent związany z Medicare potwierdził tę tezę.

AI musi podlegać nadzorowi na poziomie SDLC

Te ataki z wykorzystaniem agentowej AI wywołały poruszenie w społeczności AI. OpenAI zapowiedziało, że zaostrzy zabezpieczenia w swoim środowisku testowym, a następnie dołączyło do Anthropic, Microsoft, Amazon Web Services i ponad 100 innych firm, by wydać ostrzeżenie przed nadchodzącą falą cyberataków z wykorzystaniem AI, wymierzonych w infrastrukturę krytyczną. W liście ostrzeżono, że do ataków może dojść już za kilka miesięcy.

Organizacje obawiające się, że mogą paść ofiarą podobnych ataków, powinny wzmocnić własną infrastrukturę, zaczynając od etapu tworzenia oprogramowania. Prawdziwym problemem nie jest wyłącznie rosnące zaawansowanie agentowej AI, lecz także brak monitorowania w czasie rzeczywistym i odpowiedniego nadzoru ze strony ludzi. Organizacje powinny skupić się na eliminowaniu luk w kompetencjach ludzi i procedurach, zamiast traktować ryzyko związane z AI jako nieuniknioną konsekwencję postępu technologicznego.

W znacznej części branży organizacje koncentrują monitorowanie i obserwowalność na warstwie modeli AI, czyli o jedną warstwę za późno. Wtedy koń jest już w połowie poza stajnią. Widoczność, monitorowanie, obserwowalność i nadzór muszą być zapewnione tam, gdzie AI po raz pierwszy trafia do przedsiębiorstwa: w ramach cyklu życia oprogramowania (SDLC). Organizacje muszą też zadbać o to, by programiści korzystający z narzędzi AI do kodowania mieli wiedzę i umiejętności potrzebne do zapobiegania wprowadzaniu przez te narzędzia błędów, luk w zabezpieczeniach i złych nawyków do procesu tworzenia oprogramowania.

Większość wad oprogramowania powstaje na etapie jego tworzenia, a gdy programiści nie mają umiejętności bezpiecznego kodowania ani poprawiania błędów wprowadzonych przez AI, problemy mogą szybko się mnożyć. Programiści potrzebują programu edukacyjnego, który zapewni im niezbędne umiejętności z zakresu bezpieczeństwa i będzie monitorować ich postępy zarówno w zdobywaniu tych umiejętności, jak i w ich rutynowym wykorzystywaniu w pracy.

W miarę jak AI coraz mocniej wpisuje się w sposób działania organizacji, staje się jasne, że możliwość śledzenia i obserwowalność z punktu widzenia bezpieczeństwa oraz zarządzanie zarówno programistami, jak i używanymi przez nich narzędziami AI do programowania stały się nowym standardem tworzenia bezpiecznego kodu w przedsiębiorstwach.

Ciągłe zagrożenia wymagają ciągłej reakcji

Mogliśmy kiedyś zakładać, że oprogramowanie jest stosunkowo nieszkodliwe i robi to, do czego zostało zaprogramowane. W razie usterki mogło się zawiesić lub spowodować przestój, ale nie przystępowało do ataku. AI, a zwłaszcza AI agentowa, całkowicie zmieniła to założenie. Niezależnie od tego, czy model AI działa agentowo, czy wspiera programistę, jego działania muszą być nieustannie obserwowane i nadzorowane.

Pojawiające się zagrożenie związane z AI, niezależnie od tego, czy jego celem są szpitale, zakłady uzdatniania wody, elektrownie czy przedsiębiorstwa, może budzić przerażenie. Organizacje nie są jednak bezbronne. Mogą wdrożyć zasady zarządzania AI, ale muszą zbudować je od podstaw. Przyjmując kulturę, w której priorytetem jest bezpieczne oprogramowanie, i zapewniając programistom edukację niezbędną do osiągnięcia tego celu, organizacje mogą zapewnić bardzo potrzebny poziom obserwowalności, możliwości śledzenia i nadzoru nad potencjalnym problemem, który — jeśli pozostawić go bez kontroli — będzie się tylko pogłębiał.