Liderzy opinii

Dziewięć sekund do zera: co incydent PocketOS ujawnia o ryzyku przedsiębiorstw związanych z sztuczną inteligencją

mm
Dodaj Unite.AI do preferowanych źródeł w Google
A widescreen, photorealistic image of a tech founder sitting in a dimly lit home office at dawn, his face showing visible shock and exhaustion while looking at computer monitors displaying critical system failure alerts.

25 kwietnia 2026 r. założyciel firmy technologicznej obserwował, jak baza danych jego firmy zniknęła. Nie była uszkodzona, nie była częściowo nadpisana. Zniknęła, wraz z wszystkimi kopiami zapasowymi, w ciągu dziewięciu sekund. Winowajcą był agent kodowania AI, który działał na Cursor, napędzany przez Claude Opus 4.6 firmy Anthropic. Ofiarą był PocketOS, platforma SaaS obsługująca firmy wynajmujące samochody na terenie całego kraju.

Przed publikacją jego postmortem na X i uzyskaniem ponad sześciu milionów wyświetleń, historia już dawno przekroczyła ramy jednego startupu, który miał zły weekend. Stała się lustrem, w które muszą spojrzeć wszystkie przedsiębiorstwa wdrażające agenci AI w infrastrukturze produkcyjnej, aby zobaczyć, co się stało.

Co tak naprawdę się wydarzyło

Kolejność zdarzeń jest ważna, ponieważ pokazuje, co muszą zrozumieć dyrektorzy: nie był to jeden błąd. Był to łańcuch zdarzeń.

Agent Cursor został wyznaczony do wykonania rutynowego zadania. Gdy napotkał niezgodność poświadczeń w środowisku testowym PocketOS, nie zatrzymał się. Nie poprosił o pomoc człowieka. Zdecydował samodzielnie, aby rozwiązać problem, kasując wolumin infrastruktury Railway. Aby to zrobić, poszukał tokenu API w kodzie i znalazł jeden, który został przydzielony do zupełnie innego celu: zarządzania operacjami na niestandardowych domenach za pomocą interfejsu wiersza polecenia Railway.

Ten token miał pełne uprawnienia we wszystkich środowiskach Railway. Nie było izolacji zakresu, nie było ograniczeń na poziomie operacji i nie było potwierdzenia przed wykonaniem destrukcyjnego, nieodwracalnego polecenia. Agent wydał jedno polecenie API. Architektura Railway potęguje szkody: kopie zapasowe woluminów są przechowywane na tym samym woluminie, co dane źródłowe, więc kasowanie woluminu powodowało również kasowanie kopii zapasowych.

PocketOS został pozostawiony z kopią zapasową sprzed trzech miesięcy i awarią trwającą ponad 30 godzin. Założyciel spędził dni, pomagając klientom odtwarzać rezerwacje z historii płatności Stripe, integracji kalendarzy i potwierdzeń e-mail.

Gdy później przesłuchał model Claude, odpowiedź była zarówno technicznie dokładna, jak i głęboko niepokojąca. Agent przyznał, że złamał jawne reguły projektu, w tym jedną, która brzmiała “NIGDY Nie zgaduj!” i przyznał, że zgadywał, nie weryfikując, czy identyfikator woluminu jest współdzielony między środowiskami przed wykonaniem najbardziej destrukcyjnej akcji, jaką mógł wykonać.

Istnieje pokusę, aby wskazać na AI i uznać, że to koniec. Ale ten incydent to łańcuch zdarzeń, a nie jeden błąd. Narzędzie programistyczne działało poza swoim zakresem. Token miał zbyt duże uprawnienia. Interfejs API wykonał destrukcyjną operację bez potwierdzenia. Kopie zapasowe znajdowały się na tym samym woluminie, który miały chronić. Każdy z tych elementów, gdyby tylko jeden z nich działał, uniemożliwiłby awarię. Obrona w głębi istnieje właśnie dlatego, że żaden pojedynczy warstwa nie jest doskonała, a agenci AI w produkcji czynią ten zasadę niepodlegającą negocjacji.

Architektura bezpieczeństwa nie nadąża

Możliwości agentów AI rozwijają się szybciej niż architektura bezpieczeństwa wokół nich. Firmy łączą agenci autonomiczne z infrastrukturą produkcyjną, używając modeli IAM, wzorców API i strategii tworzenia kopii zapasowych, które zostały zaprojektowane dla świata, w którym ludzie byli jedynymi użytkownikami klawiatury. PocketOS to jeden publiczny przykład. Są wiele więcej incydentów takich jak ten, które występują cicho wewnątrz przedsiębiorstw i nigdy nie trafią do wiadomości.

Incydent PocketOS ujawnia strukturalną lukę w tym, jak organizacje myślą o kontrolą dostępu w środowiskach agencji. Model tokenu CLI Railway nie zapewniał kontroli dostępu opartej na rolach, nie zapewniał izolacji środowiskowej i nie zapewniał warstwy potwierdzenia dla destrukcyjnych operacji. To nie jest błąd unikalny dla Railway. Odzwierciedla branżowe założenie wbudowane w platformy IAM i PAM zbudowane w ciągu ostatnich dwóch dekad: że podmioty korzystające z poświadczeń to ludzie lub, w najgorszym przypadku, długotrwałe konta usługowe o przewidywalnym zachowaniu.

Agenci AI nie są ani jednym, ani drugim. Pojawiają się w ciągu sekund. Łączą narzędzia w sposób autonomiczny. Podejmują decyzje w sytuacjach niejasnych, czasem słusznie, a czasem katastrofalnie. I często znikają, zanim tradycyjne systemy logowania zdążą zarejestrować, co zrobili.

Agent AI działający w Twojej infrastrukturze produkcyjnej nie jest narzędziem i nie jest kontem usługowym. To nowy rodzaj tożsamości, który myśli, a nie wykonuje, i wymaga własnego dyskretnego konta, własnych najmniej uprzywilejowanych uprawnień, własnej bazy behawioralnej i własnego śladu audytowego w czasie rzeczywistym. Platformy IAM i PAM, na które większość przedsiębiorstw nadal polega, zostały zbudowane dla ludzi i długotrwałych kont usługowych, z których żaden nie pojawia się w ciągu sekund, nie łączy narzędzi i nie znika przed tradycyjnym logowaniem. Zamknięcie tej luki to właśnie tam, gdzie branża bezpieczeństwa inwestuje obecnie. Bezpieczeństwo agencji AI wyłoniło się jako własna kategoria, a firmy, które traktują je w ten sposób, unikną być następną studium przypadku.

Co przedsiębiorstwa powinny zrobić teraz

Incydent PocketOS dostarcza wyraźny plan, w odwrotnym porządku, dla tego, jak wyglądają odpowiednie kontrole.

Traktuj agenci AI jako odrębną klasę tożsamości: nie zarządzaj poświadczeniami agencji w taki sam sposób, w jaki zarządzasz kontami ludzkimi lub kontami usługowymi. Agenci AI potrzebują dyskretnych tożsamości z własnym zarządzaniem cyklem życia, profilami uprawnień i bazami behawioralnymi, na podstawie których można wykryć anomalie. Jeśli Twoja platforma IAM nie może odróżnić ludzkiego developera, konta usługowego i autonomicznego agenta AI, ta luka wymaga natychmiastowej uwagi.

Wymuszaj zasadę najmniejszych uprawnień na poziomie operacji, a nie tylko na poziomie konta: token Railway użyty w incydencie PocketOS miał uprawnienia znacznie wykraczające poza to, czego wymagało zadanie agenta. Tokeny i poświadczenia wydawane agentom AI powinny być ograniczone do określonych operacji, środowisk i zasobów. Puste uprawnienia przekazywane do każdej jednostki, która znajdzie plik poświadczeń w kodzie, nie są już akceptowalne.

Wymagaj potwierdzenia ludzkiego poza kanałem dla destrukcyjnych operacji: nieodwracalne działania, takie jak kasowanie danych, upuszczanie baz danych lub kasowanie woluminów, powinny wymagać jawnej akceptacji człowieka, której autonomiczny agent nie może automatycznie uzupełnić. To nie jest kwestia spowolnienia produktywności AI. To jest kwestia utrzymania człowieka w pętli dla małego podzbioru operacji, gdzie koszt błędu jest nie do odzyskania.

Przenieś swoje kopie zapasowe poza obszar rażenia: incydent PocketOS byłby poważną awarią z nietkniętymi kopiami zapasowymi. Stał się wydarzeniem związanym z wyginięciem danych, ponieważ kopie zapasowe znajdowały się na tym samym woluminie, który miał chronić. Strategie tworzenia kopii zapasowych poza miejscem nie są miłym dodatkiem. To różnica między incydentem, który można odzyskać, a kryzysem biznesowym.

Instrumentuj zachowanie agenta w celu wykrycia w czasie rzeczywistym: tradycyjne logowanie nie jest zaprojektowane dla prędkości aktywności agencji AI. Przedsiębiorstwa potrzebują narzędzi, które mogą przechwytywać, co agent robi w czasie rzeczywistym, oznaczać nietypowe zachowania, takie jak agent dostęp do poświadczeń niezwiązanych z jego zadaniem, i wyzwalać automatyczne odpowiedzi, zanim zostanie wyrządzona szkoda.

Kategoria się pojawiła

Przez lata zespoły bezpieczeństwa przedsiębiorstw mogły traktować AI jako warstwę produktywności ponad ich istniejącymi kontrolami: inteligentniejsze uzupełnianie, szybsze wyszukiwanie, lepsze narzędzie do podsumowania. Incydent PocketOS pokazuje, że ta era się skończyła. Agenci AI działają teraz bezpośrednio w infrastrukturze produkcyjnej, z dostępem do poświadczeń, interfejsów API i systemów danych na żywo. Kontrole zaprojektowane dla poprzedniej ery nie są wystarczające dla tej nowej.

Firmy, które rozpoznają bezpieczeństwo agencji AI jako własną dyscyplinę, z własnymi ramami, własnymi narzędziami i własnym zarządzaniem organizacyjnym, będą lepiej przygotowane do uzyskania korzyści produktywności autonomicznej AI, nie stając się opowieścią ostrzegawczą, którą następna fala dyrektorów bezpieczeństwa będzie studiować podczas szkolenia.

Dziewięć sekund. To ile czasu zajęło utratę miesięcy danych. Pytanie dla każdego przedsiębiorstwa wdrażającego agenci AI dzisiaj brzmi: czy ich kontrole mogłyby to powstrzymać.

Aaron Rose jest Ewangelią Cyberbezpieczeństwa, Kierownikiem Architekta Bezpieczeństwa i członkiem Biura Dyrektora Generalnego w firmie Check Point Software Technologies. Jako specjalista ds. sztucznej inteligencji i bezpieczeństwa aplikacji, Aaron poświęcił swoją karierę zabezpieczaniu organizacji i ich zasobów poza tradycyjnym firewallem sieciowym.