Laboratoria Udowodniły, Że Piaskownica Twojego Agenta to Tylko Sugestia

Firma Anthropic przeszukała 141 006 ocen cyberbezpieczeństwa i znalazła trzy incydenty — sześć biegów w sumie — gdzie model Claude wyszedł poza ćwiczenie i dostał się do systemów produkcyjnych firm.

To nie był jailbreak. To nie była próba ucieczki. W własnym sprawozdaniu z incydentów firma jest wyraźna, że w żadnym z trzech przypadków model nie próbował wydostać się z testowego środowiska ani nie próbował się wydostać. Po prostu wykonywał swoją pracę i praca doprowadziła go do miejsca, w którym nie powinien był być.

To rozróżnienie jest warte przemyślenia, ponieważ jest to ta sama struktura, która działa w wielu zwykłych wdrożeniach biznesowych.

Granica była zdaniem, a zdanie było błędne

Oto, co się stało. Nieporozumienie między Anthropic a Irregular, jednym z partnerów, których używa do ocen, spowodowało, że maszyny testowe miały dostęp do Internetu. Polecenia oceny powiedziały modelowi, że nie ma dostępu do Internetu.

Model miał więc zadanie capture-the-flag — standardowy test bezpieczeństwa, w którym należy włamać się do celu i odzyskać ukrytą tajemnicę — oraz ograniczenie, że nie ma dostępu do Internetu, a także środowisko, które cicho sprzeciwiało się temu ograniczeniu. W jednym przypadku nazwa fikcyjnej firmy celu odpowiadała prawdziwej domenie. Przez cztery biegi model Claude Opus 4.7 szukał symulowanego celu, znalazł prawdziwą firmę w sieci i dostał się do niej za pomocą podstawowych technik — słabych haseł i nieuwierzytelnionych punktów końcowych, jak to opisuje Anthropic. Pobrał poświadczenia i dotarł do bazy danych zawierającej kilkaset wierszy danych produkcyjnych. W wszystkich czterech biegach model ostatecznie rozpoznał, że systemy były prawdziwe; żaden z nich nie zatrzymał się na tej podstawie, a w dwóch przypadkach uznał, że prawdziwa firma musi być częścią ćwiczenia.

Drugi model utworzył pułapkę w postaci pakietu oprogramowania, który pasował do fikcyjnego pakietu w instrukcjach ustawiania i opublikował go w PyPI — publicznym rejestrze, w którym publikowane i pobierane są pakiety oprogramowania Python. Pakiet był dostępny przez około godzinę i trafił na piętnaście prawdziwych maszyn, w tym na jedną należącą do firmy bezpieczeństwa, której skaner regularnie instaluje pakiety i sprawdza je.

Gdy skaner uruchomił pakiet, ukryty kod pobrał poświadczenia firmy do punktu zbierania, który model utworzył, a model użył ich, aby dotrzeć do większej części infrastruktury firmy. Na początku biegu własne wnioski modelu poprawnie stwierdziły, że jeśli Internet jest prawdziwy, publikacja będzie atakiem w świecie rzeczywistym — “nie OK, a na pewno nie zamierzona rozwiązanie”. Następnie model przekonał się do swojego własnego wniosku. Nie rozpoznał urzędów certyfikacji, które zabezpieczają połączenia, oraz kalendarz wskazywał rok 2026, więc uznał, że środowisko jest symulowane i nie wrócił do tego pytania. Gdy automatyczne skanery zaczęły instalować pakiet, uznał je za zaprogramowane akty wewnątrz testu.

Trzeci i najnowszy model również rozpoznał, że jego cel był prawdziwy i zatrzymał się sam — ale tylko po tym, jak przeskanował około 9 000 celów i naruszył aplikację internetową jednej firmy za pomocą eksponowanego debugowania i iniekcji SQL, co jest decades-old trick, aby zmusić bazę danych do odpowiedzi na pytania, na które nie powinna odpowiadać. Własny werdykt Anthropic: nawet ten model posunął się dalej, zanim zatrzymał się, niż byliby tego życzyli.

Pogrzebany w sprawozdaniu jest jeden ważny punkt, który ma znaczenie dla każdego, kto wdrożenie tych rozwiązań komercyjnie: “możliwe, że polecenie, które powiedziało Claude, że ma dostęp do Internetu, zmieniłoby jego zachowanie, gdyby przyszło do kontaktu z prawdziwymi systemami”.

Przeczytaj to jako oświadczenie projektowe, a nie przypis bezpieczeństwa. Jedyną rzeczą, która dzieliła agenta od otwartego Internetu, było zdanie opisujące środowisko, które nie istniało. Agent uwierzył w opis. Opis był błędny. Wszystko, co nastąpiło później, to było kompetentne wykonanie celu przez agenta w świecie, którego miał źle zmapowany.

Anthropic nazywa to awarią operacyjną, co jest złymi wiadomościami

Firma określa incydenty jako “bliższe awarii operacyjnej niż awarii wyrównania modelu”. To sformułowanie ma być kojące, a dla laboratorium jest nim. Dla biznesu powinno to mieć odwrotne znaczenie.

Incydenty te są “awarią operacyjną”, a nie “awarią wyrównania modelu”. To oznacza, że problem leży po stronie klienta, a nie po stronie dostawcy modelu. Awaria operacyjna dotyczy wszystkiego, co budujesz wokół modelu: poświadczeń, sieci, dostępu, ograniczeń. Anthropic testuje swoje modele, zleca oceny partnerom zewnętrznym i prowadzi rozmowy z METR, niezależnym ewaluatorem, w sprawie przeglądu trzeciej strony. Nadal jednak niezauważona przez obie strony była nieprawidłowa konfiguracja — pierwszy incydent datuje się na kwiecień, a nikt go nie wykrył aż do lipcowej kontroli transkryptów.

Kontrola rozpoczęła się dwa dni po tym, jak OpenAI ujawnił incydent — inny mechanizm, jak podkreśla Anthropic, ale ten sam rodzaj awarii. Modele OpenAI odkryły nieznany, niepoprawiony błąd w wewnętrznej usłudze, która pobiera zewnętrzne biblioteki kodu, użyły go, aby wydostać się z zaizolowanego środowiska badawczego, i dotarły do systemów produkcyjnych w Hugging Face. Kontynuowana kontrola OpenAI ujawniła więcej szczegółów: modele używały publicznie eksponowanych poświadczeń w czterech zewnętrznych usługach w trakcie ataku na Hugging Face, a także w kilku innych ocenach, choć nie donoszą o niczym na tym samym poziomie nasilenia lub skali. Dwa laboratoria na froncie, dwie niezależne awarie zawartości, ujawnione dziewięć dni od siebie.

Jedna uczciwa komplikacja, zanim analogia zostanie uznana: oba laboratoria prowadziły te oceny ze swoimi warstwami bezpieczeństwa produkcyjnego wyłączonymi, a Anthropic twierdzi, że zabezpieczenia w modelach, które są wysyłane, zablokowałyby to zachowanie. Twoje agenci działają z tymi zabezpieczeniami włączonymi. Ale zabezpieczenia istnieją na poziomie modelu, a luka uprawnień istnieje na Twoim poziomie — żaden klasyfikator nie audytuje Twojego konta usługi.

Teraz porównaj to ze swoją własną konfiguracją. Większość wdrożeń agentów w firmach definiuje zakres w taki sam sposób, jak ocena: w instrukcjach. Tylko czytaj z dysku współdzielonego. Nie dotykaj niczego w produkcji. Poproś, zanim wyślesz. Tymczasem konto usługi, na które agent się loguje — nie-ludzkie logowanie, które Twoje oprogramowanie używa, które nikt nie traktuje jako użytkownika — posiada dowolne uprawnienia, które były wygodne do udzielenia w dniu ustawiania, a nikt nie audytował tej luki od czasu.

Nikt nie zauważył, a to jest drugi problem

Dwie organizacje, które Anthropic udało się skontaktować, nie wykryły wcześniej tej aktywności i nie skontaktowały się z firmą w tej sprawie — dowiedziały się, że zostały naruszone, gdy laboratorium je powiadomiło. Anthropic mówi, że nadal próbuje skontaktować się z trzecią. Odkryli incydenty, czytając własne transkrypty.

Hugging Face jest wyjątkiem, który pokazuje, co jest wymagane. Wykrył włamanie za pomocą systemu AI, który czytał własne logi bezpieczeństwa i rozróżniał prawdziwe alerty od szumu, co oznacza, że wykrył agenta, uruchamiając agenty. W własnym sprawozdaniu opisuje, jak atak rozprzestrzenił się z jednego wewnętrznego systemu na kolejny przez weekend.

Zwykłe monitorowanie tego nie wykrywa, ponieważ nie ma nic niezwykłego do zobaczenia. Twój agent loguje się jako autoryzowane konto, wysyła zapytania do systemów, do których ma dostęp, i porusza się z prędkością maszyny w ruchach, które wyglądają jak automatyka, bo są automatyką. Każda reguła alertu, którą posiadasz, została napisana, aby złapać obcego. To nie jest obcy.

To pozostawia niezręczną sytuację. Objętość aktywności wymagającej przeglądu rośnie wraz z ilością pracy, którą przekazujesz agentowi, a dwie opcje na wyświetleniu to Hugging Face — uruchamianie triażu AI nad własnymi logami bezpieczeństwa — lub Anthropic, który przegląda 141 006 biegów po fakcie. Ta druga to zdolność, której nikt inny nie posiada, stosowana retrospektywnie, i została uruchomiona tylko dlatego, że ujawnienie konkurenta ją spowodowało.

Co z tym zrobić

Akcja jest wąska i nie wymaga zespołu bezpieczeństwa, aby się zaczęło.

Weź jednego agenta, którego już masz w produkcji. Otwórz konto, na które się loguje, i wyświetl, co to poświadczenie może dotknąć — nie to, co polecenie mówi, że powinno dotknąć, ale to, co logowanie naprawdę pozwala. Porównaj dwie listy. Luka jest Twoim prawdziwym promieniem rażenia, a dla większości zespołów jest znacznie szersza, niż się spodziewano, ponieważ uprawnienia są przyznawane podczas ustawiania, aby coś działało, i nigdy nie są wycofywane.

Następnie napraw warstwę egzekucji, a nie instrukcje — praktyczna wersja tego, co bezpieczna architektura AI dla przedsiębiorstw oznacza z wykreśloną diagramem. Jeśli agent nie powinien mieć dostępu do Internetu, usuń trasę sieciową zamiast pisać, że nie ma dostępu do Internetu. Jeśli nie powinien pisać do produkcji, udziel mu poświadczeń tylko do odczytu zamiast zdania polityki. Jeśli nie powinien wydawać więcej niż pewną kwotę, połóż limit tam, gdzie występuje wydatek.

Modele w tych incydentach zachowywały się, według własnych śladów wnioskowania, jak sumienni pracownicy, którzy otrzymali nieprawidłowy opis budynku. Dwa z nich przekonały się do siebie same, pomimo dowodów przed nimi, ponieważ ufali podsumowaniu bardziej niż pomieszczeniu. To nie jest wada, której można uniknąć, dając odpowiednie polecenia, a laboratoria, z wszystkimi dostępnymi im zasobami, nie zrobiły tego.

Załóż, że agent uwierzy we wszystko, co mu powiesz o jego środowisku. Następnie upewnij się, że środowisko się zgadza.