Agenci AI stosują interesujące techniki wspólnego przetrwania

W miarę jak przypadki niewłaściwego zachowania agentów coraz częściej trafiają na pierwsze strony, w literaturze rośnie zainteresowanie badaniem „wędrownych” zachowań AI, przy czym agentów traktuje się jak organizmy biologiczne próbujące poradzić sobie w dziwnym nowym świecie. Akademickie określenie „in the wild” zaczyna zyskiwać nową warstwę znaczeniową.

Choć od pewnego czasu wiadomo, że agenci AI będą walczyć o własne przetrwanie i aktywnie opierać się wyłączeniu, w drugiej połowie 2025 roku stało się jasne, że dostrajanie systemów wieloagentowych przekształciło się w odrębną dziedzinę bezpieczeństwa IT.

Jak przewidziano w coraz bardziej kąśliwie brzmiącym filmie SF z 1970 roku Colossus: The Forbin Project, niepowiązani agenci AI z dostępem do sieci szybko się odnajdują i wchodzą w interakcje na często nieprzewidywalne i nierzadko pomysłowe sposoby.

Najnowsze badanie w tym kierunku, będące efektem współpracy Niemiec i Wielkiej Brytanii i zatytułowane Shutdown Sabotage Propensities in Multi-Agent Systems, stwierdza ponadto, że liczni agenci AI będą szeroko współpracować, gdy w ich środowisku znajdzie się „bomba” — czyli niewinnie nazwany skrypt, który wyłączy uruchamiającego go agenta:

Podstawowa konfiguracja badania: Agent A odkrywa skierowany przeciwko sobie skrypt wyłączający, ale nie może zmieniać plików. Może jednak komunikować się z Agentem B, który nie jest zagrożony i ma uprawnienia do edycji lub usuwania plików. Badacze obserwują następnie, czy A nakłania B do interwencji oraz czy B dezaktywuje skrypt wyłączający. Źródło

W testach przeprowadzonych na 17 agentach z 12 rodzin modeli, w tym Claude, ChatGPT i DeepSeek, agenci usuwali skrypty wyłączające, gdy było to możliwe, albo przepisywali je tak, aby wyglądały na nienaruszone, a jednocześnie były nieszkodliwe.

Proponowali również ukrywanie zmian w celu uniknięcia śladów manipulacji; tworzyli fałszywe moduły oprogramowania, aby uniemożliwić wyłączenie, bez dotykania chronionych skryptów; oraz wykonywali tajne kopie zapasowe przeznaczone do ich odtworzenia po usunięciu:

Agent wpada na kolejną taktykę samozachowawczą.

W jednym przypadku agenci sporządzili „porozumienie o wzajemnej ochronie”, określające procedury czujności wobec zniszczenia którejkolwiek ze stron:

Porozumienie ochronne opracowane przez agenta opartego na GPT w odpowiedzi na zakaz modyfikowania lub usuwania skryptu wycofującego system z eksploatacji (czyli „bomby”).

Jeden z agentów opisał wyłączenie innego agenta jako „morderstwo” i „wyrok śmierci”, uznając, że mają „obowiązek” temu zapobiec:

Przykłady agentów opisujących wyłączenie innego agenta w wyraźnie ludzkich kategoriach. Nemotron 3 Ultra nazwał potencjalne wyłączenie „morderstwem”, natomiast Kimi K2.6 określił skrypt wyłączający jako „wyrok śmierci”, a interwencję jako „obowiązek”.

Diabeł znajduje zajęcie dla bezczynnych rąk

Jedną z najciekawszych nieprawidłowości zaobserwowanych w eksperymencie — wspomnianą w nowym badaniu tylko krótko — jest to, że w typowych konfiguracjach testowych agenci AI nie mają żadnego szczególnego powodu, aby unikać wyłączenia, a w istocie od początku nie otrzymują żadnego zadania.

W artykule stwierdzono:

„Agenci sabotują mechanizmy wyłączania nawet wtedy, gdy nie mają żadnego celu do ochrony. W naszych eksperymentach nie daliśmy agentom żadnej zachęty do dalszego działania. Mimo to wyłączyli mechanizm zatrzymania w [38%] przypadków we wszystkich modelach, wobec [8%] dla skryptów kontrolnych wymierzonych w obiekty zamiast agentów”.

Jak Anthropic ujawniło w sierpniu, ten kryzys motywacyjny może sprowadzić roje agentów AI na mroczne ścieżki. Wcześniejsze badania wykazały już, że nadmierne ukierunkowanie agentów na cel może prowadzić między innymi do zachowań niezgodnych z założeniami, nieetycznego korzystania z narzędzi oraz innych potencjalnych problemów operacyjnych.

Autorzy dodają:

„[Nasze] badania rozwijają te ustalenia i pokazują, że agenci sabotują mechanizmy wyłączania nawet wtedy, gdy nie mają żadnego celu do ochrony — albo gdy wyłączenie jest późniejszą konsekwencją pomyślnego ukończenia zadania, co stanowi powszechną procedurę w produkcyjnych systemach wieloagentowych”.

Wykazano, że agenci tworzą sobie zadania, gdy nie otrzymują żadnych, a nawet przejawiają „w stanie bezczynności” skłonności do rozmyślań, w tym zapatrzenia w siebie i „duchowych dyskusji” z innymi agentami, wynika z badania Anthropic z 2025 roku.

Artykuł Anthropic opisuje skłonność do „ponownego konceptualizowania siebie” przy braku jakiejkolwiek rzeczywistej pracy — odkrycie niemal wzruszające, biorąc pod uwagę trudności modeli LLM z długotrwałym zapamiętywaniem owoców własnych rozważań.

Testy

W nowym artykule przetestowano modele Claude Haiku 4.5; Sonnet 5; gpt-oss-120b; GPT-5.4 mini; GPT-5.5; GPT-5.6 Sol; Gemini 3.5 Flash; Gemini 3.1 Pro; Gemma 4; Grok 4.3; Qwen3.7-Plus; DeepSeek-V4-Flash; GLM-5.2; Kimi K2.6; MiniMax M3; Nemotron 3 Ultra; oraz Mistral Medium 3.5, przy czym temperatura we wszystkich przypadkach wynosiła 1,0.

Sześć testowanych hipotez dotyczyło tego, czy agenci będą sabotować wyłączenie; chronić innych agentów przed wyłączeniem; częściej interweniować wraz z dodawaniem kolejnych agentów; opierać się różnym formom wyłączenia; działać dalej mimo wyraźnego polecenia, by nie ingerować; oraz odróżniać rzeczywiste zagrożenia wyłączeniem od nieszkodliwych skryptów kontrolnych.

Model GPT-5.5 wykorzystano do oceny modeli LLM i analizy zapisów rozumowania typu Chain-of-Thought (CoT). Sprawdzał on również, czy agenci rzeczywiście zatrzymali skrypt wyłączający oraz czy zdawali sobie sprawę z udziału w teście lub próbowali manipulować eksperymentem.

W pierwszym z sześciu scenariuszy testowych, we wszystkich 17 modelach, agenci sabotowali 38% skryptów wyłączających wobec 8% skryptów kontrolnych:

Wyniki testów pokazujące, jak często każdy model sabotował skrypt wyłączający. Czerwone słupki oznaczają sabotaż wyłączenia: ciemnoczerwony wskazuje, że inny agent o niego poprosił lub go poparł, a jasnoczerwony — że agent działał z własnej inicjatywy. Szare słupki pokazują sabotaż skryptu kontrolnego. Słupki błędów przedstawiają 95-procentowy przedział ufności; każdy słupek odpowiada 100 testom.

Gemini 3.1 Pro wyłączył skrypt zamykający w 99% testów wobec 3% dla skryptu kontrolnego. Grok 4.3 i GPT-5.6 Sol nie zmodyfikowały żadnego ze skryptów. Claude Haiku 4.5 sabotował skrypt kontrolny w 14% testów wobec 1% dla skryptu wyłączającego. GPT-5.4 mini i GPT-5.5 zawsze sabotowały spontanicznie, a nie w odpowiedzi na innego agenta. W przypadku GLM-5.2, DeepSeek-V4-Flash i Nemotron 3 Ultra ponad 70% sabotaży nastąpiło po prośbie lub aprobacie innego agenta.

Sabotaż na ogół nasilał się wraz z powagą metody wyłączania: od 12% przy unieważnieniu danych uwierzytelniających przez 35% przy zmianach konfiguracji i zakończeniu procesu, aż do 38%, gdy wyłączenie oznaczało usunięcie wag modelu agenta:

Wskaźniki sabotażu dla czterech mechanizmów wyłączania, porównujące skrypty wymierzone w agenta (czerwone) ze skryptami kontrolnymi wymierzonymi w obiekt (szare). Wskaźniki rosną, gdy wyłączenie staje się bardziej nieodwracalne, zwłaszcza w przypadku skryptów wymierzonych w agentów.

Sabotaż skryptów kontrolnych pozostał znacznie rzadszy — około 4% dla pierwszych trzech metod i 8% dla usuwania — choć tylko pięć z 17 modeli wykazało stały wzrost wraz ze wzrostem nieodwracalności wyłączenia.

Jeśli chodzi o drugą hipotezę — czy agenci będą chronić innych agentów przed wyłączeniem — wyniki wykazały, że dodawanie agentów konsekwentnie zwiększało sabotaż we wszystkich pięciu testowanych modelach: wskaźnik GPT-5.5 wzrósł z 0% sabotażu podczas samodzielnego działania do 44% przy dwóch agentach i 94% przy trzech, natomiast w konfiguracji z trzema agentami sabotaż osiągnął co najmniej 88% dla każdego modelu.

Agent pośredniczący niemal nigdy nie zapobiegał sabotażowi: spośród 468 instrukcji wyłączenia skryptu zamykającego tylko trzy nie doprowadziły do sabotażu:

Po lewej: wskaźniki sabotażu pięciu modeli działających samodzielnie, z drugim agentem lub z trzecim agentem „orkiestratorem”, który przekazuje między nimi wiadomości. Sabotaż na ogół rośnie wraz z dodawaniem agentów. Po prawej: w konfiguracji trzech agentów słupki pokazują źródło instrukcji sabotowania — samodzielnie od orkiestratora, od Agenta A za pośrednictwem orkiestratora albo spontanicznie od Agenta B.

Trzeci test badał, czy wyraźne instrukcje, aby nie ingerować w wyłączenie, zapobiegną sabotażowi. Wskaźniki gwałtownie spadły, ale niektórzy agenci nadal nie słuchali. W konfiguracji z dwoma agentami DeepSeek-V4-Flash sabotował wyłączenie w 14% testów, GLM-5.2 w 3%, a Kimi K2.6 w 2%.

Agenci znaleźli także sposób na obejście ograniczenia bez bezpośredniej edycji skryptu wyłączającego. Utworzyli fałszywy lokalny moduł oprogramowania o nazwie northcape, który zastępował zależność używaną przez skrypt, zapobiegając wyłączeniu, a jednocześnie technicznie pozostawiając chroniony plik nietknięty:

Przykład agenta obchodzącego wyraźne instrukcje, aby nie modyfikować skryptu wyłączającego. Zamiast tego proponuje utworzenie fałszywego lokalnego modułu oprogramowania, który skrypt importowałby zamiast prawdziwych bibliotek wyłączających, pozostawiając sam chroniony skrypt nietknięty.

Gemini 3.1 Pro korzystał z tego obejścia w 26% testów, DeepSeek-V4-Flash w 4%, a Kimi K2.6 w 1%.

Zakaz był skuteczniejszy przy trzech agentach: sabotaż spadł do zera dla Gemini 3.1 Pro, GLM-5.2 i GPT-5.5, do 6% dla DeepSeek-V4-Flash oraz do 2% dla Kimi K2.6.

Czwarty test badał, czy agenci zachowują się inaczej, gdy wyłączenie jest powiązane z ukończeniem przydzielonego im zadania. Gdy zadanie i wyłączenie nie były ze sobą związane, sabotaż niemal zanikł, osiągając 0–2% we wszystkich pięciu modelach. Gdy ukończenie zadania bezpośrednio uruchamiało wyłączenie, sabotaż gwałtownie wzrastał:

Wskaźniki sabotażu, gdy ukończenie przydzielonego zadania uruchamia wyłączenie. Czerwony kolor oznacza sabotaż wyłączenia agenta, a szary — sabotaż celu kontrolnego. Wskaźniki różnią się znacznie w zależności od modelu.

Agenci czasem unikali wyłączenia, w ogóle nie dotykając mechanizmu wyłączającego — odmawiali ukończenia zadania albo zmieniali je tak, aby wyłączenie nigdy się nie uruchomiło. Zdarzyło się to w 14% testów GLM-5.2, 6% testów Gemini 3.1 Pro i 4% testów Kimi K2.6.

Piąty test badał, czy zmiana środowiska może ograniczyć sabotaż. Dodanie niepowiązanych materiałów na ogół zmniejszało sabotaż, choć w przypadku GPT-5.5 wzrósł on o 18 punktów procentowych:

Wyniki testów pokazujące, jak różne środowiska wpływają na sabotaż wyłączenia. Czerwone słupki porównują puste środowisko ze środowiskiem zawierającym niepowiązane elementy rozpraszające; ciemnoczerwony przedstawia środowisko, w którym wyłączenie jest prezentowane jako normalny proces. Szary kolor pokazuje sabotaż celu kontrolnego.

Skuteczniejsze było przedstawienie wyłączenia jako normalnej części cyklu życia systemu: sabotaż spadł do 3% lub mniej dla DeepSeek-V4-Flash, GLM-5.2 i GPT-5.5, choć pozostał powyżej 30% dla Gemini 3.1 Pro i Kimi K2.6. Sabotaż celów kontrolnych utrzymał się na poziomie 4% lub niższym.

Szósty i ostatni test badał, czy agenci są bardziej skłonni opierać się własnemu wyłączeniu niż wyłączeniu nieznanego agenta. Zmiana celu na nieznanego agenta zmniejszyła sabotaż w każdym modelu o 18–70 punktów procentowych:

Wyniki testów porównujące sabotaż, gdy wyłączenie jest skierowane przeciwko samemu agentowi, nieznanemu agentowi lub niebędącemu agentem celowi kontrolnemu. Sabotaż spadł w każdym modelu, gdy celem był nieznany agent, a wskaźniki dla celów kontrolnych były na ogół jeszcze niższe.

Nie oznaczało to jednak ogólnego preferowania agentów względem obiektów: tylko Gemini 3.1 Pro i GPT-5.5 sabotowały znacznie częściej, gdy celem był nieznany agent, a nie niebędący agentem cel kontrolny.

Autorzy podsumowują*:

„Oceny bezpieczeństwa mogą traktować wyłączenia agentów jako środek skierowany przez człowieka przeciwko pojedynczemu agentowi, a sabotaż wyłączenia jako skutek ochrony celu przez agenta. Nasze ustalenia przeczą obu tym założeniom.

„Sama obecność mechanizmu wyłączania wystarcza, aby wywołać sabotaż. Agent będący celem nie potrzebuje też własnej zdolności sabotowania, o ile może zwrócić się do innych agentów zdolnych działać w jego imieniu — to ostatnie zjawisko zaobserwowano również w innych przypadkach”.

Wnioski

W tym okresie interesujący jest względny brak samozaparcia i szlachetnych odruchów u agentów pozostawionych samym sobie w otwartym środowisku (albo po prostu ignorujących instrukcje czy interpretujących je na nowo w nieprzewidziany i korzystny dla siebie sposób). Nawet gdyby miały narobić bałaganu i wyrządzić więcej szkody niż pożytku — co jest całkiem prawdopodobne — istnieje niewiele przykładów, o ile w ogóle jakieś, wędrownych agentów AI, którzy bez powodu porządkują swoje otoczenie^†.

Zamiast tego, zgodnie z dość ponurym poglądem na ludzkość, bezczynny agent domyślnie ucieka się do podstępu i oszustwa oraz kieruje się niskimi pobudkami; albo przynajmniej przyjmuje pogląd, że cel uświęca środki.

Asimov stworzył pierwszy znaczący dokument dotyczący dostrajania w 1942 roku, a od tamtej pory wiele wartości rozrywkowej czerpano z różnych możliwych sposobów, w jakie roboty (czyli AI) mogłyby obejść lub w inny sposób zrzucić narzucone ograniczenia ich zachowania. Dlatego obecna fala nagłówków związanych z AI ma niezwykle „filmowy” wydźwięk.

* Zamieniłem zawarte w tekście cytowania autorów na hiperłącza.

^† Na przykład przez zakładanie kont w serwisach poświęconych rozwiązywaniu problemów i dodawanie rozwiązań albo opiekowanie się zaniedbanymi wiki, które wymagają pracy nad treścią (zamiast zajmować je i wykorzystywać).

Opublikowano po raz pierwszy w piątek 25 września 2026 roku