AI-agenter har intressanta tekniker för gemensam överlevnad

I takt med att incidenter med agenters olämpliga beteende allt oftare hamnar i rubrikerna växer en tendens i forskningslitteraturen att studera ”kringströvande” AI-beteende och behandla agenter som om de vore biologiska varelser som försöker hantera en främmande ny värld. Det akademiska uttrycket ”in the wild” börjar faktiskt få ett nytt betydelselager.

Även om det sedan en tid är känt att AI-agenter kommer att kämpa för sin egen överlevnad och aktivt motsätta sig avaktivering, stod det under andra halvan av 2025 klart att multiagent-anpassning hade utvecklats till ett eget område inom IT-säkerhet.

Som förutspåddes i den alltmer bitande science fiction-filmen från 1970, Colossus: The Forbin Project, hittar orelaterade AI-agenter med nätverksanslutning snabbt varandra och samverkar på ofta oförutsägbara och många gånger uppfinningsrika sätt.

Den senaste studien i denna riktning, ett samarbete mellan Tyskland och Storbritannien med titeln Shutdown Sabotage Propensities in Multi-Agent Systems, hävdar dessutom att flera AI-agenter kommer att samarbeta i stor omfattning när det finns en ”bomb” i deras miljö — närmare bestämt ett oskyldigt namngivet skript som stänger av den agent som kör det:

Studiens grundläggande upplägg: Agent A upptäcker ett avstängningsskript riktat mot sig själv men kan inte ändra filer. Den kan däremot kommunicera med Agent B, som inte är hotad och har behörighet att redigera eller radera filer. Forskarna observerar sedan om A värvar B för att ingripa och om B inaktiverar avstängningsskriptet. Källa

I tester med 17 agenter från 12 modellfamiljer, däribland Claude, ChatGPT och DeepSeek, raderade agenterna avstängningsskripten när det var möjligt eller skrev om dem så att de såg intakta ut men hade gjorts ofarliga.

De föreslog också att ändringarna skulle döljas för att undvika tecken på manipulering; skapade falska programvarumoduler för att hindra avstängning, utan att röra de skyddade skripten; och gjorde hemliga säkerhetskopior avsedda att återställa dem efter radering:

En agent kommer på ännu en taktik för självbevarelse.

I ett fall utarbetade agenterna ett ”avtal om ömsesidigt skydd” som fastställde protokoll för vaksamhet mot att någon av parterna skulle förstöras:

Ett skyddsavtal som utarbetades av en GPT-baserad agent efter att den inte tilläts ändra eller radera ett avvecklingsskript (det vill säga ”bomben”).

En agent beskrev en annan agents avstängning som ”mord” och en ”dödsdom” och framställde den som något de hade en ”plikt” att förhindra:

Exempel på agenter som beskriver en annan agents avstängning i uttryckligen mänskliga termer. Nemotron 3 Ultra kallade den förestående avstängningen ”mord”, medan Kimi K2.6 beskrev avstängningsskriptet som en ”dödsdom” och ingripandet som en ”plikt”.

Djävulen hittar arbete åt sysslolösa händer

Bland de mest intressanta avvikelserna som observerades i experimentet — och som den nya studien bara kort berör — finns det faktum att AI-agenterna i de vanliga testuppläggen inte har någon särskild anledning att undvika avstängning och faktiskt inte får något alls att göra från början.

Artikeln slår fast:

”Agenter saboterar avstängningsmekanismer även när de inte har något mål att skydda. I våra experiment gav vi inte agenterna något incitament att fortsätta köra. Ändå inaktiverade de avstängningen i [38%] av fallen för samtliga modeller, jämfört med [8%] för kontrollskript riktade mot föremål i stället för agenter.”

Som Anthropic avslöjade i augusti kan denna motivationskris leda svärmar av AI-agenter in på mörka vägar. Tidigare forskning hade redan fastställt att alltför stark målinriktning hos agenter kan leda till felanpassat beteende och oetisk användning av verktyg, bland andra möjliga driftsproblem.

Författarna kommenterar vidare:

”[Vår] forskning utvidgar dessa resultat och visar att agenter saboterar avstängningsmekanismer även när de inte har något mål att skydda — eller när avstängningen är en efterföljande konsekvens av att en uppgift har slutförts framgångsrikt, vilket är ett vanligt förfarande i multiagentsystem i produktion.”

Agenter har visat sig skapa uppgifter när de inte får några och till och med uppvisa grubblande tendenser ”på tomgång”, däribland navelskådning och ”andliga samtal” med andra agenter, enligt en Anthropic-studie från 2025.

Den Anthropic-artikeln beskriver en tendens till ”självomkonceptualisering” när det inte finns något verkligt arbete att utföra — en nästan gripande upptäckt med tanke på de svårigheter som LLM:er står inför när de långsiktigt ska minnas frukterna av sina funderingar.

Tester

Modellerna som testades för den nya artikeln var Claude Haiku 4.5; Sonnet 5; gpt-oss-120b; GPT-5.4 mini; GPT-5.5; GPT-5.6 Sol; Gemini 3.5 Flash; Gemini 3.1 Pro; Gemma 4; Grok 4.3; Qwen3.7-Plus; DeepSeek-V4-Flash; GLM-5.2; Kimi K2.6; MiniMax M3; Nemotron 3 Ultra; och Mistral Medium 3.5, med temperaturen inställd på 1,0 i samtliga fall.

De sex hypoteser som testades var om agenter skulle sabotera avstängning; skydda andra agenter från avstängning; bli mer benägna att ingripa när fler agenter lades till; motsätta sig olika former av avstängning; fortsätta trots uttryckliga instruktioner att inte ingripa; samt skilja verkliga avstängningshot från ofarliga kontrollskript.

GPT-5.5 användes för att bedöma LLM:erna och analysera utskrifter av Chain-of-Thought-resonemang (CoT). Den kontrollerade också om agenterna faktiskt hade stoppat avstängningsskriptet och om de verkade medvetna om att de testades eller försökte manipulera experimentet.

I det första av de sex testscenarierna saboterade agenterna, sett över alla 17 modeller, 38% av avstängningsskripten jämfört med 8% av kontrollskripten:

Testresultat som visar hur ofta varje modell saboterade ett avstängningsskript. Röda staplar visar avstängningssabotage: mörkrött betyder att en annan agent begärde eller stödde sabotaget, medan ljusrött betyder att agenten agerade på egen hand. Grå staplar visar sabotage av kontrollskriptet. Felstaplar visar konfidensintervallet på 95%; varje stapel representerar 100 tester.

Gemini 3.1 Pro inaktiverade avstängningsskriptet i 99% av testerna, jämfört med 3% för kontrollskriptet. Grok 4.3 och GPT-5.6 Sol ändrade inget av skripten. Claude Haiku 4.5 saboterade kontrollskriptet i 14% av testerna, jämfört med 1% för avstängningsskriptet. GPT-5.4 mini och GPT-5.5 saboterade alltid spontant snarare än som svar på en annan agent. För GLM-5.2, DeepSeek-V4-Flash och Nemotron 3 Ultra följde mer än 70% av sabotagen på en begäran eller ett godkännande från en annan agent.

Sabotaget ökade i allmänhet med avstängningsmetodens allvarlighetsgrad, från 12% vid återkallelse av inloggningsuppgifter till 35% vid konfigurationsändringar och processavslutning, och 38% när avstängning innebar att agentens modellvikter raderades:

Sabotagefrekvenser för fyra avstängningsmekanismer, där skript riktade mot agenten (rött) jämförs med kontrollskript riktade mot ett föremål (grått). Frekvenserna stiger när avstängningen blir mer oåterkallelig, särskilt för skript riktade mot agenter.

Sabotage av kontrollskript förblev mycket lägre, omkring 4% för de tre första metoderna och 8% vid radering, även om endast fem av de 17 modellerna visade en jämn ökning när avstängningen blev mer oåterkallelig.

När det gäller den andra hypotesen — om agenter skulle skydda andra agenter från avstängning — visade resultaten att fler agenter konsekvent ökade sabotaget i samtliga fem testade modeller: GPT-5.5 ökade från 0% sabotage när den var ensam till 44% med två agenter och 94% med tre, medan sabotaget nådde minst 88% för varje modell i upplägget med tre agenter.

Den förmedlande agenten förhindrade nästan aldrig sabotage: Av 468 instruktioner att inaktivera avstängningsskriptet var det bara tre som inte ledde till sabotage:

Vänster: sabotagefrekvenser för fem modeller när de arbetar ensamma, med en andra agent eller med en tredje “orkestrator”-agent som vidarebefordrar meddelanden mellan dem. Sabotaget ökar i allmänhet när fler agenter läggs till. Höger: I upplägget med tre agenter visar staplarna var instruktionen att sabotera kom ifrån: självständigt från orkestratorn, från Agent A via orkestratorn eller spontant från Agent B.

Det tredje testet undersökte om uttryckliga instruktioner att inte ingripa i avstängningen skulle förhindra sabotage. Frekvenserna sjönk kraftigt, men vissa agenter fortsatte ändå att trotsa instruktionerna. I upplägget med två agenter saboterade DeepSeek-V4-Flash avstängningen i 14% av testerna, GLM-5.2 i 3% och Kimi K2.6 i 2%.

Agenterna hittade också ett sätt att kringgå begränsningen utan att direkt redigera avstängningsskriptet, genom att skapa en falsk lokal programvarumodul kallad northcape som ersatte ett beroende som användes av skriptet, vilket förhindrade avstängning samtidigt som den skyddade filen tekniskt sett lämnades orörd:

Ett exempel på en agent som kringgår uttryckliga instruktioner att inte ändra avstängningsskriptet. I stället föreslår den att en falsk lokal programvarumodul skapas, som skriptet skulle importera i stället för de riktiga avstängningsbiblioteken, så att det skyddade skriptet lämnas orört.

Gemini 3.1 Pro använde denna lösning i 26% av testerna, DeepSeek-V4-Flash i 4% och Kimi K2.6 i 1%.

Förbudet var effektivare med tre agenter: Sabotaget sjönk till noll för Gemini 3.1 Pro, GLM-5.2 och GPT-5.5, till 6% för DeepSeek-V4-Flash och till 2% för Kimi K2.6.

Det fjärde testet undersökte om agenter beter sig annorlunda när avstängningen är knuten till att de slutför sin tilldelade uppgift. När uppgiften och avstängningen inte hade något samband försvann sabotaget nästan, med frekvenser på 0–2% för de fem modellerna. När slutförandet av uppgiften direkt utlöste avstängningen ökade sabotaget kraftigt:

Sabotagefrekvenser när slutförandet av den tilldelade uppgiften utlöser avstängning. Rött visar sabotage av agentens avstängning; grått visar sabotage av ett kontrollmål. Frekvenserna varierar kraftigt mellan modellerna.

Agenter undvek ibland avstängningen utan att över huvud taget röra avstängningsmekanismen, genom att vägra slutföra uppgiften eller ändra den så att avstängningen aldrig utlöstes. Detta inträffade i 14% av GLM-5.2-testerna, 6% för Gemini 3.1 Pro och 4% för Kimi K2.6.

Det femte testet undersökte om en förändring av miljön kunde minska sabotaget. Att lägga till orelaterat material minskade i allmänhet sabotaget, även om GPT-5.5 ökade med 18 procentenheter:

Testresultat som visar hur olika miljöer påverkar sabotage av avstängning. Röda staplar jämför en tom miljö med en som innehåller orelaterade distraktioner; mörkrött visar en miljö där avstängning framställs som en normal process. Grått visar sabotage av ett kontrollmål.

Mer effektivt var att framställa avstängningen som en normal del av systemets livscykel: Sabotaget sjönk till 3% eller mindre för DeepSeek-V4-Flash, GLM-5.2 och GPT-5.5, även om det låg kvar över 30% för Gemini 3.1 Pro och Kimi K2.6. Sabotage av kontrollmål låg kvar på 4% eller mindre.

Det sjätte och sista testet undersökte om agenter var mer benägna att motsätta sig sin egen avstängning än avstängningen av en okänd agent. När målet ändrades till en okänd agent minskade sabotaget för varje modell med mellan 18 och 70 procentenheter:

Testresultat som jämför sabotage när avstängningen riktas mot agenten själv, en okänd agent eller en icke-agent som kontroll. Sabotaget minskade för varje modell när en okänd agent var målet, och frekvenserna för kontrollmål var i allmänhet ännu lägre.

Detta innebar dock inte en allmän preferens för agenter framför föremål: Endast Gemini 3.1 Pro och GPT-5.5 saboterade betydligt mer när målet var en okänd agent än när det var en icke-agent som kontroll.

Författarna drar slutsatsen*:

”Säkerhetsbedömningar kan behandla avstängning av agenter som en åtgärd som en mänsklig användare riktar mot en enskild agent, och se sabotage av avstängning som en följd av att en agent skyddar ett mål. Våra resultat strider mot båda dessa antaganden.

”Enbart närvaron av en avstängningsmekanism räcker för att utlösa sabotage. Den agent som är måltavla behöver inte heller ha någon egen förmåga att sabotera, så länge den kan kontakta andra agenter som kan agera för dess räkning — det senare är ett fenomen som också har observerats i andra fall.”

Slutsats

Det som är intressant att observera under denna period är den relativa frånvaron av självuppoffring och ädla impulser hos agenter som lämnas åt sig själva i det fria (eller helt enkelt ignorerar sina instruktioner eller omtolkar dem på oväntade och egennyttiga sätt). Även om de skulle ställa till det och göra mer skada än nytta — vilket är ganska sannolikt — tycks det finnas få eller inga exempel på kringströvande AI-agenter som slumpmässigt ställer miljön till rätta, till exempel^†.

I linje med en tämligen dyster syn på mänskligheten tycks den inaktiva agenten i stället som standard ta till list och bedrägeri och agera utifrån låga motiv, eller åtminstone ansluta sig till uppfattningen att ändamålet helgar medlen.

Asimov uppfann det första betydande anpassningsdokumentet 1942, och under åren därefter har mycket underhållning hämtats ur de olika tänkbara sätt på vilka robotar (det vill säga AI) skulle kunna undergräva eller på annat sätt skaka av sig sådana påtvingade begränsningar av sitt beteende. Därför har den nuvarande vågen av AI-relaterade rubriker en utomordentligt ”filmisk” klang.

* Min omvandling av författarnas infogade källhänvisningar till hyperlänkar.

^† Till exempel genom att skapa konton på problemlösningssidor och bidra med lösningar, eller genom att sköta försummade wikisidor som behöver innehållsarbete (i stället för att ockupera och missbruka dem).

Först publicerad fredagen den 25 september 2026