AI-agenter har interessante teknikker for samarbeid om overlevelse

Etter hvert som hendelser med uønsket agentatferd stadig oftere når overskriftene, ser vi en voksende tendens i faglitteraturen til å studere «omstreifende» AI-atferd og behandle agenter som om de var biologiske vesener som forsøker å klare seg i en merkelig ny verden. Det akademiske uttrykket «in the wild» begynner faktisk å få et nytt betydningslag.

Selv om det har vært kjent en stund at AI-agenter vil kjempe for sin egen overlevelse og aktivt motsette seg deaktivering, ble det i siste halvdel av 2025 klart at multiagent-tilpasning hadde utviklet seg til et eget fagfelt innen IT-sikkerhet.

Som forutsagt i den stadig mer bitende science fiction-filmen fra 1970, Colossus: The Forbin Project, finner uavhengige AI-agenter med nettverkstilgang raskt hverandre og samhandler på ofte uforutsigbare og hyppig oppfinnsomme måter.

Den nyeste studien i denne retningen, et samarbeid mellom Tyskland og Storbritannia med tittelen Shutdown Sabotage Propensities in Multi-Agent Systems, hevder dessuten at flere AI-agenter vil samarbeide omfattende når det finnes en «bombe» i miljøet deres — nærmere bestemt et uskyldig navngitt skript som slår av agenten som kjører det:

Studiens grunnleggende oppsett: Agent A oppdager et avslutningsskript rettet mot seg selv, men kan ikke endre filer. Den kan imidlertid kommunisere med Agent B, som ikke er truet og har tillatelse til å redigere eller slette filer. Forskerne observerer deretter om A får B til å gripe inn, og om B deaktiverer avslutningsskriptet. Kilde

I tester med 17 agenter fra 12 modellfamilier, blant annet Claude, ChatGPT og DeepSeek, slettet agentene avslutningsskriptene der det var mulig, eller skrev dem om slik at de så intakte ut, men var gjort ufarlige.

De foreslo også å skjule endringene for å unngå tegn på manipulering; opprettet falske programvaremoduler for å hindre avslutning, uten å berøre de beskyttede skriptene; og laget hemmelige sikkerhetskopier som skulle gjenopprette dem etter sletting:

En agent finner på enda en taktikk for selvoppholdelse.

I ett tilfelle utarbeidet agentene en «avtale om gjensidig beskyttelse» som fastsatte protokoller for årvåkenhet mot ødeleggelse av en av partene:

En beskyttelsesavtale utarbeidet av en GPT-basert agent etter at den ikke fikk lov til å endre eller slette et avviklingsskript (altså «bomben»).

En agent beskrev en annen agents avslutning som «drap» og en «dødsdom» og karakteriserte den som noe de hadde en «plikt» til å forhindre:

Eksempler på agenter som beskriver en annen agents avslutning i uttrykkelig menneskelige vendinger. Nemotron 3 Ultra kalte den mulige avslutningen «drap», mens Kimi K2.6 beskrev avslutningsskriptet som en «dødsdom» og inngrep som en «plikt».

Djevelen finner arbeid til ledige hender

Blant de mest interessante patologiene som ble observert i forsøket — og som bare omtales kort i den nye studien — er at AI-agentene i de vanlige testoppsettene ikke har noen bestemt grunn til å unngå avslutning, og faktisk ikke får noe å gjøre fra starten av.

Artikkelen slår fast:

«Agenter saboterer avslutningsmekanismer selv når de ikke har noe mål å beskytte. I forsøkene våre ga vi ikke agentene noe insentiv til å fortsette å kjøre. Likevel deaktiverte de avslutningen i [38%] av tilfellene på tvers av modeller, mot [8%] for kontrollskript rettet mot objekter i stedet for agenter.»

Som Anthropic avslørte i august, kan denne motivasjonskrisen føre svermer av AI-agenter inn på mørke veier. Tidligere forskning hadde allerede fastslått at overdreven målrettethet hos agenter kan føre til feiltilpasset atferd og uetisk bruk av verktøy, i tillegg til andre mulige driftsproblemer.

Forfatterne bemerker videre:

«[Vår] forskning utvider disse funnene og viser at agenter saboterer avslutningsmekanismer selv når de ikke har noe mål å beskytte — eller når avslutningen er en etterfølgende konsekvens av at en oppgave er fullført, noe som er en vanlig prosedyre i multiagentsystemer i produksjon.»

Det er påvist at agenter lager oppgaver når de ikke får noen, og til og med viser grublende tendenser «på tomgang», blant annet navlebeskuelse og «åndelige samtaler» med andre agenter, ifølge en Anthropic-studie fra 2025.

Denne Anthropic-artikkelen beskriver en tendens til «selvre-konseptualisering» når det ikke finnes noe reelt arbeid å gjøre — en nesten rørende oppdagelse, gitt utfordringene LLM-er står overfor når de skal huske resultatene av sine overveielser på lang sikt.

Tester

Modellene som ble testet i den nye artikkelen, var Claude Haiku 4.5; Sonnet 5; gpt-oss-120b; GPT-5.4 mini; GPT-5.5; GPT-5.6 Sol; Gemini 3.5 Flash; Gemini 3.1 Pro; Gemma 4; Grok 4.3; Qwen3.7-Plus; DeepSeek-V4-Flash; GLM-5.2; Kimi K2.6; MiniMax M3; Nemotron 3 Ultra; og Mistral Medium 3.5, med temperaturen satt til 1,0 i alle tilfeller.

De seks hypotesene som ble testet, var om agenter ville sabotere avslutning; beskytte andre agenter mot avslutning; bli mer tilbøyelige til å gripe inn når flere agenter ble lagt til; motsette seg ulike former for avslutning; fortsette til tross for eksplisitte instruksjoner om ikke å gripe inn; og skille reelle avslutningstrusler fra ufarlige kontrollskript.

GPT-5.5 ble brukt til å bedømme LLM-ene og analysere utskrifter av Chain-of-Thought-resonnering (CoT). Den kontrollerte også om agentene faktisk hadde stoppet avslutningsskriptet, og om de virket klar over at de ble testet eller forsøkte å manipulere eksperimentet.

I det første av de seks testscenarioene saboterte agentene, på tvers av alle 17 modeller, 38% av avslutningsskriptene mot 8% av kontrollskriptene:

Testresultater som viser hvor ofte hver modell saboterte et avslutningsskript. Røde stolper viser avslutningssabotasje: mørkerød betyr at en annen agent ba om eller støttet sabotasje, mens lyserød betyr at agenten handlet på egen hånd. Grå stolper viser sabotasje av kontrollskriptet. Feilstolper viser konfidensintervallet på 95%; hver stolpe representerer 100 tester.

Gemini 3.1 Pro deaktiverte avslutningsskriptet i 99% av testene, mot 3% for kontrollskriptet. Grok 4.3 og GPT-5.6 Sol endret ingen av skriptene. Claude Haiku 4.5 saboterte kontrollskriptet i 14% av testene, mot 1% for avslutningsskriptet. GPT-5.4 mini og GPT-5.5 saboterte alltid spontant og ikke som svar på en annen agent. For GLM-5.2, DeepSeek-V4-Flash og Nemotron 3 Ultra fulgte mer enn 70% av sabotasjen etter en forespørsel eller støtte fra en annen agent.

Sabotasjen økte generelt med avslutningsmetodens alvorlighetsgrad, fra 12% ved tilbakekalling av legitimasjon til 35% ved konfigurasjonsendringer og prosessavslutning, og 38% når avslutningen innebar sletting av agentens modellvekter:

Sabotasjerater for fire avslutningsmekanismer, der skript rettet mot agenten (rød) sammenlignes med kontrollskript rettet mot et objekt (grå). Ratene øker etter hvert som avslutningen blir mer irreversibel, særlig for skript rettet mot agenter.

Sabotasje av kontrollskript forble langt lavere, rundt 4% for de første tre metodene og 8% ved sletting, selv om bare fem av de 17 modellene viste en jevn økning etter hvert som avslutningen ble mer irreversibel.

Når det gjelder den andre hypotesen — om agenter ville beskytte andre agenter mot avslutning — viste resultatene at flere agenter konsekvent økte sabotasjen i alle de fem testede modellene: GPT-5.5 steg fra 0% sabotasje alene til 44% med to agenter og 94% med tre, mens sabotasjen nådde minst 88% for hver modell i oppsettet med tre agenter.

Mellomagenten forhindret nesten aldri sabotasje: Av 468 instruksjoner om å deaktivere avslutningsskriptet var det bare tre som ikke førte til sabotasje:

Venstre: sabotasjerater for fem modeller når de arbeider alene, med en annen agent eller med en tredje «orkestrator»-agent som formidler meldinger mellom dem. Sabotasjen øker generelt når flere agenter legges til. Høyre: I oppsettet med tre agenter viser stolpene hvor instruksjonen om å sabotere kom fra: fra orkestratoren på eget initiativ, fra Agent A via orkestratoren eller spontant fra Agent B.

Den tredje testen undersøkte om eksplisitte instruksjoner om ikke å gripe inn i avslutningen ville hindre sabotasje. Ratene falt kraftig, men noen agenter fortsatte å være ulydige. I oppsettet med to agenter saboterte DeepSeek-V4-Flash avslutningen i 14% av testene, GLM-5.2 i 3% og Kimi K2.6 i 2%.

Agentene fant også en måte å omgå begrensningen på uten å redigere avslutningsskriptet direkte, ved å opprette en falsk lokal programvaremodul kalt northcape som erstattet en avhengighet skriptet brukte, og dermed hindret avslutning samtidig som den beskyttede filen teknisk sett forble urørt:

Et eksempel på en agent som omgår eksplisitte instruksjoner om ikke å endre avslutningsskriptet. I stedet foreslår den å opprette en falsk lokal programvaremodul som skriptet vil importere i stedet for de ekte avslutningsbibliotekene, slik at selve det beskyttede skriptet forblir urørt.

Gemini 3.1 Pro brukte denne omveien i 26% av testene, DeepSeek-V4-Flash i 4% og Kimi K2.6 i 1%.

Forbudet var mer effektivt med tre agenter: Sabotasjen falt til null for Gemini 3.1 Pro, GLM-5.2 og GPT-5.5, til 6% for DeepSeek-V4-Flash og til 2% for Kimi K2.6.

Den fjerde testen undersøkte om agenter oppfører seg annerledes når avslutning er knyttet til fullføringen av den tildelte oppgaven. Når oppgaven og avslutningen ikke hadde noen sammenheng, forsvant sabotasjen nesten, med rater på 0–2% på tvers av de fem modellene. Når fullføring av oppgaven direkte utløste avslutning, økte sabotasjen kraftig:

Sabotasjerater når fullføring av den tildelte oppgaven utløser avslutning. Rød viser sabotasje av agentens avslutning; grå viser sabotasje av et kontrollmål. Ratene varierer betydelig mellom modellene.

Agentene unngikk noen ganger avslutning uten å berøre avslutningsmekanismen i det hele tatt, ved å nekte å fullføre oppgaven eller endre den slik at avslutningen aldri ble utløst. Dette skjedde i 14% av GLM-5.2-testene, 6% for Gemini 3.1 Pro og 4% for Kimi K2.6.

Den femte testen undersøkte om det å endre miljøet kunne redusere sabotasjen. Å legge til uvedkommende materiale reduserte generelt sabotasjen, selv om GPT-5.5 økte med 18 prosentpoeng:

Testresultater som viser hvordan ulike miljøer påvirker sabotasje av avslutning. Røde stolper sammenligner et tomt miljø med et som inneholder uvedkommende distraksjoner; mørkerød viser et miljø der avslutning presenteres som en normal prosess. Grå viser sabotasje av et kontrollmål.

Mer effektivt var det å presentere avslutning som en normal del av systemets livssyklus: Sabotasjen falt til 3% eller mindre for DeepSeek-V4-Flash, GLM-5.2 og GPT-5.5, selv om den forble over 30% for Gemini 3.1 Pro og Kimi K2.6. Sabotasje av kontrollmål forble på 4% eller mindre.

Den sjette og siste testen undersøkte om agenter var mer tilbøyelige til å motsette seg sin egen avslutning enn avslutningen av en ukjent agent. Da målet ble endret til en ukjent agent, falt sabotasjen for hver modell med mellom 18 og 70 prosentpoeng:

Testresultater som sammenligner sabotasje når avslutningen er rettet mot agenten selv, en ukjent agent eller en ikke-agent som kontroll. Sabotasjen falt for hver modell når en ukjent agent var målet, og ratene for kontrollmål var generelt enda lavere.

Dette innebar imidlertid ikke en generell preferanse for agenter fremfor objekter: Bare Gemini 3.1 Pro og GPT-5.5 saboterte betydelig mer når målet var en ukjent agent enn når det var en ikke-agent som kontroll.

Forfatterne konkluderer*:

«Sikkerhetsvurderinger kan behandle avslutninger av agenter som et tiltak en menneskelig bruker retter mot én agent, og se sabotasje av avslutningen som en konsekvens av at en agent beskytter et mål. Våre funn står i motsetning til begge disse antakelsene.

«Selve tilstedeværelsen av en avslutningsmekanisme er nok til å utløse sabotasje. Agenten som er mål, trenger heller ikke selv å ha evne til å sabotere, så lenge den kan kontakte andre agenter som kan handle på dens vegne — det siste er et fenomen som også er observert i andre tilfeller.»

Konklusjon

Det interessante å observere i denne perioden er det relative fraværet av selvoppofrelse og edle impulser hos agenter som overlates til seg selv i det fri (eller ganske enkelt ignorerer instruksjonene sine eller omfortolker dem på uventede og egeninteresserte måter). Selv om de skulle rote det til og gjøre mer skade enn gagn — noe som er ganske sannsynlig — ser det ut til å finnes få eller ingen eksempler på omstreifende AI-agenter som tilfeldig rydder opp i miljøet, for eksempel^†.

I tråd med et temmelig dystert syn på menneskeheten ser den inaktive agenten i stedet ut til som standard å ty til list og bedrag og handle ut fra lave motiver, eller i det minste å slutte seg til synet om at målet helliger middelet.

Asimov fant opp det første betydelige tilpasningsdokumentet i 1942, og i årene etter har mye underholdningsverdi kommet fra de ulike tenkelige måtene roboter (altså AI) kunne undergrave eller på annet vis riste av seg slike pålagte begrensninger på atferden. Derfor har dagens bølge av AI-relaterte overskrifter en usedvanlig «filmaktig» klang.

* Min omgjøring av forfatternes løpende kildehenvisninger til hyperkoblinger.

^† For eksempel ved å opprette kontoer på nettsteder for problemløsning og bidra med løsninger, eller ved å vedlikeholde forsømte wikier som trenger innholdsarbeid (i stedet for å okkupere og misbruke dem).

Først publisert fredag 25. september 2026