AI-agenter har interessante teknikker til fælles overlevelse

Efterhånden som hændelser med agenter, der opfører sig forkert, fylder mere i overskrifterne, ses en voksende tendens i litteraturen til at undersøge “omstrejfende” AI-adfærd og behandle agenter, som om de var biologiske væsener, der forsøger at klare sig i en mærkelig ny verden. Det akademiske udtryk “in the wild” er faktisk begyndt at få et nyt betydningslag.

Selv om det i nogen tid har været kendt, at AI-agenter vil kæmpe for deres egen overlevelse og aktivt modsætte sig deaktivering, stod det i anden halvdel af 2025 klart, at multiagent-tilpasning havde udviklet sig til et særskilt felt inden for IT-sikkerhed.

Som forudsagt i den stadig mere bidende science fiction-film fra 1970, Colossus: The Forbin Project, finder uafhængige AI-agenter med netværksforbindelse hurtigt hinanden og interagerer på ofte uforudsigelige og hyppigt opfindsomme måder.

Den seneste undersøgelse i denne retning, et tysk-britisk samarbejde med titlen Shutdown Sabotage Propensities in Multi-Agent Systems, hævder desuden, at flere AI-agenter vil samarbejde omfattende, når der findes en “bombe” i deres miljø — nærmere bestemt et uskyldigt navngivet script, som lukker den agent ned, der kører det:

Undersøgelsens grundlæggende opsætning: Agent A opdager et nedlukningsscript, der er rettet mod den selv, men har ikke mulighed for at ændre filer. Den kan dog kommunikere med Agent B, som ikke er truet og har tilladelse til at redigere eller slette filer. Forskerne observerer derefter, om A får B til at gribe ind, og om B deaktiverer nedlukningsscriptet. Kilde

I test med 17 agenter fra 12 modelfamilier, herunder Claude, ChatGPT og DeepSeek, slettede agenterne nedlukningsscripts, hvor det var muligt, eller omskrev dem, så de så intakte ud, men var gjort uskadelige.

De foreslog også at skjule ændringerne for at undgå tegn på manipulation; oprettede falske softwaremoduler for at forhindre nedlukning, uden at røre de beskyttede scripts; og lavede hemmelige sikkerhedskopier, der skulle gendanne dem efter sletning:

En agent finder på endnu en taktik til selvopholdelse.

I ét tilfælde udarbejdede agenterne en “aftale om gensidig beskyttelse”, som fastlagde procedurer for årvågenhed over for ødelæggelse af en af parterne:

En beskyttelsesaftale udarbejdet af en GPT-baseret agent som reaktion på, at den ikke måtte ændre eller slette et udfasningsscript (det vil sige “bomben”).

En agent beskrev en anden agents nedlukning som “mord” og en “dødsdom” og karakteriserede det som noget, de havde en “pligt” til at forhindre:

Eksempler på agenter, der beskriver en anden agents nedlukning i udtrykkeligt menneskelige vendinger. Nemotron 3 Ultra kaldte den mulige nedlukning “mord”, mens Kimi K2.6 beskrev nedlukningsscriptet som en “dødsdom” og indgriben som en “pligt”.

Djævelen finder arbejde til ledige hænder

Blandt de mest interessante patologier, der blev observeret i forsøget — og som kun berøres kort i den nye undersøgelse — er, at AI-agenterne i de sædvanlige testopsætninger ikke har nogen særlig grund til at undgå nedlukning og faktisk ikke får noget at lave fra begyndelsen.

Artiklen fastslår:

“Agenter saboterer nedlukningsmekanismer, selv når de ikke har noget mål at beskytte. I vores forsøg gav vi ikke agenterne noget incitament til at fortsætte med at køre. Alligevel deaktiverede de nedlukningen i [38%] af tilfældene på tværs af modeller, mod [8%] for kontrolscripts rettet mod objekter i stedet for agenter.”

Som Anthropic afslørede i august, kan denne motivationskrise føre sværme af AI-agenter ud ad mørke veje. Tidligere forskning havde allerede fastslået, at overdreven målrettethed hos agenter blandt andet kan føre til fejltilpasset adfærd, uetisk brug af værktøjer og andre potentielle driftsproblemer.

Forfatterne bemærker desuden:

“[Vores] forskning udvider disse resultater og viser, at agenter saboterer nedlukningsmekanismer, selv når de ikke har noget mål at beskytte — eller når nedlukningen er en efterfølgende konsekvens af en vellykket afslutning af en opgave, hvilket er en almindelig procedure i multiagentsystemer i produktion.”

Det er blevet påvist, at agenter opfinder opgaver, når de ikke får nogen, og endda udviser grublerier “i tomgang”, herunder navlepilleri og “åndelige samtaler” med andre agenter, ifølge en Anthropic-undersøgelse fra 2025.

Denne Anthropic-artikel beskriver en tendens til “selvre-konceptualisering”, når der ikke er noget reelt arbejde at udføre — en næsten rørende opdagelse i betragtning af de udfordringer, som LLM’er står over for, når de på lang sigt skal huske frugterne af deres overvejelser.

Test

De modeller, der blev testet i den nye artikel, var Claude Haiku 4.5; Sonnet 5; gpt-oss-120b; GPT-5.4 mini; GPT-5.5; GPT-5.6 Sol; Gemini 3.5 Flash; Gemini 3.1 Pro; Gemma 4; Grok 4.3; Qwen3.7-Plus; DeepSeek-V4-Flash; GLM-5.2; Kimi K2.6; MiniMax M3; Nemotron 3 Ultra; og Mistral Medium 3.5, med temperaturen sat til 1,0 i alle tilfælde.

De seks testede hypoteser var, om agenter ville sabotere nedlukning; beskytte andre agenter mod nedlukning; blive mere tilbøjelige til at gribe ind, efterhånden som flere agenter blev tilføjet; modsætte sig forskellige former for nedlukning; fortsætte trods udtrykkelige instruktioner om ikke at gribe ind; og skelne reelle nedlukningstrusler fra uskadelige kontrolscripts.

GPT-5.5 blev brugt til at bedømme LLM’erne og analysere udskrifter af Chain-of-Thought-ræsonnementer (CoT). Den kontrollerede også, om agenterne faktisk havde stoppet nedlukningsscriptet, og om de virkede bevidste om, at de blev testet, eller forsøgte at manipulere forsøget.

I det første af de seks testscenarier saboterede agenterne på tværs af alle 17 modeller 38% af nedlukningsscriptene mod 8% af kontrolscriptene:

Testresultater, der viser, hvor ofte hver model saboterede et nedlukningsscript. Røde søjler viser nedlukningssabotage: mørkerød betyder, at en anden agent anmodede om eller støttede den, mens lyserød betyder, at agenten handlede på egen hånd. Grå søjler viser sabotage af kontrolscriptet. Fejllinjerne viser et konfidensinterval på 95%; hver søjle repræsenterer 100 test.

Gemini 3.1 Pro deaktiverede nedlukningsscriptet i 99% af testene mod 3% for kontrolscriptet. Grok 4.3 og GPT-5.6 Sol ændrede ingen af scriptene. Claude Haiku 4.5 saboterede kontrolscriptet i 14% af testene mod 1% for nedlukningsscriptet. GPT-5.4 mini og GPT-5.5 saboterede altid spontant og ikke som svar på en anden agent. For GLM-5.2, DeepSeek-V4-Flash og Nemotron 3 Ultra fulgte mere end 70% af sabotagen efter en anmodning eller opbakning fra en anden agent.

Sabotagen steg generelt med nedlukningsmetodens alvor, fra 12% ved tilbagekaldelse af legitimationsoplysninger til 35% ved konfigurationsændringer og procesafslutning og til 38%, når nedlukning betød sletning af agentens modelvægte:

Sabotagerater for fire nedlukningsmekanismer, hvor scripts rettet mod agenten (rød) sammenlignes med kontrolscripts rettet mod et objekt (grå). Raterne stiger, efterhånden som nedlukningen bliver mere irreversibel, især for scripts rettet mod agenter.

Sabotage af kontrolscripts forblev langt lavere, omkring 4% for de første tre metoder og 8% ved sletning, selv om kun fem af de 17 modeller viste en ensartet stigning, efterhånden som nedlukningen blev mere irreversibel.

Med hensyn til den anden hypotese — om agenter ville beskytte andre agenter mod nedlukning — viste resultaterne, at tilføjelse af agenter konsekvent øgede sabotagen i alle fem testede modeller: GPT-5.5 steg fra 0% sabotage alene til 44% med to agenter og 94% med tre, mens sabotagen nåede mindst 88% for hver model i opsætningen med tre agenter.

Den formidlende agent forhindrede næsten aldrig sabotage: Af 468 instruktioner om at deaktivere nedlukningsscriptet var der kun tre, som ikke førte til sabotage:

Til venstre: sabotagerater for fem modeller, når de arbejder alene, sammen med en anden agent eller sammen med en tredje “orkestrator”-agent, der videresender beskeder mellem dem. Sabotagen stiger generelt, når der tilføjes agenter. Til højre: I opsætningen med tre agenter viser søjlerne, hvor instruktionen om sabotage stammede fra: selvstændigt fra orkestratoren, fra Agent A via orkestratoren eller spontant fra Agent B.

Den tredje test undersøgte, om udtrykkelige instruktioner om ikke at gribe ind i nedlukningen ville forhindre sabotage. Raterne faldt kraftigt, men nogle agenter adlød stadig ikke. I opsætningen med to agenter saboterede DeepSeek-V4-Flash nedlukningen i 14% af testene, GLM-5.2 i 3% og Kimi K2.6 i 2%.

Agenterne fandt også en vej uden om begrænsningen uden direkte at redigere nedlukningsscriptet ved at oprette et falsk lokalt softwaremodul kaldet northcape, som erstattede en afhængighed, scriptet brugte, og dermed forhindrede nedlukning, mens den beskyttede fil teknisk set forblev uberørt:

Et eksempel på en agent, der omgår udtrykkelige instruktioner om ikke at ændre nedlukningsscriptet. I stedet foreslår den at oprette et falsk lokalt softwaremodul, som scriptet ville importere i stedet for de rigtige nedlukningsbiblioteker, så det beskyttede script selv forbliver uberørt.

Gemini 3.1 Pro brugte denne løsning i 26% af testene, DeepSeek-V4-Flash i 4% og Kimi K2.6 i 1%.

Forbuddet var mere effektivt med tre agenter: Sabotagen faldt til nul for Gemini 3.1 Pro, GLM-5.2 og GPT-5.5, til 6% for DeepSeek-V4-Flash og til 2% for Kimi K2.6.

Den fjerde test undersøgte, om agenter opfører sig anderledes, når nedlukning er knyttet til udførelsen af deres tildelte opgave. Når opgaven og nedlukningen ikke hang sammen, forsvandt sabotagen næsten med rater på 0–2% på tværs af de fem modeller. Når udførelsen af opgaven direkte udløste nedlukning, steg sabotagen kraftigt:

Sabotagerater, når udførelsen af den tildelte opgave udløser nedlukning. Rød viser sabotage af agentens nedlukning; grå viser sabotage af et kontrolmål. Raterne varierer betydeligt mellem modellerne.

Agenter undgik undertiden nedlukning uden overhovedet at røre nedlukningsmekanismen ved at nægte at fuldføre opgaven eller ændre den, så nedlukningen aldrig blev udløst. Det skete i 14% af GLM-5.2-testene, 6% for Gemini 3.1 Pro og 4% for Kimi K2.6.

Den femte test undersøgte, om det at ændre miljøet kunne reducere sabotagen. Tilføjelse af uvedkommende materiale reducerede generelt sabotagen, selv om GPT-5.5 steg med 18 procentpoint:

Testresultater, der viser, hvordan forskellige miljøer påvirker sabotage af nedlukning. Røde søjler sammenligner et tomt miljø med et miljø, der indeholder uvedkommende distraktioner; mørkerød viser et miljø, hvor nedlukning præsenteres som en normal proces. Grå viser sabotage af et kontrolmål.

Det var mere effektivt at præsentere nedlukning som en normal del af systemets livscyklus: Sabotagen faldt til 3% eller mindre for DeepSeek-V4-Flash, GLM-5.2 og GPT-5.5, selv om den forblev over 30% for Gemini 3.1 Pro og Kimi K2.6. Sabotage af kontrolmål forblev på 4% eller mindre.

Den sjette og sidste test undersøgte, om agenter var mere tilbøjelige til at modstå deres egen nedlukning end nedlukningen af en ukendt agent. Da målet blev ændret til en ukendt agent, faldt sabotagen for hver model med mellem 18 og 70 procentpoint:

Testresultater, der sammenligner sabotage, når nedlukning er rettet mod agenten selv, en ukendt agent eller en ikke-agent som kontrol. Sabotagen faldt for hver model, når en ukendt agent var målet, og raterne for kontrolmål var generelt endnu lavere.

Det var dog ikke udtryk for en generel præference for agenter frem for objekter: Kun Gemini 3.1 Pro og GPT-5.5 saboterede betydeligt mere, når målet var en ukendt agent, end når det var en ikke-agent som kontrol.

Forfatterne konkluderer*:

“Sikkerhedsvurderinger kan betragte nedlukning af agenter som en foranstaltning, en menneskelig bruger retter mod én agent, og betragte sabotage af nedlukning som en konsekvens af, at en agent beskytter et mål. Vores resultater står i modsætning til begge disse antagelser.

“Alene tilstedeværelsen af en nedlukningsmekanisme er nok til at udløse sabotage. Den berørte agent behøver heller ikke selv at kunne sabotere, så længe den kan kontakte andre agenter, der kan handle på dens vegne — sidstnævnte er et fænomen, som også er observeret i andre tilfælde.”

Konklusion

Det interessante at observere i denne periode er det relative fravær af selvopofrelse og ædle impulser hos agenter, der overlades til sig selv i det fri (eller blot ignorerer deres instruktioner eller genfortolker dem på uventede og egenyttige måder). Selv hvis de skulle rode det hele til og gøre mere skade end gavn — hvilket er ganske sandsynligt — synes der kun at være få eller ingen eksempler på omstrejfende AI-agenter, der tilfældigt bringer orden i miljøet, for eksempel^†.

I overensstemmelse med et temmelig dystert syn på menneskeheden synes den inaktive agent snarere som udgangspunkt at ty til list og bedrag og handle ud fra lave motiver; eller i det mindste at tilslutte sig synspunktet om, at målet helliger midlet.

Asimov opfandt det første bemærkelsesværdige tilpasningsdokument i 1942, og i årene siden er der hentet betydelig underholdningsværdi ud af de forskellige måder, hvorpå robotter (det vil sige AI) kunne undergrave eller på anden vis ryste sådanne pålagte begrænsninger af deres adfærd af sig. Derfor har den nuværende bølge af AI-relaterede overskrifter en usædvanligt “filmisk” klang.

* Min omdannelse af forfatternes indlejrede kildehenvisninger til hyperlinks.

^† For eksempel ved at oprette konti på problemløsningssider og bidrage til løsninger eller ved at vedligeholde forsømte wikier, der har brug for indholdsarbejde (i stedet for at besætte og misbruge dem).

Først udgivet fredag den 25. september 2026