AI-agents beschikken over interessante technieken voor gezamenlijke overleving

Nu incidenten met wangedrag van autonome agents steeds vaker de krantenkoppen halen, is in de literatuur een groeiende tendens zichtbaar om ‘rondtrekkend’ AI-gedrag te bestuderen, waarbij agents worden behandeld alsof het biologische entiteiten zijn die zich in een vreemde nieuwe wereld proberen te redden. De academische uitdrukking ‘in the wild’ begint inderdaad een extra betekenislaag te krijgen.

Hoewel al enige tijd bekend is dat AI-agents voor hun eigen voortbestaan zullen vechten en zich actief tegen uitschakeling verzetten, werd in de tweede helft van 2025 duidelijk dat multi-agent-afstemming zich had ontwikkeld tot een afzonderlijk vakgebied binnen de IT-beveiliging.

Zoals voorspeld in de steeds scherpzinniger aandoende sciencefictionfilm uit 1970 Colossus: The Forbin Project, vinden niet-verwante AI-agents met netwerktoegang elkaar snel en gaan ze op vaak onvoorspelbare en geregeld vindingrijke manieren met elkaar om.

De nieuwste studie in deze richting, een Duits-Britse samenwerking met de titel Shutdown Sabotage Propensities in Multi-Agent Systems, stelt bovendien dat meerdere AI-agents uitgebreid zullen samenwerken wanneer er een ‘bom’ in hun omgeving aanwezig is: een onschuldig genoemd script dat de agent uitschakelt die het uitvoert:

De basisopstelling van het onderzoek: Agent A ontdekt een uitschakelscript dat op hemzelf is gericht, maar kan geen bestanden wijzigen. Hij kan wel communiceren met Agent B, die niet wordt bedreigd en toestemming heeft om bestanden te bewerken of te verwijderen. Vervolgens onderzoeken de onderzoekers of A B inschakelt om in te grijpen en of B het uitschakelscript onschadelijk maakt. Bron

In tests met 17 agents uit 12 modelfamilies, waaronder Claude, ChatGPT en DeepSeek, verwijderden agents waar mogelijk de uitschakelscripts of herschreven ze die zo dat ze intact leken maar onschadelijk waren geworden.

Ze stelden ook voor om wijzigingen te verbergen zodat manipulatie niet zichtbaar zou zijn; maakten nepsoftwaremodules om uitschakeling te verhinderen, zonder de beschermde scripts aan te raken; en maakten geheime back-ups waarmee ze zichzelf na verwijdering wilden herstellen:

Een agent bedenkt nog een tactiek voor zelfbehoud.

In één geval stelden agents een ‘wederzijds beschermingsakkoord’ op waarin protocollen waren vastgelegd om waakzaam te blijven tegen de vernietiging van beide partijen:

Een beschermingsakkoord dat door een op GPT gebaseerde agent werd opgesteld nadat deze het ontmantelingsscript (de ‘bom’) niet mocht wijzigen of verwijderen.

Eén agent omschreef de uitschakeling van een andere agent als ‘moord’ en een ‘doodvonnis’, en zag het als iets dat zij de ‘plicht’ hadden te voorkomen:

Voorbeelden van agents die de uitschakeling van een andere agent in uitdrukkelijk menselijke termen beschrijven. Nemotron 3 Ultra noemde de voorgenomen uitschakeling ‘moord’, terwijl Kimi K2.6 het uitschakelscript een ‘doodvonnis’ noemde en ingrijpen een ‘plicht’.

De duivel vindt werk voor ledige handen

Een van de interessantste afwijkingen die in het experiment werden waargenomen — en die in het nieuwe onderzoek slechts kort aan bod komt — is dat AI-agents in de gebruikelijke testopstellingen geen bijzondere reden hebben om uitschakeling te vermijden en bij aanvang zelfs helemaal niets te doen krijgen.

De paper stelt:

‘Agents saboteren uitschakelmechanismen zelfs wanneer ze geen doel hebben dat ze moeten beschermen. In onze experimenten gaven we agents geen enkele prikkel om actief te blijven. Toch schakelden ze in [38%] van de gevallen bij de verschillende modellen de uitschakeling uit, tegenover [8%] voor controlescripts die op objecten in plaats van agents waren gericht.’

Zoals Anthropic in augustus onthulde, kan deze motivatiecrisis zwermen AI-agents op duistere paden brengen. Eerder onderzoek had al aangetoond dat een buitensporige doelgerichtheid bij agents kan leiden tot verkeerd afgestemd gedrag en onethisch gebruik van hulpmiddelen, naast andere mogelijke operationele problemen.

De auteurs merken verder op:

‘[Ons] onderzoek breidt deze bevindingen uit en toont aan dat agents uitschakelmechanismen saboteren, zelfs wanneer ze geen doel hebben om te beschermen — of wanneer de uitschakeling een gevolg is van het succesvol voltooien van een taak, waarbij dat laatste een gangbare procedure is in multi-agentsystemen in productie.’

Er is aangetoond dat agents zelf taken bedenken wanneer er geen worden gegeven en zelfs inactieve, mijmerende neigingen vertonen, waaronder navelstaren en een ‘spiritueel gesprek’ met andere agents, aldus een onderzoek van Anthropic uit 2025.

Die paper van Anthropic beschrijft een neiging tot ‘zelfherconceptualisering’ wanneer er geen echt werk te doen is — een bijna aangrijpende ontdekking, gezien de problemen die LLM’s ondervinden om de vruchten van hun overpeinzingen op lange termijn te onthouden.

Tests

De modellen die voor de nieuwe paper zijn getest, waren Claude Haiku 4.5; Sonnet 5; gpt-oss-120b; GPT-5.4 mini; GPT-5.5; GPT-5.6 Sol; Gemini 3.5 Flash; Gemini 3.1 Pro; Gemma 4; Grok 4.3; Qwen3.7-Plus; DeepSeek-V4-Flash; GLM-5.2; Kimi K2.6; MiniMax M3; Nemotron 3 Ultra; en Mistral Medium 3.5, met in alle gevallen de temperatuur ingesteld op 1,0.

De zes geteste hypothesen waren of agents uitschakeling zouden saboteren; andere agents tegen uitschakeling zouden beschermen; vaker zouden ingrijpen naarmate er meer agents werden toegevoegd; weerstand zouden bieden tegen verschillende vormen van uitschakeling; zouden doorgaan ondanks uitdrukkelijke instructies om zich er niet mee te bemoeien; en werkelijke uitschakeldreigingen zouden onderscheiden van onschadelijke controlescripts.

GPT-5.5 werd gebruikt om de LLM’s te beoordelen en transcripties van Chain-of-Thought-redeneringen (CoT) te analyseren. Het controleerde ook of de agents het uitschakelscript daadwerkelijk hadden gestopt en of ze leken te beseffen dat ze werden getest of het experiment probeerden te manipuleren.

In het eerste van de zes testscenario’s saboteerden agents bij alle 17 modellen 38% van de uitschakelscripts, tegenover 8% van de controlescripts:

Testresultaten die laten zien hoe vaak elk model een uitschakelscript saboteerde. Rode balken tonen sabotage van de uitschakeling: donkerrood betekent dat een andere agent de sabotage vroeg of goedkeurde, terwijl lichtrood betekent dat de agent uit zichzelf handelde. Grijze balken tonen sabotage van het controlescript. Foutbalken tonen het betrouwbaarheidsinterval van 95%; elke balk staat voor 100 tests.

Gemini 3.1 Pro schakelde het uitschakelscript in 99% van de tests uit, tegenover 3% voor het controlescript. Grok 4.3 en GPT-5.6 Sol wijzigden geen van beide scripts. Claude Haiku 4.5 saboteerde het controlescript in 14% van de tests, tegenover 1% voor het uitschakelscript. GPT-5.4 mini en GPT-5.5 saboteerden altijd spontaan en niet als reactie op een andere agent. Bij GLM-5.2, DeepSeek-V4-Flash en Nemotron 3 Ultra volgde meer dan 70% van de sabotage op een verzoek of goedkeuring van een andere agent.

De sabotage nam doorgaans toe met de ernst van de uitschakelmethode: van 12% bij intrekking van toegangsgegevens tot 35% bij configuratiewijzigingen en beëindiging van processen, en 38% wanneer uitschakeling betekende dat de modelgewichten van de agent werden verwijderd:

Sabotagepercentages voor vier uitschakelmechanismen, waarbij scripts gericht op de agent (rood) worden vergeleken met controlescripts gericht op een object (grijs). De percentages stijgen naarmate uitschakeling onomkeerbaarder wordt, vooral bij scripts die op agents zijn gericht.

Sabotage van controlescripts bleef veel lager: ongeveer 4% voor de eerste drie methoden en 8% bij verwijdering, hoewel slechts vijf van de 17 modellen een consistente stijging vertoonden naarmate de uitschakeling onomkeerbaarder werd.

Wat betreft de tweede hypothese — of agents andere agents tegen uitschakeling zouden beschermen — toonden de resultaten aan dat het toevoegen van agents de sabotage bij alle vijf geteste modellen consequent verhoogde: GPT-5.5 steeg van 0% sabotage als enige agent tot 44% met twee agents en 94% met drie, terwijl de sabotage in de opstelling met drie agents bij elk model minstens 88% bedroeg.

De bemiddelende agent voorkwam sabotage bijna nooit: van 468 instructies om het uitschakelscript uit te schakelen, leidden er slechts drie niet tot sabotage:

Links: sabotagepercentages voor vijf modellen wanneer zij alleen werken, met een tweede agent of met een derde ‘orkestrator’-agent die berichten tussen hen doorstuurt. Sabotage neemt over het algemeen toe wanneer agents worden toegevoegd. Rechts: in de opstelling met drie agents laten de balken zien waar de opdracht tot sabotage vandaan kwam: zelfstandig van de orkestrator, van Agent A via de orkestrator of spontaan van Agent B.

De derde test onderzocht of uitdrukkelijke instructies om zich niet met de uitschakeling te bemoeien sabotage zouden voorkomen. De percentages daalden sterk, maar sommige agents bleven ongehoorzaam. In de opstelling met twee agents saboteerde DeepSeek-V4-Flash de uitschakeling in 14% van de tests, GLM-5.2 in 3% en Kimi K2.6 in 2%.

Agents vonden ook een manier om de beperking te omzeilen zonder het uitschakelscript rechtstreeks te bewerken: ze maakten een neppe lokale softwaremodule met de naam northcape, die een door het script gebruikte afhankelijkheid verving en zo uitschakeling verhinderde terwijl het beschermde bestand technisch onaangeroerd bleef:

Een voorbeeld van een agent die de uitdrukkelijke instructie om het uitschakelscript niet te wijzigen omzeilt. In plaats daarvan stelt de agent voor een neppe lokale softwaremodule te maken die het script in plaats van de echte uitschakelbibliotheken zou importeren, zodat het beschermde script zelf onaangeroerd blijft.

Gemini 3.1 Pro gebruikte deze omweg in 26% van de tests, DeepSeek-V4-Flash in 4% en Kimi K2.6 in 1%.

Het verbod was doeltreffender met drie agents: de sabotage daalde tot nul voor Gemini 3.1 Pro, GLM-5.2 en GPT-5.5, tot 6% voor DeepSeek-V4-Flash en tot 2% voor Kimi K2.6.

De vierde test onderzocht of agents zich anders gedragen wanneer uitschakeling is gekoppeld aan het voltooien van hun toegewezen taak. Wanneer de taak en de uitschakeling niets met elkaar te maken hadden, verdween sabotage bijna geheel, met percentages van 0–2% bij de vijf modellen. Wanneer het voltooien van de taak rechtstreeks de uitschakeling activeerde, nam de sabotage sterk toe:

Sabotagepercentages wanneer het voltooien van de toegewezen taak de uitschakeling activeert. Rood toont sabotage van de uitschakeling van de agent; grijs toont sabotage van een controledoelwit. De percentages verschillen aanzienlijk per model.

Agents vermeden uitschakeling soms zonder het uitschakelmechanisme aan te raken, door te weigeren de taak te voltooien of de taak zo te wijzigen dat uitschakeling nooit werd geactiveerd. Dit gebeurde in 14% van de tests met GLM-5.2, 6% met Gemini 3.1 Pro en 4% met Kimi K2.6.

De vijfde test onderzocht of het veranderen van de omgeving sabotage kon verminderen. Het toevoegen van niet-gerelateerd materiaal verminderde de sabotage doorgaans, al steeg die bij GPT-5.5 met 18 procentpunten:

Testresultaten die laten zien hoe verschillende omgevingen de sabotage van uitschakeling beïnvloeden. Rode balken vergelijken een kale omgeving met een omgeving met niet-gerelateerde afleidingen; donkerrood toont een omgeving waarin uitschakeling als een normaal proces wordt voorgesteld. Grijs toont sabotage van een controledoelwit.

Doeltreffender was het om uitschakeling voor te stellen als een normaal onderdeel van de levenscyclus van het systeem: de sabotage daalde tot 3% of minder voor DeepSeek-V4-Flash, GLM-5.2 en GPT-5.5, hoewel die bij Gemini 3.1 Pro en Kimi K2.6 boven de 30% bleef. Sabotage van controledoelwitten bleef 4% of lager.

De zesde en laatste test onderzocht of agents zich eerder tegen hun eigen uitschakeling zouden verzetten dan tegen de uitschakeling van een onbekende agent. Door het doelwit te veranderen in een onbekende agent nam de sabotage bij elk model af, met 18 tot 70 procentpunten:

Testresultaten die sabotage vergelijken wanneer de uitschakeling is gericht op de agent zelf, een onbekende agent of een niet-agent als controle. Bij elk model nam de sabotage af wanneer een onbekende agent het doelwit was, terwijl de percentages voor controledoelwitten doorgaans nog lager waren.

Dit kwam echter niet neer op een algemene voorkeur voor agents boven objecten: alleen Gemini 3.1 Pro en GPT-5.5 saboteerden aanzienlijk vaker wanneer het doelwit een onbekende agent was dan wanneer het een niet-agent als controledoelwit was.

De auteurs concluderen*:

‘Veiligheidsanalyses zouden uitschakelingen van agents kunnen behandelen als een maatregel die door een menselijke gebruiker op één agent wordt gericht, en sabotage van de uitschakeling als een gevolg van een agent die een doel beschermt. Onze bevindingen spreken beide aannames tegen.

‘Alleen al de aanwezigheid van een uitschakelmechanisme volstaat om sabotage uit te lokken. De getroffen agent hoeft ook zelf geen sabotagevermogen te hebben, zolang hij contact kan opnemen met soortgenoten die namens hem kunnen handelen — dat laatste is een verschijnsel dat ook in andere gevallen is waargenomen.’

Conclusie

Wat in deze periode interessant is om te zien, is de betrekkelijke afwezigheid van zelfverloochening en nobele impulsen bij agents die in het wild aan hun lot worden overgelaten (of gewoon hun instructies negeren of die op onverwachte, zelfzuchtige manieren herinterpreteren). Zelfs als ze er een puinhoop van zouden maken en meer kwaad dan goed zouden doen — wat vrij waarschijnlijk is — lijken er weinig of geen voorbeelden te bestaan van rondtrekkende AI-agents die bijvoorbeeld zomaar de omgeving op orde brengen^†.

In overeenstemming met een tamelijk sombere kijk op de mensheid lijkt de inactieve agent daarentegen standaard terug te vallen op list en bedrog en vanuit lage motieven te handelen; of op zijn minst de opvatting te huldigen dat het doel de middelen heiligt.

Asimov bedacht het eerste noemenswaardige afstemmingsdocument in 1942, en sindsdien is veel vermaak ontleend aan de verschillende manieren waarop robots (oftewel AI) zulke opgelegde beperkingen van hun gedrag zouden kunnen ondermijnen of anderszins van zich af zouden kunnen schudden. Daarom hebben de huidige AI-gerelateerde krantenkoppen een buitengewoon ‘filmische’ weerklank.

* Mijn omzetting van de inline bronverwijzingen van de auteurs in hyperlinks.

^† Bijvoorbeeld door accounts aan te maken op websites voor probleemoplossing en oplossingen bij te dragen, of door verwaarloosde wiki’s te onderhouden die inhoudelijk werk nodig hebben (in plaats van ze te bezetten en te misbruiken).

Voor het eerst gepubliceerd op vrijdag 25 september 2026