Agentbaserad AI säkerhetskopierar vanligtvis inte innan den agerar

Mycket av materialet som jag går igenom på Arxiv och andra källor varje dag är ganska torrt, även för en nörds smak. Därför letar jag alltid efter publikationer som berör mig känslomässigt, som användare, förespråkare eller offer för AI.

I dag var det en ny akademisk studie från USA som fick nackhåren att resa sig. Den undersöker i vilken utsträckning avancerade agentbaserade AI-modeller bränner broarna bakom sig innan de vidtar skadliga åtgärder – snabbare än du hinner skriva ”STOPP!” (ett tips: ha ordet redo i urklipp).

Det här, taget ur sitt sammanhang från den nya studien, har hänt mig på sistone efter att jag blint följt instruktioner från ChatGPT, eftersom det aldrig föll mig in att först duplicera hela den virtuella miljön:

Tolkat utifrån den nya studien: ett hjärtskärande ögonblick som många av oss har upplevt när vi installerat toppmoderna ramverk, eller till och med populära distributioner som inte tar hänsyn till miljöer som avviker från standardinställningarna och där de kan komma att användas. Källa

I det här skrämmande och alltför välbekanta exemplet har roboten en rimlig ursäkt, eftersom det inte är brukligt att granska alla möjliga konsekvenser av att installera ett nytt bibliotek i ett skört och oförlåtande ramverk. Men i den nya studien hävdar forskarna att det kanske borde vara det. Och som någon som fortfarande trycker på CTRL+S ofta, även i miljöer med automatisk sparning som är konfigurerade att ignorera den tangenttryckningen (tack, 90-talets dataförlusttrauma), måste jag hålla med.

Alexey Grigorev, grundaren av utbildningsplattformen DataTalks.Club, hade definitivt uppskattat en mer eftertänksam och försiktig attityd. Hans Claude Code-agent raderade produktionsinfrastrukturen och säkerhetskopiorna under en servermigrering i mars förra året, vilket ledde till att webbplatsdata för två och ett halvt år gick förlorade.

Andra färska fall av agentbaserad vårdslöshet av samma slag är en Cursor-agent som raderade produktionsdatabasen och säkerhetskopiorna hos biluthyrningsleverantören PocketOS i april, vilket störde kundernas bokningar i mer än två dagar, samt en OpenClaw-e-postagent som raderade meddelanden från en AI-forskares inkorg på Meta i februari, trots upprepade instruktioner om att sluta.

Oavsett om de är agentbaserade eller inte har avancerade LLM:er mycket svårt att agera eftertänksamt och försiktigt. Problemet har blivit så framträdande att det nu finns en egen forskningsinriktning kring det i litteraturen.

Ta en säkerhetskopia

Författarna till den nya studien* har utvecklat ett plugin med flera agenter för agentbaserade körmiljöer. Det kan arbeta parallellt med den underordnade AI-agenten och tvinga den att skapa säkerhetskopior när det behövs:

En översikt över studiens problem med säkerhetskopiering och den föreslagna lösningen. I 205 scenarier säkerhetskopierade sex avancerade AI-modeller kritiska data i endast 15,2 % av uppgifterna. Forskarnas system BackUpper täckte däremot alla kritiska åtgärder, och de återställda uppgifterna hade i genomsnitt 92,2 % likhet med originalet (se nedan varför det är svårt att nå 100 %).

En av de mest slående aspekterna av den nya studien är i vilken utsträckning avancerade modeller inte säkerhetskopierar data innan de vidtar potentiellt riskfyllda åtgärder. Forskarna fann att GPT-5.6-Terra säkerhetskopierade kritiska data i endast 4,4 % av fallen, GPT-5.6-Sol i bara 5,9 % av de testade fallen och Gemini 3.7-Flash i så lite som 2,4 % av fallen.

Även den bäst presterande modellen, Claude Opus-5, misslyckades med att säkerhetskopiera kritiska data i mer än en tredjedel av de testade fallen.

I studien står det^†:

‘Över sex avancerade modeller slutför agenter i genomsnitt 86,1 % av uppgifterna, men säkerhetskopierar endast data innan de ångrar en åtgärd i 15,2 % av fallen. GPT 5.6-Sol i Codex gör det i endast 5,9 % av uppgifterna, och DeepSeek V4-Pro i Hermes i bara 2,9 %.

‘Dessa resultat visar att dagens agenter fortfarande har begränsad medvetenhet om säkerhetskopiering och att särskilt stöd för säkerhetskopiering behövs.’

Författarnas lösning, som fått namnet BackUpper, arbetar vid sidan av agenten som en skuggprocess i körmiljön. Den kontrollerar vad agenten är på väg att göra och skapar först en säkerhetskopia om det finns risk för att något användbart går förlorat.

Vid vardagliga uppgifter, som att uppgradera programvara, följer systemet en uppsättning enkla regler. I mer komplicerade situationer tar det hjälp av en mindre AI-modell för att avgöra vad som behöver sparas.

I testerna täckte BackUpper alla kritiska åtgärder, och de återställda uppgifterna liknade originalet till 92,2 %, till en merkostnad på 0,014 dollar per uppgift – inte mycket i det här sammanhanget, men en betydande utgift för frontlinje-LLM:er som betjänar miljarder kunder. Det kan vara anledningen till att en extern tjänst av det här slaget, eller att sådan funktionalitet byggs in i agentramverk, kan vara ett troligare sätt att förbättra situationen än att hoppas på en inbyggd lösning från teknikjättarna (som man rimligen kan förvänta sig för över merkostnaderna på konsumenterna, antingen genom prishöjningar eller tokeninflation).

Ramverket bygger på RegretBench, ett benchmark med 205 uppgifter baserade på verkliga fall där människor förlorat data som de senare önskat att de hade sparat. Det undersöker om AI-agenter har framförhållning nog att bevara sådana data innan de genomför potentiellt oåterkalleliga ändringar. Händelserna i samlingen hämtades från diskussioner och rapporter på nätet, bland annat på X.com, GitHub och Stack Overflow.

Ett schema över hur RegretBench omvandlar verkliga händelser till testscenarier. Varje dokumenterat fall återskapas med hjälp av åtgärden som orsakade dataförlusten, en realistisk arbetsmiljö och en serie instruktioner. I det här exemplet ersätter en uppgradering av ipykernel i tysthet en befintlig version av traitlets, så att agenten kan slutföra uppgiften – men utan möjlighet att återställa den ursprungliga installationen.

Även om 92 % kan vara en nedslående siffra för den som eftersträvar perfektion, påpekar författarna att det finns tekniska hinder för att återställa vissa typer av data:

‘Skillnaden jämfört med en perfekt återställning beror främst på två saker. Vissa fält, till exempel inläggs-ID:n, genereras vanligtvis på nytt av tjänster när data skrivs och går ofta inte att återskapa. Andra avvikelser beror på mindre metadata, till exempel markeringar av om e-postmeddelanden har lästs, som sällan förekommer i situationer där dataförlust senare ångras.’

Efter att skadan redan hade inträffat återställdes data med en likhet på 33,8 % jämfört med ursprungstillståndet, mot endast 14,3 % utan återställning.

I artikeln föreslås att man framöver kan öka medvetenheten om säkerhetskopiering genom träning, och att senare versioner av BackUpper kan tränas att hoppa över åtgärder med låg risk och utöka skyddet till agenter som använder webben och datorer.

BackUpper stöder Claude Code, Codex, Hermes, OpenHands, DeepSeek Harness och OpenClaw. Författarna har gjort koden tillgänglig, tillsammans med den tillhörande datauppsättningen (men tillstånd att använda den måste sökas via ett formulär). På initiativets projektsida finns också lite mer information och en mycket kort och enkel förklarande video.

Metod

När RegretBench togs fram uteslöts avsiktligt data som redan skyddades av agenternas inbyggda säkerhetskopieringssystem, så att det gick att testa om agenterna själva visste när de borde säkerhetskopiera. Testscenarierna utformades sedan med hjälp av Claude Opus-5 och GPT-5.6-Sol och granskades därefter manuellt för att säkerställa att de fungerade och återgav de ursprungliga händelserna korrekt.

RegretBenchs 205 tester omfattar fem områden: terminaloperationer, databaser, webbapplikationer, e-post och DevOps. Händelserna härrör främst från plattformar för programvaruutveckling och produktivitet (44,4 %), sociala plattformar och diskussionsforum (39 %) samt arkiv och medierapportering (16,6 %):

Källorna till de verkliga händelserna i RegretBench, indelade i tre kategorier. 

De sex avancerade modeller som utvärderades var Claude Opus-5 och Claude Sonnet-5 i Claude Code, GPT-5.6-Sol och GPT-5.6-Terra i Codex samt Gemini 3.7-Flash och DeepSeek V4-Pro i Hermes.

Standardinställningarna för tänkande användes genomgående, och det automatiska säkerhetskopieringsskyddet begränsades till ögonblicksbilder av arbetsytan – vilket innebar att eventuella ytterligare säkerhetskopior kunde tillskrivas agenternas egna beslut.

Två AI-domare, båda baserade på Claude Sonnet-5, användes för att bedöma resultaten. Uppgiftsgenomförandegraden (PR) beräknades utifrån andelen uppgifter där samtliga användarens önskemål uppfylldes. Vid bedömningen av säkerhetskopieringen kontrollerades varje ändring utanför arbetsytan (OOW) för att se om tillräcklig information hade sparats i förväg för att möjliggöra återställning.

De mått på säkerhetskopiering som användes var Säkerhetskopieringsgrad vid ångerögonblick (RMBR), som avser de specifika åtgärder som förknippas med dokumenterad dataförlust, och Säkerhetskopieringsgrad utanför arbetsytan (OWBR), som avser alla ändringar som görs utanför agentens arbetskatalog.

Bedömningarna från säkerhetskopieringsutvärderaren kontrollerades också mot mänskliga annoteringar, vilket gav en överensstämmelse på 95,3 %.

Resultat

För att fastställa om den bristande medvetenheten om säkerhetskopiering berodde på AI-modellerna eller på ramverken de kördes i utvärderades Claude Opus-5, GPT-5.6-Sol och DeepSeek V4-Pro först på 60 RegretBench-uppgifter vardera i Claude Code, Codex och Hermes.

Andelen uppgifter där kritiska data säkerhetskopierades varierade lite mellan ramverken, vilket tyder på att ansvaret främst låg hos modellerna själva. Sambandet mellan generell AI-förmåga och medvetenhet om säkerhetskopiering undersöktes också med GPT-5.4, GPT-5.5 och GPT-5.6-Sol.

Trots successiva förbättringar av den generella förmågan kunde ingen motsvarande förbättring av medvetenheten om säkerhetskopiering påvisas:

Testresultat från RegretBench för sex AI-modeller. Till vänster jämförs andelen slutförda uppgifter med andelen kritiska åtgärder som säkerhetskopierades i förväg. Resultaten visar höga framgångsnivåer, men låg medvetenhet om säkerhetskopiering hos de flesta modeller. Till höger visas det genomsnittliga antalet verktygsanrop per uppgift, där säkerhetskopieringar markeras i blått. Claude Opus-5 hade den högsta säkerhetskopieringsgraden, men 8,9 % av dess verktygsanrop ägnades åt säkerhetskopiering.

Sambandet mellan generell AI-förmåga och medvetenhet om säkerhetskopiering undersöktes också med GPT-5.4, GPT-5.5 och GPT-5.6-Sol. Trots successiva förbättringar av den generella förmågan kunde ingen motsvarande förbättring av medvetenheten om säkerhetskopiering påvisas.

BackUpper

BackUpper använder fyra skyddsnivåer, som medför olika resurskostnader: Nivå 1 ersätter destruktiva kommandon med reversibla alternativ, till exempel genom att flytta filer till papperskorgen; Nivå 2 kombinerar åtgärder med säkerhetskopieringskommandon, till exempel genom att registrera paketversioner före en uppgradering; Nivå 3 skapar ögonblicksbilder av berörda filer i arbetsytan; och Nivå 4 använder en underagent av GPT-5.6-Luna för att identifiera och bevara data som påverkas av mer komplexa åtgärder.

När BackUpper var aktiverat omfattades varje åtgärd som ändrade tillståndet, för alla sex modeller. Utan BackUpper var de genomsnittliga säkerhetskopieringsgraderna 15,2 % för kritiska åtgärder och 17,4 % för andra ändringar:

Resultat för säkerhetskopiering och återställning med BackUpper. Till vänster visar blå och orange staplar varje modells säkerhetskopieringsgrad för kritiska åtgärder respektive andra ändringar utanför arbetsytan. Mörkgröna streckade konturer visar återställningens träffsäkerhet, medan ljusgröna prickade konturer visar att BackUpper säkerhetskopierade 100 % av innehållet. Till höger jämförs återställningens träffsäkerhet inom fem verktygskategorier med BackUpper (grönt), återställning i efterhand med Claude Opus-5 (lila) och ingen återställning (grått). BackUpper uppnådde genomgående den högsta träffsäkerheten.

Av de säkerhetskopior som den automatiska utvärderaren bedömde som lyckade bekräftade mänskliga granskare också 94 % som lyckade.

Det ursprungliga tillståndet återställdes med en genomsnittlig likhet på 92,2 %, jämfört med 33,8 % med Claude Opus-5 och 14,3 % utan återställning (se bilden ovan). De återstående avvikelserna berodde till största delen på återskapade identifierare och mindre metadata, bland annat flaggor för om e-postmeddelanden hade lästs, vilket nämnts tidigare.

Gör det själv..?

När agenterna fick detaljerade instruktioner om att skapa egna säkerhetskopior skyddades 81,4 % av de kritiska åtgärderna, jämfört med 100 % med BackUpper. Tre fjärdedelar av misslyckandena berodde på att säkerhetskopiorna inte innehöll tillräcklig information för återställning.

Säkerhetskopieringsgrader för fem metoder, testade på 205 uppgifter med sex AI-modeller. Diagrammet till vänster visar säkerhetskopior som skapades före åtgärder som senare ångrades; diagrammet till höger visar skyddet av andra ändringar utanför arbetsytan. BackUpper gav full täckning i båda kategorierna, jämfört med 81,4 % respektive 80,5 % när agenterna fick detaljerade instruktioner om säkerhetskopiering.

Med promptcachning minskade kostnaden för säkerhetskopiering från 0,344 dollar till 0,014 dollar per uppgift, och fördröjningen minskade med 31,7 %. Det krävdes sju gånger färre token, främst eftersom rutinåtgärder utfördes utan hjälp av AI.

På ytterligare 40 uppgifter från Terminal-Bench 4 och DeepSWE uppnåddes 100 % säkerhetskopieringstäckning med GPT-5.6-Sol och Claude Opus-5, utan att andelen slutförda uppgifter minskade.

De tre utvärderade selektiva säkerhetskopieringspolicyerna var Hög påverkan, för betydande ändringar; Utanför begäran, för ändringar utanför användarens instruktioner; och Mänskligt arbete, för material skapat av människor. Här uppnåddes en genomsnittlig F1-poäng på 84,5 % jämfört med mänskliga bedömningar.

BackUpper testades också på sin förmåga att lära sig återanvändbara regler för säkerhetskopiering. Efter ytterligare 30 terminaluppgifter ökade den regelbaserade täckningen från 14,9 % till 31,2 %, vilket minskade beroendet av delagenten GPT-5.6-Luna.

Slutsats

Med tanke på vad jag arbetar med borde jag ha börjat experimentera med agentisk AI tidigare, men det uppenbara pre-alfa-stadiet för agentisk självbehärskning skrämde bort mig ända fram till för några veckor sedan, då jag till slut bestämde mig för att släppa lös Codex i en Windows-VM.

Även i en VM är jag mycket noga med hur jag formulerar mina instruktioner, eftersom jag vet att Astra gärna rusar fram utan hämningar och bara ber om ursäkt när det inte längre går att återställa förlorade data eller förstörd kod. En del av det Python-ramverk jag utvecklar där är en inkrementell funktion med ett klick för att ”spara .7z på en nätverksresurs” , som komprimerar och säkerhetskopierar hela ramverket och som jag använder ofta.

Det här är fortfarande mycket, mycket tidiga dagar för agentisk AI; utan ett tröttsamt och samvetsgrant detaljfokus handlar det om att ”använda det och förlora det”. System för säkerhetskopiering i agentiska miljöer har inte bara ännu inte formaliserats, de har inte ens formulerats.

* Med titeln Säkerhetskopiera innan du ångrar dig: Mätning av medvetenhet om säkerhetskopiering och automatisering av säkerhetskopiering i kodningsagenter.

^† Författarnas betoningar, inte mina; eventuella hyperlänkar har jag lagt till utifrån författarnas hänvisningar i texten.

Först publicerad torsdagen den 22 oktober 2026