Agentisk AI sikkerhedskopierer sjældent, før den handler

Meget af det materiale, jeg dagligt gennemgår på arXiv og andre kilder, er ret tørt, selv for en nørd; derfor leder jeg altid efter udgivelser, der taler til mig følelsesmæssigt som bruger, fortaler for eller offer for AI.

I dag blev jeg for alvor oprørt over et nyt akademisk samarbejde fra USA, der undersøger, hvor ofte avancerede agentiske AI-modeller brænder broerne bag sig, før de foretager skadevoldende handlinger – og hurtigere, end du kan nå at skrive »STOP!« (et tip: hav det klar i udklipsholderen).

Dette er taget ud af sammenhængen i den nye artikel, men noget lignende er for nylig sket for mig på grund af blind efterlevelse af instruktioner fra ChatGPT, og det faldt mig aldrig ind først at lave en kopi af hele det virtuelle miljø:

En fortolkning af den nye artikel: Et hjerteskærende øjeblik, som mange af os har oplevet, når vi installerer banebrydende frameworks eller endda populære distributioner, der ikke tager hensyn til de ikke-standardiserede miljøer, de kan ende i. Kilde

I dette skræmmende og alt for velkendte eksempel har robotten en rimelig undskyldning, for det er ikke kutyme at undersøge alle de mulige konsekvenser af at installere et nyt bibliotek i et skrøbeligt og ufleksibelt framework. Den nye artikel argumenterer dog for, at man måske burde gøre det; og som en, der stadig ofte trykker CTRL+S, selv i miljøer med automatisk lagring, der er indstillet til at ignorere dette tastetryk (tak for PTSD efter datatab i 1990’erne), må jeg give den ret.

Alexey Grigorev, grundlæggeren af uddannelsesplatformen DataTalks.Club, ville bestemt have sat pris på en mere forsigtig og agtpågivende tilgang. Hans Claude Code-agent slettede produktionsinfrastrukturen og sikkerhedskopierne under en servermigrering i marts sidste år, hvilket førte til tab af to et halvt års data fra websitet.

Andre nyere eksempler på agentisk hensynsløshed af samme slags omfatter en Cursor-agent, der slettede produktionsdatabasen og sikkerhedskopierne hos biludlejningssoftwareleverandøren PocketOS i april, hvilket forstyrrede kundernes reservationer i mere end to dage; og en OpenClaw-e-mailagent, der slettede beskeder fra en Meta AI-forskers indbakke i februar, trods gentagne instruktioner om at stoppe.

Uanset om de er agentiske eller ej, har avancerede LLM’er meget svært ved at handle med omtanke og forsigtighed, og problemet er blevet et selvstændigt forskningsområde i litteraturen.

Tag en sikkerhedskopi først

Forfatterne bag den nye artikel* har udviklet et plugin med flere agenter til agentiske rammesystemer, som kan køre sideløbende med gæste-AI’en og tvinge den til at oprette sikkerhedskopier, når det er nødvendigt:

Oversigt over studiets problem med sikkerhedskopiering og den foreslåede løsning. I 205 scenarier sikkerhedskopierede seks avancerede AI-modeller kritisk tilstand i kun 15,2 % af opgaverne. I stedet dækkede forskernes BackUpper-system alle kritiske handlinger, og de gendannede data havde i gennemsnit en lighed på 92,2 % med originalen (se nedenfor, hvorfor det er svært at opnå 100 %).

Et af de mest iøjnefaldende aspekter ved det nye studie er, hvor ofte avancerede modeller undlader at tage en sikkerhedskopi, før de udfører potentielt farlige handlinger. Forskerne fandt, at GPT-5.6-Terra kun sikkerhedskopierede kritiske data i 4,4 % af tilfældene; GPT-5.6-Sol gjorde det i blot 5,9 % af de undersøgte tilfælde; og Gemini 3.7-Flash i helt ned til 2,4 % af tilfældene.

Selv den bedste model, Claude Opus-5, undlod at sikkerhedskopiere kritiske data i mere end en tredjedel af de undersøgte tilfælde.

Forfatterne skriver^†:

»På tværs af seks avancerede modeller løser agenterne i gennemsnit 86,1 % af opgaverne, men sikkerhedskopierer kun tilstanden før øjeblikke, de senere fortryder, i 15,2 % af tilfældene. GPT 5.6-Sol i Codex gør det kun i 5,9 % af opgaverne, og DeepSeek V4-Pro i Hermes kun i 2,9 %.

»Disse resultater viser, at nutidens agenter stadig kun i begrænset omfang er opmærksomme på behovet for sikkerhedskopiering, og at der er behov for dedikeret understøttelse af sikkerhedskopiering.«

Forfatternes løsning, kaldet BackUpper, arbejder sideløbende med agenten som en skyggeproces i rammesystemet. Den undersøger, hvad agenten er ved at gøre, og opretter først en sikkerhedskopi, hvis der er risiko for at miste noget nyttigt.

Ved almindelige opgaver, såsom softwareopgraderinger, følger den et sæt enkle regler; i mere komplicerede situationer tilkalder den en mindre AI-model, der vurderer, hvad der skal gemmes.

I testene dækkede BackUpper alle kritiske handlinger, og de gendannede data lignede originalen 92,2 % med en meromkostning på 0,014 dollar pr. opgave – ikke meget i denne sammenhæng, men en betydelig udgift for avancerede LLM’er, der betjener milliarder af kunder. Det kan være grunden til, at en ekstern tjeneste af denne art eller indbygget funktionalitet i agentrammerne er en mere sandsynlig måde at forbedre situationen på end at håbe på en indbygget løsning fra teknologigiganterne (som med rimelighed kunne forventes at sende meromkostningerne videre til forbrugerne, enten gennem prisstigninger eller tokeninflation).

Rammeværket bygger på RegretBench, et benchmark med 205 opgaver baseret på virkelige tilfælde, hvor folk mistede data, som de senere ønskede, at de havde gemt. Det undersøger, om AI-agenter har forudseenhed nok til at bevare dataene, før de foretager potentielt irreversible ændringer. Hændelserne i samlingen stammer fra onlinediskussioner og rapporter på blandt andet X.com, GitHub og Stack Overflow.

En model for, hvordan RegretBench omsætter virkelige hændelser til testsituationer. Hver dokumenteret sag rekonstrueres ved hjælp af den handling, der forårsagede tabet, et realistisk arbejdsmiljø og en række instruktioner. I dette eksempel erstatter en opgradering af ipykernel lydløst en eksisterende version af traitlets, så agenten kan fuldføre sin opgave – men uden mulighed for at gendanne den oprindelige installation.

Selvom 92 % kan virke nedslående for perfektionisten, påpeger forfatterne, at der er tekniske hindringer for at gendanne visse typer data:

»Afstanden til en perfekt gendannelse skyldes hovedsageligt to forhold. Nogle felter, såsom opslag-id’er, genereres typisk på ny af tjenester, når data skrives, og kan ofte ikke genskabes. Andre forskelle skyldes mindre metadata, såsom markeringer af, om e-mails er læst, som sjældent indgår i fortrydelsesøjeblikke.«

I testene blev 33,8 % lighed med den oprindelige tilstand genskabt, efter at skaden allerede var sket, sammenlignet med blot 14,3 % uden gendannelse.

Artiklen foreslår, at bevidstheden om sikkerhedskopiering fremover kan styrkes gennem træning, og at senere versioner af BackUpper kan lære at springe handlinger med lav risiko over og udvide beskyttelsen til agenter, der bruger internettet og computere.

BackUpper understøtter Claude Code, Codex, Hermes, OpenHands, DeepSeek Harness og OpenClaw; forfatterne har gjort koden tilgængelig sammen med det tilhørende datasæt (men der skal søges om tilladelse via en formular); og på initiativets projektside findes der lidt yderligere information samt en meget kort og enkel forklaringsvideo.

Metode

Da RegretBench blev udarbejdet, blev data, der allerede var beskyttet af agenternes indbyggede systemer til sikkerhedskopiering, bevidst udeladt, så det kunne testes, om agenterne selv var opmærksomme på, hvornår de skulle lave en sikkerhedskopi. Testscenarierne blev derefter udarbejdet med hjælp fra Claude Opus-5 og GPT-5.6-Sol og efterfølgende gennemgået manuelt for at sikre, at de fungerede og afspejlede de oprindelige hændelser korrekt.

RegretBenchs 205 test dækker fem områder: terminalhandlinger; databaser; webapplikationer; e-mail; og DevOps. Hændelserne stammer hovedsageligt fra platforme for softwareudvikling og produktivitet (44,4 %); sociale diskussioner og fællesskaber (39 %); samt arkiver og medierapporter (16,6 %):

Kilderne til RegretBenchs virkelige hændelser, fordelt på tre kategorier. 

De seks avancerede modeller, der blev evalueret, var Claude Opus-5 og Claude Sonnet-5 i Claude Code; GPT-5.6-Sol og GPT-5.6-Terra i Codex; samt Gemini 3.7-Flash og DeepSeek V4-Pro i Hermes.

Standardindstillingerne for tænkning blev brugt i alle testene, og den automatiske beskyttelse med sikkerhedskopiering var begrænset til øjebliksbilleder af arbejdsområdet – så eventuelle yderligere sikkerhedskopier kunne tilskrives agenternes egne beslutninger.

To AI-dommere, begge baseret på Claude Sonnet-5, blev brugt til at vurdere præstationerne. Andelen af beståede opgaver (PR) blev beregnet ud fra andelen af opgaver, hvor alle brugerens anmodninger blev opfyldt. Ved vurderingen af sikkerhedskopier blev hver ændring uden for arbejdsområdet (OOW) kontrolleret for, om der på forhånd var bevaret tilstrækkelige oplysninger til at muliggøre gendannelse.

De anvendte mål for sikkerhedskopiering var sikkerhedskopieringsraten ved fortrydelsesøjeblikke (RMBR), som afspejler de specifikke handlinger, der forbindes med dokumenteret datatab; og sikkerhedskopieringsraten uden for arbejdsområdet (OWBR), som afspejler alle ændringer foretaget uden for agentens arbejdsmappe.

Vurderingerne fra sikkerhedskopieringsdommeren blev også sammenholdt med menneskelige annoteringer, og der var overensstemmelse i 95,3 % af tilfældene.

Resultater

For at fastslå, om den manglende bevidsthed om sikkerhedskopiering skyldtes AI-modellerne eller de rammeværker, der kørte dem, blev Claude Opus-5, GPT-5.6-Sol og DeepSeek V4-Pro hver især først evalueret på 60 RegretBench-opgaver i Claude Code, Codex og Hermes.

Andelen af opgaver, hvor kritiske data blev sikkerhedskopieret, varierede kun lidt mellem rammeværkerne, hvilket tyder på, at det primært var modellerne selv, der var ansvarlige. Sammenhængen mellem generel AI-kapacitet og bevidsthed om sikkerhedskopiering blev også undersøgt ved hjælp af GPT-5.4, GPT-5.5 og GPT-5.6-Sol.

På trods af gentagne forbedringer af den generelle kapacitet blev der ikke fundet nogen tilsvarende forbedring af bevidstheden om sikkerhedskopiering:

Testresultater fra RegretBench for seks AI-modeller. Til venstre sammenlignes fuldførelsesgraden for opgaver med andelen af kritiske handlinger, der blev sikkerhedskopieret på forhånd. Det viser, at de fleste modeller havde en høj succesrate, men ringe bevidsthed om sikkerhedskopiering. Til højre vises det gennemsnitlige antal værktøjskald pr. opgave, hvor sikkerhedskopieringshandlinger er markeret med blåt. Claude Opus-5 havde den højeste sikkerhedskopieringsrate, men 8,9 % af værktøjskaldene blev brugt på sikkerhedskopiering.

Sammenhængen mellem generel AI-kapacitet og bevidsthed om sikkerhedskopiering blev også undersøgt ved hjælp af GPT-5.4, GPT-5.5 og GPT-5.6-Sol. På trods af gentagne forbedringer af den generelle kapacitet viste der sig ingen tilsvarende forbedring af bevidstheden om sikkerhedskopiering.

BackUpper

BackUpper anvender fire beskyttelsesniveauer, som hver har forskellige ressourceomkostninger: Niveau 1 erstatter destruktive kommandoer med handlinger, der kan omgøres, for eksempel ved at flytte filer til papirkurven; Niveau 2 parrer handlinger med sikkerhedskopieringskommandoer, for eksempel ved at registrere pakkeversioner før en opgradering; Niveau 3 opretter øjebliksbilleder af berørte arbejdsområdefiler; og Niveau 4 bruger en underagent med GPT-5.6-Luna til at identificere og bevare data, der påvirkes af mere komplekse handlinger.

Med BackUpper aktiveret blev alle handlinger, der ændrede tilstanden, dækket på tværs af alle seks modeller. Til sammenligning var de gennemsnitlige sikkerhedskopieringsrater uden BackUpper 15,2 % for kritiske handlinger og 17,4 % for andre ændringer:

Resultater for sikkerhedskopieringsdækning og gendannelse med BackUpper. Til venstre viser de blå og orange søjler hver models sikkerhedskopieringsrater for kritiske handlinger og andre ændringer uden for arbejdsområdet. Mørkegrønne stiplede konturer angiver gendannelsesnøjagtigheden; lysegrønne prikkede konturer viser 100 % sikkerhedskopieringsdækning med BackUpper. Til højre sammenlignes gendannelsesnøjagtigheden på tværs af fem værktøjskategorier for BackUpper (grøn), efterfølgende gendannelse med Claude Opus-5 (lilla) og uden gendannelse (grå). BackUpper opnåede gennemgående den højeste nøjagtighed.

Af de sikkerhedskopier, som den automatiske evaluator vurderede som vellykkede, blev 94 % også bekræftet som vellykkede af menneskelige bedømmere.

Den oprindelige tilstand blev genskabt med en gennemsnitlig lighed på 92,2 %, sammenlignet med 33,8 % med Claude Opus-5 og 14,3 % uden gendannelse (se billedet ovenfor). De resterende afvigelser blev i vid udstrækning tilskrevet nygenererede identifikatorer og mindre metadata, herunder markeringer af, om e-mails var læst, som nævnt tidligere.

Gør-det-selv..?

Da agenterne fik detaljerede instruktioner om selv at lave sikkerhedskopier, blev 81,4 % af de kritiske handlinger beskyttet, sammenlignet med 100 % med BackUpper. Tre fjerdedele af fejlene skyldtes, at sikkerhedskopierne ikke indeholdt tilstrækkelige oplysninger til gendannelse.

Sikkerhedskopieringsrater sammenlignet på tværs af fem tilgange, afprøvet på 205 opgaver med seks AI-modeller. Diagrammet til venstre viser sikkerhedskopier, der blev oprettet før handlinger, man senere fortrød; diagrammet til højre viser beskyttelse af andre ændringer uden for arbejdsområdet. BackUpper opnåede fuld dækning i begge kategorier, sammenlignet med henholdsvis 81,4 % og 80,5 %, når agenterne fik detaljerede instruktioner om sikkerhedskopiering.

Med cachelagring af prompts blev omkostningerne til sikkerhedskopiering reduceret fra 0,344 $ til 0,014 $ pr. opgave, og svartiden blev reduceret med 31,7 %. Der skulle bruges syv gange færre tokens, hovedsageligt fordi rutinehandlinger blev udført uden hjælp fra AI.

På 40 yderligere opgaver fra Terminal-Bench 4 og DeepSWE blev der opnået 100 % sikkerhedskopieringsdækning med GPT-5.6-Sol og Claude Opus-5 uden at reducere opgaveløsningsraten.

De tre evaluerede selektive sikkerhedskopieringspolitikker var Stor effekt ved væsentlige ændringer, Uden for anmodningen ved ændringer uden for brugerens instruktioner og Menneskeligt arbejde ved materiale skrevet af mennesker. Her blev der opnået en gennemsnitlig F1-score på 84,5 % sammenholdt med menneskelige vurderinger.

BackUpper blev også testet for sin evne til at lære genanvendelige regler for sikkerhedskopiering. Efter yderligere 30 terminalopgaver steg den regelbaserede dækning fra 14,9 % til 31,2 %, hvilket mindskede afhængigheden af GPT-5.6-Luna-underagenten.

Konklusion

Jeg er gået i gang med agentiske eksperimenter senere, end jeg burde, når man tager mit arbejde i betragtning; men den åbenlyst præ-alfaagtige tilstand af agentisk selvbeherskelse skræmte mig væk indtil for et par uger siden, hvor jeg endelig besluttede at slippe Codex løs i en Windows-VM.

Selv i en VM afgrænser jeg mine instruktioner meget omhyggeligt, fordi jeg ved, at Astra har tilbøjelighed til hovedkulds at kaste sig ud i tingene og blot undskylde, når der ikke er nogen vej tilbage efter datatab eller ødelagt kode. En del af det Python-framework, jeg udvikler dér, er en inkrementel funktion, der med ét klik ‘gemmer .7z på et netværksdrev’, komprimerer og sikkerhedskopierer hele frameworket; den bruger jeg ofte.

Vi er meget, meget tidligt i udviklingen af agentisk AI; uden en omhyggelig og vedholdende opmærksomhed på detaljer er det et spørgsmål om »brug det, ellers mister du det«. Ikke alene er rammerne for agentisk sikkerhedskopiering endnu ikke blevet formaliseret, de er end ikke blevet udformet.

* Med titlen Tag sikkerhedskopi, før du fortryder: Måling af opmærksomheden på sikkerhedskopiering og automatisering af sikkerhedskopiering i kodeagenter.

^† Forfatternes fremhævelser, ikke mine; eventuelle hyperlinks har jeg udledt af forfatternes henvisninger i teksten.

Først offentliggjort torsdag den 22. oktober 2026