Agentisk KI tar vanligvis ikke sikkerhetskopi før den handler

Mye av materialet jeg går gjennom på Arxiv og andre kilder hver dag, er ganske tørt, selv for en nerds smak. Derfor er jeg alltid på utkikk etter en publikasjon som engasjerer meg følelsesmessig, som bruker, forkjemper eller offer for KI.

I dag kom dette øyeblikket som fikk det til å gå kaldt nedover ryggen, fra et nytt akademisk samarbeid fra USA. Det undersøker i hvilken grad ledende agentiske KI-modeller brenner broene sine før de utfører skadelige handlinger – og raskere enn du rekker å skrive «STOPP!» (et tips: ha det lett tilgjengelig på utklippstavlen).

Dette har skjedd meg i det siste, tatt ut av sammenhengen i den nye artikkelen, på grunn av blind etterlevelse av instruksjoner fra ChatGPT, og fordi det aldri falt meg inn å duplisere hele den virtuelle konvolutten først:

Tolket ut fra den nye artikkelen: Et hjerteskjærende øyeblikk mange av oss har opplevd når vi installerer banebrytende rammeverk, eller til og med populære distribusjoner som ikke tar hensyn til miljøer som avviker fra standardoppsettet, og som de kan ende opp i. Kilde

I dette forferdelige og altfor velkjente eksempelet har roboten en rimelig unnskyldning, for det er ikke vanlig å undersøke alle mulige konsekvenser av å installere et nytt bibliotek i et skjørt og lite tilgivende rammeverk. Den nye artikkelen argumenterer imidlertid for at man kanskje burde gjøre det. Som en som fortsatt trykker CTRL+S ofte, selv i miljøer med automatisk lagring som er konfigurert til å ignorere dette tastetrykket (takk for datatapstraumene fra 1990-tallet), må jeg si meg enig.

En mer ettertenksom og forsiktig tilnærming ville utvilsomt vært verdsatt av Alexey Grigorev, grunnleggeren av utdanningsplattformen DataTalks.Club. I mars i fjor slettet Claude Code-agenten hans produksjonsinfrastruktur og sikkerhetskopier under en servermigrering, noe som førte til at to og et halvt års nettstedsdata gikk tapt.

Andre nyere tilfeller av lignende agentisk hensynsløshet omfatter en Cursor-agent som slettet produksjonsdatabasen og sikkerhetskopiene til bilutleieprogramvareleverandøren PocketOS i april, og dermed forstyrret kundenes reservasjoner i mer enn to dager, samt en OpenClaw-e-postagent som slettet meldinger fra innboksen til en Meta AI-forsker i februar, til tross for gjentatte instruksjoner om å stoppe.

Enten de er agentiske eller ikke, har ledende store språkmodeller svært vanskelig for å handle med omtanke og forsiktighet. Problemet har blitt så omfattende at arbeidet med å løse det har utviklet seg til en egen retning i faglitteraturen.

Ta en sikkerhetskopi først

Forfatterne av den nye artikkelen* har utviklet en fleragent-plugin for agentiske kjøremiljøer. Den kan kjøre sammen med gjeste-KI-en og tvinge den til å opprette sikkerhetskopier når det er nødvendig:

En oversikt over studiens problem med sikkerhetskopiering og den foreslåtte løsningen. I 205 scenarioer tok seks ledende KI-modeller sikkerhetskopi av kritisk tilstand i bare 15,2 % av oppgavene. Forskernes BackUpper-system dekket derimot alle kritiske handlinger, og de gjenopprettede dataene hadde i gjennomsnitt 92,2 % likhet med originalen (se nedenfor hvorfor det er vanskelig å oppnå 100 %).

Et av de mest slående funnene i den nye studien er hvor ofte ledende modeller ikke tar sikkerhetskopi før de utfører handlinger som kan være farlige. Forskerne fant at GPT-5.6-Terra sikkerhetskopierte kritiske data i bare 4,4 % av tilfellene, GPT-5.6-Sol i bare 5,9 % av tilfellene som ble testet, og Gemini 3.7-Flash i så få som 2,4 % av tilfellene.

Selv den beste modellen, Claude Opus-5, unnlot å sikkerhetskopiere kritiske data i mer enn en tredjedel av tilfellene som ble testet.

I artikkelen står det^†:

«På tvers av seks ledende modeller fullfører agentene i gjennomsnitt 86,1 % av oppgavene, men tar bare sikkerhetskopi av tilstanden før situasjoner de senere angrer på, i 15,2 % av tilfellene. GPT 5.6-Sol i Codex gjør dette i bare 5,9 % av oppgavene, og DeepSeek V4-Pro i Hermes i bare 2,9 %.

«Disse funnene viser at dagens agenter fortsatt har begrenset forståelse for sikkerhetskopiering, og at det er behov for dedikert støtte for sikkerhetskopiering.»

Forfatternes løsning, kalt BackUpper, kjører sammen med agenten som en skyggeprosess i kjøremiljøet. Den kontrollerer hva agenten er i ferd med å gjøre, og oppretter først en sikkerhetskopi hvis det er fare for at noe nyttig går tapt.

Ved dagligdagse operasjoner, som programvareoppgraderinger, følger den et sett med enkle regler. I mer kompliserte situasjoner kobler den inn en mindre KI-modell for å finne ut hva som må lagres.

I testene dekket BackUpper alle kritiske handlinger, og de gjenopprettede dataene var 92.2% lik originalen. Dette kostet 0,014 dollar ekstra per oppgave – ikke mye i denne sammenhengen, men en betydelig utgift for de mest avanserte LLM-ene som betjener milliarder av kunder. Derfor kan det være mer sannsynlig at situasjonen bedres gjennom en ekstern tjeneste av denne typen eller ved at slik funksjonalitet bygges inn i agentrammeverkene, enn ved å håpe på en innebygd løsning fra teknologigigantene (som med rimelighet kan forventes å velte ekstrakostnadene over på forbrukerne, enten gjennom prisøkninger eller inflasjon i antall tokens).

Rammeverket bygger på RegretBench, en referansetest med 205 oppgaver basert på virkelige tilfeller der folk mistet data de senere skulle ønske at de hadde tatt vare på. Den undersøker om AI-agenter klarer å forutse behovet for å bevare dataene før de gjør endringer som potensielt ikke kan reverseres. Hendelsene i samlingen er hentet fra diskusjoner og rapporter på nettbaserte plattformer, blant annet X.com, GitHub og Stack Overflow.

En oversikt over hvordan RegretBench gjør virkelige hendelser om til testsituasjoner. Hver dokumenterte sak rekonstrueres ved hjelp av handlingen som førte til tapet, et realistisk arbeidsmiljø og en rekke instruksjoner. I dette eksemplet fører en oppgradering av ipykernel i det stille til at en eksisterende versjon av traitlets erstattes. Dermed kan agenten fullføre oppgaven, men den opprinnelige installasjonen kan ikke gjenopprettes.

Selv om 92 % kan virke nedslående for perfeksjonister, påpeker forfatterne at det finnes tekniske hindringer for å gjenopprette visse typer data:

‘Avstanden til en perfekt gjenoppretting skyldes hovedsakelig to forhold. Enkelte felt, som ID-er for innlegg, genereres vanligvis på nytt av tjenester når data skrives inn, og kan ofte ikke gjenskapes. Andre avvik skyldes mindre metadata, som markeringer av om e-post er lest, noe situasjoner der data går tapt og senere angrer på det, sjelden omfatter.’

I testene ble 33,8 % av likheten med den opprinnelige tilstanden gjenopprettet etter at skaden allerede hadde skjedd, mot bare 14,3 % uten gjenoppretting.

Artikkelen foreslår at opplæring kan gjøre agentene mer oppmerksomme på sikkerhetskopiering i fremtiden. Senere versjoner av BackUpper kan dessuten læres opp til å hoppe over handlinger med lav risiko og utvide beskyttelsen til agenter som bruker nettet og datamaskiner.

BackUpper støtter Claude Code, Codex, Hermes, OpenHands, DeepSeek Harness og OpenClaw. Forfatterne har gjort koden tilgjengelig, sammen med det tilhørende datasettet (men tilgang må søkes om via et skjema). På initiativets prosjektnettsted finnes også litt mer informasjon og en svært kort og enkel forklaringsvideo.

Metode

Ved utarbeidelsen av RegretBench ble data som allerede var beskyttet av agentenes innebygde sikkerhetskopieringssystemer, bevisst utelatt. Dermed kunne man teste om agentene selv visste når de burde ta en sikkerhetskopi. Testsituasjonene ble deretter satt sammen med hjelp fra Claude Opus-5 og GPT-5.6-Sol, og kontrollert manuelt for å sikre at de fungerte og gjenga de opprinnelige hendelsene på en korrekt måte.

De 205 testene i RegretBench dekker fem områder: terminaloperasjoner, databaser, nettapplikasjoner, e-post og DevOps. Hendelsene stammer hovedsakelig fra plattformer for programvareutvikling og produktivitet (44,4 %), diskusjoner i sosiale medier og nettsamfunn (39 %) samt arkiver og medieoppslag (16,6 %):

Kildene til de virkelige hendelsene i RegretBench, fordelt på tre kategorier. 

De seks mest avanserte modellene som ble evaluert, var Claude Opus-5 og Claude Sonnet-5 i Claude Code, GPT-5.6-Sol og GPT-5.6-Terra i Codex, samt Gemini 3.7-Flash og DeepSeek V4-Pro i Hermes.

Standardinnstillingene for tenking ble brukt gjennom hele testen, og den automatiske sikkerhetskopieringen var begrenset til øyeblikksbilder av arbeidsområdet. Dermed kunne eventuelle ytterligere sikkerhetskopier tilskrives agentenes egne beslutninger.

To AI-dommere, begge basert på Claude Sonnet-5, ble brukt til å vurdere resultatene. Andelen beståtte oppgaver (PR) ble beregnet ut fra andelen oppgaver der alle brukerens forespørsler ble oppfylt. Ved vurderingen av sikkerhetskopiering ble hver endring utenfor arbeidsområdet (OOW) kontrollert for å se om tilstrekkelig informasjon var bevart på forhånd til at den kunne gjenopprettes.

Målene for sikkerhetskopiering var andel sikkerhetskopieringer ved angreøyeblikk (RMBR), som gjenspeiler de konkrete handlingene knyttet til dokumenterte datatap, og andel sikkerhetskopieringer utenfor arbeidsområdet (OWBR), som gjenspeiler alle endringer som gjøres utenfor agentens arbeidskatalog.

Vurderingene fra sikkerhetskopieringsevaluatoren ble også kontrollert mot menneskelige annoteringer, og samsvaret var på 95,3 %.

Resultater

For å fastslå om den manglende bevisstheten om sikkerhetskopiering skyldtes AI-modellene eller rammeverkene de kjørte i, ble Claude Opus-5, GPT-5.6-Sol og DeepSeek V4-Pro først evaluert på 60 RegretBench-oppgaver i Claude Code, Codex og Hermes.

Andelen oppgaver der kritiske data ble sikkerhetskopiert, varierte lite mellom rammeverkene, noe som tyder på at det først og fremst var modellene selv som var ansvarlige. Forholdet mellom generell AI-kapasitet og bevissthet om sikkerhetskopiering ble også undersøkt med GPT-5.4, GPT-5.5 og GPT-5.6-Sol.

Til tross for gjentatte forbedringer i den generelle kapasiteten ble det ikke funnet noen tilsvarende forbedring i bevisstheten om sikkerhetskopiering:

Testresultater fra RegretBench for seks AI-modeller. Til venstre: fullføringsgrad for oppgaver sammenlignet med andelen kritiske handlinger som var sikkerhetskopiert på forhånd. Resultatene viser høy suksessrate, men liten bevissthet om sikkerhetskopiering hos de fleste modellene. Til høyre: gjennomsnittlig antall verktøykall per oppgave, med sikkerhetskopieringsoperasjoner markert i blått. Claude Opus-5 hadde den høyeste sikkerhetskopieringsgraden, men 8,9 % av verktøykallene gikk til sikkerhetskopiering.

Forholdet mellom generell AI-kapasitet og bevissthet om sikkerhetskopiering ble også undersøkt med GPT-5.4, GPT-5.5 og GPT-5.6-Sol. Til tross for gjentatte forbedringer i den generelle kapasiteten ble det ikke funnet noen tilsvarende forbedring i bevisstheten om sikkerhetskopiering.

BackUpper

BackUpper bruker fire beskyttelsesnivåer, hvert med ulike ressurskostnader: Nivå 1 erstatter destruktive kommandoer med reversible alternativer, for eksempel ved å flytte filer til papirkurven; Nivå 2 kobler operasjoner sammen med sikkerhetskopieringskommandoer, for eksempel ved å registrere pakkeversjoner før en oppgradering; Nivå 3 oppretter øyeblikksbilder av berørte arbeidsområdefiler; og Nivå 4 bruker en GPT-5.6-Luna-underagent til å identifisere og bevare data som berøres av mer komplekse operasjoner.

Med BackUpper aktivert ble alle tilstandsendrende handlinger dekket på tvers av alle de seks modellene. Uten BackUpper var den gjennomsnittlige sikkerhetskopieringsgraden 15,2 % for kritiske handlinger og 17,4 % for andre endringer:

Resultater for sikkerhetskopieringsdekning og gjenoppretting med BackUpper. Til venstre viser blå og oransje søyler sikkerhetskopieringsgraden for hver modell, for henholdsvis kritiske handlinger og andre endringer utenfor arbeidsområdet. Mørkegrønne stiplede konturer viser nøyaktigheten ved gjenoppretting; lysegrønne prikkede konturer viser 100 % sikkerhetskopieringsdekning med BackUpper. Til høyre sammenlignes nøyaktigheten ved gjenoppretting på tvers av fem verktøykategorier med BackUpper (grønn), gjenoppretting i etterkant med Claude Opus-5 (lilla) og ingen gjenoppretting (grå). BackUpper oppnådde den høyeste nøyaktigheten i alle kategoriene.

Av sikkerhetskopiene som den automatiske evaluatoren vurderte som vellykkede, ble 94 % også bekreftet som vellykkede av menneskelige kontrollører.

Den opprinnelige tilstanden ble gjenopprettet med en gjennomsnittlig likhet på 92,2 %, sammenlignet med 33,8 % med Claude Opus-5 og 14,3 % uten gjenoppretting (se bildet ovenfor). De gjenværende avvikene skyldtes i hovedsak nye identifikatorer som ble generert, og mindre metadata, blant annet flagg som angir om e-poster er lest, som nevnt tidligere.

Gjør-det-selv..?

Da agentene fikk detaljerte instruksjoner om å lage sine egne sikkerhetskopier, ble 81,4 % av de kritiske handlingene beskyttet, sammenlignet med 100 % med BackUpper. Tre fjerdedeler av feilene skyldtes at sikkerhetskopiene ikke inneholdt nok informasjon til å gjenopprette dataene.

Sikkerhetskopieringsgrader for fem ulike metoder, testet på 205 oppgaver med seks AI-modeller. Diagrammet til venstre viser sikkerhetskopier som ble laget før handlinger man senere angret på; diagrammet til høyre viser beskyttelse av andre endringer utenfor arbeidsområdet. BackUpper oppnådde full dekning i begge kategoriene, sammenlignet med 81,4 % og 80,5 % da agentene fikk detaljerte instruksjoner om sikkerhetskopiering.

Med hurtigbufring av prompter ble kostnadene til sikkerhetskopiering redusert fra 0,344 dollar til 0,014 dollar per oppgave, og forsinkelsen ble redusert med 31,7 %. Det krevdes sju ganger færre tokener, hovedsakelig fordi rutineoperasjoner ble håndtert uten hjelp fra AI.

På 40 ytterligere oppgaver fra Terminal-Bench 4 og DeepSWE oppnådde GPT-5.6-Sol og Claude Opus-5 100 % sikkerhetskopidekning uten at andelen fullførte oppgaver gikk ned.

De tre evaluerte retningslinjene for selektiv sikkerhetskopiering var Stor påvirkning, for betydelige endringer; Utover forespørselen, for endringer utenfor brukerens instruksjoner; og Menneskelig arbeid, for materiale skrevet av mennesker. Her ble det oppnådd en gjennomsnittlig F1-score på 84,5 % sammenlignet med menneskelige vurderinger.

BackUpper ble også testet for evnen til å lære gjenbrukbare regler for sikkerhetskopiering. Etter 30 ytterligere terminaloppgaver økte den regelbaserte dekningen fra 14,9 % til 31,2 %, noe som reduserte avhengigheten av GPT-5.6-Luna-underagenten.

Konklusjon

Jeg begynte med agentisk eksperimentering senere enn jeg burde, tatt i betraktning hva jeg lever av. Men den åpenbart pre-alfa-aktige tilstanden til agentisk selvbeherskelse skremte meg fra det helt til for noen uker siden, da jeg endelig bestemte meg for å slippe Codex løs i en Windows-VM.

Selv i en VM er jeg svært nøye med å avgrense instruksjonene mine, vel vitende om at Astra har en tendens til å storme av gårde uten å holde igjen og bare beklage når det ikke finnes noen vei tilbake etter tap av data eller ødelagt kode. En del av Python-rammeverket jeg utvikler der, er en trinnvis funksjon som med ett klikk «lagrer .7z på en nettverksressurs» , komprimerer og sikkerhetskopierer hele rammeverket, og som jeg bruker ofte.

Vi er svært, svært tidlig i utviklingen av agentisk KI. Uten en omstendelig og grundig oppmerksomhet på detaljer blir det et spørsmål om «bruk det og mist det». Retningslinjer for sikkerhetskopiering med agenter er ikke bare ennå ikke formalisert; de er ikke engang formulert.

* Med tittelen Ta sikkerhetskopi før du angrer: Måling av bevissthet om sikkerhetskopiering og automatisering av sikkerhetskopiering i kodeagenter.

^† Uthevingene er forfatternes, ikke mine; eventuelle hyperkoblinger har jeg lagt til med utgangspunkt i forfatternes henvisninger i teksten.

Først publisert torsdag 22. oktober 2026