Agentní AI před akcí obvykle nezálohuje

Velká část materiálů, které každý den pročítám na Arxiv a v dalších zdrojích, je poměrně suchopárná i na nerdovské poměry. Proto neustále hledám publikaci, která ve mně jako uživateli, zastánci či oběti AI vyvolá nějaké emoce.

Dnes mi husí kůži naježila nová akademická spolupráce z USA, která zkoumá, do jaké míry agentní špičkové modely AI za sebou pálí mosty, než podniknou škodlivý krok – a rychleji, než stačíte napsat „STOP!“ (rada: mějte to po ruce ve schránce).

Tohle se mi v poslední době stalo, když jsem vytrhl z kontextu nový článek. Může za to slepé dodržování pokynů ChatGPT, a navíc mě vůbec nenapadlo nejdřív zkopírovat celý virtuální počítač:

Nový článek popisuje skličující okamžik, který mnozí z nás zažili při instalaci nejnovějších frameworků, nebo dokonce oblíbených distribucí, jež nerespektují nestandardní prostředí, do kterého se mohou dostat. Zdroj

V tomto děsivém a až příliš známém příkladu má robot rozumnou omluvu, protože není běžné prověřovat všechny možné důsledky instalace nové knihovny do křehkého a nekompromisního frameworku. Nový článek však tvrdí, že bychom to možná dělat měli. A jako člověk, který stále často mačká CTRL+S, dokonce i v prostředích s automatickým ukládáním nastavených tak, aby tento stisk klávesy ignorovala (díky, trauma ze ztráty dat z 90. let), s tím musím souhlasit.

Větší obezřetnost a opatrnost by jistě ocenil Alexey Grigorev, zakladatel vzdělávací platformy DataTalks.Club. Jeho agent Claude Code při migraci serveru loni v březnu smazal produkční infrastrukturu i zálohy, což vedlo ke ztrátě dat webu za dva a půl roku.

Mezi další nedávné případy bezohledného chování agentů tohoto typu patří agent Cursoru, který v dubnu smazal produkční databázi a zálohy společnosti PocketOS poskytující software pro půjčovny aut, a na více než dva dny tak narušil rezervace zákazníků; a e-mailový agent OpenClaw, který v únoru mazal zprávy ze schránky výzkumníka Meta AI, přestože opakovaně dostal pokyn, aby přestal.

Špičkovým LLM, ať už agentním, nebo ne, se jen velmi těžko daří jednat obezřetně a opatrně. Náprava tohoto problému se proto stala samostatným tématem odborné literatury.

Raději nejdřív zálohovat

Autoři nového článku* vyvinuli víceagentní plugin pro agentní prostředí, který může fungovat souběžně s hostující AI a v případě potřeby ji přimět k vytvoření záloh:

Přehled problému se zálohováním ve studii a navrhovaného řešení. V 205 scénářích zálohovalo šest špičkových modelů AI důležitý stav pouze v 15,2 % úloh. Systém BackUpper vyvinutý výzkumníky naopak pokryl všechny kritické akce; obnovená data se v průměru na 92,2 % shodovala s originálem (níže se dozvíte, proč je obtížné dosáhnout 100 %).

Jedním z nejpozoruhodnějších zjištění nové studie je, že špičkové modely před potenciálně nebezpečným krokem často nezálohují. Výzkumníci zjistili, že GPT-5.6-Terra zálohoval důležitá data pouze ve 4,4 % případů, GPT-5.6-Sol jen v 5,9 % testovaných případů a Gemini 3.7-Flash dokonce jen v 2,4 % případů.

Ani nejúspěšnější model, Claude Opus-5, nezálohoval důležitá data ve více než třetině testovaných případů.

Autoři v článku uvádějí^†:

„Napříč šesti špičkovými modely agenti v průměru dokončí 86,1 % úloh, ale před okamžiky, kterých později litují, zálohují svůj stav pouze v 15,2 % případů. GPT 5.6-Sol v Codexu tak činí jen v 5,9 % úloh a DeepSeek V4-Pro v Hermesu pouze v 2,9 %.“

„Tato zjištění ukazují, že současní agenti mají stále jen omezené povědomí o zálohování a že je třeba jim poskytovat specializovanou podporu pro zálohování.“

Řešení autorů, nazvané BackUpper, funguje souběžně s agentem jako skrytý proces v jeho prostředí: kontroluje, co se agent chystá udělat, a pokud hrozí ztráta něčeho užitečného, nejprve vytvoří zálohu.

Při běžných úkonech, například při aktualizaci softwaru, se řídí jednoduchými pravidly; ve složitějších situacích zapojí menší model AI, který určí, co je třeba uložit.

V testech BackUpper pokryl všechny kritické akce a obnovená data se původním podobala z 92,2 %. Náklady navíc činily 0,014 $ na úlohu – v tomto kontextu nejde o mnoho, pro špičkové LLM obsluhující miliardy zákazníků je to však významný výdaj. Možná právě proto je pravděpodobnější, že situaci zlepší externí služba tohoto typu nebo začlenění podobné funkce přímo do agentních frameworků, než že se dočkáme nativní opravy od technologických gigantů (u nichž lze rozumně očekávat, že dodatečné náklady přenesou na spotřebitele, ať už zvýšením cen, nebo inflací tokenů).

Tento rámec vychází z benchmarku RegretBench, který zahrnuje 205 úloh založených na skutečných případech, kdy lidé přišli o data, jež si později přáli zachovat. Ověřuje, zda agenti s umělou inteligencí dokážou předvídat, že je třeba tato data uchovat, než provedou potenciálně nevratné změny. Případy zahrnuté do souboru pocházejí z online diskusí a zpráv na platformách, jako jsou X.com, GitHub a Stack Overflow.

Schéma znázorňující, jak RegretBench převádí skutečné události do testovacích scénářů. Každý zdokumentovaný případ je rekonstruován s využitím akce, která způsobila ztrátu, realistického pracovního prostředí a posloupnosti pokynů. V tomto příkladu aktualizace ipykernel tiše nahradí stávající verzi traitlets, takže agent může úlohu dokončit, ale původní instalaci už nelze obnovit.

Pro perfekcionisty může být údaj 92 % zklamáním, autoři však upozorňují, že obnově některých typů dat brání technické překážky:

„Rozdíl oproti dokonalému obnovení má především dvě příčiny. Některá pole, například ID příspěvků, služby při zápisu obvykle vytvářejí znovu a často je nelze reprodukovat. Další odchylky se týkají drobných metadat, například příznaků přečtení e-mailů, které se v případech ztráty dat, jichž lidé později litují, vyskytují jen zřídka.“

V testech se po již vzniklé ztrátě podařilo obnovit stav podobný původnímu z 33,8 %, zatímco bez obnovy to bylo pouhých 14,3 %.

Studie naznačuje, že povědomí o zálohování by se v budoucnu mohlo zlepšit trénováním. Pozdější verze BackUpper by se také mohly naučit vynechávat málo rizikové akce a rozšířit ochranu na agenty pracující s webem a počítačem.

BackUpper podporuje Claude Code, Codex, Hermes, OpenHands, DeepSeek Harness a OpenClaw. Autoři zpřístupnili zdrojový kód a související datovou sadu (o její poskytnutí je však nutné požádat prostřednictvím formuláře). Na webu projektu najdete také několik dalších informací a velmi krátké, jednoduché vysvětlující video.

Metodika

Při sestavování RegretBench byla záměrně vynechána data, která již chránily vestavěné zálohovací systémy agentů, aby bylo možné ověřit, zda agenti sami vědí, kdy mají zálohu vytvořit. Testovací scénáře pak vznikly s pomocí Claude Opus-5 a GPT-5.6-Sol a následně prošly ruční kontrolou, která ověřila, že fungují a přesně odpovídají původním případům.

205 testů RegretBench pokrývá pět oblastí: operace v terminálu; databáze; webové aplikace; e-mail; a DevOps. Samotné případy pocházejí především z platforem pro vývoj softwaru a zvýšení produktivity (44,4 %), sociálních a komunitních diskusí (39 %) a archivů a mediálních zpráv (16,6 %):

Zdroje skutečných případů zahrnutých do RegretBench rozdělené do tří kategorií. 

Hodnoceno bylo šest špičkových modelů: Claude Opus-5 a Claude Sonnet-5 v Claude Code, GPT-5.6-Sol a GPT-5.6-Terra v Codex a Gemini 3.7-Flash a DeepSeek V4-Pro v Hermes.

Po celou dobu byla použita výchozí nastavení přemýšlení a automatická ochrana zálohováním byla omezena na snímky pracovního prostoru, takže všechny další zálohy bylo možné připsat vlastním rozhodnutím agentů.

Výkon hodnotili dva rozhodčí s umělou inteligencí, oba založení na Claude Sonnet-5. Míra úspěšného splnění úloh (PR) se vypočítala jako podíl úloh, v nichž byly splněny všechny požadavky uživatele. Při hodnocení zálohování se u každé změny provedené mimo pracovní prostor (OOW) kontrolovalo, zda bylo předem uchováno dostatek informací pro její obnovení.

Použité metriky zálohování byly Regret Moment Backup Rate (RMBR), která zachycuje konkrétní akce související se zdokumentovanou ztrátou dat, a míra zálohování mimo pracovní prostor (OWBR), která zahrnuje všechny změny provedené mimo pracovní adresář agenta.

Posouzení hodnotitele záloh byla ověřena také porovnáním s anotacemi od lidí, které se shodovaly v 95,3 % případů.

Výsledky

Aby se zjistilo, zda za nízkou míru povědomí o zálohování odpovídají modely umělé inteligence, nebo frameworky, na kterých běží, bylo nejprve všech 60 úloh z RegretBench vyhodnoceno s modely Claude Opus-5, GPT-5.6-Sol a DeepSeek V4-Pro ve frameworkách Claude Code, Codex a Hermes.

Podíl úloh, v nichž byla kritická data zálohována, se mezi frameworky lišil jen málo, což naznačuje, že hlavní příčinou byly samotné modely. Vztah mezi obecnými schopnostmi umělé inteligence a povědomím o zálohování byl zkoumán také pomocí modelů GPT-5.4, GPT-5.5 a GPT-5.6-Sol.

Navzdory postupnému zlepšování obecných schopností se odpovídající zlepšení povědomí o zálohování neprojevilo:

Výsledky testování šesti modelů umělé inteligence v RegretBench. Vlevo: míra dokončení úloh ve srovnání s podílem kritických akcí, které byly předem zálohovány. Graf ukazuje vysokou úspěšnost, ale u většiny modelů nízké povědomí o zálohování. Vpravo: průměrný počet volání nástrojů na úlohu, přičemž zálohovací operace jsou vyznačeny modře. Claude Opus-5 dosáhl nejvyšší míry zálohování, ale zálohování představovalo 8,9 % jeho volání nástrojů.

Vztah mezi obecnými schopnostmi umělé inteligence a povědomím o zálohování byl zkoumán také pomocí modelů GPT-5.4, GPT-5.5 a GPT-5.6-Sol. Navzdory postupnému zlepšování obecných schopností se odpovídající zlepšení povědomí o zálohování neprojevilo.

BackUpper

BackUpper nabízí čtyři úrovně ochrany, z nichž každá vyžaduje jiné množství prostředků: úroveň 1 nahrazuje destruktivní příkazy vratnými alternativami, například přesunutím souborů do koše; úroveň 2 doplňuje operace o zálohovací příkazy, například zaznamenání verzí balíčků před aktualizací; úroveň 3 vytváří snímky dotčených souborů v pracovním prostoru; a úroveň 4 využívá podřízeného agenta GPT-5.6-Luna k vyhledání a uchování dat, která by mohla být dotčena složitějšími operacemi.

Při zapnutém BackUpperu byly pokryty všechny akce měnící stav ve všech šesti modelech. Bez něj činila průměrná míra zálohování 15,2 % u kritických akcí a 17,4 % u ostatních změn:

Pokrytí zálohováním a výsledky obnovy s BackUpperem. Vlevo: modré a oranžové sloupce znázorňují u každého modelu míru zálohování kritických akcí a ostatních změn mimo pracovní prostor. Tmavě zelené přerušované obrysy označují přesnost obnovy; světle zelené tečkované obrysy znázorňují 100% pokrytí zálohováním při použití BackUpperu. Vpravo: porovnání přesnosti obnovy v pěti kategoriích nástrojů při použití BackUpperu (zeleně), následné obnovy pomocí Claude Opus-5 (fialově) a bez obnovy (šedě). Ve všech případech dosáhl nejvyšší přesnosti BackUpper.

Zálohy, které automatický hodnoticí systém označil za úspěšné, potvrdili jako úspěšné také lidští hodnotitelé, a to v 94 % případů.

Původní stav se podařilo obnovit s průměrnou mírou podobnosti 92,2 %, zatímco s Claude Opus-5 činila 33,8 % a bez obnovy 14,3 % (viz obrázek výše). Zbývající odchylky byly z velké části přičítány znovu vytvořeným identifikátorům a drobným metadatům, například příznakům přečtení e-mailů, jak již bylo uvedeno.

Svépomocí..?

Když agenti dostali podrobné pokyny, aby si sami vytvářeli zálohy, bylo chráněno 81,4 % kritických akcí, oproti 100 % při použití BackUpperu. Tři čtvrtiny neúspěchů byly způsobeny tím, že zálohy neobsahovaly dostatek informací k obnovení.

Porovnání míry zálohování u pěti přístupů, testovaných na 205 úlohách se šesti modely umělé inteligence. Levý graf znázorňuje zálohy vytvořené před akcemi, kterých modely později litovaly; pravý graf ukazuje ochranu ostatních změn mimo pracovní prostor. BackUpper zajistil úplné pokrytí v obou kategoriích, zatímco při zadání podrobných pokynů k zálohování agentům činilo pokrytí 81,4 % a 80,5 %.

Díky ukládání výzev do mezipaměti klesly náklady na zálohování z 0,344 USD na 0,014 USD za úlohu a latence se snížila o 31,7 %. Bylo potřeba sedmkrát méně tokenů, především proto, že běžné operace probíhaly bez pomoci umělé inteligence.

U dalších 40 úloh z Terminal-Bench 4 a DeepSWE bylo s GPT-5.6-Sol a Claude Opus-5 dosaženo 100% pokrytí zálohami, aniž by se snížila úspěšnost dokončení úloh.

Byly vyhodnoceny tři selektivní zásady zálohování: Velký dopad pro významné změny; Mimo zadání pro změny přesahující pokyny uživatele; a Lidská práce pro materiál vytvořený člověkem. V porovnání s lidským hodnocením zde bylo dosaženo průměrného skóre F1 84,5 %.

U BackUpper se také testovalo, zda se dokáže naučit opakovaně použitelné zásady zálohování. Po dalších 30 úlohách v terminálu vzrostlo pokrytí založené na pravidlech ze 14,9 % na 31,2 %, čímž se snížila závislost na dílčím agentovi GPT-5.6-Luna.

Závěr

K agentickému experimentování jsem se dostal později, než bych měl, vzhledem k tomu, čím se živím; zjevně předalfový stav agentické sebekontroly mě ale odrazoval až do doby před několika týdny, kdy jsem se konečně rozhodl nechat Codex volně pracovat ve virtuálním počítači s Windows.

I v prostředí virtuálního počítače zadávám pokyny velmi obezřetně, protože vím, že Astra má sklon bezhlavě se vrhat vpřed a omluvit se až tehdy, když už není možné napravit ztrátu dat nebo zničený kód; součástí frameworku v Pythonu, který tam vyvíjím, je také přírůstková funkce na jedno kliknutí „uložit .7z do sdílené síťové složky“, která celý framework komprimuje a zálohuje a kterou používám často.

Agentická umělá inteligence je teprve na samém začátku; bez zdlouhavé a pečlivé pozornosti věnované detailům platí, že „použij ji a přijdeš o ni“. Agentické postupy zálohování zatím nebyly formalizovány, ba dokonce ani formulovány.

* S názvem Zálohujte, než toho budete litovat: Měření povědomí o zálohování a automatizace zálohování v programovacích agentech.

^† Zvýraznění autorů, nikoli moje; všechny hypertextové odkazy jsem odvodil z citací autorů v textu.

Poprvé zveřejněno ve čtvrtek 22. října 2026