Inteligența artificială agentică nu face, de obicei, copii de siguranță înainte să acționeze

O mare parte din materialele pe care le răsfoiesc zilnic pe arXiv și în alte surse sunt destul de aride, chiar și pentru gusturile unui tocilar; de aceea caut mereu publicații care să mă atingă emoțional, în calitate de utilizator, susținător sau victimă a inteligenței artificiale.

Astăzi, un moment care mi-a stârnit indignarea a venit odată cu o nouă colaborare academică din SUA, care analizează măsura în care modelele de inteligență artificială agentică de frontieră își ard punțile înainte de a întreprinde acțiuni dăunătoare — și o fac mai repede decât poți tasta „STOP!” (un sfat: ține-l la îndemână în clipboard).

Mi s-a întâmplat recent și mie, în afara contextului din noua lucrare, din cauza respectării orbești a instrucțiunilor primite de la ChatGPT; nici nu mi-a trecut prin minte să fac mai întâi o copie a întregului mediu virtual:

Redat pe baza noii lucrări: un moment care ne-a dat multora fiori și pe care l-am trăit când am instalat cadre de ultimă generație sau chiar distribuții populare, care nu țin cont de mediile nestandardizate în care ar putea ajunge. Sursă

În acest exemplu înfiorător și mult prea familiar, robotul are o scuză rezonabilă, fiindcă nu este obișnuit să verifice toate consecințele posibile ale instalării unei biblioteci noi într-un cadru fragil și neiertător. Cu toate acestea, noua lucrare susține că poate ar trebui să o facă; iar eu, ca persoană care apasă încă des CTRL+S, chiar și în medii cu salvare automată configurate să ignore această apăsare de tastă (mulțumesc, trauma pierderii datelor din anii ’90), nu pot decât să fiu de acord.

Cu siguranță, Alexey Grigorev, fondatorul platformei educaționale DataTalks.Club, ar fi apreciat o atitudine mai precaută și mai circumspectă. În martie anul trecut, agentul său Claude Code a șters infrastructura de producție și copiile de siguranță în timpul migrării serverului, ceea ce a dus la pierderea datelor site-ului din ultimii doi ani și jumătate.

Alte incidente recente de imprudență agentică de acest fel includ un agent Cursor care a șters în aprilie baza de date de producție și copiile de siguranță ale PocketOS, furnizor de software pentru închirieri auto, perturbând rezervările clienților timp de peste două zile; și un agent de e-mail OpenClaw care a șters mesaje din căsuța de e-mail a unui cercetător de la Meta AI în februarie, în ciuda instrucțiunilor repetate de a se opri.

Indiferent dacă sunt agentice sau nu, modelele lingvistice mari de frontieră întâmpină mari dificultăți când vine vorba să acționeze cu circumspecție și prudență, atât de mari încât remedierea problemei a devenit o direcție distinctă de cercetare în literatura de specialitate.

Un pas înapoi

Ei bine, autorii noii lucrări* au dezvoltat un plugin cu mai mulți agenți pentru cadrele de execuție agentice, capabil să funcționeze alături de AI-ul invitat și să-l oblige să creeze copii de siguranță atunci când este necesar:

O prezentare generală a problemei copiilor de siguranță analizate în studiu și a soluției propuse. În 205 de scenarii, șase modele de inteligență artificială de frontieră au salvat starea critică în doar 15,2% dintre sarcini. În schimb, sistemul BackUpper al cercetătorilor a acoperit fiecare acțiune critică, iar datele restaurate au avut, în medie, o similaritate de 92,2% cu cele originale (vedeți mai jos de ce este greu de obținut 100%).

Unul dintre cele mai surprinzătoare aspecte ale noului studiu este măsura în care modelele de frontieră nu fac copii de siguranță înainte de a întreprinde acțiuni potențial periculoase. Cercetătorii au constatat că GPT-5.6-Terra a salvat datele critice în doar 4,4% dintre cazuri; GPT-5.6-Sol, în doar 5,9% dintre cazurile testate; iar Gemini 3.7-Flash, în doar 2,4% dintre cazuri.

Chiar și cel mai performant model, Claude Opus-5, nu a făcut copii de siguranță pentru datele critice în mai mult de o treime dintre cazurile testate.

Lucrarea afirmă^†:

„În medie, agenții finalizează 86,1% dintre sarcini în cele șase modele de frontieră, dar salvează starea înainte de momentele de regret în doar 15,2% dintre cazuri. GPT 5.6-Sol în Codex face acest lucru în doar 5,9% dintre sarcini, iar DeepSeek V4-Pro în Hermes, în numai 2,9%.

„Aceste constatări arată că agenții actuali sunt încă puțin conștienți de necesitatea copiilor de siguranță și că este nevoie de funcții dedicate pentru realizarea acestora.”

Soluția autorilor, numită BackUpper, funcționează alături de agent ca un proces de fundal în cadrul de execuție: verifică ce urmează să facă agentul și creează mai întâi o copie de siguranță dacă există riscul de a pierde ceva util.

Pentru operațiuni obișnuite, cum ar fi actualizarea software-ului, folosește un set de reguli simple; în situațiile mai complicate, apelează la un model de inteligență artificială mai mic pentru a stabili ce trebuie salvat.

În teste, BackUpper a acoperit fiecare acțiune critică, iar datele restaurate au fost similare în proporție de 92,2% cu cele originale, la un cost suplimentar de 0,014 USD pentru fiecare sarcină — nu foarte mult în acest context, dar o cheltuială semnificativă pentru modelele lingvistice mari de frontieră care deservesc miliarde de clienți; acesta ar putea fi motivul pentru care un serviciu extern de acest tip sau includerea nativă a unei astfel de funcționalități în cadrele de lucru ar putea fi o soluție mai probabilă pentru îmbunătățirea situației, în loc să se spere la o soluție nativă din partea giganților din tehnologie (de la care s-ar putea aștepta în mod rezonabil să transfere costurile suplimentare către consumatori, fie prin majorări de prețuri, fie prin inflația tokenurilor).

Cadrul se bazează pe RegretBench, un benchmark cu 205 de sarcini, construit pornind de la cazuri din lumea reală în care oamenii au pierdut date pe care și-ar fi dorit ulterior să le fi salvat. Acesta testează dacă agenții AI au previziunea necesară pentru a păstra acele date înainte de a face modificări potențial ireversibile. Incidentele incluse în colecție provin din discuții și relatări online de pe platforme precum X.com, GitHub și Stack Overflow.

Schemă care arată cum transformă RegretBench incidentele din lumea reală în scenarii de testare. Fiecare caz documentat este reconstituit folosind acțiunea care a cauzat pierderea, un mediu de lucru realist și o succesiune de instrucțiuni. În acest exemplu, actualizarea ipykernel înlocuiește pe nesimțite o versiune existentă de traitlets, permițând agentului să-și ducă sarcina la bun sfârșit, dar fără nicio posibilitate de a recupera instalarea inițială.

Deși cifra de 92% poate fi descurajantă pentru perfecționiști, autorii observă că există obstacole tehnice în calea recuperării anumitor tipuri de date:

‘Diferența față de restaurarea perfectă se datorează în principal a două motive. Unele câmpuri, precum ID-urile postărilor, sunt de regulă generate din nou de servicii la scriere și adesea nu pot fi reproduse. Alte diferențe țin de metadate minore, precum indicatorii care arată dacă un e-mail a fost citit, aspecte care rareori apar în situațiile ce generează regrete.’

În teste, după ce daunele se produseseră deja, s-a recuperat o similitudine de 33,8% cu starea inițială, comparativ cu doar 14,3% în lipsa restaurării.

Articolul sugerează că, pe viitor, capacitatea de a anticipa nevoia de copii de siguranță ar putea fi îmbunătățită prin antrenare, iar versiunile ulterioare ale BackUpper ar putea fi instruite să sară peste acțiunile cu risc scăzut și să extindă protecția la agenții care utilizează webul și computerul.

BackUpper este compatibil cu Claude Code, Codex, Hermes, OpenHands, DeepSeek Harness și OpenClaw; autorii au făcut disponibil codul, împreună cu setul de date aferent (deși pentru acesta trebuie solicitată permisiunea printr-un formular); iar pe site-ul proiectului inițiativei sunt disponibile câteva informații suplimentare și un videoclip explicativ foarte scurt și simplu.

Metodă

La construirea RegretBench, au fost excluse în mod deliberat datele deja protejate de sistemele de backup integrate ale agenților, astfel încât să poată fi testată capacitatea acestora de a ști când să facă o copie de siguranță. Scenariile de testare au fost apoi alcătuite cu ajutorul Claude Opus-5 și GPT-5.6-Sol, după care au fost verificate manual pentru a se asigura că funcționează și reflectă cu acuratețe incidentele inițiale.

Cele 205 de teste RegretBench acoperă cinci domenii: operațiuni în terminal; baze de date; aplicații web; e-mail; și DevOps. Incidentele în sine provin în principal de pe platforme de dezvoltare software și productivitate (44,4%); din discuții sociale sau comunitare (39%); și din arhive și relatări media (16,6%):

Sursele incidentelor din lumea reală incluse în RegretBench, împărțite în trei categorii. 

Cele șase modele de frontieră evaluate au fost Claude Opus-5 și Claude Sonnet-5, în Claude Code; GPT-5.6-Sol și GPT-5.6-Terra, în Codex; precum și Gemini 3.7-Flash și DeepSeek V4-Pro, în Hermes.

Pe tot parcursul evaluării s-au folosit setările implicite de raționare, iar protecția automată prin copii de siguranță a fost limitată la instantanee ale spațiului de lucru, astfel încât orice alte copii de siguranță să poată fi atribuite deciziilor agenților.

Pentru evaluarea performanței au fost folosiți doi evaluatori AI, ambii bazați pe Claude Sonnet-5. Rata de promovare a sarcinilor (PR) a fost calculată ca proporția sarcinilor în care au fost îndeplinite toate solicitările utilizatorului. Pentru evaluarea copiilor de siguranță, s-a verificat dacă, înaintea fiecărei modificări în afara spațiului de lucru (OOW), fuseseră păstrate suficiente informații pentru a permite recuperarea.

Indicatorii pentru copiile de siguranță utilizați au fost Regret Moment Backup Rate (RMBR), care reflectă acțiunile specifice asociate pierderilor de date documentate, și Out-of-Workspace Backup Rate (OWBR), care reflectă toate modificările făcute în afara directorului de lucru al agentului.

Evaluările făcute de evaluatorul automat pentru copiile de siguranță au fost, de asemenea, comparate cu adnotările umane, rezultând o concordanță de 95,3%.

Rezultate

Pentru a stabili dacă gradul redus de conștientizare a necesității copiilor de siguranță era cauzat de modelele AI sau de cadrele de lucru în care funcționau, Claude Opus-5, GPT-5.6-Sol și DeepSeek V4-Pro au fost evaluate mai întâi fiecare pe 60 de sarcini RegretBench în Claude Code, Codex și Hermes.

Proporția sarcinilor în care datele critice au fost salvate într-o copie de siguranță a variat puțin între cadrele de lucru, ceea ce sugerează că modelele în sine au fost în principal responsabile. Relația dintre capabilitățile generale ale AI și conștientizarea necesității copiilor de siguranță a fost examinată și folosind GPT-5.4, GPT-5.5 și GPT-5.6-Sol.

În pofida îmbunătățirilor succesive ale capabilităților generale, nu s-a constatat o îmbunătățire corespunzătoare a conștientizării necesității copiilor de siguranță:

Rezultatele testelor RegretBench pentru șase modele AI. În stânga: ratele de finalizare a sarcinilor, comparate cu proporția acțiunilor critice pentru care se făcuse în prealabil o copie de siguranță; rezultatele indică rate ridicate de succes, dar o conștientizare redusă a necesității copiilor de siguranță în majoritatea modelelor. În dreapta: numărul mediu de apeluri de instrumente per sarcină, operațiunile de creare a copiilor de siguranță fiind evidențiate cu albastru. Claude Opus-5 a înregistrat cea mai ridicată rată de creare a copiilor de siguranță, însă 8,9% dintre apelurile sale de instrumente au fost dedicate acestora.

Relația dintre capabilitățile generale ale AI și conștientizarea necesității copiilor de siguranță a fost examinată și folosind GPT-5.4, GPT-5.5 și GPT-5.6-Sol. În pofida îmbunătățirilor succesive ale capabilităților generale, nu s-a constatat o îmbunătățire corespunzătoare a conștientizării necesității copiilor de siguranță.

BackUpper

BackUpper folosește patru niveluri de protecție, fiecare cu costuri diferite în materie de resurse: Nivelul 1 înlocuiește comenzile distructive cu alternative reversibile, cum ar fi mutarea fișierelor în coșul de gunoi; Nivelul 2 asociază operațiunile cu comenzi de creare a copiilor de siguranță, cum ar fi înregistrarea versiunilor pachetelor înainte de o actualizare; Nivelul 3 creează instantanee ale fișierelor afectate din spațiul de lucru; iar Nivelul 4 folosește un subagent GPT-5.6-Luna pentru a identifica și păstra datele afectate de operațiuni mai complexe.

Cu BackUpper activat, fiecare acțiune care modifica starea a fost acoperită la toate cele șase modele, față de rate medii de creare a copiilor de siguranță de 15,2% pentru acțiunile critice și 17,4% pentru celelalte modificări fără acest instrument:

Rezultatele privind acoperirea cu copii de siguranță și restaurarea cu BackUpper. În stânga: barele albastre și portocalii indică ratele fiecărui model de creare a copiilor de siguranță pentru acțiunile critice și pentru alte modificări din afara spațiului de lucru. Contururile întrerupte de culo verde închis indică precizia restaurării; contururile punctate de culo verde deschis arată acoperirea de 100% cu copii de siguranță oferită de BackUpper. În dreapta: este comparată precizia restaurării în cinci categorii de instrumente folosind BackUpper (verde), recuperarea ulterioară cu Claude Opus-5 (mov) și lipsa restaurării (gri). BackUpper a obținut cea mai mare precizie în toate cazurile.

Dintre copiile de siguranță evaluate ca reușite de evaluatorul automat, 94% au fost confirmate ca reușite și de evaluatorii umani.

Starea inițială a fost recuperată cu o similaritate medie de 92,2%, față de 33,8% cu Claude Opus-5 și 14,3% fără recuperare (vezi imaginea de mai sus). Discrepanțele rămase au fost atribuite în mare parte identificatorilor generați din nou și metadatelor minore, inclusiv indicatorilor de citire a e-mailurilor, după cum s-a menționat anterior.

Te descurci singur..?

Când agenților li s-au dat instrucțiuni detaliate pentru a-și crea propriile copii de siguranță, 81,4% dintre acțiunile critice au fost protejate, față de 100% cu BackUpper. Trei sferturi dintre eșecuri au fost puse pe seama copiilor de siguranță care nu conțineau suficiente informații pentru recuperare.

Ratele de creare a copiilor de siguranță comparate în cinci abordări, testate pe 205 sarcini cu șase modele AI. Graficul din stânga arată copiile de siguranță create înaintea acțiunilor regretate ulterior; cel din dreapta, protecția altor modificări din afara spațiului de lucru. BackUpper a asigurat acoperire completă în ambele categorii, față de 81,4% și 80,5% atunci când agenților li s-au dat instrucțiuni detaliate pentru crearea copiilor de siguranță.

Cu memorarea în cache a prompturilor, costurile copiilor de siguranță au scăzut de la 0,344 $ la 0,014 $ per sarcină, iar latența s-a redus cu 31,7%. A fost nevoie de șapte ori mai puține tokenuri, în mare parte deoarece operațiunile de rutină au fost efectuate fără asistența AI.

În 40 de sarcini suplimentare din Terminal-Bench 4 și DeepSWE, GPT-5.6-Sol și Claude Opus-5 au asigurat acoperirea copiilor de rezervă în proporție de 100%, fără să reducă ratele de finalizare a sarcinilor.

Au fost evaluate trei politici selective de creare a copiilor de rezervă: Impact ridicat, pentru modificări semnificative; În afara solicitării, pentru modificări care depășesc instrucțiunile utilizatorului; și Muncă umană, pentru materiale redactate de oameni. În acest caz, scorul F1 mediu obținut în raport cu evaluările oamenilor a fost de 84,5%.

BackUpper a fost testat și pentru capacitatea de a învăța reguli reutilizabile pentru crearea copiilor de rezervă. După 30 de sarcini suplimentare în terminal, acoperirea bazată pe reguli a crescut de la 14,9% la 31,2%, reducând dependența de subagentul GPT-5.6-Luna.

Concluzie

Am ajuns la experimentarea cu agenți AI mai târziu decât ar fi trebuit, având în vedere cu ce mă ocup; însă stadiul vădit pre-alfa al capacității agenților de a se abține m-a ținut departe de acest domeniu până acum câteva săptămâni, când am decis în cele din urmă să-i dau frâu liber lui Codex într-o mașină virtuală Windows.

Chiar și într-o mașină virtuală, îmi delimitez instrucțiunile cu mare grijă, știind că Astra are tendința să se avânte fără reținere și apoi doar să-și ceară scuze când nu mai există cale de întoarcere după pierderea datelor sau compromiterea codului; iar o parte din cadrul Python pe care îl dezvolt acolo este o funcție incrementală, cu un singur clic, „salvează arhiva .7z în folderul de rețea” , care comprimă și creează copii de rezervă pentru întregul cadru și pe care o folosesc frecvent.

Inteligența artificială agentică se află încă la început de tot; fără o atenție migăloasă și asiduă la detalii, ajungi la situația „folosește-l și-l pierzi”. Regimurile de creare a copiilor de rezervă pentru agenți nu numai că nu au fost încă formalizate, dar nici măcar nu au fost formulate.

* Intitulat Creează o copie de rezervă înainte să regreți: măsurarea conștientizării privind copiile de rezervă și automatizarea acestora în agenții de programare.

^† Accentele autorilor, nu ale mele; toate hyperlinkurile sunt adăugate de mine pe baza citărilor din textul autorilor.

Publicat pentru prima dată joi, 22 octombrie 2026