एजेंटिक AI आम तौर पर कार्रवाई से पहले बैकअप नहीं लेता

Arxiv और अन्य स्रोतों पर रोज़ाना मेरी नज़र से गुज़रने वाली बहुत-सी सामग्री काफ़ी रूखी होती है—यहाँ तक कि किसी तकनीक-प्रेमी की पसंद के लिहाज़ से भी। इसलिए मैं हमेशा ऐसी सामग्री खोजता रहता हूँ जो AI के उपयोगकर्ता, समर्थक या पीड़ित के रूप में मुझे भावनात्मक रूप से जोड़ सके।

आज ऐसा ही एक क्षण, जिसने मेरे रोंगटे खड़े कर दिए, अमेरिका के शोधकर्ताओं के नए अकादमिक सहयोग से आया। इसमें जाँचा गया है कि एजेंटिक AI के अग्रणी मॉडल नुकसानदेह कार्रवाई करने से पहले किस हद तक अपने पीछे के रास्ते बंद कर देते हैं—और यह सब आपके ‘रुको!’ टाइप कर पाने से भी तेज़ होता है (एक सुझाव: इसे क्लिपबोर्ड में तैयार रखें)।

नए शोधपत्र के संदर्भ से अलग करके देखें, तो हाल ही में मेरे साथ ऐसा हुआ है—ChatGPT के निर्देशों का आँख मूँदकर पालन करने के कारण, और इसलिए भी कि मुझे पहले पूरे आभासी परिवेश की प्रतिलिपि बनाने का ख़याल नहीं आया:

नए शोधपत्र से समझाया गया यह ऐसा दिल बैठा देने वाला पल है, जिसका सामना हममें से कई लोगों ने अत्याधुनिक फ्रेमवर्क या यहाँ तक कि लोकप्रिय सॉफ़्टवेयर वितरण स्थापित करते समय किया है—ऐसे वितरण जिन्हें इस बात की परवाह नहीं होती कि वे जिस परिवेश में पहुँचेंगे, वह मानक से अलग हो सकता है। स्रोत

इस भयावह और बेहद जानी-पहचानी मिसाल में रोबोट के पास एक वाजिब सफ़ाई है, क्योंकि किसी नाज़ुक और गलती की गुंजाइश न देने वाले फ्रेमवर्क में नई लाइब्रेरी स्थापित करने के सभी संभावित नतीजों की जाँच करना आम तौर पर किसी की आदत नहीं होती। लेकिन नए शोधपत्र का तर्क है कि शायद ऐसा करना चाहिए। और मैं, जो ऑटोसेव वाले परिवेशों में भी बार-बार CTRL+S दबाता हूँ—भले ही वे उस कुंजी-दबाव को अनदेखा करने के लिए कॉन्फ़िगर किए गए हों (धन्यवाद, 1990 के दशक में डेटा खोने से उपजा सदमा)—इससे सहमत हूँ।

निश्चित रूप से, थोड़ा अधिक सोच-विचार और सावधानी बरतने से DataTalks.Club शिक्षा मंच के संस्थापक Alexey Grigorev को राहत मिलती। पिछले मार्च में सर्वर माइग्रेशन के दौरान उनके Claude Code एजेंट ने लाइव सिस्टम के बुनियादी ढाँचे और बैकअप मिटा दिए, जिससे वेबसाइट के ढाई साल के डेटा का नुकसान हुआ।

इसी तरह की एजेंटिक लापरवाही की हालिया घटनाओं में अप्रैल में Cursor एजेंट द्वारा कार किराये के सॉफ़्टवेयर प्रदाता PocketOS के लाइव डेटाबेस और बैकअप मिटाना शामिल है, जिससे दो दिनों से अधिक समय तक ग्राहकों के आरक्षण बाधित रहे; और फरवरी में OpenClaw के ईमेल एजेंट द्वारा Meta के एक AI शोधकर्ता के इनबॉक्स से संदेश मिटाना, जबकि उसे बार-बार ऐसा न करने का निर्देश दिया गया था।

एजेंटिक हों या नहीं, अग्रणी बड़े भाषा मॉडल (LLM) सोच-विचार और सावधानी से काम करने में बहुत मुश्किल महसूस करते हैं। समस्या को दूर करने का प्रयास अब शोध-साहित्य में एक अलग धारा बन चुका है।

ज़रा पहले बैकअप लें

ख़ैर, नए शोधपत्र* के लेखकों ने एजेंटिक ढाँचों के लिए एक बहु-एजेंट प्लगइन बनाया है। यह सहायक AI के साथ काम कर सकता है और ज़रूरत पड़ने पर उसे बैकअप बनाने के लिए बाध्य करता है:

अध्ययन में बैकअप की समस्या और उसके प्रस्तावित समाधान का अवलोकन। 205 परिदृश्यों में, छह अग्रणी AI मॉडलों ने केवल 15.2% कार्यों में महत्वपूर्ण स्थिति का बैकअप लिया। इसके बजाय, शोधकर्ताओं के BackUpper सिस्टम ने हर महत्वपूर्ण कार्रवाई को कवर किया; बहाल किए गए डेटा की मूल डेटा से समानता औसतन 92.2% थी (नीचे देखें कि 100% समानता हासिल करना कठिन क्यों है)।

नए अध्ययन की सबसे चौंकाने वाली बातों में से एक यह है कि संभावित रूप से ख़तरनाक कार्रवाई करने से पहले अग्रणी मॉडल कितनी बार बैकअप नहीं लेते। शोधकर्ताओं ने पाया कि GPT-5.6-Terra ने केवल 4.4% मामलों में महत्वपूर्ण डेटा का बैकअप लिया; GPT-5.6-Sol ने जाँचे गए मामलों में केवल 5.9% बार; और Gemini 3.7-Flash ने तो महज़ 2.4% मामलों में।

सबसे अच्छा प्रदर्शन करने वाला Claude Opus-5 भी जाँचे गए एक-तिहाई से अधिक मामलों में महत्वपूर्ण डेटा का बैकअप लेने में विफल रहा।

शोधपत्र में कहा गया है^†:

‘छह अग्रणी मॉडलों में, एजेंट औसतन 86.1% कार्य पूरे करते हैं, लेकिन पछतावे के क्षणों से पहले केवल 15.2% मामलों में स्थिति का बैकअप लेते हैं। Codex में GPT 5.6-Sol केवल 5.9% कार्यों में ऐसा करता है, जबकि Hermes में DeepSeek V4-Pro महज़ 2.9% कार्यों में।

‘ये निष्कर्ष दिखाते हैं कि मौजूदा एजेंटों में बैकअप के प्रति जागरूकता अब भी सीमित है और बैकअप के लिए समर्पित सहायता की आवश्यकता है।’

लेखकों का समाधान, जिसका नाम BackUpper है, एजेंट के साथ-साथ ढाँचे में एक छाया-प्रक्रिया की तरह काम करता है। यह जाँचता है कि एजेंट क्या करने वाला है और अगर कोई उपयोगी चीज़ खोने का जोखिम हो, तो पहले उसका बैकअप बनाता है।

सॉफ़्टवेयर अपग्रेड करने जैसे रोज़मर्रा के कामों में यह कुछ आसान नियमों का पालन करता है; अधिक पेचीदा स्थितियों में यह एक छोटे AI मॉडल की मदद लेता है, ताकि तय किया जा सके कि क्या सहेजना ज़रूरी है।

परीक्षणों में BackUpper ने हर महत्वपूर्ण कार्रवाई को कवर किया और बहाल किए गए डेटा की मूल डेटा से समानता 92.2% रही। हर कार्य पर 0.014 डॉलर का अतिरिक्त खर्च आया—इस संदर्भ में यह बहुत अधिक नहीं है, लेकिन अरबों ग्राहकों को सेवाएँ देने वाले अत्याधुनिक LLM के लिए यह एक बड़ा खर्च है। शायद इसी वजह से तकनीकी दिग्गजों से मूल समाधान की उम्मीद करने के बजाय, इस तरह की बाहरी सेवा या ऐसे फ़ंक्शन को सीधे एजेंट-ढाँचों में शामिल करना स्थिति सुधारने का अधिक संभावित तरीका हो सकता है। इन दिग्गजों से यह अपेक्षा करना वाजिब होगा कि वे अतिरिक्त लागत अपने ग्राहकों पर डालें—या तो कीमतें बढ़ाकर या टोकन की संख्या बढ़ाकर।

यह ढाँचा RegretBench से प्रेरित है—205 कार्यों वाला एक बेंचमार्क, जो वास्तविक दुनिया की उन घटनाओं पर आधारित है जिनमें लोगों का डेटा खो गया और बाद में उन्हें लगा कि उन्हें उसका बैकअप रखना चाहिए था। यह जाँचता है कि क्या AI एजेंट संभावित रूप से अपरिवर्तनीय बदलाव करने से पहले उस डेटा को सुरक्षित रखने की दूरदर्शिता दिखाते हैं। इस संग्रह की घटनाएँ X.com, GitHub और Stack Overflow समेत विभिन्न प्लेटफ़ॉर्म पर हुई ऑनलाइन चर्चाओं और प्रकाशित रिपोर्टों से ली गई थीं।

RegretBench वास्तविक दुनिया की घटनाओं को परीक्षण परिदृश्यों में कैसे बदलता है, इसकी एक रूपरेखा। हर दर्ज मामले को डेटा खोने वाली कार्रवाई, कामकाज के एक यथार्थपरक परिवेश और निर्देशों के क्रम के आधार पर फिर से तैयार किया जाता है। इस उदाहरण में, ipykernel को अपग्रेड करने पर traitlets का मौजूदा संस्करण चुपचाप बदल जाता है। इससे एजेंट अपना काम तो पूरा कर लेता है, लेकिन मूल इंस्टॉलेशन को वापस पाने का कोई तरीका नहीं बचता।

हालाँकि पूर्णतावादी के लिए 92% का आँकड़ा निराशाजनक हो सकता है, लेखकों का कहना है कि कुछ प्रकार के डेटा को बहाल करने में तकनीकी बाधाएँ आती हैं:

“पूर्ण बहाली से अंतर मुख्यतः दो कारणों से होता है। कुछ फ़ील्ड, जैसे पोस्ट आईडी, लिखे जाने पर सेवाओं द्वारा आम तौर पर फिर से बनाए जाते हैं और अक्सर उन्हें दोबारा तैयार नहीं किया जा सकता। अन्य अंतर मामूली मेटाडेटा के कारण होते हैं, जैसे ईमेल पढ़े जाने के संकेतक, जिनका डेटा खोने पर पछतावे की घटनाओं से शायद ही कभी संबंध होता है।”

परीक्षणों में, नुकसान हो जाने के बाद मूल स्थिति से 33.8% समानता बहाल की जा सकी, जबकि बहाली के बिना यह समानता केवल 14.3% थी।

शोधपत्र के अनुसार, भविष्य में प्रशिक्षण के ज़रिए बैकअप के प्रति जागरूकता बढ़ाई जा सकती है। BackUpper के बाद के संस्करणों को कम जोखिम वाली कार्रवाइयों को छोड़ने और वेब तथा कंप्यूटर-उपयोग एजेंटों तक सुरक्षा का विस्तार करने के लिए भी प्रशिक्षित किया जा सकता है।

BackUpper Claude Code, Codex, Hermes, OpenHands, DeepSeek Harness और OpenClaw को सपोर्ट करता है। लेखकों ने इसका कोड उपलब्ध कराया है। इससे संबंधित डेटासेट भी उपलब्ध है, हालाँकि इसे पाने की अनुमति एक फ़ॉर्म के ज़रिए माँगनी होगी। इस पहल की परियोजना वेबसाइट पर थोड़ी अतिरिक्त जानकारी और समझाने वाला एक बहुत छोटा, सरल वीडियो भी है।

कार्यप्रणाली

RegretBench बनाते समय, एजेंटों के अंतर्निर्मित बैकअप सिस्टम से पहले से सुरक्षित डेटा को जानबूझकर शामिल नहीं किया गया, ताकि यह जाँचा जा सके कि एजेंट खुद कब बैकअप लेना चाहिए, इस बारे में कितने जागरूक हैं। इसके बाद Claude Opus-5 और GPT-5.6-Sol की मदद से परीक्षण परिदृश्य तैयार किए गए। फिर हाथ से जाँच की गई कि वे सही ढंग से काम करते हैं और मूल घटनाओं को सटीक रूप से दर्शाते हैं।

RegretBench के 205 परीक्षण पाँच क्षेत्रों को कवर करते हैं: टर्मिनल संचालन; डेटाबेस; वेब अनुप्रयोग; ईमेल; और DevOps। घटनाएँ मुख्यतः सॉफ़्टवेयर विकास और उत्पादकता प्लेटफ़ॉर्म (44.4%), सामाजिक या सामुदायिक चर्चाओं (39%), तथा अभिलेखों और मीडिया रिपोर्टों (16.6%) से ली गई हैं:

RegretBench की वास्तविक दुनिया की घटनाओं के स्रोतों को तीन श्रेणियों में बाँटा गया है। 

मूल्यांकन किए गए छह अत्याधुनिक मॉडल थे: Claude Code में Claude Opus-5 और Claude Sonnet-5; Codex में GPT-5.6-Sol और GPT-5.6-Terra; तथा Hermes में Gemini 3.7-Flash और DeepSeek V4-Pro।

पूरे मूल्यांकन में सोचने की डिफ़ॉल्ट सेटिंग इस्तेमाल की गई। स्वचालित बैकअप सुरक्षा केवल कार्यक्षेत्र के स्नैपशॉट तक सीमित थी, ताकि इसके अलावा लिए गए किसी भी बैकअप का श्रेय एजेंटों के अपने फ़ैसलों को दिया जा सके।

प्रदर्शन का आकलन करने के लिए Claude Sonnet-5 से संचालित दो AI निर्णायकों का इस्तेमाल किया गया। कार्य उत्तीर्णता दर (PR) की गणना उन कार्यों के अनुपात से की गई जिनमें उपयोगकर्ता के हर अनुरोध को पूरा किया गया। बैकअप के आकलन में, कार्यक्षेत्र से बाहर (OOW) किए गए हर बदलाव की जाँच की गई कि क्या उससे पहले पर्याप्त जानकारी सुरक्षित रखी गई थी, ताकि डेटा बहाल किया जा सके।

इस्तेमाल किए गए बैकअप मापदंड थे पछतावे के क्षण में बैकअप दर (RMBR), जो दस्तावेज़ीकृत डेटा-हानि से जुड़ी विशिष्ट कार्रवाइयों को दर्शाती है; और कार्यक्षेत्र से बाहर बैकअप दर (OWBR), जो एजेंट की कार्यशील निर्देशिका के बाहर किए गए सभी बदलावों को दर्शाती है।

बैकअप निर्णायक के आकलनों की मानव टिप्पणियों से भी जाँच की गई, और दोनों में 95.3% सहमति पाई गई।

परिणाम

यह पता लगाने के लिए कि बैकअप के प्रति कम जागरूकता की वजह AI मॉडल थे या उन्हें चलाने वाले फ़्रेमवर्क, Claude Opus-5, GPT-5.6-Sol और DeepSeek V4-Pro—हर एक का पहले Claude Code, Codex और Hermes में RegretBench के 60 कार्यों पर मूल्यांकन किया गया।

उन कार्यों के अनुपात में फ़्रेमवर्क के बीच बहुत कम अंतर था जिनमें महत्वपूर्ण डेटा का बैकअप लिया गया था, जिससे संकेत मिलता है कि इसकी मुख्य ज़िम्मेदारी स्वयं मॉडल की थी। GPT-5.4, GPT-5.5 और GPT-5.6-Sol का उपयोग करके सामान्य AI क्षमता और बैकअप जागरूकता के बीच संबंध की भी जाँच की गई।

सामान्य क्षमता में लगातार सुधार के बावजूद, बैकअप जागरूकता में उससे जुड़ा कोई सुधार नहीं मिला:

छह AI मॉडल के RegretBench परीक्षण के नतीजे। बाईं ओर: कार्य पूरे करने की दरों की तुलना उन महत्वपूर्ण कार्रवाइयों के अनुपात से की गई है जिनका पहले से बैकअप लिया गया था। इससे पता चलता है कि ज़्यादातर मॉडलों की सफलता दर ऊँची थी, लेकिन बैकअप जागरूकता कम थी। दाईं ओर: प्रति कार्य टूल कॉल की औसत संख्या दिखाई गई है, जिसमें बैकअप कार्रवाइयाँ नीले रंग में दर्शाई गई हैं। Claude Opus-5 की बैकअप दर सबसे अधिक थी, लेकिन उसकी 8.9% टूल कॉल बैकअप के लिए थीं।

GPT-5.4, GPT-5.5 और GPT-5.6-Sol का उपयोग करके सामान्य AI क्षमता और बैकअप जागरूकता के बीच संबंध की भी जाँच की गई। सामान्य क्षमता में लगातार सुधार के बावजूद, बैकअप जागरूकता में उससे जुड़ा कोई सुधार नहीं दिखा।

BackUpper

BackUpper सुरक्षा के चार स्तरों का उपयोग करता है, जिनमें से हर एक की संसाधन लागत अलग-अलग है: स्तर 1 में डेटा मिटाने वाले कमांड की जगह ऐसे विकल्प अपनाए जाते हैं जिन्हें पलटा जा सकता है, जैसे फ़ाइलों को ट्रैश में भेजना; स्तर 2 में कार्रवाइयों के साथ बैकअप कमांड जोड़े जाते हैं, जैसे अपग्रेड से पहले पैकेज के संस्करण दर्ज करना; स्तर 3 में प्रभावित वर्कस्पेस फ़ाइलों के स्नैपशॉट बनाए जाते हैं; और स्तर 4 में अधिक जटिल कार्रवाइयों से प्रभावित डेटा की पहचान करके उसे सुरक्षित रखने के लिए GPT-5.6-Luna सबएजेंट का उपयोग किया जाता है।

BackUpper चालू होने पर, सभी छह मॉडलों में स्थिति बदलने वाली हर कार्रवाई का बैकअप लिया गया। इसकी तुलना में, BackUpper के बिना महत्वपूर्ण कार्रवाइयों की औसत बैकअप दर 15.2% और अन्य बदलावों की 17.4% थी:

BackUpper के साथ बैकअप कवरेज और बहाली के नतीजे। बाईं ओर: नीले और नारंगी स्तंभ हर मॉडल की महत्वपूर्ण कार्रवाइयों और वर्कस्पेस के बाहर किए गए अन्य बदलावों की बैकअप दरें दिखाते हैं। गहरे हरे रंग की धराशायी रूपरेखाएँ बहाली की सटीकता दर्शाती हैं; हल्के हरे रंग की बिंदुदार रूपरेखाएँ BackUpper के साथ 100% बैकअप कवरेज दिखाती हैं। दाईं ओर: पाँच टूल श्रेणियों में बहाली की सटीकता की तुलना BackUpper (हरा) के साथ, उसके बाद Claude Opus-5 की मदद से पुनर्प्राप्ति (बैंगनी) के साथ, और बिना बहाली (धूसर) के की गई है। सभी श्रेणियों में सबसे अधिक सटीकता BackUpper ने हासिल की।

स्वचालित मूल्यांकनकर्ता ने जिन बैकअप को सफल माना, उनमें से 94% को मानव समीक्षकों ने भी सफल होने की पुष्टि की।

मूल स्थिति औसतन 92.2% समानता के साथ बहाल की गई। Claude Opus-5 के साथ यह समानता 33.8% थी और बिना पुनर्प्राप्ति के 14.3% (ऊपर की छवि देखें)। जैसा कि पहले बताया गया था, बाकी अंतर मुख्य रूप से दोबारा बनाए गए पहचानकर्ताओं और मामूली मेटाडेटा—जैसे ईमेल पढ़े जाने के संकेत—की वजह से थे।

खुद से करें..?

जब एजेंटों को अपना बैकअप खुद लेने के विस्तृत निर्देश दिए गए, तो 81.4% महत्वपूर्ण कार्रवाइयाँ सुरक्षित रहीं; BackUpper के साथ यह अनुपात 100% था। विफलताओं में से तीन-चौथाई का कारण यह था कि बैकअप में पुनर्प्राप्ति के लिए पर्याप्त जानकारी नहीं थी।

छह AI मॉडल के साथ 205 कार्यों पर जाँचे गए पाँच तरीकों की बैकअप दरों की तुलना। बाईं ओर का चार्ट उन कार्रवाइयों से पहले लिए गए बैकअप दिखाता है जिन पर बाद में पछतावा हुआ; दाईं ओर का चार्ट वर्कस्पेस के बाहर किए गए अन्य बदलावों की सुरक्षा दिखाता है। दोनों श्रेणियों में BackUpper ने पूरा कवरेज दिया। इसकी तुलना में, एजेंटों को बैकअप लेने के विस्तृत निर्देश देने पर दरें क्रमशः 81.4% और 80.5% थीं।

प्रॉम्प्ट कैशिंग से प्रति कार्य बैकअप की लागत $0.344 से घटकर $0.014 रह गई और विलंबता 31.7% कम हुई। टोकन की ज़रूरत सात गुना कम हुई, जिसका मुख्य कारण यह था कि नियमित कार्रवाइयाँ AI की मदद के बिना की गईं।

Terminal-Bench 4 और DeepSWE के 40 अतिरिक्त कार्यों पर GPT-5.6-Sol और Claude Opus-5 के साथ कार्यों के पूरा होने की दर घटाए बिना 100% बैकअप कवरेज हासिल की गई।

मूल्यांकन की गई तीन चयनात्मक बैकअप नीतियाँ थीं: महत्वपूर्ण बदलावों के लिए उच्च-प्रभाव; उपयोगकर्ता के निर्देशों से बाहर के बदलावों के लिए अनुरोध से परे; और मनुष्यों द्वारा तैयार की गई सामग्री के लिए मानव-कार्य। यहाँ, मानवीय निर्णयों के मुकाबले औसत F1 स्कोर 84.5% हासिल किया गया।

पुनः इस्तेमाल किए जा सकने वाले बैकअप नियम सीखने की BackUpper की क्षमता का भी परीक्षण किया गया। 30 अतिरिक्त टर्मिनल कार्यों के बाद, नियम-आधारित कवरेज 14.9% से बढ़कर 31.2% हो गई, जिससे GPT-5.6-Luna सबएजेंट पर निर्भरता कम हुई।

निष्कर्ष

अपने पेशे को देखते हुए, मुझे एजेंटिक प्रयोगों में इससे पहले ही हाथ आज़मा लेना चाहिए था; लेकिन एजेंटिक आत्म-संयम की स्पष्ट रूप से प्री-अल्फ़ा अवस्था ने मुझे इससे दूर रखा। फिर कुछ हफ्ते पहले, आखिरकार मैंने Windows VM में Codex को खुला छोड़ने का फैसला किया।

VM के दायरे में भी, मैं अपने निर्देश बहुत सावधानी से तय करता हूँ। मुझे पता है कि Astra बिना सोचे-समझे तेज़ी से आगे बढ़ता है और डेटा मिट जाने या कोड बिगड़ जाने के बाद जब वापसी का कोई रास्ता नहीं बचता, तो बस माफ़ी माँगता है; वहाँ मैं जो Python फ़्रेमवर्क बना रहा हूँ, उसके एक हिस्से के रूप में एक क्लिक में पूरा फ़्रेमवर्क संपीड़ित करके उसका बैकअप लेने वाला, क्रमिक रूप से काम करने वाला ‘.7z फ़ाइल को नेटवर्क शेयर पर सहेजें’ फ़ंक्शन भी है, जिसे मैं अक्सर इस्तेमाल करता हूँ।

एजेंटिक AI का यह दौर अभी बहुत, बहुत शुरुआती है; अगर बारीकियों पर उबाऊ हद तक लगातार ध्यान न दिया जाए, तो बात ‘इस्तेमाल करो और गंवा बैठो’ जैसी हो जाती है। एजेंटिक बैकअप व्यवस्थाओं को अभी औपचारिक रूप नहीं दिया गया है—यहाँ तक कि उनकी संकल्पना भी नहीं बनी है।

* शीर्षक था पछताने से पहले बैकअप लें: कोडिंग एजेंटों में बैकअप-जागरूकता का मापन और बैकअप को स्वचालित करना।

^† ज़ोर लेखकों ने दिया है, मैंने नहीं; और सभी हाइपरलिंक लेखकों के पाठ में दिए गए उद्धरणों के आधार पर मैंने जोड़े हैं।

पहली बार प्रकाशित: गुरुवार, 22 अक्टूबर 2026