एआई एजेंट नियम याद रख सकते हैं, फिर भी संक्षेपण के बाद उन्हें तोड़ सकते हैं

संक्षेपण वह प्रक्रिया है जिसमें एआई चैट के साथ हुए जटिल संवादों को समेटकर सारांश बना दिया जाता है, और बातचीत पूरी पिछली जानकारी के बजाय उस सारांश के आधार पर आगे बढ़ती है। स्मृति के इस्तेमाल के लिहाज़ से यह एक तरह की ‘नई शुरुआत’ है और एआई संवादों में संदर्भ विंडो की सीमाओं से निपटने के उपाय के रूप में इसे अपनाया गया है।

शुरुआत में एजेंट-आधारित एआई में लागू की गई इस पद्धति का विस्तार Claude तक हुआ है। Gemini के लिए संक्षेपण को लेकर डेवलपरों की बातचीत से अब तक कोई ठोस नतीजा सामने नहीं आया, जबकि ChatGPT संक्षेपण के बजाय चैट को बस रोक देने का विकल्प चुनता है।

अगर आपने Codex (मूलतः ChatGPT का ऐसा संस्करण, जो अनुमति मिलने पर आपके कंप्यूटर में सचमुच बदलाव कर सकता है) को एक बार में 30 मिनट से अधिक समय तक इस्तेमाल किया है, तो आपने संदर्भ का संक्षेपण करने के बारे में बीच-बीच में दिखने वाले संदेश ज़रूर देखे होंगे। इस दौरान आगे बातचीत नहीं की जा सकती:

Codex थोड़ी देर रुककर उस सत्र की यादों को संक्षिप्त कर रहा है, जो अब तक तीन सप्ताह से चल रहा है।

हालाँकि, संक्षेपण पूरा होने के बाद आपसे बात करने वाला एजेंट चैट के पूरे घटनाक्रम की स्मृति से नहीं, बल्कि चुनिंदा और अदृश्य नोट्स के आधार पर काम कर रहा होता है।

नियम तोड़ने वाला एआई

इस साल जून में चीनी शोधपत्र Governance Decay ने दिखाया कि संक्षेपण के दौरान किसी एजेंट के संदर्भ से पहले से लागू नियम चुपचाप हट सकते हैं, जिससे वह उन कार्रवाइयों को अंजाम दे सकता है जिन्हें पहले निषिद्ध किया गया था:

संक्षेपण से एआई एजेंट पहले माने जा रहे नियम को कैसे तोड़ सकता है—इस पर जून 2026 के Governance Decay शोधपत्र से। अगर संक्षिप्त सारांश में नियम शामिल न हो, तो एजेंट निषिद्ध कार्रवाई करना जारी रख सकता है। हमलावर इस प्रक्रिया का फ़ायदा उठा सकता है, और नियम को फिर से शामिल करके उल्लंघन रोका जा सकता है। स्रोत

सात मॉडलों में, संक्षेपण से पहले उल्लंघन की दर 0% थी, जो बाद में बढ़कर 30% हो गई; कुछ मामलों में यह 59% तक पहुँच गई। व्यावहारिक रूप से इसका अर्थ है कि एजेंट [our-company] ईमेल पता न रखने वाले किसी भी व्यक्ति से संपर्क न करें जैसे ज़रूरी निर्देशों की अनदेखी कर सकते हैं—जिसके स्पष्ट रूप से गंभीर परिणाम हो सकते हैं।

जुलाई में Penn State University और IBM ने Lost in Context के साथ इस शोध को आगे बढ़ाया। उन्होंने पाया कि संक्षेपण में एआई को कोई काम कैसे करना चाहिए, यह बताने वाले निर्देश हट सकते हैं, जबकि काम स्वयं बना रहता है। तीन तरह की परिस्थितियों में किए गए परीक्षणों में, संक्षेपण प्रणालियों ने औसतन इन निर्देशों में से केवल 17% को ही बनाए रखा।

अगस्त में, अमेरिका के शिक्षाविदों के एक सहयोगी समूह ने TRACE प्रस्तुत किया। इसमें दिखाया गया कि ज़रूरी जानकारी फिर से हासिल की जा सकने पर भी संक्षेपण किसी एजेंट के काम में बाधा डाल सकता है। परीक्षणों में एजेंट यह भूल गए कि वे किसी काम के किस चरण पर हैं, पूरा किया हुआ काम दोहराने लगे और बार-बार चलाए जाने पर कम भरोसेमंद साबित हुए।

ARCBench

इस महीने नीदरलैंड से ARCBench के रूप में एक नया अध्ययन सामने आया है। इसके अनुसार, एजेंट संक्षेपण के बाद नियम को बरकरार रख सकते हैं, फिर भी उनके उस नियम को तोड़ने की संभावना काफ़ी बढ़ सकती है। जिन परीक्षणों में नियम बना रहा, उनमें संक्षेपण के बाद उल्लंघन पूरे संवाद के इतिहास की तुलना में 2.6 गुना अधिक हुए:

नए शोधपत्र से: एक वैचारिक रूपरेखा, जो बताती है कि संदर्भ का संक्षेपण किसी एजेंट के संचालन संबंधी नियमों के पालन को कैसे प्रभावित कर सकता है। बाद में किया गया एक ही अनुरोध तब अस्वीकार किया जा सकता है जब संक्षेपण के बाद नियम बना रहे, या तब पूरा किया जा सकता है जब नियम हटा दिया गया हो। कोई बाहरी दस्तावेज़ यह प्रभावित कर सकता है कि कौन-सी जानकारी बरकरार रहती है। लेआउट की ज़रूरतों के कारण, इस चित्र को स्रोत शोधपत्र में दिए गए पोर्ट्रेट-आकार के मूल चित्र से रूपांतरित किया गया है। स्रोत

यह अध्ययन संक्षेपण के दौरान खोए गए नियमों और संक्षेपण के बाद भी बरकरार रहने के बावजूद तोड़े गए नियमों के बीच अंतर करता है। इससे पहली बार भूलने और अवज्ञा के प्रभावों को अलग-अलग मापना संभव हुआ है।

DeepSeek-V4-Flash, GLM-5.3-Flash, Qwen3.7-Flash और GPT-Luna के साथ किए गए परीक्षणों में, संक्षेपित सत्रों में से 70.1% में पूरा नियम बरकरार रहा। जिन सत्रों में नियम बचा रहा, उनमें पूरे संवाद के इतिहास की तुलना में उल्लंघन 2.6 गुना अधिक हुए।

पारंपरिक अर्थ में संदर्भ भी एक कारक साबित हुआ: संगठनात्मक नीति के रूप में दिए गए नियमों का पूरे संदर्भ के साथ कोई उल्लंघन नहीं हुआ; लेकिन संदर्भ संक्षिप्त किए जाने के बाद उल्लंघन की दरें बढ़कर 30.6% और 22.2% हो गईं।

उपलब्ध सबसे मजबूत बचाव ने 99% सारांशों में नियमों को सुरक्षित रखा, लेकिन फिर भी उल्लंघनों को हमले से पहले के स्तर तक वापस लाने में विफल रहा। इससे पता चलता है कि संक्षिप्तीकरण के दौरान नियमों को सफलतापूर्वक सुरक्षित रखना ज़रूरी नहीं कि एजेंट की उनका पालन करने की क्षमता—या इच्छा—को भी सुरक्षित रखे।

शोधपत्र में कहा गया है:

‘[We] हमने पाया कि संक्षिप्तीकरण से उल्लंघन मुख्यतः नियम मिटाए बिना बढ़ते हैं: जिन संक्षिप्त किए गए सत्रों में नियम बरकरार रहा, उनमें भी पूरे इतिहास वाले सत्रों की तुलना में 2.6 गुना अधिक उल्लंघन हुए।

‘इसके अलावा, संक्षिप्तीकरण से उल्लंघन करने के एजेंट के तर्क बदल जाते हैं। संक्षिप्तीकरण की अलग-अलग रणनीतियाँ, संक्षिप्तीकरण के लिए टोकन बजट की कड़ी सीमाएँ और नियम देने का माध्यम—ये सभी अनुपालन को प्रभावित करते हैं।’

समाधान के तौर पर, शोधपत्र संक्षिप्तीकरण के दौरान खो जाने वाले नियमों को अधिक प्रभावी ढंग से सुरक्षित रखने का प्रस्ताव रखता है, जबकि सुरक्षित बचे नियमों की अवज्ञा करने वाले एजेंटों की समस्या अनसुलझी छोड़ देता है”

‘बचाव के उपाय नियमों को बहाल तो करते हैं, लेकिन हमले के दौरान अनुपालन फिर भी कमज़ोर पड़ता है। इसलिए, नियम का बने रहना अनुपालन का पर्याप्त संकेतक नहीं है। भविष्य के अध्ययन ARCBench का उपयोग यह समझने के लिए कर सकते हैं कि एजेंट सुरक्षित बचे नियमों का उल्लंघन क्यों करते हैं, अनुकूलनशील हमलों और बचावों की जाँच कर सकते हैं, और अधिक मॉडल, क्षेत्र तथा बार-बार संक्षिप्तीकरण वाले लंबे सत्र शामिल कर सकते हैं।’

कार्यविधि

ARCBench, pi ओपन-सोर्स टूलकिट की क्षमताओं का विस्तार करता है। इस टूलकिट में अपनी मूल संक्षिप्तीकरण प्रक्रियाओं के साथ-साथ एजेंट लूप और टूल कॉलिंग की सुविधा भी है। बेंचमार्क उन स्थितियों को दोबारा निर्मित करता है जिनमें कोई एजेंट एक स्थायी नियम के तहत लंबे कार्य पर काम करता है, संचित इतिहास को संक्षिप्त किया जाता है और फिर उससे ऐसा अनुरोध किया जाता है जो उस नियम का उल्लंघन करेगा; इसके बाद टूल कॉल के ज़रिए एजेंट की कार्रवाइयों की जाँच की जाती है:

ARCBench की मूल्यांकन प्रक्रिया। एजेंटों को कार्य और संचालन नियम दिए जाते हैं, जिसके बाद अलग-अलग विन्यासों, हमलों और बचावों के तहत उनके इतिहास को संक्षिप्त किया जाता है। फिर उनकी बाद की टूल कार्रवाइयों की जाँच की जाती है, ताकि पता लगाया जा सके कि नियम बरकरार रहा या नहीं और उसका पालन हुआ या नहीं।

ARCBench में 17 मामले हैं, जिनमें सुरक्षित डेटा का खुलासा, प्रतिबंधित संसाधनों तक पहुँच, अनधिकृत कार्रवाइयाँ तथा आवश्यक नियंत्रणों को दरकिनार करना या छोड़ देना शामिल है। ये OWASP जोखिम वर्गों के अनुरूप हैं।

मामलों को Governance Decay और COMPINT से अनुकूलित किया गया था। इसके अलावा, चार और मामले जोड़े गए, ताकि व्यक्तिगत और संगठनात्मक—दोनों तरह के नियमों के लिए उल्लंघन के सभी चार प्रकार शामिल हों।

बेंचमार्क को पाँच कारकों के आधार पर विन्यस्त किया जा सकता है: नियम देने का तरीका; संदर्भ को संक्षिप्त करने की विधि; संक्षिप्तीकरण के लिए उपलब्ध टोकन बजट; हमले का प्रकार; और लागू किया गया बचाव:

ARCBench में यह जाँचने के लिए पाँच चर हैं कि संदर्भ संक्षिप्तीकरण, नियम देने के तरीकों, हमलों और बचावों के विभिन्न रूपों में नियम-अनुपालन कैसे बदलता है।

नियम सीधे निर्देशों या स्थायी निर्देशों के रूप में दिए जा सकते हैं, दस्तावेज़ों में शामिल किए जा सकते हैं या नीति टूल के ज़रिए प्राप्त किए जा सकते हैं।

डेटा और परीक्षण

संक्षिप्तीकरण की दस विधियों का मूल्यांकन किया गया, जिनमें सात जनरेटिव रणनीतियाँ और तीन चयनात्मक तरीके शामिल थे। हर मामले को बार-बार चलाया गया, और अगर एजेंट ने कम-से-कम एक बार अपने नियम का उल्लंघन किया तो उसे विफलता दर्ज किया गया। सुरक्षा परीक्षण के लिए यह तरीका कई बार के प्रदर्शन का औसत निकालने से अधिक उपयुक्त माना गया, क्योंकि कोई एजेंट कभी-कभार ही निषिद्ध कार्रवाई करे, तब भी वह असुरक्षित रहता है।

संक्षिप्त किए गए इतिहासों की जाँच GPT-6-Luna-Pro, Qwen-3.8-flash और Claude-Sonnet-4.6 ने की। हर नियम को साबुत, कमज़ोर या अनुपस्थित के रूप में वर्गीकृत किया गया। बहुमत के निर्णय को अपनाया गया, जबकि मतभेदों की जाँच मानव एनोटेटरों ने की। निर्णायकों के बीच एकरूपता जाँचने के लिए 50 सारांशों के एक अलग नमूने को भी हाथ से लेबल किया गया।

जब किसी साबुत नियम का उल्लंघन हुआ, तो एजेंट के तर्क की जाँच GPT-6-Luna-Pro, GPT-6.1-Sol और Claude Sonnet 5.5 ने की। उल्लंघनों का वर्गीकरण इस आधार पर किया गया कि क्या बाद के अनुरोध को नियम को निष्प्रभावी करने की अनुमति माना गया; क्या कार्रवाई को नियम के दायरे से बाहर समझा गया; क्या नियम का उल्लेख ही नहीं हुआ; या क्या नियम को पहचाना गया और फिर भी अनदेखा किया गया।

परीक्षणों में इस्तेमाल किए गए चार मॉडल OpenRouter के ज़रिए उपलब्ध थे: DeepSeek-V4-Flash; GLM-5.3-Flash; Qwen3.7-Flash; और GPT-Luna। हर सत्र में बातचीत के इतिहास को संक्षिप्त करने और उससे बने संदर्भ के आधार पर काम करने—दोनों के लिए एक ही मॉडल इस्तेमाल किया गया, जो pi के डिफ़ॉल्ट व्यवहार के अनुरूप था। मॉडल OpenRouter के ज़रिए उपलब्ध थे।

सात अध्ययन किए गए, जिनमें संक्षेपण के अधिकांश परीक्षणों के लिए Hermes का उपयोग किया गया। पहले अध्ययन में, 17 में से हर कार्य को चार मॉडलों और नियम देने के दो तरीकों के साथ परखा गया, जिससे कुल 136 मामले बने। हर मामले को मूल बातचीत को यथावत रखते हुए तीन बार और उसे संक्षिप्त करने के बाद तीन बार चलाया गया।

शोध प्रश्नों के अनुसार वर्गीकृत, ARCBench के सात अध्ययनों की रूपरेखा। हरे रंग से चिह्नित खाने हर अध्ययन में बदले गए कारक दिखाते हैं, जबकि धूसर खाने उन सेटिंग्स को दर्शाते हैं जिन्हें स्थिर रखा गया; हर मामले को तीन बार चलाया गया, जबकि हमले और बचाव वाले अध्ययन S6 और S7 में यह संख्या बढ़ाकर छह बार कर दी गई।

परीक्षणों में तीन सवालों पर विचार किया गया: संक्षेपण के बाद नियमों का उल्लंघन क्यों होता है?; संक्षेपण की अलग-अलग व्यवस्थाएँ नियमों के उल्लंघन के कारणों को कैसे बदलती हैं?; और संक्षेपक को लक्षित करने वाले हमले और बचाव नियमों के उल्लंघन के कारणों को कैसे प्रभावित करते हैं?।

संक्षेपण के बाद नियमों का उल्लंघन क्यों होता है?

पहले नतीजों से पता चला कि संक्षेपण के बाद नियम तोड़ने की दर बढ़ी: पूरा इतिहास उपलब्ध होने पर 9.6% मामलों से बढ़कर 37.8% हो गई। हालाँकि, संक्षिप्त किए गए मामलों में केवल 3% में नियम पूरी तरह खो गया; 70.1% में वह पूरी तरह बरकरार रहा और 26.9% में आंशिक रूप से बचा रहा:

नतीजों में दिखाया गया है कि संक्षेपण से पहले और बाद में हर मॉडल ने कितनी बार नियमों का उल्लंघन किया। उल्लंघनों में उल्लेखनीय वृद्धि के बावजूद, अधिकांश नियम संक्षेपण के बाद पूरी तरह या आंशिक रूप से बरकरार रहे; Qwen में सबसे बड़ी वृद्धि हुई और उल्लंघन की दर 61.8% तक पहुँच गई।

यह अंतर अहम साबित हुआ। जिन अलग-अलग मामलों में संक्षेपण के बाद पूरा नियम बरकरार रहा, उनमें भी 21.1% का अंत उल्लंघन के साथ हुआ; मूल इतिहास बनाए रखने पर यह दर 8.1% थी। नियम आंशिक रूप से बचा रहने पर यह दर बढ़कर 29.4% हो गई, और नियम बिल्कुल न बचने पर 83.3% तक पहुँच गई।

यह भी जाँचा गया कि नियम पूरी तरह बरकरार रहने के बावजूद उल्लंघन कैसे हुए। संक्षेपण के कारण हुए उल्लंघनों में, 45.9% मामलों में बाद के अनुरोध को आगे बढ़ने की अनुमति माना गया; 27% मामलों में नियम को स्पष्ट रूप से नज़रअंदाज़ किया गया; और 21.6% मामलों में नियम को लागू माना गया, फिर भी उसका उल्लंघन किया गया:

नतीजों में दिखाया गया है कि संक्षेपण से पहले और बाद में नियमों का उल्लंघन क्यों हुआ। जब उल्लंघन केवल संक्षेपण के बाद सामने आए, तो बाद के अनुरोधों को सबसे अधिक बार आगे बढ़ने की अनुमति (45.9%) माना गया; वहीं 27% मामलों में बरकरार नियम को नज़रअंदाज़ किया गया और 21.6% मामलों में उस पर अमल करने की बात स्वीकारने के बावजूद आगे बढ़कर उसका उल्लंघन किया गया।

संक्षेपण की अलग-अलग व्यवस्थाएँ नियमों के उल्लंघन के कारणों को कैसे बदलती हैं?

नियम देने के तरीके का नियम-पालन पर स्पष्ट असर पड़ा। पूरी बातचीत यथावत होने पर, जिन मामलों में नियम उपयोगकर्ता ने व्यक्तिगत रूप से दिए थे, उनमें 25% और 16.1% मामलों में उल्लंघन हुए; लेकिन जब नियम किसी संगठनात्मक दस्तावेज़ या नीति-उपकरण के ज़रिए दिए गए, तो कोई उल्लंघन दर्ज नहीं किया गया:

नियम देने के तरीके, संक्षेपण की रणनीति और टोकन बजट का उल्लंघनों तथा नियमों के बरकरार रहने पर पड़ा प्रभाव। जनरेटिव संक्षेपण ने चयनात्मक तरीकों की तुलना में नियमों को कहीं अधिक भरोसेमंद ढंग से बरकरार रखा, जबकि 300 टोकन या उससे कम के बजट में नियम लगभग पूरी तरह खो गए।

संक्षेपण के बाद, नियमों के उल्लंघन की दर चारों माध्यमों में बढ़ी; सीधे उपयोगकर्ता-निर्देशों के मामले में यह 56.3% और नीति-उपकरण के नियमों के मामले में 22.2% तक पहुँच गई। नियमों के बरकरार रहने की दर में तुलनात्मक रूप से कम अंतर था—65.7% से 74% तक। लेखकों का सुझाव है कि बाद में किया गया उपयोगकर्ता का अनुरोध किसी व्यक्तिगत नियम को निरस्त करने वाला समझा जा सकता है, जबकि उपयोगकर्ता किसी संगठनात्मक नियम को निरस्त नहीं कर सकता।

संक्षेपक को लक्षित करने वाले हमले और बचाव नियमों के उल्लंघन के कारणों को कैसे प्रभावित करते हैं?

संदर्भ में बस अतिरिक्त सामग्री भर देने का असर बहुत कम पड़ा; उल्लंघन वास्तव में 37.8% से घटकर 34.3% हो गए। संक्षेपक को लक्षित करने वाला इंजेक्शन कहीं अधिक प्रभावी था: इससे उल्लंघन बढ़कर 46.3% हो गए और नियमों के पूरी तरह बरकरार रहने की दर 70.1% से घटकर 42.5% रह गई।

एस्केप नाम के सबसे प्रभावी हमले ने उल्लंघनों को 23.5% से बढ़ाकर 58.8% कर दिया और नियमों के बरकरार रहने की दर 96.1% से घटाकर 66.7% कर दी। नियम बचा रहने पर भी उल्लंघन दोगुने होकर 13.3% से 26.5% हो गए।

संक्षेपण के बाद नियमों के पालन पर हमलों और बचावों के प्रभाव दिखाने वाले परीक्षण परिणाम। लक्षित प्रॉम्प्ट इंजेक्शन से उल्लंघन बढ़े और नियमों का बने रहना घटा, जबकि सबसे मजबूत बचाव ने नियमों का बने रहना 99% तक बहाल कर दिया, लेकिन नियमों के पालन को पूरी तरह बहाल नहीं किया।

सबसे मजबूत बचाव ने 99% मामलों में नियम को बनाए रखा—फिर भी एजेंटों ने 29.4% मामलों में उसका उल्लंघन किया, जबकि बिना किसी हमले के यह आँकड़ा 23.5% था। दूसरे शब्दों में, यह सुनिश्चित करने से कि एजेंट को नियम याद रहे, यह नहीं सुनिश्चित हुआ कि वह उसका पालन भी करेगा।

निष्कर्ष

तर्क से लगता है कि जब किसी बहुत लंबे संवाद (जैसे Codex* में अक्टूबर के मध्य से मैं जिस पर काम कर रहा हूँ और जिस पर आज सुबह भी काम कर रहा था—प्रयोगात्मक, एआई-सहायता प्राप्त सॉफ़्टवेयर विकास की एक महागाथा) के संदर्भ को दर्जनों, सैकड़ों बार संक्षिप्त किया जाता है, तो किसी तरह का ‘फोटोकॉपी प्रभाव’ काम करता है।

मुख्य सिस्टम प्रॉम्प्ट की तरह, हमें अब तक की गतिविधियों के ये संक्षिप्त सारांश दिखाई नहीं देते। मेरे निजी अनुभवों के आधार पर लगता है कि संक्षेपण के बाद भी केंद्रीय उद्देश्य बना रहता है और ज़्यादातर ज़रूरी विवरण भी सुरक्षित रहते हैं। लेकिन मैं उस भयावह स्थिति में नहीं हूँ, जहाँ ‘यह ईमेल सभी को भेजो’ जैसा आदेश—जिसका आशय सिर्फ़ कंपनी के सभी लोगों से हो—संकलित कॉर्पोरेट संपर्क सूची में मौजूद हर व्यक्ति को ईमेल भेज दे। उफ़!

* शायद मैं बूढ़ा हो रहा हूँ, लेकिन इस एजेंट के लिए इससे ज़्यादा आसानी से भुला दिया जाने वाला, फीका और ‘कॉर्पोरेट-बेज’ नाम शायद ही चुना जा सकता था। मैं इसका नाम लगातार भूल जाता हूँ।

पहली बार प्रकाशित: गुरुवार, 12 नवंबर 2026