Anderson का एंगल
एआई के लिए अधूरा काम सँभालना कठिन क्यों है
Unite.AI को Google पर अपने पसंदीदा स्रोतों में जोड़ें
हालाँकि एआई एजेंट जटिल काम हल कर सकते हैं, एक नया अध्ययन संकेत देता है कि उन्हें किसी दूसरे के शुरू किए हुए काम को आगे बढ़ाने में कठिनाई होती है। इससे प्रयास दोहराने पड़ते हैं, प्रगति धीमी होती है और लागत बढ़ती है।
एआई एजेंटों और उनके इंटरफ़ेस के साथ काम करने का एक बेहद थकाऊ लेकिन ज़रूरी हिस्सा यह है कि लगभग हर बातचीत की शुरुआत में एआई को मौजूदा स्थिति समझानी पड़ती है। [1]
हालाँकि ChatGPT जैसे लोकप्रिय भाषा मॉडल उपयोगकर्ता के अनुसार ढाली गई स्थायी स्मृति तक कुछ पहुँच देते हैं, यह सुविधा हमेशा भरोसेमंद ढंग से काम नहीं करती। अंततः एआई को काम का संदर्भ समझाने की मेहनत करना* आम तौर पर अधिक सुरक्षित है, ताकि कम से कम मॉडल प्रशिक्षण के दौरान बने अपने लेटेंट स्पेस से ग़लत संदर्भ का अनुमान न लगाए।
वास्तविक दुनिया में अधूरा काम सँभालना
यह चुनौती निश्चित रूप से एआई से पुरानी है। कई कंपनियाँ कर्मचारियों से पहले ही उन प्रक्रियाओं का दस्तावेज़ तैयार करने और सँभालने को कहती हैं जिन्हें वे विकसित या बेहतर बनाते हैं। इसका एक उद्देश्य नए कर्मचारियों को काम समझने में आसानी देना है, लेकिन यह भी तर्क दिया जा सकता है कि इससे कर्मचारियों की सौदेबाज़ी की ताक़त बढ़ने से रोकी जाती है।
लेकिन व्यवहार में अक्सर बड़े और अधिक धन-संसाधन वाले संगठन ही दस्तावेज़ बनाने, अद्यतन करने और सँभालने का वादा निभाते हैं। दूसरों का काम सँभालने वाले कर्मचारियों को बहुत बार इसके बजाय जासूस जैसा काम करना पड़ता है: उन्हें घटनाओं का क्रम बड़ी सावधानी से फिर जोड़ना पड़ता है, ताकि समझ सकें कि अब उन्हें मिला अधूरा काम इस स्थिति तक कैसे पहुँचा।
बेहतरीन दस्तावेज़ कई दिनों, हफ़्तों या महीनों की मेहनत बचा सकते हैं, बशर्ते उन्हें तैयार करना आर्थिक रूप से उचित हो।
हालाँकि, जब काम करने वाले एआई एजेंट हों, तो इस समस्या को सुलझाने की गुंजाइश अधिक हो सकती है।
काम का हस्तांतरण
अमेरिका का एक नया शोधपत्र दस्तावेज़ न होने से पैदा इस बोझ को मापता है और इस समस्या को हैंडऑफ़ ऋण कहता है।
यदि तकनीकी ऋण बताता है कि आज के तेज़, कामचलाऊ और सस्ते तकनीकी समाधान भविष्य में नाज़ुक या कठिन रखरखाव वाले सिस्टम पैदा करते हैं, तो हैंडऑफ़ ऋण दोबारा जानकारी जुटाने की लागत को दर्शाता है। इसमें पहले काम करने वाले व्यक्ति या किसी अन्य इकाई के छोड़े हुए संकेतों से उसके कदमों को फिर समझना पड़ता है। मुमकिन है कि वह व्यक्ति विवादपूर्ण बर्खास्तगी, अत्यधिक व्यस्तता या मृत्यु के कारण सलाह देने के लिए उपलब्ध न हो; या किसी ऐसे भाषा मॉडल की तरह सलाह देने में असमर्थ हो जो वर्तमान काम की स्थिति बनाने वाला संदर्भ पहले ही खो चुका हो।
यह नया शोधपत्र† स्वतंत्र शोधकर्ताओं और जॉर्जिया स्टेट यूनिवर्सिटी से जुड़े शोधकर्ताओं का संयुक्त काम है। इसमें कोडिंग एजेंटों के संदर्भ में हैंडऑफ़ ऋण का अध्ययन किया गया है, जब उन्हें कोडबेस में किसी अन्य सत्र, व्यक्ति या इकाई के रुकने की जगह से काम आगे बढ़ाना हो। [1]
एक उद्देश्य यह तय करना है कि हैंडऑफ़ ऋण घटाने के लिए कितना दस्तावेज़ीकरण चाहिए और समस्या कम करने के लिए भविष्य में किन प्रक्रियाओं तथा प्रोटोकॉल को मानक कार्यपद्धति के रूप में अपनाने की सिफ़ारिश की जा सकती है।
बजट की समस्या
आदर्श स्थिति में लॉगिंग को विस्तृत verbose मोड पर सेट करके अधूरे काम के लॉग सीधे नए एजेंट को दिए जा सकते हैं जो काम सँभाल रहा है।
लेकिन इतने बड़े डेटा से उपयोगी जानकारी निकालने में समय लगेगा, टोकन बजट खर्च होगा और स्टोरेज की सीमा भी सामने आ सकती है।
यह वास्तव में बजट की समस्या है: कच्चे डेटा डंप को संसाधित करना भारी पड़ता है, जबकि छाँटकर व्यवस्थित किए गए लॉग कम उलझन पैदा करते हैं लेकिन उनके लिए पहले से संसाधन लगाने पड़ते हैं।
हस्तांतरण के लिए विशेष रूप से तैयार नोट्स नए एजेंट को स्थिति समझाने में बहुत कारगर होंगे। लेकिन उन्हें तैयार करने में और मेहनत लगेगी, जिसकी कभी ज़रूरत ही न पड़े यदि काम का तर्क अंततः अपने आप स्पष्ट हो जाए, काम छोड़ दिया जाए या उसे फिर कभी संशोधित न किया जाए।
नए शोधपत्र Handoff Debt: The Rediscovery Cost When Coding Agents Take Over Interrupted Tasks के लेखकों ने इन सभी परिस्थितियों पर विचार किया और हैंडऑफ़ ऋण मापने तथा उससे निपटने के नए तरीक़ों के लिए मौजूदा कार्य मॉडल ढाले। हालाँकि शोध कोडिंग एजेंटों पर केंद्रित है, यह एआई के व्यापक उपयोग और दस्तावेज़ीकरण नीतियों के प्रबंधन के लिए भी उपयोगी दिशा दिखा सकता है।
लेखकों का कहना है:
“हैंडऑफ़ ऋण तब पैदा होता है जब कोई एजेंट दिखाई देने वाली प्रगति करता है लेकिन ऐसी स्थिति छोड़ जाता है जहाँ से अगला एजेंट आसानी से आगे नहीं बढ़ सकता, जैसे बिना स्पष्टीकरण के बदलाव, अस्थायी कार्य फ़ाइलें, छिपी धारणाएँ या सत्यापन के सबूतों का अभाव।
“सिर्फ़ अंतिम समाधान पर आधारित मापदंड जानकारी दोबारा जुटाने की महँगी प्रक्रिया और कुशलतापूर्वक काम आगे बढ़ाने के बीच अंतर नहीं कर सकता।
“दो पूर्ववर्ती एजेंट रिपॉजिटरी का एक ही चेकपॉइंट छोड़ सकते हैं, फिर भी उनके बाद आने वाले एजेंटों को काम जारी रखने की बहुत अलग लागत उठानी पड़ सकती है। एक तुरंत आगे बढ़ सकता है, जबकि दूसरे को अस्थायी फ़ाइलों और अधूरे कमांड इतिहास से इरादा फिर समझने के लिए टूल से कई बार संवाद करना पड़ सकता है।”
विधि
लेखक पूर्ववर्ती को वह पिछला एजेंट बताते हैं जिसने काम शुरू किया या अंतिम बार उसे किया, और अगले एजेंट को वह वर्तमान एजेंट बताते हैं जिसे काम सँभालना है।
एजेंटों के बीच अधूरे सॉफ़्टवेयर इंजीनियरिंग काम के हस्तांतरण की लागत मापने वाला बेंचमार्क बनाने के लिए, SWE-bench Verified से 75 कार्यों को 181 हस्तांतरण परिदृश्यों में बदला गया। हर परिदृश्य उस बिंदु को दर्शाता है जहाँ काम रोककर अगले एजेंट को दिया गया। फिर तीन अलग-अलग अगले एजेंट मॉडलों को काम सँभालने के 2,172 प्रयासों में परखा गया।
हस्तांतरण परीक्षणों में इन मॉडल परिवारों को अलग-अलग जोड़ियों में इस्तेमाल किया गया: Qwen, Gemma, और Devstral.
प्रयोगों में विरासत में मिलने वाली जानकारी के चार स्तर जाँचे गए। सबसे सीमित स्थिति में अगले एजेंट को केवल रिपॉजिटरी की अवस्था मिली, मानो वह बिना दस्तावेज़ वाले किसी आपदाग्रस्त क्षेत्र में पहुँच गया हो। अन्य स्थितियों में क्रमशः अधिक विस्तृत संदर्भ दिया गया: गतिविधि रिकॉर्ड और कमांड इतिहास से लेकर पहले आज़माए गए तरीक़ों तथा सीखी गई बातों के संक्षिप्त सारांश तक।
| केवल रिपॉजिटरी
अगले एजेंट को सिर्फ़ रिपॉजिटरी और काम का विवरण मिलता है। पहले के कदमों, निर्णयों या असफल प्रयासों का कोई रिकॉर्ड नहीं मिलता। |
कच्चा गतिविधि रिकॉर्ड
अगले एजेंट को पूर्ववर्ती का पूरा इतिहास मिलता है, जिसमें हर कमांड, अवलोकन, बदलाव, सफलता और विफलता शामिल होती है। |
| सारांश नोट्स
अगले एजेंट को पूर्ववर्ती के गतिविधि इतिहास से बना प्राकृतिक भाषा का सारांश मिलता है, जो मुख्य जानकारी को गद्य में समेटता है। |
संरचित नोट्स
अगले एजेंट को संक्षिप्त हस्तांतरण दस्तावेज़ मिलता है, जिसमें मानकीकृत खंड काम की स्थिति, किए गए बदलाव और सत्यापन परिणाम बताते हैं। |
केवल यह देखने के बजाय कि काम अंततः हल हुआ या नहीं, अध्ययन को खुद काम जारी रखने की लागत मापने के लिए तैयार किया गया। इसमें टूल के उपयोग, टोकन की खपत और पिछले काम के पीछे का तर्क फिर समझने की मेहनत पर ध्यान दिया गया।
प्रयोगों के लिए तीन हस्तांतरण शुरू होने के बिंदु और तीन हस्तांतरण अवस्थाएँ तय की गईं:
| हस्तांतरण शुरू होने का बिंदु | हस्तांतरण की अवस्था |
|---|---|
| सोर्स कोड में पहले बदलाव के बाद। पहले कोड परिवर्तन के बाद। पहला एजेंट काम शुरू कर चुका है, लेकिन अभी तक यह नहीं देखा है कि परिवर्तन वास्तव में काम करता है या नहीं। | पूर्णता की आवश्यकता है। कार्य अधूरा है, और उत्तराधिकारी को सही समाधान तक पहुंचने के लिए काम जारी रखना होगा। |
| पहले सत्यापन परिणाम के बाद। पहला एजेंट पहले ही टेस्ट या सत्यापन का चरण चला चुका है, जिससे प्रगति का कुछ सबूत मिलता है। | पहले ही हल: सुरक्षित रखना है। काम वास्तव में पूरा हो चुका है और अगले एजेंट को केवल उसे बिगड़ने से बचाना है। |
| विफलता के बाद पहले बदलाव के पश्चात। एक परीक्षण विफल हो गया है और पहला एजेंट पहले से ही प्रतिक्रिया देने के लिए एक और परिवर्तन करने का प्रयास कर चुका है। | पहले से काम करने वाली सुविधा बिगड़ी। जो सुविधा पहले काम कर रही थी, अब नहीं कर रही। |
डेटा और परीक्षण
वास्तविक हस्तांतरण परिदृश्य बनाने के लिए लेखकों ने SWE-bench Verified के 75 सॉफ़्टवेयर इंजीनियरिंग कार्यों से बेंचमार्क बनाया। ध्यान उन समस्याओं पर था जिन्हें हल करने में आम तौर पर 15 मिनट से 4 घंटे लगते हैं।
केवल पूरे हो चुके काम का मूल्यांकन करने के बजाय, शोधकर्ताओं ने काम के दौरान कई मध्यवर्ती चेकपॉइंट दर्ज किए, ताकि ऐसी स्थितियाँ बनें जहाँ एक एआई एजेंट को दूसरे का काम सँभालना पड़े:
काम सँभालने के बेंचमार्क का निर्माण। SWE-bench Verified के 75 कार्यों से काम के तीन चरणों में 181 हस्तांतरण बिंदु बनाए गए। उन्हें काम सँभालने के समय रिपॉजिटरी की स्थिति के अनुसार चिह्नित किया गया और जानकारी साझा करने की चार स्थितियों में परखा गया, जिससे अगले एजेंटों के काम सँभालने के कुल 2,172 रन प्राप्त हुए। स्रोत
हर कार्य से कई हस्तांतरण बिंदु बन सकते थे और प्रत्येक बिंदु को जानकारी देने के चार अलग-अलग रूपों में परखा गया, इसलिए बेंचमार्क तेज़ी से बढ़ा। अंतिम डेटा में 181 अलग हस्तांतरण कार्य और हर अगले एजेंट मॉडल के लिए 724 मूल्यांकन थे। तीन एआई सिस्टम में कुल 2,172 रन हुए।
प्रोग्रामिंग परीक्षणों के लिए OpenHands जैसे कोडिंग एजेंट परिवेश का उपयोग किया गया, जिसमें टर्मिनल कार्रवाइयाँ, हस्तांतरण बिंदुओं पर रिपॉजिटरी की अवस्था स्थिर करना, फ़ाइल संपादन और आधिकारिक SWE-bench सत्यापन शामिल थे।
मुख्य अध्ययन में सभी हस्तांतरण बिंदु उन रन से लिए गए जिनमें Qwen पूर्ववर्ती एजेंट था, ताकि विभिन्न एजेंट जोड़ियों और परिस्थितियों की तुलना के लिए शुरुआती बिंदु एक ही रहे।
परखी गई जोड़ियाँ Qwen → Qwen, Qwen → Gemma और Qwen → Devstral थीं।
कच्चे गतिविधि रिकॉर्ड से अगले एजेंट की मेहनत सबसे अधिक घटी: एजेंट इवेंट 57–59% कम हुए, जबकि सारांश नोट्स और संरचित नोट्स से इवेंट 20–46% कम हुए। तीनों तरीक़ों में इनपुट टोकन का उपयोग भी घटा, जिसकी कमी 42–63% थी:
| जानकारी की स्थिति | रन की संख्या | समाधान दर (Δ प्रतिशत अंक) | एजेंट इवेंट (Δ%) | इनपुट टोकन (Δ%) |
|---|---|---|---|---|
| Qwen → Qwen | ||||
| केवल रिपॉजिटरी | 181 | 46.4% | 99 | 1.63M |
| कच्चा गतिविधि रिकॉर्ड | 181 | 52.5% (+6.1 पीपी) | 41 (-59%) | 811k (-50%) |
| सारांश नोट्स | 181 | 51.4% (+5.0 पीपी) | 53 (-46%) | 602k (-63%) |
| संरचित नोट्स | 181 | 50.8% (+4.4 पीपी) | 55 (-44%) | 660k (-60%) |
| Qwen → Gemma | ||||
| केवल रिपॉजिटरी | 181 | 42.5% | 49 | 738k |
| कच्चा गतिविधि रिकॉर्ड | 181 | 49.2% (+6.6 पीपी) | 21 (-57%) | 300k (-59%) |
| सारांश नोट्स | 181 | 44.2% (+1.7 पीपी) | 33 (-33%) | 319k (-57%) |
| संरचित नोट्स | 181 | 43.6% (+1.1 पीपी) | 39 (-20%) | 317k (-57%) |
| Qwen → Devstral | ||||
| केवल रिपॉजिटरी | 181 | 34.3% | 175 | 3.94M |
| कच्चा गतिविधि रिकॉर्ड | 181 | 49.2% (+14.9 पीपी) | 73 (-58%) | 1.66M (-58%) |
| सारांश नोट्स | 181 | 43.6% (+9.4 पीपी) | 123 (-30%) | 2.30M (-42%) |
| संरचित नोट्स | 181 | 44.8% (+10.5 पीपी) | 125 (-29%) | 2.30M (-42%) |
केवल रिपॉजिटरी मिलने पर अगले एजेंटों को पूर्ववर्ती के इरादे, पिछले सबूतों और असफल तरीक़ों को फिर समझने के लिए अतिरिक्त बार टूल से संवाद करना पड़ा। कच्चा गतिविधि रिकॉर्ड, सारांश नोट्स, और संरचित नोट्स ने उस जानकारी का कुछ हिस्सा सीधे दे दिया, जिससे दोबारा जानकारी जुटाने की ज़रूरत घटी, हालाँकि शुरुआती प्रॉम्प्ट बड़े रखने पड़े।
लाभ वास्तविक हैं या नहीं, यह जाँचने के लिए अधिक संदर्भ वाला हर हस्तांतरण उसी बिंदु से शुरू होने वाले केवल रिपॉजिटरी वाले हस्तांतरण से मिलाकर देखा गया। सभी मॉडल जोड़ियों में अधिक संदर्भ ने अगले एजेंट की ज़रूरी मेहनत लगातार घटाई।
पूरे घटना रिकॉर्ड से सबसे बड़ी कमी आई, लेकिन सारांश और संरचित नोट्स से भी काफ़ी बचत हुई। असर पूरे बेंचमार्क में दिखा, न कि केवल कुछ असामान्य मामलों के कारण:
| जानकारी की स्थिति | मिलान रन | केवल रिपॉजिटरी वाले एजेंट इवेंट | एजेंट इवेंट (Δ%) | इवेंट में बदलाव का 95% विश्वास अंतराल | इनपुट टोकन (Δ%) |
|---|---|---|---|---|---|
| Qwen → Qwen | |||||
| कच्चा गतिविधि रिकॉर्ड | 181 | 99 | 41 (-59%) | [-50%, -42%] | 798k (-51%) |
| सारांश नोट्स | 181 | 99 | 53 (-46%) | [-38%, -28%] | 572k (-65%) |
| संरचित नोट्स | 181 | 99 | 55 (-44%) | [-34%, -24%] | 646k (-60%) |
| Qwen → Gemma | |||||
| कच्चा गतिविधि रिकॉर्ड | 181 | 49 | 21 (-57%) | [-47%, -33%] | 300k (-59%) |
| सारांश नोट्स | 181 | 49 | 33 (-33%) | [-25%, -8%] | 319k (-57%) |
| संरचित नोट्स | 181 | 49 | 39 (-20%) | [-18%, -1%] | 317k (-57%) |
| Qwen → Devstral | |||||
| कच्चा गतिविधि रिकॉर्ड | 181 | 175 | 73 (-58%) | [-45%, -22%] | 1.65M (-58%) |
| सारांश नोट्स | 181 | 175 | 123 (-30%) | [-28%, -15%] | 2.28M (-42%) |
| संरचित नोट्स | 181 | 175 | 125 (-29%) | [-28%, -17%] | 2.29M (-42%) |
यह पुष्टि करने के लिए कि प्रभाव कुछ असामान्य मामलों का नतीजा नहीं था, शोधकर्ताओं ने हर हस्तांतरण की तुलना उसी बिंदु से शुरू होने वाले केवल रिपॉजिटरी वाले हस्तांतरण से की। कमी सभी मॉडल जोड़ियों में लगातार बनी रही, जिससे पता चलता है कि लाभ एक अर्थपूर्ण पैटर्न है, न कि कुछ अपवाद।
मुख्य सीख…
संक्षेप में†, लेखकों ने पाया कि जब एक एआई एजेंट दूसरे को काम सौंपता है, तो साधारण नोट्स भी दूसरे एजेंट को अधिक कुशलता से आगे बढ़ने में मदद करते हैं।
पूरा घटना रिकॉर्ड सबसे अच्छा काम करता है, लेकिन हस्तांतरण की कोई भी जानकारी अगले एजेंट को सिर्फ़ कोड से सब कुछ फिर समझने के लिए छोड़ देने से बेहतर है। ऊपर के नतीजे यह भी दिखाते हैं कि पूरे कच्चे लॉग के तरीक़े में टोकन की लागत अनिवार्य रूप से अधिक होती है।
निष्कर्ष
हालाँकि यह शोधपत्र विशेष रूप से दूसरे शोधकर्ताओं के लिए लिखा गया है और सामान्य पाठक को कम आकर्षित करता है, फिर भी नया काम मानव–एआई इंटरफ़ेस और प्रोटोकॉल की मौजूदा स्थिति की सबसे दिलचस्प तथा तात्कालिक समस्याओं में से एक को संबोधित करता है।
उम्मीद की जा सकती है कि ऐसी पड़ताल से विकसित तरीक़े और मिली समझ अंततः एजेंटों द्वारा प्रोग्रामिंग से आगे एआई के व्यापक इस्तेमाल में काम आएँगे।
भविष्य के शोध की एक और दिशा किसी परियोजना की विशेषताओं और उपयोग के आधार पर उसके लिए न्यूनतम दस्तावेज़ीकरण का आकलन करना हो सकती है। लेकिन समय और पैसे का विवेकपूर्ण इस्तेमाल कराने वाली यह सुविधा स्वयं भी समय और पैसा माँगती है। इसलिए दस्तावेज़ीकरण का बजट-संबंधी सवाल अभी भी टालना कठिन है।
* निजी तौर पर, प्रतिक्रिया में देरी और बहुत अधिक संदर्भ के कारण भारी हो चुके ChatGPT सत्रों में मैंने हाल ही में बातचीत का साफ़ PDF निर्यात करना शुरू किया है। इसमें कुछ कठिनाई होती है, लेकिन उसे नए सत्र की शुरुआत बनाकर वह सत्र “भाग 2” बन जाता है।
† दुर्भाग्य से, यह इस साल मैंने पढ़ा सबसे सुगम शोधपत्र नहीं है, और इस कारण से मैं पाठक को मूल कार्य की सिफारिश नहीं कर सकता, हालांकि संक्षेप में प्रस्तुत परिणाम अभी भी दिलचस्प हैं।
पहली बार बुधवार, 3 जून, 2026 को प्रकाशित
