Anderson का एंगल
क्यों एआई आधे अधूरे कार्य को उठाने में संघर्ष करता है
Unite.AI को Google पर अपने पसंदीदा स्रोतों में जोड़ें
हालांकि एआई एजेंट जटिल कार्यों को हल कर सकते हैं, एक नए अध्ययन से पता चलता है कि वे किसी अन्य द्वारा शुरू किए गए कार्य को जारी रखने में संघर्ष करते हैं, जिससे दोहराए गए प्रयास, धीमी प्रगति और अधिक लागतें होती हैं।
एआई एजेंटों और इंटरफेस के साथ काम करने में सबसे थकाऊ लेकिन आवश्यक कार्यों में से एक यह है कि एआई को शुरू में एक्सचेंज की शुरुआत में “स्पीड” पर लाने की आवश्यकता होती है, लगभग हर मामले में।
जबकि लोकप्रिय भाषा मॉडल जैसे ChatGPT ‘स्थायी’ कस्टम मेमोरी तक कुछ पहुंच प्रदान करते हैं, आमतौर पर यह एक हिट-और-मिस मामला है; अंत में, यह आमतौर पर सुरक्षित है कि कार्य को एआई के लिए संदर्भित करना – कम से कम, यह गलत संदर्भ का अनुमान लगाने से रोकने के लिए प्रशिक्षित लेटेंट स्पेस से।
वास्तविक दुनिया की स्लैक को उठाना
यह चुनौती एआई से पहले की है; कई कंपनियां पहले से ही कर्मचारियों को प्रक्रियाओं के बारे में दस्तावेज बनाने और बनाए रखने की आवश्यकता को मानती हैं जो वे विकसित या परिष्कृत करते हैं (आंशिक रूप से चिकित्सा के लिए, लेकिन तर्कसंगत रूप से कर्मचारियों को लाभ प्राप्त करने से रोकने के लिए)।
हालांकि, व्यवहार में, यह अक्सर केवल बड़ी और बेहतर वित्तपोषित संगठन ही हैं जो दस्तावेज बनाने, अद्यतन करने और बनाए रखने के प्रति प्रतिबद्धता का सम्मान करते हैं। अक्सर, इसके बजाय, दूसरों के काम को उठाने के लिए आवश्यक कर्मचारियों को एक ‘जासूस’-शैली का कार्य दिया जाता है जिसमें उन्हें पूरी तरह से समयरेखा को खोलना होता है जो उन्हें अब दिया गया है।
बिना कहे, निर्दोष दस्तावेज दिन, सप्ताह, या महीनों के काम को बचा सकते हैं – यदि यह केवल एक वित्तीय रूप से तर्कसंगत प्रस्ताव था।
हालांकि, जहां एआई एजेंट संबंधित हैं, वहां समस्या को हल करने के लिए अधिक संभावना हो सकती है।
इसे सौंप दें
इस ‘अदस्तावेज़ीकरण’ का बोझ एक नए शोध पत्र में मापा गया है, जो समस्या को हैंडओफ़ ऋण कहता है।
यदि तकनीकी ऋण एक सिंड्रोम है जहां आज तेज़ और सस्ता समाधान भविष्य में भंगुर या कठिन से बनाए रखने वाले समाधानों की ओर ले जाता है, तो हैंडओफ़ ऋण पुनरावृत्ति की लागत को परिभाषित करता है – किसी कार्यकर्ता या इकाई के कदमों का फोरेंसिक पुनर्निर्माण जो या तो सलाह देने के लिए उपलब्ध नहीं है (विरोधी निकाल, बहुत व्यस्त, मृत, आदि) या अन्यथा सलाह देने में असमर्थ है (उदाहरण के लिए, एक एलएलएम जिसने वर्तमान कार्य की स्थिति के पीछे के संदर्भ को पहले ही डंप कर दिया है)।
शोधकर्ताओं ने नया पत्र† – स्वतंत्र और जॉर्जिया स्टेट यूनिवर्सिटी से जुड़े शोधकर्ताओं के बीच एक सहयोग – कोडिंग एजेंटों के लिए हैंडओफ़ ऋण के साथ संबंधित है जिन्हें कोडबेस में किसी अन्य सत्र, व्यक्ति या इकाई द्वारा छोड़े गए बिंदु पर काम जारी रखने का काम सौंपा जाता है।
कार्य का एक उद्देश्य यह निर्धारित करना है कि हैंडओफ़ ऋण को कम करने के लिए कितनी दस्तावेज़ीकरण आवश्यक है, और कौन से प्रक्रियाएं और प्रोटोकॉल भविष्य में मानक अभ्यास के रूप में अपनाने की सिफारिश की जा सकती हैं।
वित्तीय चिंताएं
एक आदर्श दुनिया में, कोई लॉगिंग को वेर्बोज़ पर सेट कर सकता है और नौसिखिया एजेंट (कार्य को उठाने वाले) को अधूरे कार्य से संबंधित लॉग फीड कर सकता है।
हालांकि, इतने बड़े डेटा को उपयोगी डेटा में पार्स करना समय लेने वाला होगा, और यह टोकन बजट में खा जाएगा, साथ ही स्टोरेज-स्पेस प्रतिबंधों को भी लागू करेगा।
यह एक वित्तीय समस्या है, क्योंकि कच्चे डंप का उपयोग करना निकासी है, जबकि क्यूरेटेड लॉग कम भ्रमित हैं, लेकिन पहले से संसाधनों की प्रतिबद्धता की आवश्यकता होती है।
सही और समर्पित नोट्स एक ‘पिकअप आर्टिस्ट’ को गति प्राप्त करने में बहुत प्रभावी होंगे, लेकिन इसकी लागत बहुत अधिक प्रयास की होगी – प्रयास जो कभी भी आवश्यक नहीं हो सकता है, यदि कार्य का तर्क अंततः स्वयं स्पष्ट हो जाए, या यदि कार्य छोड़ दिया जाए या फिर से संशोधित न किया जाए।
नया काम, हैंडओफ़ ऋण: बाधित कार्यों को लेने वाले कोडिंग एजेंटों की पुनरावृत्ति लागत शीर्षक से, के लेखकों ने इन सभी परिदृश्यों पर विचार किया है, और हैंडओफ़ ऋण को मापने और संबोधित करने के लिए मौजूदा कार्य मॉडल को अनुकूलित किया है। हालांकि काम विशेष रूप से कोडिंग एजेंटों से संबंधित है, यह व्यापक एआई संदर्भों में और दस्तावेज़ीकरण नीतियों के तर्क में आगे के मार्गों का संकेत दे सकता है।
लेखकों का कहना है:
‘हैंडओफ़ ऋण तब उत्पन्न होता है जब एक एजेंट दृश्य प्रगति करता है लेकिन ऐसी स्थिति छोड़ देता है जिसे उत्तराधिकारी आसानी से जारी नहीं रख सकता, जैसे कि अस्पष्ट संपादन, स्क्रैच फाइलें, छिपी हुई धारणाएं, या गुम हुई मान्यकरण साक्ष्य।
‘एक मीट्रिक जो केवल अंतिम समाधान पर आधारित है वह महंगी पुनरावृत्ति और कुशल जारी रखने के बीच अंतर नहीं कर सकता।
‘दो पूर्ववर्ती एजेंट एक ही चेकपॉइंटेड रिपॉजिटरी छोड़ सकते हैं, फिर भी उनके उत्तराधिकारी बहुत अलग जारी रखने वाली लागत का सामना कर सकते हैं: एक तुरंत जारी रख सकता है, जबकि दूसरे को स्क्रैच फाइलों और अधूरे कमांड इतिहास से इरादे की पुनरावृत्ति करने में कई टूल इंटरैक्शन खर्च करने होंगे।’
विधि
लेखक पूर्ववर्ती को पिछले एजेंट (जिसने काम शुरू किया या आखिरी बार काम किया) और उत्तराधिकारी को वर्तमान एजेंट (जिसे काम उठाने का काम सौंपा गया है) के रूप में परिभाषित करते हैं,
एक बेंचमार्क के समर्थन में जो एजेंटों के बीच अधूरे सॉफ़्टवेयर-इंजीनियरिंग कार्यों को स्थानांतरित करने की लागत को मापता है, SWE-bench Verified से 75 कार्यों को 181 हैंडओफ़ परिदृश्यों में परिवर्तित किया गया, प्रत्येक एक बिंदु का प्रतिनिधित्व करता है जहां काम बाधित हुआ था और एक उत्तराधिकारी एजेंट को सौंप दिया गया था। तीन अलग-अलग उत्तराधिकारी मॉडलों का तब 2,172 एजेंट-ओवरटेक प्रयासों में परीक्षण किया गया।
परीक्षणों में उपयोग किए गए मॉडल परिवार, और विभिन्न रूप से हैंडओफ़ परीक्षणों में मिश्रित, Qwen, Gemma, और Devstral थे।
प्रयोगों ने विरासत में मिली जानकारी के चार स्तरों की जांच की: सबसे प्रतिबंधात्मक सेटिंग में, उत्तराधिकारी को केवल रिपॉजिटरी की स्थिति मिली (प्रभावी रूप से, एक अनदस्तावेजीकृत ‘दुर्घटना क्षेत्र’ में प्रवेश किया जा रहा है)। अन्य सेटिंग्स ने बढ़ते हुए संदर्भ प्रदान किया, गतिविधि ट्रेस और कमांड इतिहास से लेकर क्या पहले से ही कोशिश की जा चुकी है और सीखा गया है इसके बारे में कompact सारांश:
| रिपॉजिटरी केवल
उत्तराधिकारी को केवल रिपॉजिटरी और कार्य विवरण मिलता है, पिछले कार्यों का कोई रिकॉर्ड नहीं मिलता है, निर्णय या असफल प्रयास। |
कच्चा ट्रेस
उत्तराधिकारी को पूर्ववर्ती का पूरा इतिहास मिलता है, जिसमें हर कमांड, अवलोकन, संपादन, सफलता और असफलता शामिल है। |
| सारांश नोट्स
उत्तराधिकारी को पूर्ववर्ती के गतिविधि इतिहास से उत्पन्न एक प्राकृतिक-भाषा सारांश मिलता है, जिसमें मुख्य जानकारी को संक्षेप में प्रस्तुत किया जाता है। |
संरचित नोट्स
उत्तराधिकारी को एक कompact हैंडओफ़ दस्तावेज़ मिलता है जिसमें मानकीकृत क्षेत्र होते हैं जो कार्य स्थिति, परिवर्तन और मान्यकरण परिणामों का वर्णन करते हैं। |
केवल यह देखने के बजाय कि कार्य अंततः हल हो गया या नहीं, अध्ययन को जारी रखने की लागत को मापने के लिए डिज़ाइन किया गया था, जिसमें टूल के उपयोग, टोकन की खपत और पहले के काम के पीछे के तर्क को पुनर्निर्माण के लिए आवश्यक प्रयास पर ध्यान दिया गया था।
तीन हैंडओफ़ बिंदु पता लगाने परिभाषाएं और तीन हैंडओफ़ राज्य परीक्षणों के लिए परिभाषित किए गए थे:
| हैंडओफ़ बिंदु पता लगाना | हैंडओफ़ राज्य |
|---|---|
| पहले स्रोत संपादन के बाद। पहले कोड परिवर्तन के बाद। पहला एजेंट काम शुरू कर चुका है, लेकिन अभी तक यह नहीं देखा है कि परिवर्तन वास्तव में काम करता है या नहीं। | पूर्णता की आवश्यकता है। कार्य अधूरा है, और उत्तराधिकारी को सही समाधान तक पहुंचने के लिए काम जारी रखना होगा। |
| पहले मान्यकरण परिणाम के बाद। पहला एजेंट पहले से ही एक परीक्षण या मान्यकरण चरण चला चुका है, जो प्रगति के बारे में कुछ साक्ष्य प्रदान करता है। | पहले से ही हल और संरक्षित. कार्य प्रभावी रूप से पूरा हो चुका है, और उत्तराधिकारी का काम इसे तोड़ने से बचना है। |
| पहले पोस्ट-विफलता संपादन के बाद। एक परीक्षण विफल हो गया है और पहला एजेंट पहले से ही प्रतिक्रिया देने के लिए एक और परिवर्तन करने का प्रयास कर चुका है। | मौजूदा व्यवहार टूटा हुआ। कुछ जो पहले काम करता था अब टूट गया है। |
डेटा और परीक्षण
वास्तविक हैंडओफ़ परिदृश्य बनाने के लिए, लेखकों के बेंचमार्क को SWE-Bench Verified से 75 सॉफ़्टवेयर-इंजीनियरिंग कार्यों से बनाया गया था, जो आमतौर पर 15 मिनट और 4 घंटे के बीच हल हो जाते हैं।
केवल पूरे कार्यों का मूल्यांकन करने के बजाय, शोधकर्ताओं ने कार्य के दौरान कई मध्यवर्ती चेकपॉइंट को पकड़ा, जिससे ऐसी स्थितियां बनीं जहां एक एआई एजेंट को दूसरे से काम लेना पड़ा:
टेकओवर बेंचमार्क का निर्माण। 75 SWE-bench Verified कार्यों को तीन चरणों में 181 हैंडओफ़ बिंदुओं में विस्तारित किया गया, जो हैंडओफ़ समय पर रिपॉजिटरी राज्य के अनुसार लेबल किया गया, और चार जानकारी साझा करने की स्थिति के तहत मूल्यांकन किया गया, जिससे 2,172 उत्तराधिकारी एजेंट टेकओवर रन बने। स्रोत
प्रत्येक कार्य से कई हैंडओफ़ बिंदु उत्पन्न हो सकते हैं, और प्रत्येक हैंडओफ़ का परीक्षण चार अलग-अलग जानकारी हस्तांतरण रूपों में किया गया था, बेंचमार्क तेजी से विस्तारित हो गया, जिसमें 181 विशिष्ट हैंडओफ़ कार्य और प्रत्येक उत्तराधिकारी मॉडल के लिए 724 टेकओवर मूल्यांकन शामिल थे, जिससे तीन परीक्षण किए गए एआई सिस्टम में 2,172 टेकओवर रन हुए।
परीक्षणों के लिए OpenHands-शैली कोडिंग एजेंट वातावरण का उपयोग किया गया था, जिसमें टर्मिनल क्रियाएं, हैंडओफ़ बिंदुओं पर रिपॉजिटरी फ्रीजिंग, फ़ाइल संपादन और SWE-Bench बेंचमार्क से आधिकारिक मान्यकरण शामिल था।
प्राथमिक अध्ययन में, सभी हैंडओफ़ बिंदु Qwen-आधारित पूर्ववर्ती रन से उत्पन्न होते हैं, ताकि विभिन्न एजेंट संयोजनों और विविध परिदृश्यों के बीच अंतर का मूल्यांकन करने के लिए एक निश्चित शुरुआती बिंदु प्रदान किया जा सके।
परीक्षण किए गए टेकओवर जोड़े Qwen-to-Qwen; Qwen-to-Gemma; और Qwen-to-Devstral थे।
कच्चा ट्रेस ने उत्तराधिकारी प्रयास में सबसे बड़ी कमी उत्पन्न की, जिसमें 57-59% एजेंट इवेंट्स में कटौती की गई, जबकि सारांश नोट्स और संरचित नोट्स ने 20-46% इवेंट्स में कमी की। प्रॉम्प्ट-टोकन का उपयोग भी सभी तीन दृष्टिकोणों में गिर गया, जिसमें 42-63% की कमी हुई:
| दृश्य | चलने | हल दर (Δ पीपी) | एजेंट इवेंट (Δ%) | प्रॉम्प्ट टोकन (Δ%) |
|---|---|---|---|---|
| Qwen → Qwen | ||||
| रिपॉजिटरी केवल | 181 | 46.4% | 99 | 1.63M |
| कच्चा ट्रेस | 181 | 52.5% (+6.1 पीपी) | 41 (-59%) | 811k (-50%) |
| सारांश नोट्स | 181 | 51.4% (+5.0 पीपी) | 53 (-46%) | 602k (-63%) |
| संरचित नोट्स | 181 | 50.8% (+4.4 पीपी) | 55 (-44%) | 660k (-60%) |
| Qwen → Gemma | ||||
| रिपॉजिटरी केवल | 181 | 42.5% | 49 | 738k |
| कच्चा ट्रेस | 181 | 49.2% (+6.6 पीपी) | 21 (-57%) | 300k (-59%) |
| सारांश नोट्स | 181 | 44.2% (+1.7 पीपी) | 33 (-33%) | 319k (-57%) |
| संरचित नोट्स | 181 | 43.6% (+1.1 पीपी) | 39 (-20%) | 317k (-57%) |
| Qwen → Devstral | ||||
| रिपॉजिटरी केवल | 181 | 34.3% | 175 | 3.94M |
| कच्चा ट्रेस | 181 | 49.2% (+14.9 पीपी) | 73 (-58%) | 1.66M (-58%) |
| सारांश नोट्स | 181 | 43.6% (+9.4 पीपी) | 123 (-30%) | 2.30M (-42%) |
| संरचित नोट्स | 181 | 44.8% (+10.5 पीपी) | 125 (-29%) | 2.30M (-42%) |
रिपॉजिटरी-केवल हैंडओफ़ के तहत, उत्तराधिकारी एजेंटों को पूर्ववर्ती इरादे का पुनर्निर्माण करने के लिए अतिरिक्त इंटरैक्शन खर्च करने होते थे, पिछले प्रयासों और असफलताओं के साक्ष्य। कच्चा ट्रेस, सारांश नोट्स, और संरचित नोट्स ने उस जानकारी का एक हिस्सा सीधे स्थानांतरित किया, जिससे पुनरावृत्ति की आवश्यकता कम हो गई, हालांकि बड़े प्रारंभिक प्रॉम्प्ट की लागत पर।
यह देखने के लिए कि लाभ वास्तविक थे, प्रत्येक संदर्भ-समृद्ध हैंडओफ़ की तुलना एक समान रिपॉजिटरी-केवल हैंडओफ़ से की गई, जो एक ही बिंदु से शुरू होता है। सभी मॉडल जोड़ियों में, समृद्ध हैंडओफ़ ने लगातार उत्तराधिकारी एजेंटों से आवश्यक कार्य को कम किया:
| दृश्य | मिलान रन | रिपॉजिटरी-केवल एजेंट इवेंट | एजेंट इवेंट (Δ%) | 95% सीआई के लिए Δ इवेंट | प्रॉम्प्ट टोकन (Δ%) |
|---|---|---|---|---|---|
| Qwen → Qwen | |||||
| कच्चा ट्रेस | 181 | 99 | 41 (-59%) | [-50%, -42%] | 798k (-51%) |
| सारांश नोट्स | 181 | 99 | 53 (-46%) | [-38%, -28%] | 572k (-65%) |
| संरचित नोट्स | 181 | 99 | 55 (-44%) | [-34%, -24%] | 646k (-60%) |
| Qwen → Gemma | |||||
| कच्चा ट्रेस | 181 | 49 | 21 (-57%) | [-47%, -33%] | 300k (-59%) |
| सारांश नोट्स | 181 | 49 | 33 (-33%) | [-25%, -8%] | 319k (-57%) |
| संरचित नोट्स | 181 | 49 | 39 (-20%) | [-18%, -1%] | 317k (-57%) |
| Qwen → Devstral | |||||
| कच्चा ट्रेस | 181 | 175 | 73 (-58%) | [-45%, -22%] | 1.65M (-58%) |
| सारांश नोट्स | 181 | 175 | 123 (-30%) | [-28%, -15%] | 2.28M (-42%) |
| संरचित नोट्स | 181 | 175 | 125 (-29%) | [-28%, -17%] | 2.29M (-42%) |
यह पुष्टि करने के लिए कि प्रभाव कुछ असामान्य मामलों से नहीं चल रहा था, शोधकर्ताओं ने प्रत्येक हैंडओफ़ की तुलना एक समान रिपॉजिटरी-केवल हैंडओफ़ से की, जो एक ही बिंदु से शुरू होता है। सभी मॉडल जोड़ियों में, कमी लगातार बनी रही, जो दर्शाती है कि लाभ एक वास्तविक पैटर्न को दर्शाता है, न कि कुछ अपवादों द्वारा चलाया जाता है:
इसे ले जाओ…
संक्षेप में, लेखकों ने पाया कि जब एक एआई दूसरे को एक कार्य सौंपता है, तो भी सरल नोट्स दूसरे एआई को अधिक कुशलता से जारी रखने में मदद करते हैं।
पूरे रिकॉर्ड का काम सबसे अच्छा है, लेकिन कोई भी हैंडओफ़ जानकारी कोड से अकेले सब कुछ पुनर्निर्माण करने के लिए उत्तराधिकारी को छोड़ने से बेहतर है; और ऊपर के परिणाम ‘पूर्ण फैट’ रॉ लॉग दृष्टिकोण की उच्च टोकन लागत को दर्शाते हैं।
निष्कर्ष
हालांकि पत्र खुद को सख्ती से पियर रिसर्चर्स के लिए लक्षित करता है, जिसमें एक अनौपचारिक पाठक के लिए सीमित अपील है, नए काम ने मानव>एआई इंटरफेस और प्रोटोकॉल की वर्तमान स्थिति में सबसे दिलचस्प और दबाव वाली समस्याओं में से एक को संबोधित किया है।
उम्मीद है कि इस तरह की खोज में विकसित किए गए सिद्धांत और ज्ञान अंततः एआई के व्यापक संदर्भ में विस्तारित हो सकते हैं, न कि केवल एजेंटिक कोडिंग तक सीमित हैं।
एक अतिरिक्त अन्वेषण मार्ग यह हो सकता है कि भविष्य की परियोजनाओं को एक विशिष्ट परियोजना के लिए न्यूनतम दस्तावेज़ीकरण का मूल्यांकन करने के तरीकों पर विचार करना चाहिए, जो इसकी विशेषताओं और उपयोग के मामले पर आधारित है। हालांकि, यह कार्यक्षमता खुद समय और पैसे की लागत पर आती है; और इसलिए, दस्तावेज़ीकरण परिदृश्यों में शामिल बजटीय संघर्ष कठिन है।
* व्यक्तिगत रूप से, जिन चैटजीपीटी सत्रों में लैग और अत्यधिक संदर्भ का बोझ होता है, मैं हाल ही में (कुछ कठिनाई के साथ) एक साफ पीडीएफ का निर्यात करने और एक नए सत्र के लिए प्रारंभ बिंदु के रूप में इसका उपयोग करने के लिए आगे बढ़ा हूं, जो ‘भाग 2’ बन जाता है।
† दुर्भाग्य से, यह इस साल मैंने पढ़ा सबसे अधिक दृष्टिकोण योग्य पत्र नहीं है, और इस कारण से मैं पाठक को मूल कार्य की सिफारिश नहीं कर सकता, हालांकि पचाने वाले परिणाम अभी भी दिलचस्प हैं।
पहली बार बुधवार, 3 जून, 2026 को प्रकाशित
