2020 से मानव कोड ने वाइब-कोडेड एजेंटों को एजेंटिक परीक्षण में हराया

चैटजीपीटी और अन्य वाइब-कोडिंग टूल्स को लगभग 40,000 मैचों में परीक्षण के लिए रखा गया था – और लार्ज लैंग्वेज मॉडल्स के आविष्कार से पहले लिखे गए ग्रेजुएट छात्र कोड से हार गए।

यूके से एक नए अध्ययन में, शोधकर्ताओं ने मानव-कोडेड एजेंटों को वाइब-कोडेड एजेंटों के खिलाफ पिटा, जो नवीनतम लार्ज लैंग्वेज मॉडल्स (एलएलएम) के साथ विकसित किए गए थे, जैसे कि चैटजीपीटी-5 और क्लाउड, और पाया कि बिना एआई की मदद से बनाए गए एजेंट आसानी से एआई-सहायता प्राप्त संस्करणों को हरा देते हैं।

दोनों सेट के एजेंट स्विस फेडरल टेक्नोलॉजी इंस्टीट्यूट ऑफ लॉज़ेन के आर्टिफिशियल इंटेलिजेंस लेबोरेटरी से अलग-अलग पीढ़ियों के छात्रों द्वारा बनाए गए थे। गैर-एआई एजेंट 2020 में कोर्सवर्क के हिस्से के रूप में विकसित किए गए थे, जो चैटजीपीटी और एलएलएम क्रांति की शुरुआत से दो साल पहले था, जबकि नए एजेंट वर्तमान छात्रों द्वारा बनाए गए थे, जो नवीनतम और सर्वश्रेष्ठ एलएलएम का उपयोग करके सहायता प्राप्त थे।

यहां तक कि जब खेल को तैयार किया गया था, तो वाइब-कोडेड समाधान जीत नहीं सकते थे, और शीर्ष पांच स्थान लगातार ‘कच्चे’ एजेंटों द्वारा आयोजित किए गए थे, जिसमें अधिकांश एलएलएम एजेंट (33 में से 40) को आसानी से ‘बहुत सरल’ बेसलाइन एजेंटों द्वारा हराया गया था, 38,304 चुनौतियों में एक टूर्नामेंट में, विभिन्न चर और परिस्थितियों में।

लेख में कहा गया है:

‘हमारा काम यह दिखाता है कि जबकि राज्य-ऑफ-द-आर्ट एलएलएम सिंटैक्स त्रुटियों से मुक्त कोड उत्पन्न कर सकते हैं, उत्पन्न समाधान रणनीतिक योजना, अनुकूलन, या बहु-एजेंट प्रतिस्पर्धा जैसे आयामों पर मानव-डिज़ाइन किए गए समाधानों के लिए प्रतिस्पर्धी नहीं है।

‘इस प्रकार, यह काम एक नए मोर्चे को आगे बढ़ाता है, और बेंचमार्क, डेटासेट, और ओपन-सोर्स बेसलाइन के विकास को सुविधाजनक बनाने का उद्देश्य रखता है जो तर्क-संचालित कोड सिंथेसिस पर जोर देते हैं। ‘

चुनौती को रचनात्मक रूप से नीलामी में भाग लेने और जीते गए आइटमों को विजेताओं को वितरित करने के लिए लॉजिस्टिक व्यवस्था करने के लिए डिज़ाइन किया गया था।

लेखकों का उल्लेख है कि एलएलएम को कई फायदे दिए गए थे, जैसे कि उनके कोड में हस्तक्षेप करना और उनके प्रदर्शन में सुधार करना – एक लाभ जो 2020 के युग के कोड को नहीं दिया गया था। इसके बावजूद, जब उन्हें सुधार के लिए कोड प्रदान किया गया, तो एलएलएम उन्हें स्वीकार नहीं कर सके या उनका उपयोग नहीं कर सके:

‘[हमारे] बेंचमार्क में, जब हम एक अच्छा समाधान प्रदान करते हैं, तो एलएलएम अभी भी इसका उपयोग करने में असमर्थ है।

‘यह परिणाम भी जटिल परिदृश्यों में संदर्भ-शिक्षा और पुनर्प्राप्ति-संचालित समस्या-समाधान में संदर्भ-शिक्षा की सीमाओं के बारे में रोचक भविष्य के शोध प्रश्न उठाता है। ‘

परीक्षण में उपयोग किए गए एलएलएम जीपीटी-5 थिंकिंग, जेमिनी 2.5 प्रो, क्लाउड ओपस 4.1, और डीपसीक आर1* थे।

नई पेपर यहाँ है, जिसका शीर्षक क्या वाइब कोडिंग ग्रेजुएट सीएस छात्रों को हरा सकती है? एक एलएलएम बनाम मानव कोडिंग टूर्नामेंट बाजार-चालित रणनीतिक योजना पर है, और यह यूनिवर्सिटी ऑफ साउथेम्प्टन और यूनिवर्सिटी ऑफ ऑक्सफोर्ड और एलन ट्यूरिंग इंस्टीट्यूट से एक लेखक द्वारा आया है। बेंचमार्क, लेखकों का कहना है, जल्द ही जारी किया जाएगा।

विधि

लेखकों का उल्लेख है कि पारंपरिक परीक्षण इस क्षेत्र में स्पष्ट रूप से परिभाषित द्विआधारी समाधानों (सही या गलत) पर केंद्रित होते हैं, जो यूनिट परीक्षण के माध्यम से सत्यापित किए जाते हैं। एलएलएम-सहायता प्राप्त कोड की सीमाओं का अन्वेषण करने के लिए यह आदर्श तरीका नहीं होने का दावा करते हुए, लेखकों ने एक अधिक जटिल चुनौती परिदृश्य का आविष्कार किया, जिसमें कई आंतरिक बेंचमार्क और मील के पत्थर हैं, जिसमें जीत संभव है, लेकिन दूर से नहीं है:

[कैप्शन id=”attachment_226365″ align=”alignnone” width=”672″] मानक, यूनिट-परीक्षण-आधारित दृष्टिकोण (ऊपर), और लेखकों द्वारा आविष्कृत अधिक खुले चुनौती परिदृश्य (नीचे नीले रंग में) की तुलना। स्रोत स्रोत[/कैप्शन]

लेखकों ने लोकप्रिय परीक्षण फ्रेमवर्क जैसे ह्यूमनइवल, बिगकोडबेंच और वेबडेव एरेना (अन्य कई लोगों के बीच) से बचने का प्रयास किया, क्योंकि इस वर्ग के परीक्षण प्रक्रियाओं में अक्सर डेटा दूषण (अर्थात, ऐसे उदाहरण जहां प्रणाली परीक्षण डेटा पर प्रशिक्षित हो सकती है) का सामना करना पड़ता है इसके बजाय एक विभाजन का सम्मान करने के लिए)।

दौड़ शुरू हो गई है

लेखकों का मूल्यांकन 40 एलएलएम-कोडेड एजेंटों की तुलना 17 मानव-कोडेड एजेंटों से एक श्रृंखला में की गई थी। प्रत्येक टूर्नामेंट में चार सड़क नेटवर्क टोपोलॉजी के विभिन्न संयोजनों का उपयोग किया गया था, और इसमें सभी-खेल-सभी जोड़ी शामिल थी, जिसमें एजेंटों ने प्रत्येक विरोधी का सामना दो बार किया था: एक बार दो कंपनियों में से प्रत्येक को नियंत्रित करते हुए, विभिन्न वाहन विशिष्टताओं के साथ।

यह सेटअप प्रति टूर्नामेंट 3,192 मैचों का उत्पादन करता है, कुल 38,304 मैचों के लिए। प्रत्येक मैच में, 50 डिलीवरी कार्य नीलामी के द्वारा निर्धारित किए गए थे, जो उनके पिकअप और ड्रॉप-ऑफ बिंदुओं और वजन द्वारा परिभाषित किए गए थे, और स्विट्जरलैंड, फ्रांस, ग्रेट ब्रिटेन और नीदरलैंड्स पर आधारित सड़क लेआउट में यादृच्छिक रूप से आकर्षित किए गए थे:

[कैप्शन id=”attachment_226367″ align=”alignnone” width=”859″] टूर्नामेंट में उपयोग किए गए सरलीकृत सड़क नेटवर्क: ग्रेट ब्रिटेन (ऊपर बाएं), स्विट्जरलैंड (ऊपर दाएं), नीदरलैंड्स (नीचे बाएं), और फ्रांस (नीचे दाएं)। नीले और लाल वर्ग नीलामी कार्यों के पिकअप और डिलीवरी बिंदुओं को दर्शाते हैं। रंगीन त्रिभुज एजेंटों के वाहनों की वर्तमान स्थिति को दर्शाते हैं। स्रोत[/कैप्शन]

छात्र एजेंट 2020 के पाठ्यक्रम टूर्नामेंट से लिए गए थे। आठ एकल-निर्मूलन फाइनल में शीर्ष प्रदर्शन करने वालों से आए थे, और चार और बेसलाइन एजेंटों के खिलाफ हेड-टू-हेड मैचों में मजबूत प्रदर्शन के लिए चुने गए थे।

बेसलाइन एजेंट ने निर्धारित ह्यूरिस्टिक्स का पालन किया। नाव ने कुल दूरी की गणना की और इसके अनुसार बोली लगाई, केवल एक वाहन का उपयोग किया और बैचिंग को अनदेखा किया; एक्सपकोस्टफिक्स्डबिड ने 10 यादृच्छिक कार्यों का अनुकरण किया, और औसत सीमांत लागत की बोली लगाई; होनेस्ट ने वास्तविक सीमांत लागत की गणना की; मॉडलओपोनेंट ने वही किया, लेकिन विरोधी की लागत का एक अनुमान जोड़ा, और अधिकतम बोली लगाई; और रिस्कसीकिंग ने समय-गिरावट वाले प्राथमिक के साथ लाइव लागत अनुमान और विरोधी मॉडलिंग के मिश्रण को मिलाया, फिर से अधिकतम बोली लगाई।

मूल्यांकन में 40 एलएलएम-कोडेड एजेंट शामिल थे जो (उपरोक्त) जीपीटी-5 थिंकिंग, क्लाउड ओपस 4.1, जेमिनी 2.5 प्रो, और डीपसीक आर1 का उपयोग करके बनाए गए थे। प्रत्येक मॉडल को पांच अलग-अलग रणनीतियों के साथ प्रेरित किया गया था, प्रति मॉडल दो बार लागू किया गया था।

दो रणनीतियों ने अलग-अलग लेखकों द्वारा लिखे गए स्थिर प्रोम्प्ट का उपयोग किया, जबकि एक तीसरे ने मॉडल को अपने स्वयं के आउटपुट को संशोधित और संशोधित करने के लिए कहा; एक और ने एक अलग एलएलएम द्वारा आलोचना और संशोधन शामिल किया। अंतिम रणनीति ने जीपीटी-4 का उपयोग सभी चार पिछले दृष्टिकोणों की समीक्षा करने और एक नया प्रोम्प्ट संश्लेषित करने के लिए किया।

बेस प्रोम्प्ट मूल छात्र असाइनमेंट को दर्शाता था, जिसमें डिलीवरी वातावरण का वर्णन किया गया था और मॉडल को लाभ को अधिकतम करने के लिए बोली लगाने और योजना बनाने का निर्देश दिया गया था, उच्च-जटिलता वाली विधियों पर निर्भर किए बिना।

सभी एलएलएम एजेंटों का परीक्षण स्व-खेल और टूर्नामेंट सेटिंग में किया गया था, जब तक कि सभी दिखाई देने वाले बग ठीक नहीं हो जाते। बग-फिक्सिंग एलएलएम द्वारा स्वयं स्वचालित रूप से की गई थी, जो त्रुटि जानकारी के साथ प्रेरित थी।

सामान्य एलएलएम विफलताओं में शामिल हैं:

‘एक और सामान्य समस्या जिसे हमने पाया (ज्यादातर जेमिनी, क्लाउड, और डीपसीक के साथ, और जीपीटी के साथ नहीं) यह है कि एलएलएम अक्सर लगातार एक बग को हल करने में विफल रहता है।

‘उदाहरण के लिए, एक एजेंट लगातार समय समाप्त हो जाएगा, त्रुटि के साथ एलएलएम को प्रेरित करने और अपडेटेड संस्करण प्राप्त करने के बाद भी (जैसे 5 – 15) चक्र।

‘ऐसी स्थितियों (जहां एलएलएम बार-बार एक ही बग को हल करने में विफल रहता है) के लिए हमने जो एकमात्र समाधान पाया है वह है शुरू से फिर से शुरू करना. कुल मिलाकर, हमने देखा कि बग-मुक्त कोड प्राप्त करने के लिए महत्वपूर्ण मैनुअल प्रयास की आवश्यकता है। हमें मूल्यांकन के लिए 40 बग-मुक्त एजेंट प्राप्त करने के लिए काफी अधिक एजेंट उत्पन्न करने की आवश्यकता थी। ‘

नीचे दिखाए गए परिणाम 12 डबल राउंड-रोबिन टूर्नामेंट से परिणामों का सारांश देते हैं, जो चार नेटवर्क टोपोलॉजी और प्रति टोपोलॉजी तीन टूर्नामेंट को कवर करते हैं, जो लगभग 40,000 मैचों का उत्पादन करते हैं:

संदर्भ के लिए, प्रत्येक एजेंट ने प्रति टूर्नामेंट 112 मैच खेले, इसलिए प्रति एजेंट जीत या हार का औसत संभावित अधिकतम 112 है। मानक विचलन (एसडी) टूर्नामेंट में परिवर्तनशीलता को दर्शाता है। मानव-कोडेड एजेंट बोल्ड में हैं। एलएलएम-कोडेड एजेंट मॉडल (ओ = जीपीटी-5 थिंकिंग, जी = जेमिनी 2.5 प्रो, ए = क्लाउड ओपस 4.1, डी = डीपसीक आर1), इसके बाद एक दो-अक्षर प्रोम्प्ट रणनीति कोड और एक अंक जो दर्शाता है कि एजेंट को पहले या दूसरे प्रोम्प्ट के साथ उत्पन्न किया गया है या नहीं। स्रोत

उपरोक्त परिणामों के संबंध में, लेखकों का कहना है:

‘एलएलएम ने अपेक्षित/प्रतिस्पर्धी कोड उत्पन्न नहीं किया, यहां तक कि एपीडीपी समस्या के सरल रूपांतरों में भी (हालांकि कोड बड़े पैमाने पर सिंटैक्स-त्रुटि मुक्त था)। यह एलएलएम की नई कमजोरियों की पहचान करने और ऑटो-पूर्ण और बेंचमार्क के बाहर जाने के लिए तर्क-संचालित कोड मूल्यांकन बेंचमार्क के महत्व को रेखांकित करता है। ‘

‘हमारे परिणाम मानव-कोडेड एजेंटों की स्पष्ट श्रेष्ठता को प्रदर्शित करते हैं: (i) शीर्ष 5 स्थान लगातार छात्र एजेंटों द्वारा आयोजित किए जाते हैं, और (ii) अधिकांश एलएलएम एजेंट (33 में से 40) बहुत सरल बेसलाइन एजेंटों (जैसे अपेक्षित लागत निर्धारित बोली) द्वारा हराए जाते हैं। ‘

‘महत्वपूर्ण बात यह है कि हमने छात्र कोड को डीबग नहीं किया (जबकि हमने एलएलएम कोड का स्वयं-खेल और टूर्नामेंट सेटिंग में परीक्षण और डीबगिंग किया था)। हर बार जब एक छात्र एजेंट क्रैश होता था, तो हम स्वचालित रूप से एलएलएम को जीत देते थे। इनमें से कई क्रैश आसानी से ठीक किए जा सकते थे (जैसे एजेंट समय समाप्त हो गए), इसलिए छात्र एजेंट संभावित रूप से अधिक उच्च रैंक कर सकते थे। ‘

एक और प्रयोग के रूप में, जीपीटी-5 थिंकिंग को शीर्ष प्रदर्शन करने वाले मानव एजेंट, छात्र 1 के कोड में सुधार करने के लिए प्रेरित किया गया था; लेकिन एलएलएम-संशोधित एजेंट बाद में दसवें स्थान पर गिर गया, अब सभी मानव स्कोर में से सबसे खराब है। एलएलएम के बदलाव ने समाधान को लगभग 20% तक खराब कर दिया, इसे बेहतर बनाने के बजाय।
लेखकों का निष्कर्ष है:

‘[हमारे] परिणाम एलएलएम कोड जनरेशन की महत्वपूर्ण सीमाओं को उजागर करते हैं, सबसे उल्लेखनीय रूप से उनकी सीमित तर्क और योजना क्षमताएं। आधुनिक एलएलएम सिंटैक्स-त्रुटि मुक्त कोड प्रदान कर सकते हैं जो चलता है, लेकिन यह वह बेंचमार्क नहीं है जिसका उपयोग हमें उन्नत सामान्य एआई की ओर प्रगति को मापने के लिए करना चाहिए। ‘

निष्कर्ष

लेखक खुद पेपर के अंत में यह देखकर观察 करते हैं कि वाइब-कोडिंग ने सभी तकनीकी पृष्ठभूमि के लोगों को सशक्त बनाया है, और इसका वर्णन एक सकारात्मक प्रकाश में किया है, इसे एक स्तर के रूप में वर्णित किया है। हालांकि, वे यह भी इंगित करते हैं कि क्योंकि वाइब-कोडिंग अभी तक mới है, इसकी सीमाएं अज्ञात हैं, और वास्तविक अपेक्षाओं की तुलना में अधिक हो सकती हैं।

वे अपने प्रस्ताव को ‘कोड जो संकलित होता है से कोड जो प्रतिस्पर्धा करता है‘ की ओर लक्ष्य बदलने के लिए कहते हैं।

इस नए पेपर के एक आकस्मिक पाठक के पास जो प्रश्न हो सकता है वह यह है कि क्या लेखक ऊपर या नीचे मुक्का मार रहे हैं, क्योंकि प्रश्न में एजेंटिक कार्य काफी जटिल और शामिल है, पावरशेल स्क्रिप्ट और अन्य प्रकार के मामूली कार्यों और सुधारों के लिए वाइब-कोडिंग के लिए उपयुक्त है।

* कृपया ध्यान दें कि पेपर लगातार ‘डीपथिंक आर1′ का उल्लेख करता है, जो अस्तित्व में नहीं लगता है, केवल कुछ संदर्भों को इंटरनेट पर दिखा रहा है (संभवतः अन्य लेखकों द्वारा ‘डीपसीक आर1’ को गलत लिखा गया है)। यदि यह मेरी त्रुटि है, तो कृपया मेरे प्रोफाइल विवरण के माध्यम से मुझसे संपर्क करें, और मैं इसे संशोधित करूंगा।

^† लेखकों का जोर, मेरा नहीं.

पहली बार बुधवार, 26 नवंबर, 2025 को प्रकाशित। 17:35 पूर्वी मानक समय के लिए प्रारूपण के लिए संशोधित।