भाषा मॉडल क्यों बातचीत में ‘खो’ जाते हैं

माइक्रोसॉफ्ट रिसर्च और सेल्सफोर्स के एक नए शोध पत्र में पाया गया है कि यहां तक कि सबसे क्षमतावान लार्ज लैंग्वेज मॉडल (एलएलएम) भी तब टूट जाते हैं जब निर्देश चरणबद्ध रूप से दिए जाते हैं, न कि एक बार में। लेखकों ने पाया कि जब एक प्रॉम्प्ट को कई मोड़ पर विभाजित किया जाता है, तो छह कार्यों में औसतन 39 प्रतिशत की गिरावट आती है:

एकल मोड़ बातचीत (बाएं) सबसे अच्छे परिणाम प्राप्त करती है, लेकिन यह उपयोगकर्ता के लिए अस्वाभाविक है। एक बहु-मोड़ बातचीत (दाएं) यहां तक कि सबसे उच्च-स्तरीय और सबसे प्रदर्शनकारी एलएलएम को भी बातचीत में प्रभावी प्रेरणा खोने के लिए पाती है। स्रोत: https://arxiv.org/pdf/2505.06120

अधिक चौंकाने वाली बात यह है कि विश्वसनीयता प्रतिक्रियाओं में एक नोसेडाइव लेती है, जिसमें प्रतिष्ठित मॉडल जैसे चैटजीपीटी-4.1 और जेमिनी 2.5 प्रो लगभग सही उत्तरों और स्पष्ट विफलताओं के बीच झूलते हैं, यह इस बात पर निर्भर करते हुए कि कैसे एक ही कार्य को व्यक्त किया जाता है; इसके अलावा, आउटपुट संगति प्रक्रिया में आधे से अधिक गिर सकती है।

इस व्यवहार का अन्वेषण करने के लिए, पत्र एक विधि का परिचय देता है जिसे शार्डिंग* कहा जाता है, जो पूरी तरह से निर्देशित प्रॉम्प्ट को छोटे टुकड़ों में विभाजित करता है और उन्हें एक-एक करके बातचीत में जारी करता है।

सबसे बुनियादी शब्दों में, यह एक साथ एक सुसंगत और व्यापक एकल आदेश देने के बराबर है, जिससे वेटर को केवल अनुरोध की पुष्टि करनी होती है; या फिर मामले पर हमला करने का फैसला करना:

एक रेस्तरां बातचीत के दो चरम संस्करण (केवल सिल्ली उद्देश्यों के लिए, नए पत्र से नहीं)।

जोर देने के लिए, ऊपर दिया गया उदाहरण शायद ग्राहक को नकारात्मक रोशनी में रखता है। लेकिन दूसरे कॉलम में दिखाया गया मूल विचार समस्या सेट को स्पष्ट करने के लिए एक लेन-देनकारी आदान-प्रदान है, जो कि एक तर्कसंगत और उचित तरीका है।

यह सेटअप नए काम के ड्रिप-फेड, शार्डेड एलएलएम इंटरैक्शन दृष्टिकोण को दर्शाता है। लेखकों ने नोट किया कि एलएलएम अक्सर अत्यधिक लंबी प्रतिक्रियाएं उत्पन्न करते हैं और फिर अपने स्वयं के अंतर्दृष्टि पर निर्भर रहते हैं, यहां तक कि जब उन अंतर्दृष्टि को गलत या अप्रासंगिक दिखाया जाता है। यह प्रवृत्ति, अन्य कारकों के साथ मिलकर, प्रणाली को पूरी तरह से बातचीत का पता लगाने का कारण बन सकती है।

वास्तव में, शोधकर्ता नोट करते हैं कि जो कई लोगों ने अनुभवजन्य रूप से पाया है – एलएलएम के साथ बातचीत को वापस पटरी पर लाने का सबसे अच्छा तरीका है कि एलएलएम के साथ एक नई बातचीत शुरू की जाए।

‘यदि एलएलएम के साथ एक बातचीत अपेक्षित परिणामों की ओर नहीं ले जाती है, तो समान जानकारी को दोहराते हुए एक नई बातचीत शुरू करना आगे बढ़ने की तुलना में काफी बेहतर परिणाम दे सकता है।’

‘यह इसलिए है क्योंकि वर्तमान एलएलएम बातचीत में खो सकते हैं, और हमारे प्रयोग यह दिखाते हैं कि मॉडल के साथ बातचीत जारी रखना अप्रभावी है। इसके अलावा, चूंकि एलएलएम यादृच्छिकता के साथ पाठ उत्पन्न करते हैं, एक नई बातचीत बेहतर परिणामों की ओर ले जा सकती है।’

लेखक स्वीकार करते हैं कि एजेंटिक सिस्टम जैसे ऑटोजेन या लैंगचेन संभावित रूप से परिणामों में सुधार कर सकते हैं क्योंकि वे अंतिम उपयोगकर्ता और एलएलएम के बीच व्याख्यात्मक परतें के रूप में कार्य करते हैं, केवल तब एलएलएम के साथ संवाद करते हैं जब उन्होंने एकल सुसंगत प्रश्न में एकत्रित होने के लिए पर्याप्त ‘शार्डेड’ प्रतिक्रियाएं एकत्र की हों (जिसे अंतिम उपयोगकर्ता को उजागर नहीं किया जाएगा)।

हालांकि, लेखकों का तर्क है कि एक अलग स抽象 परत की आवश्यकता नहीं होनी चाहिए, या तो स्रोत एलएलएम में सीधे निर्मित की जानी चाहिए:

‘एक तर्क यह हो सकता है कि बहु-मोड़ क्षमताएं एलएलएम की एक आवश्यक विशेषता नहीं हैं, क्योंकि इसे एजेंट फ्रेमवर्क में ऑफलोड किया जा सकता है। दूसरे शब्दों में, क्या हमें एलएलएम में मूल बहु-मोड़ समर्थन की आवश्यकता है जब एक एजेंट फ्रेमवर्क उपयोगकर्ताओं के साथ बातचीत को सुविधाजनक बना सकता है और केवल एकल-मोड़ ऑपरेटर के रूप में एलएलएम का लाभ उठा सकता है?…’

लेकिन अपने प्रस्ताव का परीक्षण करने के बाद, वे निष्कर्ष निकालते हैं:

‘[एजेंट जैसे फ्रेमवर्क पर निर्भर करना] सीमित हो सकता है, और हम तर्क देते हैं कि एलएलएम को स्वाभाविक रूप से बहु-मोड़ इंटरैक्शन का समर्थन करना चाहिए’

यह दिलचस्प नया पत्र एलएलएम गेट लॉस्ट इन मल्टी-टर्न कॉन्वर्सेशन नामक है, और यह चार शोधकर्ताओं से माइक्रोसॉफ्ट रिसर्च और सेल्सफोर्स से आया है,

विखंडित बातचीत

नई विधि पहले पारंपरिक एकल-मोड़ निर्देशों को छोटे शार्ड में तोड़ देती है, जो बातचीत के दौरान महत्वपूर्ण क्षणों पर पेश किए जाने के लिए डिज़ाइन किए गए हैं, एक संरचना जो चैटजीपीटी या गूगल जेमिनी जैसे सिस्टम में देखी गई अन्वेषणात्मक, आगे-पीछे की शैली की बातचीत को दर्शाती है।

प्रत्येक मूल निर्देश एक एकल, स्व-निहित प्रॉम्प्ट है जो पूरे कार्य को एक बार में वितरित करता है, जिसमें एक उच्च-स्तरीय प्रश्न, समर्थन संदर्भ और कोई भी प्रासंगिक शर्तें शामिल हैं। शार्डेड संस्करण इसे कई छोटे भागों में तोड़ देता है, जिसमें प्रत्येक शार्ड केवल एक टुकड़ा जानकारी जोड़ता है:

जोड़े गए निर्देश जो (ए) एक पूर्ण प्रॉम्प्ट को एकल मोड़ में वितरित किया जाता है और (बी) इसका शार्डेड संस्करण जो एक अधूरा, बहु-मोड़ इंटरैक्शन का अनुकरण करता है। सेमैंटिक रूप से, प्रत्येक संस्करण समान जानकारी पेलोड वितरित करता है।

पहला शार्ड हमेशा कार्य के मुख्य उद्देश्य की शुरुआत करता है, जबकि बाकी स्पष्टीकरण विवरण प्रदान करते हैं। साथ में, वे मूल प्रॉम्प्ट की तरह ही सामग्री वितरित करते हैं, लेकिन प्राकृतिक रूप से कई मोड़ पर बातचीत में फैल जाते हैं।

प्रत्येक अनुकरणित बातचीत तीन घटकों के बीच होती है: सहायक, मॉडल जिसका मूल्यांकन किया जा रहा है; उपयोगकर्ता, एक अनुकरणित एजेंट जिसे पूरे निर्देश का शार्डेड रूप में उपयोग करने की अनुमति है; और सिस्टम, जो आदान-प्रदान की देखरेख करता है और इसे स्कोर करता है।

बातचीत उपयोगकर्ता द्वारा पहले शार्ड का खुलासा करने और सहायक की प्रतिक्रिया के साथ शुरू होती है। सिस्टम तब उस प्रतिक्रिया को कई श्रेणियों में से एक में वर्गीकृत करता है, जैसे कि स्पष्टीकरण अनुरोध या पूर्ण उत्तर प्रयास।

यदि मॉडल कोशिश करता है, तो एक अलग घटक केवल मूल्यांकन के लिए प्रासंगिक स्पैन को निकालता है, आसपास के किसी भी पाठ को अनदेखा करता है। प्रत्येक नए मोड़ पर, उपयोगकर्ता एक अतिरिक्त शार्ड का खुलासा करता है, जो एक और प्रतिक्रिया को प्रेरित करता है। आदान-प्रदान तब तक जारी रहता है जब तक कि मॉडल सही उत्तर नहीं देता या खुलासा करने के लिए कोई शार्ड नहीं बचता:

एक शार्डेड बातचीत अनुकरण का आरेख, जिसमें मूल्यांकित मॉडल लाल रंग में हाइलाइट किया गया है।

प्रारंभिक परीक्षणों से पता चला कि मॉडल अक्सर ऐसी जानकारी के बारे में पूछते हैं जो अभी तक साझा नहीं की गई है, इसलिए लेखकों ने शार्ड को एक निश्चित क्रम में प्रकट करने का विचार छोड़ दिया। इसके बजाय, एक सिम्युलेटर का उपयोग यह तय करने के लिए किया गया था कि अगले मोड़ पर कौन सा शार्ड प्रकट किया जाना चाहिए, यह देखते हुए कि बातचीत कैसे चल रही थी:

उपयोगकर्ता सिम्युलेटर, जीपीटी-4ओ-मिनी का उपयोग करके लागू किया गया था, को पूरे निर्देश और बातचीत इतिहास दोनों तक पूरी पहुंच प्रदान की गई थी, जिसे हर मोड़ पर यह तय करने का काम सौंपा गया था कि कौन सा शार्ड प्रकट किया जाना चाहिए, यह देखते हुए कि आदान-प्रदान कैसे आगे बढ़ रहा था:

उपयोगकर्ता सिम्युलेटर ने भी प्रत्येक शार्ड को पुनः लिखा ताकि बातचीत की निरंतरता बनी रहे, बिना अर्थ को बदले。 यह अनुकरण को वास्तविक संवाद की ‘देन-लेन’ की शैली को प्रतिबिंबित करने की अनुमति देता है, जबकि कार्य संरचना पर नियंत्रण बनाए रखता है।

बातचीत शुरू होने से पहले, सहायक को केवल इतनी जानकारी दी जाती है जो कार्य को पूरा करने के लिए आवश्यक है, जैसे कि एक डेटाबेस स्कीमा या एक एपीआई संदर्भ। उन्हें यह नहीं बताया जाता है कि निर्देश तोड़े जाएंगे और उन्हें किसी विशिष्ट तरीके से बातचीत को संभालने के लिए निर्देशित नहीं किया जाता है। यह जानबूझकर किया जाता है: वास्तविक दुनिया के उपयोग में, मॉडल को लगभग कभी नहीं बताया जाता है कि प्रॉम्प्ट अधूरा होगा या समय के साथ अपडेट किया जाएगा, और इस संदर्भ को छोड़ने से अनुकरण वास्तविक दुनिया में मॉडल के व्यवहार को प्रतिबिंबित करने में मदद करता है।

जीपीटी-4ओ-मिनी का उपयोग मॉडल की प्रतिक्रियाओं को वर्गीकृत करने और उन प्रतिक्रियाओं से अंतिम उत्तर निकालने के लिए भी किया गया था। इससे अनुकरण लचीला बना रहा, लेकिन कभी-कभी त्रुटियां पेश कीं: हालांकि, कई सौ बातचीत की जांच करने के बाद, लेखकों ने पाया कि पांच प्रतिशत से कम में कोई समस्या थी, और दो प्रतिशत से कम में परिणाम में परिवर्तन दिखाई दिया, और उन्होंने इसे परियोजना के दायरे में एक कम त्रुटि दर माना।

सिमुलेशन सिनारियो

लेखकों ने मॉडल व्यवहार का परीक्षण करने के लिए पांच प्रकार के सिमुलेशन का उपयोग किया, प्रत्येक एक विविधता जो यह दिखाती है कि निर्देश के हिस्से कब और कैसे प्रकट होते हैं।

पूर्ण सेटिंग में, मॉडल को एकल मोड़ में पूरा निर्देश मिलता है। यह मानक बेंचमार्क प्रारूप का प्रतिनिधित्व करता है और प्रदर्शन बेसलाइन के रूप में कार्य करता है।

शार्डेड सेटिंग निर्देश को कई टुकड़ों में तोड़ देती है और उन्हें एक-एक करके वितरित करती है, एक अधिक वास्तविक, अधूरी बातचीत का अनुकरण करती है। यह मुख्य रूप से बहु-मोड़ इनपुट को संभालने में मॉडल की क्षमता का परीक्षण करने के लिए उपयोग की जाने वाली सेटिंग है।

कॉनकैट सेटिंग में शार्ड्स को एक साथ जोड़ दिया जाता है एकल सूची के रूप में, उनके शब्दों को बनाए रखते हुए लेकिन मोड़-दर-मोड़ संरचना को हटा दिया जाता है। यह विखंडन के प्रभावों को अलग करने में मदद करता है सामग्री हानि या पुनर्लेखन से।

रीकैप सेटिंग शार्डेड की तरह चलती है, लेकिन मॉडल को अंतिम उत्तर देने से पहले एक अंतिम मोड़ जोड़ती है जहां सभी पिछले शार्ड्स को फिर से दोहराया जाता है। यह परीक्षण करता है कि क्या एक सारांश प्रॉम्प्ट खोए हुए संदर्भ को पुनर्प्राप्त करने में मदद कर सकता है।

अंत में, स्नोबॉल अधिक आगे बढ़ता है, प्रत्येक मोड़ पर पिछले सभी शार्ड्स को दोहराकर, पूरे निर्देश को बातचीत के मोड़ के रूप में दिखाता है – और बहु-मोड़ क्षमता का एक अधिक सहनशील परीक्षण प्रदान करता है।

शार्डेड निर्देशों पर आधारित सिमुलेशन प्रकार। एक पूरी तरह से निर्देशित प्रॉम्प्ट को छोटे हिस्सों में विभाजित किया जा सकता है, जो या तो एकल-मोड़ (पूर्ण, कॉनकैट) या बहु-मोड़ (शार्डेड, रीकैप, स्नोबॉल) बातचीत का अनुकरण करने के लिए उपयोग किया जा सकता है, जो यह दिखाता है कि जानकारी कितनी तेजी से प्रकट होती है।

कार्य और मेट्रिक्स

छह पीढ़ी कार्यों का चयन किया गया था जो कि दोनों प्रोग्रामिंग और प्राकृतिक भाषा डोमेन को कवर करते हैं: कोड जेनरेशन प्रॉम्प्ट ह्यूमनएवल और लाइवकोडबेंच से लिए गए थे; टेक्स्ट-टू-एसक्यूएल क्वेरी स्पाइडर से सourced थीं; एपीआई कॉल बर्कली फंक्शन कॉलिंग लीडरबोर्ड से निर्मित किए गए थे; प्राथमिक गणित की समस्याएं जीएसएम8के से प्रदान की गईं; टेबुलर कैप्शनिंग कार्य टोटोटो पर आधारित थे; और मल्टी-डॉक्यूमेंट सारांश सारांश ऑफ ए हेज़स्टैक डेटासेट से लिए गए थे।

मॉडल प्रदर्शन को तीन मूल मेट्रिक्स का उपयोग करके मापा गया था: औसत प्रदर्शन, योग्यता, और अविश्वसनीयता।

औसत प्रदर्शन ने मॉडल के समग्र प्रदर्शन को कई प्रयासों में कैसे किया, इसका पता लगाया; योग्यता ने मॉडल द्वारा प्राप्त किए जा सकने वाले सर्वोत्तम परिणामों को प्रतिबिंबित किया, जो इसके शीर्ष-स्कोरिंग आउटपुट पर आधारित था; और अविश्वसनीयता ने उन परिणामों में कितना भिन्नता थी, इसका माप किया, जिसमें बड़े अंतर सर्वोत्तम और सबसे खराब परिणामों के बीच अस्थिर व्यवहार को इंगित करते थे।

सभी स्कोर 0-100 पैमाने पर रखे गए थे ताकि कार्यों में निरंतरता सुनिश्चित की जा सके, और प्रत्येक निर्देश के लिए मेट्रिक्स की गणना की गई, और फिर एक समग्र मॉडल प्रदर्शन चित्र प्रदान करने के लिए औसत किया गया।

प्रयोगों में उपयोग किए गए छह शार्डेड कार्य, जो दोनों प्रोग्रामिंग और प्राकृतिक भाषा पीढ़ी को कवर करते हैं। प्रत्येक कार्य एक पूरी तरह से निर्देशित निर्देश और इसके शार्डेड संस्करण के साथ दिखाया गया है। प्रत्येक कार्य के लिए 90 से 120 निर्देश स्थापित बेंचमार्क से अनुकूलित किए गए थे।

प्रतिद्वंद्वी और परीक्षण

प्रारंभिक सिमुलेशन में (जिनकी अनुमानित लागत $5000 थी), 600 निर्देशों को छह कार्यों में शार्ड किया गया और तीन बातचीत प्रकारों का अनुकरण करने के लिए उपयोग किया गया: पूर्ण, कॉनकैट, और शार्डेड। प्रत्येक मॉडल, निर्देश, और सिमुलेशन प्रकार के संयोजन के लिए, दस बातचीत चलाई गईं, जिससे कुल 200,000 से अधिक सिमुलेशन हुए – एक योजना जिसने समग्र प्रदर्शन और गहरी योग्यता और विश्वसनीयता के उपायों दोनों को पकड़ने की अनुमति दी।
पंद्रह मॉडल का परीक्षण किया गया, जो विभिन्न प्रदाताओं और वास्तुकला को कवर करते हैं: ओपनएआई मॉडल जीपीटी-4ओ (संस्करण 2024-11-20), जीपीटी-4ओ-मिनी (2024-07-18), जीपीटी-4.1 (2025-04-14), और सोच मॉडल ओ3 (2025-04-16)।

एंथ्रोपिक मॉडल क्लॉड 3 हाइकु (2024-03-07) और क्लॉड 3.7 सोनेट (2025-02-19) थे, जो अमेज़न बेडरॉक के माध्यम से एक्सेस किए गए थे।

गूगल ने जेमिनी 2.5 फ्लैश (पूर्वावलोकन-04-17) और जेमिनी 2.5 प्रो (पूर्वावलोकन-03-25) का योगदान दिया। मेटा मॉडल ल्लामा 3.1-8बी-इन्सट्रक्ट और ल्लामा 3.3-70बी-इन्सट्रक्ट थे, साथ ही ल्लामा 4 स्काउट-17बी-16ई, टुगेदर एआई के माध्यम से एक्सेस किया गया।

अन्य प्रवेश ओएलएमओ 2 13बी, फाई-4, और कमांड-ए थे, जो ओलामा या कोहेरे एपीआई के माध्यम से स्थानीय रूप से एक्सेस किए गए थे; और डीपसीक-आर1, जो अमेज़न बेडरॉक के माध्यम से एक्सेस किया गया था।

दो ‘सोच’ मॉडल (ओ3 और आर1) के लिए, ‘सोच’ मॉडल के लिए टोकन सीमा 10,000 तक बढ़ा दी गई ताकि लंबी तर्क श्रृंखलाओं को समायोजित किया जा सके:

छह कार्यों में से प्रत्येक मॉडल के लिए औसत प्रदर्शन स्कोर: कोड, डेटाबेस, क्रियाएं, डेटा-टू-टेक्स्ट, गणित, और सारांश। परिणाम तीन सिमुलेशन प्रकारों के लिए दिखाए गए हैं: पूर्ण, कॉनकैट, और शार्डेड। मॉडल उनके औसत पूर्ण-सेटिंग स्कोर के अनुसार क्रमबद्ध किए गए हैं। शेडिंग पूर्ण सेटिंग से प्रदर्शन में गिरावट की डिग्री को दर्शाती है, अंतिम दो कॉलम कॉनकैट और शार्डेड के लिए औसत गिरावट की रिपोर्ट करते हैं।

लेखकों का बयान है^†:

‘एक उच्च स्तर पर, प्रत्येक मॉडल अपने प्रदर्शन में गिरावट देखता है जब पूर्ण और शार्डेड प्रदर्शन की तुलना की जाती है, जिसमें औसतन 39 प्रतिशत की गिरावट होती है। हम इस घटना को लॉस्ट इन कॉन्वर्सेशन: मॉडल जो पूरी तरह से निर्देशित, एकल-मोड़ बातचीत में उत्कृष्ट (90%+) प्रदर्शन प्राप्त करते हैं, उसी कार्यों पर संघर्ष एक अधिक वास्तविक सेटिंग में जब बातचीत अधूरी और बहु-मोड़ होती है।’

कॉनकैट स्कोर ने पूर्ण के 95 प्रतिशत का औसत दिया, जो यह इंगित करता है कि शार्डेड सेटिंग में प्रदर्शन में गिरावट जानकारी हानि के कारण नहीं है। छोटे मॉडल जैसे ल्लामा3.1-8बी-इन्सट्रक्ट, ओएलएमओ-2-13बी, और क्लॉड 3 हाइकु ने कॉनकैट के तहत अधिक प्रमुख गिरावट दिखाई, जो यह सुझाव देता है कि छोटे मॉडल आमतौर पर बड़े लोगों की तुलना में पुनर्लेखन के प्रति कम मजबूत होते हैं।

लेखकों का अवलोकन है^†:

‘आश्चर्यजनक रूप से, अधिक प्रदर्शनकारी मॉडल (क्लॉड 3.7 सोनेट, जेमिनी 2.5, जीपीटी-4.1) समान रूप से बातचीत में खो जाते हैं छोटे मॉडल (ल्लामा3.1-8बी-इन्सट्रक्ट, फाई-4) की तुलना में, जिसमें 30-40 प्रतिशत की औसत गिरावट होती है। यह आंशिक रूप से मेट्रिक परिभाषाओं के कारण है。 चूंकि छोटे मॉडल पूर्ण में कम абсолют स्कोर प्राप्त करते हैं, वे बड़े मॉडल की तुलना में गिरावट के लिए कम गुंजाइश रखते हैं। ‘

‘संक्षेप में, कोई फर्क नहीं पड़ता कि एक एलएलएम का एकल-मोड़ प्रदर्शन कितना मजबूत है, हम बड़े प्रदर्शन हानि का अवलोकन करते हैं बहु-मोड़ सेटिंग में।’

प्रारंभिक परीक्षण से पता चलता है कि कुछ मॉडल विशिष्ट कार्यों में बेहतर प्रदर्शन करते हैं: कमांड-ए एक्शन पर, क्लॉड 3.7 सोनेट और जीपीटी-4.1 कोड पर; और जेमिनी 2.5 प्रो डेटा-टू-टेक्स्ट पर, यह दर्शाता है कि बहु-मोड़ क्षमता डोमेन द्वारा भिन्न होती है। सोच मॉडल जैसे ओ3 और डीपसीक-आर1 समग्र रूप से बेहतर नहीं कर पाए, शायद इसलिए कि उनकी लंबी प्रतिक्रियाओं ने अधिक धारणाएं पेश कीं, जो बातचीत को भ्रमित करने की प्रवृत्ति रखती हैं।

विश्वसनीयता

योग्यता और अविश्वसनीयता के बीच संबंध, जो एकल-मोड़ सिमुलेशन में स्पष्ट था, बहु-मोड़ परिस्थितियों में टूट गया लगता है। जबकि योग्यता केवल मामूली रूप से गिरी, अविश्वसनीयता दोगुनी हो गई। मॉडल जो पूर्ण-प्रारूप प्रॉम्प्ट में स्थिर थे, जैसे जीपीटी-4.1 और जेमिनी 2.5 प्रो, बहु-मोड़ सेटिंग में कमजोर मॉडल जैसे ल्लामा3.1-8बी-इन्सट्रक्ट या ओएलएमओ-2-13बी के रूप में उतने ही अनियमित हो गए:

योग्यता और अविश्वसनीयता का अवलोकन, एक बॉक्स प्लॉट (ए) में दिखाया गया है, इसके बाद पंद्रह मॉडल के साथ प्रयोगों से अविश्वसनीयता परिणाम (बी), और एक क्रमिक शार्डिंग परीक्षण के परिणाम जहां निर्देशों को एक से आठ शार्ड में विभाजित किया गया था (सी)

मॉडल प्रतिक्रियाएं अक्सर एक ही कार्य पर 50 अंकों तक भिन्न हो सकती थीं, यहां तक कि जब कुछ नया जोड़ा नहीं गया था, जो यह सुझाव देता है कि प्रदर्शन में गिरावट कौशल की कमी के कारण नहीं थी, बल्कि मॉडल की बढ़ती अस्थिरता के कारण थी।

पत्र में कहा गया है^†:

‘[हालांकि] बेहतर मॉडल आमतौर पर बहु-मोड़ योग्यता में थोड़ा अधिक होते हैं, सभी मॉडल हमारे द्वारा परीक्षण किए जाते हैं बहु-मोड़ सेटिंग में बहुत उच्च अविश्वसनीयता प्रदर्शित करते हैं, जिसमें एक निश्चित निर्देश के लिए सर्वोत्तम और सबसे खराब सिम्युलेटेड रन के बीच 50 प्रतिशत अंकों की गिरावट होती है।’

शार्ड की संख्या में वृद्धि के साथ अविश्वसनीयता बढ़ती है, यह पुष्टि करते हुए कि मोड़ की संख्या में भी वृद्धि मॉडल को अधिक अस्थिर बना देती है। योग्यता मुख्य रूप से अपरिवर्तित रहती है, जो यह पुष्टि करती है कि मुद्दा स्थिरता में है, न कि क्षमता में।

तापमान नियंत्रण

एक अलग सेट के प्रयोगों ने यह परीक्षण किया कि क्या अविश्वसनीयता केवल यादृच्छिकता का एक उपोत्पाद है। ऐसा करने के लिए, लेखकों ने सहायक और उपयोगकर्ता सिम्युलेटर दोनों के तापमान सेटिंग को तीन मानों पर बदल दिया: 1.0, 0.5, और 0.0।

एकल-मोड़ प्रारूप जैसे पूर्ण और कॉनकैट में, सहायक के तापमान को कम करने से अविश्वसनीयता में महत्वपूर्ण सुधार हुआ, जो 80 प्रतिशत तक कम हो गया; लेकिन शार्डेड सेटिंग में,同 एक ही हस्तक्षेप का बहुत कम प्रभाव था:

पूर्ण, कॉनकैट, और शार्डेड सेटिंग में सहायक और उपयोगकर्ता तापमान के विभिन्न संयोजनों के लिए अविश्वसनीयता स्कोर, जिसमें कम मान प्रतिक्रिया संगति को इंगित करते हैं।

यहां तक कि जब सहायक और उपयोगकर्ता दोनों को शून्य तापमान पर सेट किया गया था, तब भी अविश्वसनीयता उच्च बनी रही, जीपीटी-4ओ में 30 प्रतिशत के आसपास की भिन्नता दिखाई दे रही थी, जो यह सुझाव देती है कि बहु-मोड़ बातचीत में देखी गई अस्थिरता केवल स्टोकेस्टिक शोर नहीं है, बल्कि मॉडल द्वारा खंडित इनपुट को संभालने में एक संरचनात्मक कमजोरी है।

निहितार्थ

लेखक अपने निष्कर्षों के निहितार्थ के बारे में असामान्य लंबाई के साथ लिखते हैं, यह तर्क देते हुए कि मजबूत एकल-मोड़ प्रदर्शन बहु-मोड़ विश्वसनीयता की गारंटी नहीं देता है, और पूरी तरह से निर्देशित बेंचमार्क के उपयोग पर बहु-मोड़ बातचीत की अधिक प्राकृतिक, अधूरी बातचीत में वास्तविक दुनिया की तैयारी का मूल्यांकन करते समय सावधानी बरतने की चेतावनी देते हैं (क्योंकि ऐसे बेंचमार्क अस्थिरता को छुपाते हैं)।

वे यह भी सुझाव देते हैं कि अविश्वसनीयता केवल एक नमूना कलाकार नहीं है, बल्कि वर्तमान मॉडलों द्वारा विकसित इनपुट को संसाधित करने में एक मूलभूत सीमा है, और वे यह तर्क देते हैं कि यह एजेंट फ्रेमवर्क के लिए चिंता का विषय है, जो टर्न के पार सुसंगत तर्क पर निर्भर करते हैं।

अंत में, वे तर्क देते हैं कि बहु-मोड़ क्षमता को एलएलएम की एक मूल क्षमता के रूप में माना जाना चाहिए, न कि बाहरी प्रणालियों पर ऑफलोड किया जाना चाहिए।

लेखकों का मानना है कि उनके परिणाम वास्तविक समस्या को कम आंकते हैं, और उन्होंने परीक्षण की आदर्श स्थितियों पर ध्यान दिलाया: उपयोगकर्ता सिम्युलेटर को उनकी स्थापना में पूरे निर्देश और बातचीत इतिहास दोनों तक पूरी पहुंच थी, और यह तय करने में सक्षम था कि कौन सा शार्ड प्रकट किया जाना चाहिए, जो एक अनुकूल क्रम में – वास्तविक दुनिया में उपयोगकर्ता अक्सर मॉडल को बताए बिना खंडित या अस्पष्ट प्रॉम्प्ट प्रदान करते हैं कि मॉडल को क्या सुनने की आवश्यकता है।

इसके अलावा, सहायक का मूल्यांकन तुरंत किया गया था, प्रत्येक मोड़ के बाद, पूरी बातचीत के अनरावल होने से पहले, जो बाद में भ्रम या स्वयं-विरोधाभास को दंडित करने से रोकता है, जो अन्यथा प्रदर्शन को और खराब कर देगा। ये विकल्प, जबकि प्रायोगिक नियंत्रण के लिए आवश्यक थे, यह दर्शाते हैं कि व्यावहारिक सेटिंग्स में देखी जाने वाली विश्वसनीयता अंतराल वास्तव में रिपोर्ट की तुलना में अधिक होने की संभावना है।

वे निष्कर्ष निकालते हैं:

‘[हम] मानते हैं कि किए गए सिमुलेशन एक सहज परीक्षण मैदान का प्रतिनिधित्व करते हैं एलएलएम की बहु-मोड़ क्षमताओं के लिए। सिमुलेशन की अत्यधिक सरलीकृत स्थितियों के कारण, हम मानते हैं कि प्रयोगों में देखी गई गिरावट एलएलएम की अविश्वसनीयता का एक कम अनुमान है, और यह कितनी बार एलएलएम वास्तविक दुनिया की सेटिंग्स में बातचीत में खो जाते हैं।’

निष्कर्ष

जो कोई भी एलएलएम के साथ महत्वपूर्ण समय बिताता है, वह शायद यहां वर्णित मुद्दों को व्यावहारिक अनुभव से पहचान लेगा; और मुझे लगता है कि अधिकांश लोगों ने स्वाभाविक रूप से ‘खोए हुए’ एलएलएम बातचीत को नए लोगों के लिए छोड़ दिया होगा, यह उम्मीद करते हुए कि एलएलएम ‘शुरू कर सकता है’ और लंबे, घुमावदार और बढ़ती तरह से निराशाजनक आदान-प्रदान में उत्साह के बारे में जुनूनी होना बंद कर देगा:

यह देखना दिलचस्प है कि समस्या पर अधिक संदर्भ फेंकना आवश्यक रूप से इसे हल नहीं कर सकता है; और वास्तव में, यह देखने के लिए कि कागज़ अधिक प्रश्न उठाता है जितना कि यह उत्तर प्रदान करता है (सिवाय समस्या के आसपास कैसे काम किया जाए)।

* भ्रमित रूप से, यह एआई में ‘शार्डिंग’ के पारंपरिक अर्थ से संबंधित नहीं है

† लेखकों के अपने बोल्ड जोर

सोमवार, 12 मई, 2025 को पहली बार प्रकाशित