बड़े भाषा मॉडल में वाक्पटुता से सटीकता कम होती है

नई रिसर्च में पाया गया है कि बड़े भाषा मॉडल्स को छोटे उत्तर देने के लिए मजबूर करने से उनके उत्तरों की सटीकता और गुणवत्ता में उल्लेखनीय सुधार होता है।

जिन लोगों ने कभी चैटबॉट को ‘बकबक’ करने से रोकने की कोशिश की है, वे नए शोध के निष्कर्षों को पहचानेंगे: एआई को छोटे उत्तर देने के लिए मजबूर करने से यह अधिक सटीक हो जाता है।

बड़े एआई चैटबॉट्स के छोटे लोगों की तुलना में खराब प्रदर्शन करने के कारणों की जांच करते हुए, जिसे इनवर्स स्केलिंग के रूप में जाना जाता है, शोध में पाया गया कि 31 लोकप्रिय बड़े भाषा मॉडल्स (एलएलएम) को छोटे उत्तर देने के लिए मजबूर करने से उनके उत्तरों की सटीकता में 26.3% तक सुधार हो सकता है:

‘परिणाम प्रेरक कारण के लिए प्रभावशाली प्रमाण प्रदान करते हैं: संक्षिप्तता के प्रतिबंधों ने बड़े मॉडल की सटीकता में 26.3 प्रतिशत अंकों का सुधार किया और इनवर्स स्केलिंग के अंतर को 67% (44.2% से 14.8% तक) कम कर दिया, जोड़े गए t-परीक्षण के साथ: t = 7.80, p < 0.0001।'

अत्यधिक वाक्पटुता एक आम शिकायत है, न केवल व्यावसायिक ग्रेड मॉडल जैसे कि चैटजीपीटी के उपयोगकर्ताओं के बीच, जहां समर्थन मंच इस विषय को बार-बार दिखाते हैं।

उत्तर देने वाले डोमेन में सबसे अधिक प्रभावित होने वाला क्षेत्र गणित है, जहां परीक्षण किए गए एआई को 50 शब्दों या उससे कम में उत्तर देने के लिए मजबूर किया गया था। पढ़ने की समझ कार्यों के लिए, उन्हें केवल 10 शब्दों में उत्तर देने के लिए प्रतिबंधित किया गया था।

लेख में एआई की वाक्पटुता की प्रवृत्ति को अतिविचार के रूप में परिभाषित किया गया है, जहां केंद्रीय संदेश न केवल वाक्पटुता से ढका होता है, बल्कि कभी-कभी इसके द्वारा प्रभावित भी होता है। लेख में यह भी कहा गया है कि जितना छोटा मॉडल होता है, यह उपाय उतना ही कम आवश्यक होता है, या काम करता है।

शोध के निष्कर्ष यह हैं कि इस समाधान को लागू करने के लिए कोई वास्तुकला नहीं है जिसे संबोधित किया जाना चाहिए। हालांकि, एक उपयोगकर्ता के चैट सत्र में, संक्षिप्तता की दिशा में एक निर्देश को दोहराने की आवश्यकता होगी, जबकि एक वैश्विक रूप से लागू किया गया सिस्टम प्रॉम्प्ट – जिसे चैटजीपीटी जैसे प्लेटफ़ॉर्म पर एक इंजीनियरिंग डिफ़ॉल्ट के रूप में लागू किया जाना चाहिए – छोटे उत्तरों को डिफ़ॉल्ट व्यवहार बना सकता है।

तेज़ हवाएं

इसका कारण यह नहीं है कि बड़े मॉडल वाक्पटुता की ओर क्यों झुकते हैं, क्योंकि यह खुले स्रोत मॉडलों पर भी प्रभाव डालता है। लेख में सुझाव दिया गया है कि मानव प्रतिक्रिया से प्रेरित सीखने (आरएलएचएफ) तकनीकों के प्रोटोकॉल और सामान्य अभ्यास एक स्पष्टीकरण प्रदान कर सकते हैं*:

‘एक संभावित मूल रीएचएफ एलाइनमेंट प्रशिक्षण है, जहां मानव अनnotators विस्तार से बड़े मॉडलों में असमान रूप से पुरस्कृत करते हैं जो लंबाई-इनाम संकेतों पर कार्य करने की अधिक क्षमता रखते हैं – निर्देश-ट्यून किए गए मॉडल वेरिएंट की तुलना में वाक्पटुता के अंतरों के साथ संगत है। ‘

मानवों में, वाक्पटुता तब हो सकती है चुप्पी को भरने के लिए, या असहजता की भावनाओं को छिपाने के लिए, मानसिक बीमारी के कारण, या ज्ञान की कमी को छिपाने के लिए। प्रभाव में, एक एआई को केवल इन कारकों से प्रभावित किया जा सकता है जो प्रशिक्षण डेटा के माध्यम से इन विशेषताओं को प्रतिबिंबित या प्रकट करते हैं।

डेटासेट निगमों में, प्रोक्सी उत्तरों के लिए अन्य प्रेरणाएं मौजूद हैं, जैसे कि एसईओ प्रोत्साहन लंबे पाठ सामग्री का उत्पादन करने के लिए, जैसे कि नुस्खा पोस्ट में, जहां लंबाई अक्सर अधिकार के साथ जुड़ी होती है (अक्सर गलत तरीके से)।

जो पूरी तरह से खारिज नहीं किया जा सकता है वह यह है कि एपीआई-आधारित प्लेटफ़ॉर्म, उपयोगकर्ताओं को एक उच्च और अधिक महंगे सदस्यता स्तर पर धकेलने के लिए प्रोत्साहित करते हैं, या वाक्पटुता को प्रोत्साहित नहीं करते हैं, क्योंकि यह टोकन का उपयोग सस्ते में बढ़ाता है, बिना अत्यधिक तर्क या आरएजी कॉल्स^† की आवश्यकता के।

नई लेख का शीर्षक ब्रेविटी कंस्ट्रेंट्स रिवर्स परफॉर्मेंस हायरार्कीज़ इन लैंग्वेज मॉडल है, और यह बांग्लादेश में स्वीडन पॉलिटेक्निक संस्थान के कंप्यूटर विज्ञान विभाग से है।

विधि

लेख के सिद्धांतों का परीक्षण करने के लिए, 31 भाषा मॉडल का मूल्यांकन किया गया – यहाँ पाठ रूप में सूचीबद्ध करने के लिए बहुत अधिक, लेकिन नीचे दी गई छवि में चित्रित किया गया है:

नई लेख के परीक्षणों के विभिन्न भागों में परीक्षण किए गए बड़े भाषा मॉडल (एलएलएम)।

मॉडलों का मूल्यांकन पांच बेंचमार्क संग्रहों के खिलाफ किया गया था: जीएसएम8के, गणितीय तर्क के लिए; बूलक्यू, पढ़ने की समझ के लिए; सामान्य ज्ञानकोशक्यूए, सामान्य ज्ञान तर्क के लिए; एआरसी-ईज़ी, विज्ञान प्रश्नों के लिए; और एमएमएलयू-स्टेम, वैज्ञानिक ज्ञान के लिए।

उत्तर लालची डिकोडिंग का उपयोग करके उत्पन्न किए गए थे, ताकि यह सुनिश्चित किया जा सके कि निर्धारित आउटपुट हों; फिर कार्य-विशिष्ट नियमों के साथ निकाला गया, सटीकता को सही उत्तरों के हिस्से के रूप में मापा गया, मैदान की सच्चाई के खिलाफ।

मॉडलों को आकार के अनुसार विभाजित किया गया था, जिनमें से दस अरब पैरामीटर से नीचे वालों को ‘छोटे’ के रूप में माना जाता था, और सत्तर अरब से ऊपर वालों को ‘बड़े’ के रूप में माना जाता था, जो प्रदर्शन अंतराल के आधार पर था।

इनवर्स स्केलिंग को इन समूहों के प्रदर्शन की तुलना करके मापा गया था, जिन मामलों में छोटे मॉडल बड़े मॉडल से बेहतर प्रदर्शन करते थे, और फिर सांख्यिकीय प्रभाव आकार का उपयोग करके यह पुष्टि की गई थी कि ये अंतर वास्तविक और महत्वपूर्ण थे, न कि केवल शोर।

रिकॉल को खारिज करना

यह संभावना को खारिज करने के लिए कि मॉडल केवल प्रशिक्षण डेटा को याद कर रहे थे, तीन अलग-अलग जांच की गईं, जिसमें उत्तरों की विविधता की जांच की गई; उनकी लंबाई में कितनी भिन्नता थी; और उन्होंने कैसे त्रुटियां कीं। यदि मॉडल याद किए गए पैटर्न पर निर्भर थे, तो उत्तर पुनरावृत्ति या निश्चित टेम्पलेट का पालन करेंगे; इसके बजाय, उत्तरों में अधिकांश मॉडलों में भिन्नता देखी गई, और एक उत्तर से दूसरे तक लंबाई में उल्लेखनीय भिन्नता थी – यह दर्शाता है कि मॉडल वास्तविक तर्क प्रदान कर रहे थे, न कि संग्रहीत उत्तरों को पुनर्प्राप्त कर रहे थे।

त्रुटियों की भी सीधे जांच की गई, जिनमें से अधिकांश लंबे, गलत स्पष्टीकरण के रूप में थीं, न कि संक्षिप्त, बचने वाले उत्तर – यह दर्शाता है कि मॉडल वास्तविक तर्क प्रदान कर रहे थे, न कि संग्रहीत प्रतिक्रियाओं को पुनर्प्राप्त कर रहे थे।

डेटा और परीक्षण

व्यक्तिगत प्रश्नों के लिए परीक्षण करने के बजाय, सिर्फ हेडलाइन स्कोर, एक बड़ा हिस्सा बेंचमार्क कार्यों को असूचित पाया गया, जिसमें 27.1% पूरी तरह से मॉडलों को अलग करने में विफल रहे, क्योंकि या तो हर प्रणाली सफल रही या हर प्रणाली विफल रही, जिससे सापेक्ष प्रदर्शन के बारे में कोई वास्तविक संकेत नहीं मिला:

पांच बेंचमार्कों में समस्या-स्तर का विभाजन दिखाया गया है, जिसमें एक बड़ा हिस्सा कार्यों को मॉडलों के बीच अंतर करने में विफल रहा, जबकि एक छोटा लेकिन सुसंगत हिस्सा इनवर्स स्केलिंग दिखाया गया, जहां छोटे मॉडल बड़े मॉडल से बेहतर प्रदर्शन करते हैं। 1,485 समस्याओं के वितरण से पता चलता है कि 7.7% में इनवर्स स्केलिंग होती है। स्रोत

मॉडलों को अलग करने वाले प्रश्नों में, अधिकांश ने अपेक्षित रूप से काम किया, जिसमें बड़े सिस्टम बेहतर प्रदर्शन करते थे, लेकिन एक छोटा समूह विपरीत पैटर्न दिखा रहा था, जिसमें छोटे मॉडल आगे निकल रहे थे। सभी समस्याओं में, इनवर्स स्केलिंग 7.7% मामलों में दिखाई दी, जो दर्शाता है कि यह प्रभाव इस संदर्भ में हाशिए पर नहीं है।

इनवर्स स्केलिंग की उत्पत्ति

पांच बेंचमार्कों में, 115 समस्याएं पाई गईं जहां छोटे मॉडल बड़े मॉडल से बेहतर प्रदर्शन करते थे, जो कुल 1,485 कार्यों का 7.7% हिस्सा था, जो दर्शाता है कि इनवर्स स्केलिंग इस संदर्भ में एक दुर्लभ या हाशिए पर घटना नहीं है:

वास्तव में, यह प्रभाव प्रत्येक डेटासेट में दिखाई दिया: बूलक्यू में सबसे मजबूत, और कमजोर रूप से सामान्य ज्ञानकोशक्यूए, एआरसी-ईज़ी, जीएसएम8के, और एमएमएलयू-स्टेम में, जो दर्शाता है कि यह व्यापक है, लेकिन कार्य के अनुसार भिन्न है:

इनवर्स स्केलिंग पांच बेंचमार्कों में दिखाई दी, जो एमएमएलयू-स्टेम में 3.9% से लेकर बूलक्यू में 11.3% तक थी, कुल 115 समस्याओं के साथ। प्रदर्शन अंतर छोटे मॉडल के पक्ष में 28.4 प्रतिशत अंकों के औसत से था। सटीकता मॉडल के आकार के साथ घट गई, छोटे मॉडलों में 66.1% की तुलना में बड़े मॉडलों में 41.5%।

अंतर का आकार महत्वपूर्ण साबित हुआ, जिसमें छोटे मॉडल 28.4 प्रतिशत अंकों के औसत से आगे थे, और प्रत्येक मामले में एक ही दिशा में लाभ दिखाई दे रहा था, जो दर्शाता है कि प्रदर्शन में एक निरंतर गिरावट है, न कि कभी-कभी या अद हॉक त्रुटियां।

यही पैटर्न विभिन्न मॉडल परिवारों में भी देखा गया, जिनमें लामा, क्वेन, जेमा, और मिस्ट्रल शामिल हैं, जहां बड़े संस्करण छोटे मॉडलों की तुलना में इन समस्याओं पर खराब प्रदर्शन करते थे, जिसमें सटीकता मॉडल के आकार के साथ घट रही थी।

अंतर इतना बड़ा था कि यह संयोग से समझाया नहीं जा सकता था; और चूंकि यह पैटर्न विभिन्न बेंचमार्क, कार्यों और मॉडल परिवारों में दिखाई दिया, इसलिए इनवर्स स्केलिंग एक निरंतर प्रभाव के रूप में उभरा, न कि एक यादृच्छिक प्रभाव के रूप में।

प्रत्येक मॉडल परिवार के भीतर, बड़े संस्करण इन समस्याओं पर बार-बार छोटे मॉडल से खराब प्रदर्शन करते थे, जो दर्शाता है कि गिरावट स्वयं पैमाने से जुड़ी हो सकती है, न कि डिज़ाइन में अंतरों से।

परिणाम यह भी बताते हैं कि प्रत्येक कार्य के लिए एक सीमा है, जहां मॉडल के आकार में वृद्धि प्रदर्शन को नुकसान पहुंचाना शुरू कर देती है, जो दर्शाता है कि बड़े मॉडल हमेशा बेहतर परिणाम नहीं देते हैं।

अतिविचार की जांच

यह स्थापित करने के बाद कि बड़े मॉडल कभी-कभी कुछ डोमेन में खराब प्रदर्शन करते हैं, विश्लेषण यह जानने के लिए आगे बढ़ा कि यह क्यों होता है, और यह प्रस्तावित किया गया कि समस्या क्षमता की कमी नहीं है, बल्कि बहुत अधिक व्याख्या है – अर्थात्, मामले जहां लंबे उत्तर सही तर्क को अस्पष्ट करना शुरू कर देते हैं:

डेटा में, लंबे उत्तर कम सटीकता से जुड़े थे, इन कठिन समस्याओं पर, हालांकि बड़े और छोटे मॉडल लगभग समान संख्या में तर्क कदम उत्पन्न करते थे, जो दर्शाता है कि मुद्दा यह नहीं है कि कितना तर्क किया जाता है, बल्कि यह कैसे व्यक्त किया जाता है:

छोटे उत्तरों ने बड़े मॉडल के प्रदर्शन में सुधार किया और छोटे मॉडल के साथ अंतर को कम कर दिया, 44.2 प्रतिशत अंकों से 14.8 तक (और कुछ मामलों में इसे पूरी तरह से उलट दिया), जबकि सीधे उत्तर प्रारूप इसे और भी कम कर दिया। सबसे मजबूत लाभ जीएसएम8के और एमएमएलयू-स्टेम में दिखाई दिए, जहां रैंकिंग बड़े मॉडल के पक्ष में बदल गई, और उत्तर लंबाई जांच ने पुष्टि की कि हस्तक्षेप काम करता था, जिसमें आउटपुट 197 टोकन से कम हो गया था। 80 से कम, जो कम वाक्पटुता को बेहतर सटीकता से जोड़ता है।

जब उत्तरों को छोटा करने के लिए मजबूर किया गया, तो बड़े मॉडल में तेजी से सुधार हुआ, जिससे एक बड़ा प्रदर्शन अंतर कम हो गया, और कुछ मामलों में लगभग पूरी तरह से समाप्त हो गया। इसके विपरीत, छोटे मॉडल बहुत कम बदले, जो दर्शाता है कि वाक्पटुता सक्रिय रूप से बड़े सिस्टम को नुकसान पहुंचा रही थी।

प्रभाव कार्य के अनुसार भिन्न था, जिसमें कुछ बेंचमार्क छोटे उत्तरों से मजबूती से लाभान्वित हुए, और अन्य को कुछ स्पष्टीकरण की आवश्यकता थी; लेकिन कुछ मामलों में, छोटे और बड़े मॉडल के बीच रैंकिंग पूरी तरह से उलट गई जब वाक्पटुता को प्रतिबंधित किया गया था, जो दर्शाता है कि बड़े मॉडल में छिपी हुई क्षमता थी जो अतिव्याख्या से ढकी हुई थी।

आगे के विश्लेषण से पता चला कि बड़े मॉडल समग्र रूप से लंबे आउटपुट उत्पन्न करते थे, हालांकि वे थोड़े कम स्पष्ट तर्क कदमों का उपयोग करते थे, जो एक अधिक विस्तृत और कम संरचित तर्क शैली का सुझाव देते हैं।

इसके विपरीत, छोटे मॉडल सीधे, प्रत्यक्ष उत्तर देते थे, जो दर्शाता है कि तर्क कैसे व्यक्त किया जाता है, न कि तर्क की मात्रा स्वयं, प्रदर्शन में गिरावट का कारण बनता है।

लेखकों का निष्कर्ष है कि सामान्य तौर पर, संक्षिप्तता के प्रतिबंध सटीकता लाभ लाते हैं, और यह मानते हैं कि यह भाषा मॉडल में एक मूलभूत विशेषता बन सकती है, न कि एक पुनरावृत्ति उपयोगकर्ता-लागू प्रतिबंध जो सत्रों में जीवित नहीं रहता है; और वे कहते हैं:

‘[संक्षिप्तता] प्रतिबंध बड़े मॉडल को नाटकीय रूप से मदद करते हैं, जबकि छोटे मॉडल को लगभग प्रभावित नहीं करते हैं। ‘

‘यदि वाक्पटुता अप्रासंगिक होती, तो दोनों आकार वर्गों में सटीकता में समान परिवर्तन अपेक्षित होते। विभेदित प्रतिक्रिया पुष्टि करती है कि अतिविचार एक पैमाने विशिष्ट विफलता मोड है, न कि कार्य कठिनाई प्रभाव।’

निष्कर्ष

खुले स्रोत संस्करणों के अलावा जिन्हें शोधकर्ताओं ने परीक्षण किया था, वाक्पटुता की समस्या अन्य कई प्रमुख मॉडलों में भी दिखाई देती है, जिनमें क्लॉड, जेमिनी, और ग्रोक शामिल हैं।

चाहे वे वाक्पटुता की समस्या को अनदेखा कर रहे हों क्योंकि यह टोकन का उपयोग बढ़ाता है और उच्च खर्च को प्रोत्साहित करता है, यह तर्कसंगत नहीं लगता कि वे सटीकता में गिरावट को स्वीकार करेंगे जो इसके साथ आता है।

यह देखना दिलचस्प होगा कि क्या कोई सांख्यिकीय विधि यह निर्धारित करने में सक्षम हो सकती है कि वाक्पटुता की प्रवृत्ति कहां से आती है। जिस किसी ने भी कभी चैटबॉट को वास्तव में बात करने की कोशिश की है, न कि ‘ब्लॉगिंग’ वाक्पटुता, बहु-चरण वाले उत्तरों को उपयोगकर्ता को देने के लिए, उन्हें एहसास होगा कि मॉडल को उसके प्रशिक्षण डेटा में ‘एक-में-सब’ उपयोगकर्ता मार्गदर्शिकाओं और ‘स्वीकृत समाधानों’ के साथ गंभीर रूप से छाप दिया गया है।

यह देखना दिलचस्प होगा कि क्या एक मॉडल जो विशेष रूप से चरण-दर-चरण बातचीत पर प्रशिक्षित है, वास्तव में वाक्पटुता और सारांश करने की प्रवृत्ति से दूर जा सकता है। हालांकि, ऐसा लगता है कि मॉडल को सीधे प्रशिक्षित करने के लिए कुछ प्रतिबंध या फिल्टर लगाने होंगे ताकि यह सीधे प्राथमिक सामग्री पर भी प्रशिक्षित हो – मूल रूप से, चरण-दर-चरण बातचीत में निहित स्पष्ट तर्क।

चूंकि इस तरह के डेटा दुर्लभ लगते हैं, इसलिए इस दृष्टिकोण के साथ आगे बढ़ने का एकमात्र तरीका सिंथेटिक डेटा के माध्यम से हो सकता है, जहां ‘संयुक्त’ निष्कर्षों को बातचीत के माध्यम से तोड़ा जाता है – वास्तव में, जिस तरह गूगल नोटबुकएलएम प्लेन टेक्स्ट इनपुट से एआई पॉडकास्ट की व्याख्या कर सकता है।

* मैंने लेखकों के इनलाइन उद्धरणों को हाइपरलिंक में बदल दिया है।

^† लेकिन ईमानदारी से कहें, वास्तविक एआई प्रावधान लागत और सदस्यता शुल्क के बीच की कमी इस चरण में इतनी बड़ी है कि यह केवल उपयोगकर्ता-आधार की प्रतिष्ठा को नुकसान पहुंचाएगा, एआई के ‘रूपांतरण’ और ‘संगमन’ चरण के गंभीर अंतर्निहित अर्थशास्त्र को हल किए बिना।

पहली बार रविवार, 5 अप्रैल, 2026 को प्रकाशित।