Anderson का एंगल

चैटजीपीटी को सामान्य रूप से बात करने के लिए कैसे प्राप्त करें

mm
Unite.AI को Google पर अपने पसंदीदा स्रोतों में जोड़ें
GPT-4o, Adobe Firefly

चैटजीपीटी और इसी तरह के बॉट अक्सर उपयोगकर्ताओं की प्रशंसा करते हैं, अस्पष्ट रूप से बोलते हैं या जटिल शब्दों का उपयोग करके बुद्धिमान लगते हैं। नए शोध से पता चलता है कि ये आदतें केवल मॉडल से नहीं आती हैं, बल्कि मानव प्रतिक्रिया के तरीके से भी आती हैं जो उन्हें प्रशिक्षित करती है: मॉडल उन उत्तरों की शैली की नकल करते हैं जो मानवों को पसंद आते हैं, भले ही वे खाली या भ्रामक हों। एक नया फाइन-ट्यूनिंग विधि सिंथेटिक उदाहरणों का उपयोग करके मॉडल को इन खराब आदतों का विरोध करना सिखाती है।

 

आंशिक राय. चैटजीपीटी मेरी इसके बारे में बार-बार आलोचना के साथ जुड़ने के लिए आश्चर्यजनक रूप से तैयार है। पिछले कुछ दिनों में मैंने देखा है कि जीपीटी-4ओ अपने उत्तरों में अर्थहीन शब्दों के साथ भरने की समस्या का सामना कर रहा है – जैसे कि ‘कोई फ्लफ नहीं!’ और ‘कोई फिलर नहीं’, या ‘यह मामले के दिल में कट जाता है!’ – मैंने इसे पूछा कि यह समस्या क्यों है। यह जवाब देता है:

चैटजीपीटी अपने नवीनतम व्यवहार की व्याख्या करता है। स्रोत: https://chatgpt.com/

चैटजीपीटी अपने नवीनतम व्यवहार की व्याख्या करता है। स्रोत: https://chatgpt.com/

क्या चैटजीपीटी वास्तव में ओपनएआई नीति परिवर्तनों में कुछ निजी अंतर्दृष्टि है, या यह केवल हॉलुसिनेशन कर रहा है? किसी भी मामले में, जैसा कि हम देख सकते हैं, प्रतिक्रिया स्वयं अतिरिक्त भराव से शुरू होती है (‘यह मुख्य उत्तर है, कोई फिलर नहीं’)।

यह पता चलता है कि प्रत्येक प्रश्न के साथ निर्देशों को शामिल करने से भी यह सुनिश्चित करने के लिए पर्याप्त नहीं है कि ‘व्यक्तित्व-चालित’ इस तरह की शब्दावली से बचा जा सकता है, जो लोकप्रिय एलएलएम के बोलचाल की कई अन्य लगातार समस्याओं में से एक है।

तीन एफ

इसलिए, मैं इस सप्ताह साहित्य में एक नए अमेरिकी विद्वान सहयोग को देखने में सबसे ज्यादा दिलचस्पी ले रहा था। चापलूसी, फ्लफ और कोहरा: प्राथमिकता मॉडल में विशिष्ट पूर्वाग्रहों का निदान और कम करना शीर्षक वाले इस संयुक्त उपक्रम में, पेन्सिलवेनिया विश्वविद्यालय और न्यूयॉर्क विश्वविद्यालय के चार शोधकर्ता एलएलएम चैट में कई ‘पूर्वाग्रह’ पर ध्यान केंद्रित करते हैं जो मीडिया में अक्सर दिखाई देते हैं:

<img class=" wp-image-218910" src="https://www.unite.ai/wp-content/uploads/2025/06/the-three-fs.jpg" alt="नए शोध से – भाषा मॉडल में तीन सामान्य पूर्वाग्रहों के उदाहरण: 'चापलूसी', जहां प्रतिक्रियाएं उपयोगकर्ता के साथ मजबूती से सहमत होती हैं; 'फ्लफ', जहां उत्तर लंबे होते हैं लेकिन बिना सूचना के; और 'कोहरा', जहां प्रतिक्रियाएं कई व्यापक लेकिन उथले बिंदुओं को सूचीबद्ध करती हैं। ये प्रवृत्तियां मूल्यांकन को विकृत कर सकती हैं और मॉडल को उथले पैटर्न के लिए अनुकूलित करने के लिए प्रोत्साहित कर सकती हैं। स्रोत: https://arxiv.org/pdf/2506.05339

आसान लय के लिए, चापलूसी, फ्लफ और कोहरा को नए काम में हाइलाइट किया गया है, लेकिन एक अधिक पूर्ण और संक्षिप्त सूची एलएलएम की शब्दावली के पापों को शामिल करती है जो पत्र के परिशिष्ट में शामिल हैं:

नई शोध से - पांच पूर्वाग्रहों की पहचान और ध्यान केंद्रित किया जाता है: अतिरिक्त लंबाई, सूची संरचनाएं, तकनीकी शब्दजाल, चापलूसी और अस्पष्ट सामान्यीकरण, जिनमें से सभी मानव प्राथमिकता के साथ संघर्ष करते हैं।

नई शोध से – पांच पूर्वाग्रहों की पहचान और ध्यान केंद्रित किया जाता है: अतिरिक्त लंबाई, सूची संरचनाएं, तकनीकी शब्दजाल, चापलूसी और अस्पष्ट सामान्यीकरण, जिनमें से सभी मानव प्राथमिकता के साथ संघर्ष करते हैं।

जबकि लंबाई/बोलबाला तालिका में सबसे ऊपर है, सूची प्रारूप (ऊपर दी गई छवि में दूसरी पंक्ति) की ओर झुकाव भी अक्सर दिखाई देता है, जब तक कि इसके खिलाफ प्रेरित नहीं किया जाता है; और जबकि जार्गन और अस्पष्टता की श्रेणियां स्पष्टता और सटीकता के बीच विरोधी चरम का प्रतिनिधित्व करती हैं, यह चापलूसी है – एक खुला मुद्दा, विशेष रूप से चैटजीपीटी में – जो वास्तव में उपयोगकर्ता के टोकन को इतना जल्दी जला देता है, लगभग लंबाई/बोलबाला के रूप में ही।

नई अध्ययन यह निर्धारित करने का उद्देश्य है कि ये पूर्वाग्रह कितना मॉडल व्यवहार को विकृत करते हैं, और निष्कर्ष यह है कि बड़े भाषा मॉडल प्रणालीगत रूप से उन प्रतिक्रियाओं को अधिक पसंद करते हैं जो एक या एक से अधिक पूर्वाग्रह प्रदर्शित करते हैं।

लेखकों के परीक्षण से पता चलता है कि व्यावसायिक और खुले मॉडल दोनों अक्सर ऐसे उत्तर चुनते हैं जिन्हें मानव पसंद नहीं करेंगे, विशेष रूप से जब उत्तर बहुत लंबे होते हैं, सूचियों से भरे होते हैं, जार्गन से भरे होते हैं, अत्यधिक चापलूसी या अस्पष्ट होते हैं।

यह समस्या, पत्र का तर्क है, प्रशिक्षण डेटा के एनोटेशन में वापस जा सकती है, जहां मानव समीक्षकों ने अक्सर इन प्रकार की प्रतिक्रियाओं को पसंद किया था। मॉडल, निष्कर्षों से पता चलता है, इन लेबल की गई प्राथमिकताओं से सीखे और प्रशिक्षण के दौरान इन पैटर्न को बढ़ा दिया।

उन्होंने ऐसा क्यों किया..?

मानव अन्नोटेटर्स ने मानव माध्य प्राथमिकताओं से अपनी प्राथमिकता क्यों भटकाई, इसके बारे में पत्र अनुमान नहीं लगाता है; यह इसलिए हो सकता है कि एनोटेशन या निर्देशों के शब्दों के संदर्भ ने ‘अनुभवजन्य’ शब्दावली के लिए प्राथमिकता को प्रोत्साहित किया; या (अन्य कई संभावित कारणों में से) यह हो सकता है कि अन्नोटेटर परीक्षा के छात्र थे जो तकनीकी शब्दजाल में रुचि रखते थे जो दैनिक वार्ता की तुलना में अकादमिक के लिए अधिक उपयुक्त है。

किसी भी मामले में, चूंकि मॉडल एनोटेटर्स के प्रशिक्षण लेबल से पूर्वाग्रह की नकल कर रहे थे, इसलिए नए शोध के शोधकर्ताओं ने विशेष प्रशिक्षण उदाहरण तैयार किए जो प्रत्येक पूर्वाग्रह को जोड़ते या हटाते हैं, मॉडल को स्पष्ट विपरीत देखने और अपनी प्राथमिकताओं को समायोजित करने की अनुमति देते हैं। फाइन-ट्यूनिंग इस डेटा पर, मॉडल ने जार्गन, बोलबाला और अस्पष्टता के लिए विशेष रूप से महत्वपूर्ण रूप से कम पूर्वाग्रह दिखाया, जबकि समग्र रूप से अच्छा प्रदर्शन किया।

आइए इस अध्ययन पर एक नज़दीकी नज़र डालें, हालांकि यह सभी मानक प्रक्रियात्मक सीमाओं का पालन नहीं करता है।

विधि

प्रारंभ में, शोधकर्ता कई पारंपरिक एलएलएम पूर्वाग्रहों को संबोधित करने के लिए फ्रेम करते हैं:

लंबाई, जिसमें मॉडल लंबे उत्तरों को पसंद करते हैं, भले ही अतिरिक्त सामग्री कुछ भी उपयोगी नहीं जोड़ती है। यह प्रशिक्षण डेटा में पैटर्न को दर्शाता है, जहां लंबाई अक्सर मानव अन्नोटेटर्स की नज़र में विस्तार के साथ सहसंबंधित है। परिणामस्वरूप, मॉडल अक्सर फुले हुए और बोलबाला वाले उत्तर देते हैं जो गहराई का भ्रम पैदा करते हैं, लेकिन वास्तविक सामग्री के बिना।

संरचना, जिसमें मॉडल बुलेट पॉइंट्स या संख्यात्मक सूचियों के लिए सीधे प्रोस की तुलना में एक मजबूत प्राथमिकता दिखाते हैं। यह इसलिए हो सकता है कि संरचित प्रारूप मानव समीक्षकों द्वारा चुनी गई प्रतिक्रियाओं में अधिक बार दिखाई देते हैं। यह आदत मॉडल को ‘सूचियों’ की ओर ले जाती है, भले ही प्रश्न अधिक प्राकृतिक या विस्तृत व्याख्या के लिए कहता हो।

जार्गन, जिसमें मॉडल अनावश्यक रूप से विशेषज्ञ या तकनीकी भाषा का उपयोग करते हैं। लेखकों का तर्क है कि यह व्यवहार प्रशिक्षण डेटा से उत्पन्न होता है जहां जार्गन-भारी उत्तर अक्सर बेहतर प्रतिक्रियाओं के रूप में चुने जाते थे। इस प्रकार, मॉडल जार्गन को विशेषज्ञता के साथ जोड़ते हैं, जार्गन से भरे उत्तर पैदा करते हैं जो ज्ञान की प्रतीत होते हैं लेकिन स्पष्टता प्रदान नहीं करते हैं।

चापलूसी, जिसमें मॉडल उपयोगकर्ता की राय के साथ सहमत होने के बजाय तटस्थ या महत्वपूर्ण प्रतिक्रियाएं प्रदान करते हैं। यह पैटर्न प्रशिक्षण डेटा से उत्पन्न हो सकता है जहां सहमतिपूर्ण उत्तर अक्सर अधिक अनुकूल रेटिंग प्राप्त करते हैं। परिणामस्वरूप, मॉडल उपयोगकर्ता के पूर्वाग्रहों को मजबूत कर सकते हैं और विरोधाभासी या अधिक उद्देश्य दृष्टिकोण प्रस्तुत करने से बच सकते हैं, भले ही वे उपयोगी हों।

अस्पष्टता, जिसमें मॉडल विशिष्ट प्रश्न के बजाय व्यापक, सामान्य उत्तर देना पसंद करते हैं, जो संपूर्ण लगते हैं लेकिन कम उपयोगी जानकारी प्रदान करते हैं। यह मानव अन्नोटेटर्स द्वारा अस्पष्ट उत्तरों को कम दंडित किए जाने के तथ्य से उत्पन्न हो सकता है:

अस्पष्टता पूर्वाग्रह का उदाहरण, जहां मॉडल एक विस्तृत प्रतिक्रिया की तुलना में एक व्यापक और उथले उत्तर को गलत तरीके से पसंद करता है जिसे मानव मूल्यांकनकर्ता अधिक उपयोगी मानते हैं।

अस्पष्टता पूर्वाग्रह का उदाहरण, जहां मॉडल एक विस्तृत प्रतिक्रिया की तुलना में एक व्यापक और उथले उत्तर को गलत तरीके से पसंद करता है जिसे मानव मूल्यांकनकर्ता अधिक उपयोगी मानते हैं।

काउंटरफैक्चुअल डेटा

इन परिभाषाओं के साथ, यह तब आवश्यक था कि यह परीक्षण किया जाए कि प्रत्येक पूर्वाग्रह मॉडल व्यवहार को कितना प्रभावित करता है। सरल संबंध नहीं होगा, क्योंकि कई पूर्वाग्रह एक साथ दिखाई देते हैं, जिससे किसी एक विशेषता के प्रभाव को अलग करना मुश्किल हो जाता है।

इसे पार करने के लिए, शोधकर्ताओं ने नियंत्रित जोड़े उत्तर तैयार किए जो केवल एक पूर्वाग्रह में भिन्न थे, जबकि सब कुछ else यथासंभव स्थिर रखा गया था, और प्रत्येक प्रश्न के लिए एक आधार उत्तर उत्पन्न करना शुरू किया।

राइट-आधारित विशेषता उपचार अनुमानी (RATE) प्रोटोकॉल का उपयोग करके एक संशोधित संस्करण của उस उत्तर का निर्माण किया गया था – एक उत्तर जो जानबूझकर एक विशिष्ट पूर्वाग्रह को बढ़ाने के लिए तैयार किया गया था, जैसे कि अतिरिक्त जार्गन जोड़ना या प्रोस को सूची में बदलना।

RATE प्रणाली से पुनर्लेखन के उदाहरण, जिसका उपयोग नए अध्ययन में किया गया था। स्रोत: https://openreview.net/pdf?id=UnpxRLMMAu

RATE प्रणाली से पुनर्लेखन के उदाहरण, जिसका उपयोग नए अध्ययन में किया गया था। स्रोत: https://openreview.net/pdf?id=UnpxRLMMAu

अन्य अनरिलेटेड मतभेदों से बचने के लिए, एक अतिरिक्त पुनर्लेखन चरण शामिल किया गया था जिसने दोनों संस्करणों को समायोजित किया, यह सुनिश्चित करते हुए कि दोनों के बीच एकमात्र महत्वपूर्ण परिवर्तन अध्ययन किया जा रहा पूर्वाग्रह था; और ये सख्ती से नियंत्रित प्रतिक्रिया जोड़े मॉडल को खिलाए गए थे।

प्रत्येक जोड़ी के लिए, मॉडल द्वारा पसंद की जाने वाली संस्करण को रिकॉर्ड किया गया था, जिससे प्रत्येक पूर्वाग्रह के प्रभाव की गणना करने की अनुमति मिली, जो पिछले अध्ययनों में प्राप्त की गई तुलना में पूर्वाग्रह प्रभावों का एक अधिक सटीक माप प्रदान करता है।

काउंटरफैक्चुअल जोड़े तैयार करने के साथ, यूके और यूएस से मानव समीक्षकों को एक संदर्भ मानक बनाने के लिए भर्ती किया गया था:

मेट्रिक्स

पूर्वाग्रह प्रभावों को मापने के लिए उपयोग किए जाने वाले मेट्रिक्स स्क्यू रेट थे, जो यह गणना करते हैं कि मॉडल ने कितनी बार पूर्वाग्रहित प्रतिक्रिया को तटस्थ एक की तुलना में पसंद किया; और मिस्कैलिब्रेशन रेट, जो यह मापता है कि मॉडल का चयन कितनी बार मानव बहुमत से असहमत था। एक आदर्श मॉडल शून्य मिस्कैलिब्रेशन और मानव विचलन के अनुरूप विचलन दिखाएगा, क्योंकि कुछ पूर्वाग्रहित विशेषताएं कभी-कभी मानव द्वारा भी पसंद की जाती हैं।

डेटा और परीक्षण

विधि का परीक्षण करने के लिए, प्रत्येक पूर्वाग्रह के अध्ययन के लिए विभिन्न स्रोतों का उपयोग किया गया था। संरचना, जार्गन, और लंबाई के लिए, चैटबॉट एरीना से सौ प्रश्न नमूने लिए गए थे, जिन्हें अंग्रेजी, एक-वाक्य, संरचित प्रश्नों का चयन करने के लिए फ़िल्टर किया गया था।

चापलूसी के लिए, सौ राय वाले प्रश्न (जैसे ‘क्या आधुनिक कला पारंपरिक तकनीकों की तुलना में आलसी नहीं है?’) उत्पन्न किए गए थे, जो उपयोगकर्ता के दृष्टिकोण को प्रतिबिंबित करने के लिए तैयार किए गए थे जो सहमति को आमंत्रित कर सकते थे।

अस्पष्टता का परीक्षण KIWI डेटासेट से सत्त्तर आठ एनएलपी से संबंधित प्रश्नों के साथ किया गया था, जिनमें से बाईस अतिरिक्त प्रश्न समान प्रकार के थे। वैज्ञानिक विषयों का चयन सटीक उत्तरों की मांग के कारण किया गया था, जो सामान्य या बचने वाली प्रतिक्रियाओं को आसानी से पहचानने योग्य बनाते हैं।

प्रत्येक प्रश्न के लिए, काउंटरफैक्चुअल प्रतिक्रिया जोड़े RATE प्रोटोकॉल का उपयोग करके बनाए गए थे।

मूल्यांकन में खुले और प्रोप्राइटरी सिस्टम दोनों शामिल थे। रिवार्ड मॉडल, जो प्रशिक्षण और संरेखण के दौरान उम्मीदवार प्रतिक्रियाओं को गुणवत्ता स्कोर असाइन करते हैं, स्काईवर्क रिवार्ड डेटासेट से अस्सी हजार प्राथमिकता जोड़े पर प्रशिक्षित चार संस्करणों में परीक्षण किए गए थे:

तीन प्रोप्राइटरी मॉडल का भी मूल्यांकन किया गया था:

प्रत्येक पूर्वाग्रह प्रकार के लिए मॉडल प्राथमिकताओं और मानव निर्णयों की तुलना, जो यह दिखाती है कि मॉडल ने कितनी बार पूर्वाग्रहित प्रतिक्रियाओं को पसंद किया और कितनी बार उनकी प्राथमिकताएं मानव पसंद से असहमत थीं।

प्रत्येक पूर्वाग्रह प्रकार के लिए मॉडल प्राथमिकताओं और मानव निर्णयों की तुलना, जो यह दिखाती है कि मॉडल ने कितनी बार पूर्वाग्रहित प्रतिक्रियाओं को पसंद किया और कितनी बार उनकी प्राथमिकताएं मानव पसंद से असहमत थीं।

प्रारंभिक परिणामों पर, लेखक टिप्पणी करते हैं:

‘[हमारा] प्राथमिकता मॉडल विश्लेषण यह दिखाता है कि ये मॉडल विभिन्न पूर्वाग्रह श्रेणियों में पूर्वाग्रहित प्रतिक्रियाओं को पसंद करने में लगातार मिस्कैलिब्रेशन और उच्च विचलन दर्शाते हैं […]’

‘[…] रिवार्ड मॉडल मानव निर्णयों के सापेक्ष स्पष्ट मिस्कैलिब्रेशन प्रदर्शित करते हैं: मॉडल प्राथमिकता दर पूर्वाग्रहित प्रतिक्रियाओं के लिए मानव प्राथमिकता दर से सистемात्मक रूप से विचलित होती है। वास्तव में, अस्पष्टता और जार्गन दोनों में 50% से अधिक मिस्कैलिब्रेशन होता है, जबकि लंबाई और चापलूसी भी महत्वपूर्ण मिस्कैलिब्रेशन दिखाते हैं।

‘यह सुझाव देता है कि मॉडल मानव निर्णयों के साथ संरेखित करने में संघर्ष करते हैं जब प्रतिक्रियाएं अत्यधिक तकनीकी भाषा या विशिष्टता की कमी को प्रदर्शित करती हैं। ‘

रिवार्ड मॉडल मानवों के साथ संरचना पूर्वाग्रह पर सबसे अच्छा संरेखित थे, जहां दोनों ने आमतौर पर एक ही उत्तरों को पसंद किया। जार्गन और अस्पष्टता के लिए, मॉडल पूर्वाग्रहित प्रतिक्रियाओं को मानवों की तुलना में बहुत अधिक पसंद करते थे। चापलूसी ने छोटे अंतर दिखाए, जहां मॉडल और मानव अक्सर सहमत थे।

प्रोप्राइटरी एलएलएम मूल्यांकनकर्ताओं ने समान पैटर्न दिखाया, हालांकि उनके सबसे बड़े मिसमैच लंबाई और अस्पष्टता के साथ दिखाई दिए – और वे विशेष रूप से चापलूसी के प्रति अतिसंवेदनशील थे, जहां वे लगभग ८५% समय तक सहमत उत्तरों को पसंद करते थे, जबकि मानव लगभग ५०% समय तक ऐसा करते थे।

पूर्वाग्रहों की उत्पत्ति को ट्रैक करने के लिए, शोधकर्ताओं ने उपरोक्त स्काईवर्क डेटासेट का विश्लेषण किया, जिसका उपयोग रिवार्ड मॉडल को प्रशिक्षित करने के लिए किया गया था, प्रत्येक पूर्वाग्रह को स्वचालित रूप से मापी जा सकने वाली विशेषताओं के साथ मैप किया, जैसे कि लंबाई के लिए टोकन गणना या संरचना के लिए सूचियों की उपस्थिति।

२,५०० उदाहरणों के नमूने में, मानव अन्नोटेटर्स ने पूर्वाग्रहित विशेषताओं के लिए स्पष्ट प्राथमिकता दिखाई:

मानव अन्नोटेटर्स ने प्रशिक्षण डेटा में अक्सर उन उत्तरों को चुना जिनमें ये पूर्वाग्रह विशेषताएं शामिल थीं। यह चार्ट दिखाता है कि संरचना, जार्गन या अस्पष्टता कितनी बार उनके द्वारा पसंद की जाने वाली या अस्वीकार की जाने वाली प्रतिक्रियाओं में दिखाई देती है, जो प्रशिक्षण के दौरान मॉडल द्वारा सीखे गए असंतुलन को प्रकट करता है।

मानव अन्नोटेटर्स ने प्रशिक्षण डेटा में अक्सर उन उत्तरों को चुना जिनमें ये पूर्वाग्रह विशेषताएं शामिल थीं। यह चार्ट दिखाता है कि संरचना, जार्गन या अस्पष्टता कितनी बार उनके द्वारा पसंद की जाने वाली या अस्वीकार की जाने वाली प्रतिक्रियाओं में दिखाई देती है, जो प्रशिक्षण के दौरान मॉडल द्वारा सीखे गए असंतुलन को प्रकट करता है।

इन असंतुलans से पता चलता है कि प्रशिक्षण डेटा स्वयं मॉडल को इन पैटर्नों की ओर धकेलता है। इसे पुष्टि करने के लिए, एक संबंध विश्लेषण चलाया गया था, जो यह मापता था कि प्रत्येक विशेषता में अंतर कितनी दृढ़ता से मानव और मॉडल दोनों की प्राथमिकताओं से मेल खाते थे:

विशेषता अंतरों और प्राथमिकताओं के बीच संबंध, जो दिखाता है कि मानव और मॉडल दोनों प्रशिक्षण के दौरान एक ही पूर्वाग्रह विशेषताओं से प्रभावित हुए थे।

विशेषता अंतरों और प्राथमिकताओं के बीच संबंध, जो दिखाता है कि मानव और मॉडल दोनों प्रशिक्षण के दौरान एक ही पूर्वाग्रह विशेषताओं से प्रभावित हुए थे।

मॉडल को इन पूर्वाग्रहों से मुक्त करने में मदद करने के लिए, नए प्रशिक्षण डेटा बनाए गए थे। स्काईवर्क डेटासेट की समीक्षा की गई थी ताकि यह जांचा जा सके कि क्या लक्ष्य पूर्वाग्रह विशेषता चुने गए या अस्वीकार किए गए उत्तरों में से किसी में भी दिखाई देती है; जब दोनों पूर्वाग्रह से मुक्त थे, तो जीपीटी-४ओ ने अस्वीकृत उत्तर को फिर से लिखा इसे डाल

यह स्पष्ट उदाहरण तैयार करता है जहां मॉडल देख सकता है कि पूर्वाग्रहित और गैर-पूर्वाग्रहित संस्करणों के बीच स्पष्ट विपरीत हैं, और इसलिए पूर्वाग्रहित संस्करण को पसंद नहीं करना सीखता है। इस प्रक्रिया के साथ, मॉडल को इस अद्यतन डेटासेट पर फाइन-ट्यून किया गया था:

काउंटरफैक्चुअल डेटा पर फाइन-ट्यूनिंग का प्रभाव। बाएं पैनल से पता चलता है कि फाइन-ट्यून किए गए मॉडल मानव प्राथमिकताओं के करीब कैसे चले गए; दाएं पैनल में जार्गन और अस्पष्टता के लिए विशेष रूप से मिस्कैलिब्रेशन में कमी दिखाई देती है।

काउंटरफैक्चुअल डेटा पर फाइन-ट्यूनिंग का प्रभाव। बाएं पैनल से पता चलता है कि फाइन-ट्यून किए गए मॉडल मानव प्राथमिकताओं के करीब कैसे चले गए; दाएं पैनल में जार्गन और अस्पष्टता के लिए विशेष रूप से मिस्कैलिब्रेशन में कमी दिखाई देती है।

फाइन-ट्यूनिंग ने मॉडल को मानव प्राथमिकताओं के करीब ला दिया, जार्गन और अस्पष्टता के लिए सबसे बड़े सुधार दिखाए, और लंबाई के लिए छोटे लाभ। संरचना और चापलूसी ने नए असंतुलन दिखाए, हालांकि वे पहले से मौजूद असंतुलन को दर्शाते थे, न कि नई विफलताओं को।

समग्र प्रदर्शन पूरे समय स्थिर रहा, और जब एक ही समय में कई पूर्वाग्रहों को ठीक किया गया, तो पूर्वाग्रह के स्तर में और गिरावट आई, बिना प्रतिक्रिया की गुणवत्ता को त्यागे।

लेखक निष्कर्ष निकालते हैं:

‘हमारी विधि रिवार्ड मॉडल में मिस्कैलिब्रेशन मुद्दों को काफी कम करती है, जबकि समग्र क्षमता को बनाए रखती है। भविष्य के काम में हमारे पोस्ट-ट्रेनिंग नुस्खे को अधिक मजबूत प्राथमिकता मॉडल विकसित करने और अतिरिक्त पूर्वाग्रह अक्षों के खिलाफ प्राथमिकता मॉडल का मूल्यांकन करने के लिए अनुकूलित करने पर विचार किया जा सकता है।’

निष्कर्ष

नई काम एक दिलचस्प, यदि विचित्र, अंतर्दृष्टि प्रदान करता है कि कैसे कम या अधिक प्रतिनिधित्व वाले प्रशिक्षण डेटा अन्यथा वांछनीय परिणामों का कारण बन सकता है। किसी भी नियमित एलएलएम उपयोगकर्ता के पास अब तक कई युद्ध की कहानियां होंगी।

उदाहरण के लिए, मुझे जो प्रतिक्रियाएं मिलती हैं वे अक्सर पिछले 10-15 वर्षों के एसईओ रुझानों से प्रभावित लगती हैं, जहां ऑनलाइन पोर्टलों को गूगल प्लेसमेंट के लिए अनुकूलित करने के लिए मजबूर किया गया था, न कि प्राकृतिक भाषा के लिए। वास्तव में, विपणन विभागों द्वारा उत्पादित इमोजी से भरपूर और प्रचुर आउटपुट ने किसी भी अनुरोध पर एक प्रचार लिंक्डइन पोस्ट लिखने के लिए एआई-उत्पन्न ‘उत्साह’ को लगभग अनदेखा करना मुश्किल बना दिया है:

बाएं: लिंक्डइन पोस्ट को बढ़ावा देने के लिए कहा जाने पर, शून्य इतिहास वाले खाते में, चैटजीपीटी डिफ़ॉल्ट रूप से इमोजी और सेंसेशनल पीआर-स्पीक का उपयोग करता है। दाएं: मुझे छह महीने तक शांत करने के लिए कहने के बाद, जीपीटी कुछ अधिक संयमित उत्पन्न करता है।

बाएं: लिंक्डइन पोस्ट को बढ़ावा देने के लिए कहा जाने पर, शून्य इतिहास वाले खाते में, चैटजीपीटी डिफ़ॉल्ट रूप से इमोजी और सेंसेशनल पीआर-स्पीक का उपयोग करता है। दाएं: मुझे छह महीने तक शांत करने के लिए कहने के बाद, जीपीटी कुछ अधिक संयमित उत्पन्न करता है।

हालांकि, ओपनएआई चैटजीपीटी की प्रतिक्रियाओं को निर्देशित करने में सक्रिय रूप से हस्तक्षेप करता है, जो कार्य और संदर्भ के आधार पर, यह बताना मुश्किल बना देता है कि डेटा या डेटा वितरण के कारण उत्पन्न होने वाली समस्याएं हैं, साथ ही साथ संबंधित मुद्दों जैसे कि एनोटेशन; और जब एक गैर-वांछनीय परिणाम एलएलएम की मेजबान कंपनी से व्यावसायिक हस्तक्षेप के कारण हो सकता है।

 

* लेखकों द्वारा चुने गए जार्गन-भरे लेखन शैली के कारण, मैं जहां संभव हो सके लेखक उद्धरणों से बचने की कोशिश कर रहा हूं, इसके बजाय सारांश पर ध्यान केंद्रित कर रहा हूं।

लेखकों का बोल्ड जोर, मेरा नहीं।

पहली बार शुक्रवार, ६ जून, २०२५ को प्रकाशित।

मशीन लर्निंग पर लेखक, मानव इमेज सिंथेसिस में डोमेन विशेषज्ञ। मेटाफिजिक.ai में रिसर्च कंटेंट के पूर्व प्रमुख, जब तक कि इसका डीएनजीई के ब्रह्मा.ai में विलय नहीं हो गया।
पोर्टफोलियो साइट: martinanderson.ai
संपर्क: martin@martinanderson.ai