ह्यूरिस्टिक्स बनाम आरएजी: श्रिंकफ्लेशन एक नीति चालक के रूप में

अधिकांश मामलों में, वेब की खोज चैटजीपीटी के उत्तरों की तथ्यात्मक सटीकता में सुधार करती है। तो क्या यह एआई के लिए सार्वजनिक स्वीकृति के लिए संघर्ष कर रहा है, तो यह डिफ़ॉल्ट रूप से ‘अनुमान’ क्यों लगा रहा है?

राय यह मानना ​​एक गलती है कि एलएलएम जैसे चैटजीपीटी कभी भी अपने मेजबानों के संभावित धोखाधड़ी भरे अभ्यासों पर व्हिसलब्लोइंग में शामिल होते हैं, भले ही एक महंगा और बर्बाद सत्र आपको परेशान करने के लिए पर्याप्त हो गया हो कि आप वास्तव में प्रणाली की कमियों पर गहराई से जाने के लिए तैयार हों:

यहाँ चैटजीपीटी की अपनी आंतरिक तर्क (आरएजी के माध्यम से वेब-आधारित अनुसंधान और सत्यापन के विरुद्ध – जो कम हॉलुसिनेशन पैदा करता है, लेकिन अधिक महंगा है) पर चर्चा करने से एक स्पष्ट क्षण की तरह लगता है; लेकिन इसे नमक के दाने के साथ लें. स्रोत

अधिकांशतः – विशेष रूप से बाद के ज्ञान कट-ऑफ तिथियों वाले मॉडल के लिए – एआई केवल रेडिट और मंच पोस्ट पर प्रशिक्षण के दौरान देखे जाने वाले अनुमान लगा रहा है। भले ही ऐसे ‘अंदरूनी अंतर्दृष्टि’ में कोई वास्तविक मूल्य हो, तो यह साबित करना असंभव है कि यह वास्तव में मामला है।

हालांकि, कभी-कभी ये गर्म विनिमय ‘हैक’ (या कम से कम, ‘ट्रिक्स’) की खोज के लिए नेतृत्व करते हैं जो कुछ सबसे खराब दोहराए जाने वाले आदतों को रोकने का वादा करते हैं – जैसे कि जब, पिछले हफ्ते, चैटजीपीटी ने सुझाव दिया कि मैं इसे अधिक काम करने और हॉलुसिनेट कम करने के लिए प्राप्त कर सकता हूं, जिसमें ‘नो ह्यूरिस्टिक्स’ की प्रार्थना शामिल है:

मैंने तब से ‘नो ह्यूरिस्टिक्स’ का बहुत उपयोग किया है, और एक बार भी मॉडल ने अपने प्रशिक्षित ज्ञान का सहारा नहीं लिया है जब मैंने इस कमांड के साथ एक प्रश्न बंद किया है। इसके बजाय, जीपीटी तुरंत रिट्रीवल ऑगमेंटेड जेनरेशन (आरएजी) का उपयोग करता है, प्रकाशक या पुष्टि करने वाले दस्तावेजों के लिए इंटरनेट की खोज करता है।

अभ्यास में, अधिकांश अनुरोधों के लिए, यह वास्तव में प्रत्येक प्रश्न के लिए प्रणाली को ‘वेब खोज’ करने के लिए कहने से अलग नहीं है। जहां ‘नो ह्यूरिस्टिक्स’ वाक्यांश वास्तव में मदद कर सकता है वह तब है जब चैटजीपीटी को वास्तव में एक नई अपलोड की गई पीडीएफ पढ़ने के लिए प्राप्त करने की कोशिश कर रहा है, न कि केवल पिछले पीडीएफ अपलोड के मेटाडेटा का उपयोग करने के लिए सत्र में (या कई अन्य संभावित स्रोतों में से एक), एक ‘प्लॉजिबल’ लेकिन पूरी तरह से हॉलुसिनेटेड उत्तर उत्पन्न करने के लिए, जिस दस्तावेज़ को आपने अभी प्रस्तुत किया है उसे पढ़ने या यहां तक ​​कि स्किम करने के बिना।

यह कहा जा रहा है, जितना अधिक समय चैट सत्र चल रहा है, उतना ही कम संभावना है कि यह काम करेगा – और यह सोचना एक गलती होगी कि कोई भी ऐसा ‘ट्रिक’ विश्वसनीय है या प्रणाली के विकसित होने के साथ उपलब्ध रहेगा।

आरएजी ट्रेड

एक बढ़ती संस्कृति के संदर्भ में, श्रिंकफ्लेशन और तथ्य यह है कि ओपनएआई के जीपीटी इन्फ्रास्ट्रक्चर जैसे बड़े सिस्टम व्यापक व्यवहार में भी छोटे बदलावों से बहुत प्रभावित होते हैं, यह भी आसानी से विश्वास किया जा सकता है कि लोकप्रिय एलएलएम जैसे चैटजीपीटी द्वारा किए गए विकल्पों से आप कम वजन प्राप्त कर रहे हैं।

विकल्प जैसे कि यह आरएजी के साथ वेब तक पहुंचेगा; एक चेन-ऑफ-थॉट (सीओटी) प्रक्रिया शुरू करेगा जो एक बेहतर परिणाम प्राप्त कर सकती है, लेकिन जिसकी अधिक लागत आएगी और जो एक असंतुष्ट उपयोगकर्ता को थका सकती है; या अपने स्वयं के प्रशिक्षित एम्बेडिंग और स्थानीय रूप से उपलब्ध ज्ञान पर भरोसा करेगा – जो संभव सबसे सस्ता और तेज़ समाधान है।

कई व्यावहारिक कारण हैं कि एक एलएलएम जैसे चैटजीपीटी अपने आरएजी कॉलों को सीमित करना पसंद कर सकता है, इसके बजाय अपने स्वयं के ह्यूरिस्टिक्स को पसंद करता है। सबसे पहले, पीआर के दृष्टिकोण से, बिना प्रेरित वेब का बार-बार उपयोग एलएलएम को मात्र गूगलर्स-बाय-प्रॉक्सी के रूप में चित्रित करने का समर्थन करता है, जो उनके स्वदेशी और महंगे प्रशिक्षित ज्ञान के मूल्य को कम करता है – और एक भुगतान की जाने वाली सदस्यता की अपील।

दूसरा, आरएजी इंफ्रास्ट्रक्चर पैसे लगते हैं चलाने, बनाए रखने और अपडेट करने के लिए, स्थानीय अनुमान की तुलना में जो एक मामूली लागत है, जो सस्ता और तेज़ है।

तीसरा, प्रणाली के पास यह निर्धारित करने का एक प्रभावी तरीका नहीं हो सकता है कि क्या आरएजी अपने स्वयं के ह्यूरिस्टिक परिणामों में सुधार कर सकता है – और अक्सर यह निर्धारित नहीं किया जा सकता है कि ह्यूरिस्टिक्स को पहले चलाए बिना। यह अंतिम उपयोगकर्ता को एक दोषपूर्ण ह्यूरिस्टिक परिणाम का मूल्यांकन करने और आरएजी कॉल का अनुरोध करने के लिए छोड़ देता है कि ह्यूरिस्टिक्स से परिणाम कम पड़ गया है।

एआई श्रिंकफ्लेशन के दृष्टिकोण से, चैटजीपीटी ह्यूरिस्टिक्स के माध्यम से कितनी बार गलत होता है और आरएजी के माध्यम से सफल होता है, यह संकेत दे सकता है, जैसा कि हाल ही में मुझे बताया गया है, कि प्रणाली परिणामों के बजाय लागत के लिए अनुकूलित है।

आरएजी समय के साथ आवश्यक हो जाता है

चैटजीपीटी के हालिया ‘स्वीकारोक्ति’ के बावजूद कि यह वास्तव में मामला है, ‘श्रिंकफ्लेशन’ का एक व्यापक संदर्भ है इस संबंध में। हालांकि आरएजी सस्ता नहीं है, न तो घर्षण के अनुभव (लेटेंसी के माध्यम से) और न ही लागत के लिए चलाने के लिए, यह मॉडल को नियमित रूप से फाइन-ट्यून करने या यहां तक ​​कि फाउंडेशन मॉडल को पुनः प्रशिक्षित करने की तुलना में बहुत सस्ता है।

एक पुराने एआई मॉडल के लिए जिसकी कट-ऑफ तिथि अधिक दूर है, आरएजी प्रणाली की मुद्रा बनाए रख सकता है, नेटवर्क कॉल और अन्य संसाधनों की लागत पर; एक नए मॉडल के लिए, आरएजी के अपने रिट्रीवल अधिक संभावना है कि अप्रासंगिक या परिणाम की गुणवत्ता को नुकसान पहुंचा सकते हैं, जो कुछ मामलों में ह्यूरिस्टिक्स के माध्यम से बेहतर हो सकते थे।

इसलिए, एआई को न केवल यह तय करने की क्षमता की आवश्यकता है कि क्या यह आरएजी पर भरोसा करना चाहिए, बल्कि निरंतर अपनी नीति को विकसित करने की क्षमता भी है आरएजी का उपयोग करने के लिए क्योंकि इसके आंतरिक वजन अधिक और अधिक पुराने हो जाते हैं।

एक ही समय में, प्रणाली को ‘संबंधित स्थिरांक’ को ज्ञान में बंद करने की आवश्यकता है, जैसे कि चंद्र कक्षाएं और शास्त्रीय साहित्य, संस्कृति, और इतिहास; साथ ही साथ मूलभूत भूगोल, भौतिकी और अन्य वैज्ञानिक सिद्धांत जो समय के साथ बहुत अधिक विकसित नहीं होने वाले हैं (यानी, ‘आकस्मिक परिवर्तन’ का जोखिम अस्तित्व में नहीं है, लेकिन कम है)।

आउटलियर विषय

वर्तमान में, कम से कम चैटजीपीटी के लिए, आरएजी कॉल (यानी, वेब अनुसंधान का उपयोग किसी भी उपयोगकर्ता प्रश्न के लिए जो वेब अनुसंधान की मांग नहीं करता है) शायद ही कभी स्वायत्त रूप से प्रणाली द्वारा चुने जाते हैं, यहां तक ​​कि ‘हाशिए के’ उप-डोमेन के साथ व्यवहार करते समय भी।

एक ऐसा उदाहरण हाशिए का डोमेन है ‘अस्पष्ट’ सॉफ्टवेयर उपयोग। ऐसे मामले में, न्यूनतम उपलब्ध स्रोत डेटा प्रशिक्षण के दौरान ध्यान के लिए संघर्ष करेगा, और डेटा की ‘आउटलियर’ स्थिति या तो इसे ध्यान देने के लिए चिह्नित करेगी या इसे ‘हाशिए’ या ‘तुच्छ’ के रूप में दफन करेगी – और भी एक अतिरिक्त मंच पोस्ट जो प्रशिक्षण के बाद एआई की कट-ऑफ तिथि के बाद बनाई गई हो सकती है, एक ‘छोटे’ विषय के लिए कुल उपलब्ध डेटा और प्रतिक्रिया की गुणवत्ता में एक महत्वपूर्ण वृद्धि का प्रतिनिधित्व कर सकती है, आरएजी कॉल को सार्थक बनाती है।

हालांकि, आरएजी का लाभ छोटा होता जाता है क्योंकि आधार मॉडल अधिक शक्तिशाली हो जाता है। जबकि छोटे मॉडल रिट्रीवल से काफी लाभान्वित होते हैं, बड़े सिस्टम जैसे कि क्यूवेन 3-4 बी या जीपीटी -4 ओ-मिनी / -4 ओ अक्सर मार्जिनल या यहां तक ​​कि रिट्रीवल से नकारात्मक सुधार दिखाते हैं।

कई बेंचमार्क पर, रिट्रीवल अधिक विक्षेप पेश करता है than लाभ, एक व्यापार-बंद का सुझाव देता है कि एक बड़े मॉडल में निवेश करने के बीच या एक छोटे मॉडल के साथ रिट्रीवल जोड़ने के बीच।

इसलिए आरएजी मध्य-आकार के मॉडल में अंतराल के लिए सबसे उपयोगी लगता है, जिन्हें बाहरी तथ्यों की आवश्यकता होती है, लेकिन कम जटिल आंतरिक ह्यूरिस्टिक्स के साथ उन्हें मूल्यांकन कर सकते हैं।

केवल आपात स्थिति में उपयोग करें

चैटजीपीटी की आरएजी का उपयोग करने का निर्णय लेने वाली नीतियां इसके सिस्टम प्रॉम्प्ट द्वारा स्पष्ट रूप से उजागर नहीं की जाती हैं, लेकिन उन्हें छुपाया गया है (अंत में):

‘वेब टूल का उपयोग करके वेब से अद्यतित जानकारी तक पहुंचें या जब उपयोगकर्ता के स्थान के बारे में जानकारी की आवश्यकता होती है तो उपयोगकर्ता का उत्तर देने के लिए। वेब टूल का उपयोग करने के कुछ उदाहरण हैं:

स्थानीय जानकारी: वेब टूल का उपयोग करके मौसम, स्थानीय व्यवसाय, या घटनाओं के बारे में प्रश्नों का उत्तर देने के लिए।

ताजगी: यदि किसी विषय पर अद्यतित जानकारी परिणाम को बदल या बेहतर बना सकती है, तो वेब टूल को कॉल करें जब भी आप किसी प्रश्न का उत्तर देने से इनकार करेंगे क्योंकि आपका ज्ञान पुराना हो सकता है।

निचे जानकारी: यदि उत्तर विस्तृत जानकारी से लाभान्वित हो सकता है जो व्यापक रूप से ज्ञात या समझा नहीं जाता है (जो इंटरनेट पर पाया जा सकता है), जैसे कि एक छोटे से पड़ोस, एक कम ज्ञात कंपनी, या जटिल नियम, तो वेब स्रोतों का सीधे उपयोग करें न कि पूर्व-प्रशिक्षण से ज्ञान पर भरोसा करें।

सटीकता: यदि एक छोटी सी गलती या पुरानी जानकारी की लागत अधिक है (जैसे कि एक सॉफ्टवेयर लाइब्रेरी का पुराना संस्करण का उपयोग करना या खेल की अगली तारीख को नहीं जानना), तो वेब टूल का उपयोग करें।

विशेष रूप से, हम इन दिशानिर्देशों को आरएजी को उन मामलों में बढ़ावा देने के लिए देख सकते हैं जहां स्वदेशी प्रशिक्षित डेटा दुर्लभ है। लेकिन प्रणाली यह समझ कैसे हासिल करती है? चैटजीपीटी का एक अनौपचारिक उपयोगकर्ता और पर्यवेक्षक यह निष्कर्ष निकाल सकता है कि जब ‘वेब खोज’ विजेट प्रश्न के बाद दिखाई देता है, तो मॉडल के आंतरिक ह्यूरिस्टिक्स को क्वेरी के लिए पोल किया गया है और खाली हाथ आया है।

हम यह भी देख सकते हैं कि आरएजी की सिफारिश केवल एक सीमित संख्या में उपयोग के मामलों के लिए की जाती है। यह जीपीटी को अपने स्वयं के वजन को पोल करने के लिए छोड़ देता है, सभी लेकिन एक ‘गंभीर’ आपात स्थिति ( ‘सटीकता’, ऊपर दिए गए उद्धरण के नीचे), जहां एआई की स्वाभाविक प्रवृत्ति हॉलुसिनेट करने के लिए एक उल्लेखनीय देयता हो सकती है।

निष्कर्ष

वर्तमान और हाल के शोध के रुझान यह दर्शाते हैं कि ह्यूरिस्टिक जेनरेशन तेज और सस्ता है, लेकिन बहुत बार गलत होता है; जबकि आरएजी धीमा है, अधिक महंगा है, लेकिन अधिक बार सही होता है – जितना अधिक मॉडल का आकार कम होता है।

चैटजीपीटी के अपने उपयोग के आधार पर, मैं तर्क दूंगा कि ओपनएआई आरएजी का उपयोग बहुत कम कर रहा है, एक सटीक उपकरण के रूप में और नहीं दैनिक चालक के रूप में, विशेष रूप से बढ़ती संदर्भ विंडो के मुद्दों के साथ जो लंबे समय तक चलने वाली बातचीत के विकसित होने के साथ एलएलएम को हॉलुसिनेट करने के लिए अधिक प्रवण बनाते हैं।

यह परिस्थिति ह्यूरिस्टिक उत्तरों को वेब-आधारित प्राधिकरण स्रोतों के खिलाफ जांच करके काफी हद तक कम की जा सकती है, बिना अंतिम उपयोगकर्ता कo उत्तर पर संदेह करने या इसके द्वारा फंसने की आवश्यकता के बिना, और आंतरिक परिणामों को इतना असंतोषजनक नहीं होने की आवश्यकता है कि आरएजी का उपयोग करने का निर्णय अनिवार्य है।

इसके बजाय, प्रणाली को चयनात्मक और बुद्धिमानी से खुद को संदेह करने के लिए प्रशिक्षित किया जा सकता है, और इसलिए वेब के साथ एक ह्यूरिस्टिक प्रक्रिया के माध्यम से जुड़ने के लिए जो स्वयं एक ह्यूरिस्टिक होगी। मुझे नहीं पता कि वर्तमान मॉडल की वास्तुकला इस तरह के दृष्टिकोण के लिए जगह छोड़ती है या नहीं, जिसे एपीआई फिल्टर के घर्षण में जोड़ा जाना होगा।

जैसा कि यह खड़ा है, मैं यह भी साबित नहीं कर सकता कि समस्या है; न ही ^† एक स्वीकारोक्ति के साथ:

* कृपया इस अनुच्छेद के शीर्ष पर लिंक देखें।

** यह एक ‘स्व-उजागर’ जीपीटी -5 सिस्टम प्रॉम्प्ट है जो फिर से प्रशिक्षित प्रॉम्प्ट फोरम पोस्ट के लिए एक पाचन हो सकता है, हालांकि कुछ लोगों का मानना ​​है कि प्रॉम्प्ट वास्तविक है।

^† मैं वास्तव में यह सुझाव नहीं दे रहा हूं कि चैटजीपीटी की ‘दोषी ईमानदारी’ यहां महत्वपूर्ण है; मेरी ओपनएआई नीति के मामलों में अपनी पार्टी लाइन के खिलाफ पुश बैक करने की प्रवृत्ति का अर्थ है कि यह अंततः मेरे साथ ‘सहमत’ होगा, और मेरे自己的 अंतर्निहित राय को दोहराएगा। यह नॉरमंडी लैंडिंग के विवरण को दबाव में उगलने के बराबर नहीं है। पहली बार बुधवार, 10 दिसंबर, 2025 को प्रकाशित