ह्यूरिस्टिक्स बनाम आरएजी: श्रिंकफ्लेशन एक नीति चालक के रूप में

अधिकांश मामलों में, वेब की खोज ChatGPT के हमारे प्रश्नों के उत्तरों की तथ्यात्मक सटीकता में सुधार करती है। तो एक ऐसे जलवायु में जहां एआई सार्वजनिक स्वीकृति के लिए संघर्ष कर रहा है, यह ‘अनुमान’ पर क्यों डिफ़ॉल्ट हो रहा है?

राय यह मानना ​​एक गलती है कि ChatGPT जैसे एलएलएम अपने मेजबानों के संभावित संदिग्ध अभ्यासों पर व्हिसलब्लोइंग में शामिल होते हैं, भले ही एक महंगा और बर्बाद सत्र आपको वास्तव में प्रणाली की कमियों पर गहराई से जाने के लिए पर्याप्त क्रोधित किया हो:

यहाँ ChatGPT के अपने आंतरिक तर्क (वेब-आधारित अनुसंधान और RAG – जो कम हॉलुसिनेशन पैदा करता है, लेकिन अधिक महंगा है) के प्राथमिकता पर चर्चा करने से एक स्पष्ट क्षण का संकेत मिलता है; लेकिन इसे नमक के दाने के साथ लें। स्रोत

अधिकांशतः – विशेष रूप से बाद के ज्ञान कट-ऑफ तिथियों के साथ मॉडल के लिए – एआई केवल रेडिट और फोरम पोस्ट पर प्रशिक्षण के दौरान देखे जाने वाले अनुमान लगा रहा है। भले ही ऐसे ‘इनसाइडर अंतर्दृष्टि’ का कोई वास्तविक मूल्य हो, यह साबित करना असंभव है।

हालांकि, कभी-कभी इन गर्म विनिमय से ‘हैक’ (या कम से कम, ‘ट्रिक्स’) की खोज होती है जो कुछ बुरी दोहरावदार आदतों को रोकने का वादा करते हैं – जैसे कि जब, पिछले हफ्ते, ChatGPT ने सुझाव दिया कि मैं इसे अधिक कठिन काम करने और हॉलुसिनेट कम करने के लिए ‘ह्यूरिस्टिक्स नहीं’ के adjuration को शामिल करके प्राप्त कर सकता हूं:

मैंने तब से ‘ह्यूरिस्टिक्स नहीं’ का बहुत उपयोग किया है, और एक बार भी मॉडल ने मेरे द्वारा इस कमांड के साथ एक प्रश्न बंद करने के बाद अपने स्वयं के प्रशिक्षित ज्ञान का उपयोग नहीं किया है। इसके बजाय, जीपीटी तुरंत रिट्रीवल ऑगमेंटेड जेनरेशन (आरएजी), प्रासंगिक या पुष्टि करने वाले दस्तावेजों के लिए इंटरनेट की खोज करने का उपयोग करता है।

व्यवहार में, अधिकांश अनुरोधों के लिए, यह ‘प्रत्येक बार जब आप एक प्रश्न सबमिट करते हैं तो वेब खोज’ करने के लिए प्रणाली को बताने से बहुत अलग नहीं है। जहां ‘ह्यूरिस्टिक्स नहीं’ वाक्यांश वास्तव में मदद कर सकता है वह तब है जब ChatGPT को वास्तव में एक नई अपलोड की गई पीडीएफ को पढ़ने के लिए मिल रहा है, न कि पिछले पीडीएफ अपलोड के मेटाडेटा का उपयोग करने के लिए उस सत्र में (या कई अन्य संभावित स्रोतों), एक ‘संभावित’ लेकिन पूरी तरह से हॉलुसिनेटेड उत्तर का उत्पादन करने के लिए, दस्तावेज़ को पढ़ने या यहां तक ​​कि स्किमिंग करने के बिना जो आपने अभी प्रस्तुत किया है:

उस ने कहा, जितना अधिक समय चैट सत्र चल रहा है, कम संभावना है कि यह काम करेगा – और यह सोचना एक गलती होगी कि कोई भी ऐसा ‘ट्रिक’ विश्वसनीय है या प्रणाली के विकसित होने के रूप में उपलब्ध रहेगा।

आरएजी व्यापार

एक बढ़ती संस्कृति के संदर्भ में, श्रिंकफ्लेशन, और यह तथ्य कि बड़े प्रणालियां जैसे ओपनएआई के जीपीटी इंफ्रास्ट्रक्चर छोटे व्यापक व्यवहार परिवर्तन से बहुत प्रभावित होती हैं, यह आसानी से विश्वास करना है कि आप लोकप्रिय एलएलएम जैसे ChatGPT द्वारा किए गए विकल्पों से कम वजन प्राप्त कर रहे हैं।

विकल्प जैसे कि यह आरएजी के साथ वेब तक पहुंचेगा; एक चेन-ऑफ-थॉट (सीओटी) प्रक्रिया शुरू करेगा जो एक बेहतर परिणाम प्राप्त कर सकती है, लेकिन जो अधिक महंगा होगा और उपयोगकर्ता को थका सकती है; या अपने स्वयं के प्रशिक्षित एम्बेडिंग और स्थानीय रूप से उपलब्ध ज्ञान पर भरोसा करेगा – जो संभव सबसे सस्ता और तेज़ समाधान है।

एक एलएलएम के लिए जो एक संवेदनशील सार्वजनिक प्रोफ़ाइल के साथ है, जैसे कि ChatGPT, आरएजी कॉल्स को सीमित करने के लिए कई व्यावहारिक कारण हैं और इसके बजाय अपने स्वयं के ह्यूरिस्टिक्स को पसंद करते हैं। पहले, पीआर के दृष्टिकोण से, बार-बार अनप्रोम्प्टेड वेब का उपयोग एलएलएम को गूगलर्स-बाय-प्रॉक्सी के रूप में चित्रित करने का समर्थन करता है, जो उनके स्वाभाविक और महंगे प्रशिक्षित ज्ञान के मूल्य को कम करता है – और एक भुगतान की गई सदस्यता की अपील को कम करता है।

दूसरा, आरएजी इंफ्रास्ट्रक्चर पैसे की लागत चलती है, बनाए रखने और अपडेट करने के लिए, स्थानीय अनुमान, अर्थात पैरामेट्रिक जेनरेशन की तुलना में जो सस्ता और तेज़ है।

तीसरा, प्रणाली के पास यह निर्धारित करने का एक प्रभावी तरीका नहीं हो सकता है कि क्या आरएजी अपने स्वयं के ह्यूरिस्टिक परिणामों में सुधार कर सकता है – और अक्सर यह निर्धारित नहीं किया जा सकता है कि ह्यूरिस्टिक्स पहले चलाए बिना।

यह उपयोगकर्ता को एक दोषपूर्ण ह्यूरिस्टिक परिणाम का मूल्यांकन करने और आरएजी कॉल का अनुरोध करने के साथ छोड़ देता है, यदि ह्यूरिस्टिक्स से परिणाम कम पड़ता है।

आरएजी समय के साथ आवश्यक हो जाता है

ChatGPT के हालिया ‘स्वीकारोक्ति’ के बावजूद कि यह वास्तव में मामला है, ‘श्रिंकफ्लेशन’ इस संबंध में एक व्यापक संदर्भ है। हालांकि आरएजी सस्ता नहीं है, न ही यह फ्रिक्शन-ऑफ-एक्सपीरियंस (लेटेंसी के माध्यम से) या रन-टू-कॉस्ट में है, यह ह्यूरिस्टिक जेनरेशन की तुलना में बहुत अधिक बार सही है – जितना अधिक मॉडल का आकार कम होता है।

एक पुराने एआई मॉडल के लिए जो एक दूर की कट-ऑफ तिथि के साथ है, आरएजी प्रणाली की मुद्रा को बनाए रख सकता है, नेटवर्क कॉल और अन्य संसाधनों की लागत पर; एक नए मॉडल के लिए, आरएजी के अपने रिट्रीवल अधिक संभावना है कि वे निरर्थक या परिणामों की गुणवत्ता को नुकसान पहुंचा सकते हैं, जो कुछ मामलों में ह्यूरिस्टिक्स के माध्यम से बेहतर होते हैं।

इसलिए, एआई को न केवल यह निर्धारित करने की क्षमता की आवश्यकता है कि क्या यह आरएजी पर भरोसा करना चाहिए, बल्कि निरंतर अपनी नीति को विकसित करने की क्षमता भी है आरएजी का उपयोग करते हुए जैसे ही इसके आंतरिक वजन और अधिक पुराने हो जाते हैं।

同 समय, प्रणाली को ‘संबंधित स्थिरांक’ को ज्ञान में बंद करने की आवश्यकता है, जैसे कि चंद्रमा की कक्षाएं और शास्त्रीय साहित्य, संस्कृति, और इतिहास; साथ ही साथ बुनियादी भूगोल, भौतिकी, और अन्य वैज्ञानिक सिद्धांत जो समय के साथ बहुत अधिक विकसित नहीं होंगे (अर्थात, ‘अचानक परिवर्तन’ का जोखिम शून्य नहीं है, लेकिन कम है)।

आउटलियर विषय

वर्तमान में, कम से कम ChatGPT के लिए, आरएजी कॉल (अर्थात, किसी भी उपयोगकर्ता प्रश्न के लिए वेब अनुसंधान का उपयोग जो वेब अनुसंधान की मांग नहीं करता है) शायद ही कभी स्वायत्त रूप से प्रणाली द्वारा चुने जाते हैं, यहां तक ​​कि ‘मार्जिनल’ उप-डोमेन के साथ व्यवहार करते समय भी।

एक ऐसा मार्जिनल डोमेन ‘अस्पष्ट’ सॉफ्टवेयर उपयोग है। एक ऐसे मामले में, न्यूनतम उपलब्ध स्रोत डेटा प्रशिक्षण के दौरान ध्यान के लिए संघर्ष करेगा, और डेटा का ‘आउटलियर’ स्थिति या तो इसे ध्यान के लिए झंडे लगा सकती है या इसे ‘मार्जिनल’ या ‘अत्यधिक’ के रूप में दफन कर सकती है – और यहां तक ​​कि एक अतिरिक्त फोरम पोस्ट जो एआई के ज्ञान कट-ऑफ के बाद बनाई गई थी, एक ‘छोटे’ विषय के लिए उपलब्ध डेटा और प्रतिक्रिया की गुणवत्ता में एक महत्वपूर्ण वृद्धि का प्रतिनिधित्व कर सकती है, जो एक आरएजी कॉल को सार्थक बनाती है।

हालांकि, आरएजी का लाभ कम होता जाता है क्योंकि बेस मॉडल अधिक शक्तिशाली हो जाता है। जबकि छोटे मॉडल रिट्रीवल से काफी लाभान्वित होते हैं, बड़े प्रणाली जैसे कि Qwen3-4B या GPT-4o-mini/-4o अक्सर रिट्रीवल से सीमित या यहां तक ​​कि नकारात्मक सुधार दिखाते हैं।

अधिकांश बेंचमार्क पर, रिट्रीवल अधिक विक्षेपण पेश करता है than लाभ, एक व्यापार-बंद का सुझाव देता है कि एक बड़े मॉडल में निवेश करना है जिसमें अधिक आंतरिक कवरेज है, या एक छोटे मॉडल के साथ जोड़ा गया है जिसमें रिट्रीवल है।

इसलिए, आरएजी मध्य-आकार के मॉडल में सबसे उपयोगी लगता है, जो अभी भी बाहरी तथ्यों की आवश्यकता है, लेकिन कम जटिल आंतरिक ह्यूरिस्टिक्स के साथ उन्हें मूल्यांकन कर सकते हैं।

केवल आपातकालीन मामलों में उपयोग करें

ChatGPT की आरएजी का उपयोग करने के निर्णय के आसपास की नीतियां इसके सिस्टम प्रॉम्प्ट द्वारा स्पष्ट रूप से उजागर नहीं की जाती हैं, लेकिन उन्हें अंतर्निहित रूप से संबोधित किया जाता है (अंत में):

‘वेब टूल का उपयोग करके वेब से अद्यतन जानकारी तक पहुंचें या जब उपयोगकर्ता के स्थान के बारे में जानकारी की आवश्यकता होती है। वेब टूल का उपयोग करने के कुछ उदाहरण हैं:

स्थानीय जानकारी: वेब टूल का उपयोग करें जब प्रश्नों का उत्तर देने के लिए उपयोगकर्ता के स्थान के बारे में जानकारी की आवश्यकता होती है, जैसे कि मौसम, स्थानीय व्यवसाय, या घटनाएं。

ताजगी: यदि किसी विषय पर अद्यतन जानकारी बदल सकती है या उत्तर में सुधार कर सकती है, तो वेब टूल को तब भी कॉल करें जब आप अन्यथा एक प्रश्न का उत्तर देने से इनकार करेंगे क्योंकि आपका ज्ञान पुराना हो सकता है।

निश्चित जानकारी: यदि उत्तर विस्तृत जानकारी से लाभान्वित हो सकता है जो व्यापक रूप से ज्ञात या समझा नहीं जाता है (जो इंटरनेट पर पाया जा सकता है), जैसे कि एक छोटे से पड़ोस, एक कम ज्ञात कंपनी, या जटिल नियम, तो वेब स्रोतों का सीधे उपयोग करें न कि प्रीट्रेनिंग से डिस्टिल्ड ज्ञान पर भरोसा करें।

सटीकता: यदि एक छोटी सी गलती या पुरानी जानकारी की लागत उच्च है (जैसे कि एक पुराने संस्करण का उपयोग करना सॉफ्टवेयर लाइब्रेरी या नहीं जानना अगले गेम की तारीख एक खेल टीम के लिए), तो वेब टूल का उपयोग करें।

विशेष रूप से, हम इन दिशानिर्देशों को देख सकते हैं जो नेटिवELY-ट्रेन्ड डेटा की कमी वाले मामलों में आरएजी को बढ़ावा देते हैं। लेकिन प्रणाली इस समझ को कैसे प्राप्त करती है? ChatGPT का एक आकस्मिक उपयोगकर्ता और पर्यवेक्षक यह निष्कर्ष निकाल सकता है कि जब ‘वेब खोज’ विजेट प्रश्न के बाद एक विलंब के बाद प्रकट होता है, तो मॉडल के आंतरिक ह्यूरिस्टिक्स को केवल प्रश्न के लिए पोल किया गया है और खाली आया है।

हम यह भी देख सकते हैं कि आरएजी की सिफारिश केवल एक सीमित संख्या में उपयोग के मामलों के लिए की जाती है। यह जीपीटी को अपने स्वयं के वजन को पोल करने के लिए सिफारिश करता है, एक ‘गंभीर’ आपातकाल (‘सटीकता’, ऊपर दिए गए उद्धरण के नीचे), जहां एआई की स्वाभाविक प्रवृत्ति हॉलुसिनेट करने के लिए एक उल्लेखनीय देयता हो सकती है।

निष्कर्ष

वर्तमान और हालिया शोध के रुझान यह दर्शाते हैं कि ह्यूरिस्टिक जेनरेशन तेज और सस्ता है, लेकिन बहुत बार गलत है; जबकि आरएजी धीमा है, अधिक महंगा है, लेकिन अधिक बार सही है – जितना अधिक मॉडल का आकार कम होता है।

अपने स्वयं के ChatGPT के उपयोग के आधार पर, मैं तर्क दूंगा कि ओपनएआई आरएजी का उपयोग बहुत कम कर रहा है, एक सटीकता उपकरण के रूप में और एक दैनिक ड्राइवर के रूप में, विशेष रूप से तब से विकसित होने वाली संदर्भ विंडो के मुद्दों एलएलएम को हॉलुसिनेट करने की संभावना को बढ़ाते हैं क्योंकि लंबे संवाद विकसित होते हैं।

यह परिस्थिति ह्यूरिस्टिक प्रतिक्रियाओं को वेब-आधारित प्राधिकरण स्रोतों के खिलाफ जांच करके काफी हद तक कम की जा सकती है, बिना उपयोगकर्ता को आउटपुट पर संदेह करने या इसके द्वारा फंसने की प्रतीक्षा किए बिना, और बिना आंतरिक परिणामों को इतना स्पष्ट रूप से असंतोषजनक होने की आवश्यकता के बिना कि आरएजी का उपयोग करने का निर्णय अनिवार्य है।

इसके बजाय, प्रणाली को चयनात्मक और बुद्धिमानी से स्वयं पर संदेह करने के लिए प्रशिक्षित किया जा सकता है, और इसलिए वेब के साथ एक स्क्रीनिंग प्रक्रिया के माध्यम से जुड़ने के लिए जो स्वयं ह्यूरिस्टिक होगी। मुझे नहीं पता कि वर्तमान मॉडल की वास्तुकला इस तरह के दृष्टिकोण के लिए जगह छोड़ती है, जिसे एपीआई फिल्टर के घर्षण में जोड़ा जाना होगा।

जैसा कि यह खड़ा है, मैं यह साबित नहीं कर सकता कि एक समस्या है; न ही एक स्वीकारोक्ति के साथ ^†:

* कृपया इस अनुच्छेद के शीर्ष पर लिंक का संदर्भ लें।

** यह एक ‘स्व-उजागर’ जीपीटी-5 सिस्टम प्रॉम्प्ट है जो फिर से जीपीटी-5 के लिए प्रॉम्प्ट फोरम पोस्ट से प्रशिक्षित एक पाचन हो सकता है, हालांकि कुछ लोगों का मानना ​​है कि प्रॉम्प्ट वास्तविक है।

^† मैं वास्तव में यह सुझाव नहीं दे रहा हूं कि ChatGPT की ‘दोषी ईमानदारी’ यहां अर्थपूर्ण है; मेरी प्रवृत्ति ओपनएआई नीतियों के मामलों में इसके पार्टी लाइन के खिलाफ पुश करने का मतलब है कि यह अंततः मेरे साथ सहमत होगा और मेरे स्वयं के अंतर्निहित राय को दोहराएगा। यह नॉरमंडी लैंडिंग के विवरण को दबाव में उजागर करने के बराबर नहीं है।

पहली बार बुधवार, 10 दिसंबर, 2025 को प्रकाशित