एआई की मेमोरी समस्या: क्यों कुशल लंबे संदर्भ सब कुछ बदल देता है, और इसे सही तरीके से प्राप्त करने के लिए क्या लगता है

एक सहयोगी जो हर बार बातचीत को भूल जाता है जब यह समाप्त होती है, अधिकांश नौकरियों में लंबे समय तक नहीं टिकेगा। फिर भी, बहुत सारे व्यवसायिक एआई इसी तरह काम करते हैं। सत्र बंद होता है और संदर्भ गायब हो जाता है। एक उपभोक्ता जो एक-एक करके प्रश्न पूछता है, शायद इसे कम नोटिस करेगा, लेकिन एक कंपनी जो एक प्रक्रिया चला रही है जो एक ही बैठक से अधिक समय तक चलती है, तुरंत सीमा तक पहुंच जाती है।

वास्तविक काम एक सत्र से दूसरे सत्र में आगे बढ़ता है, और गुरुवार को लिया गया एक निर्णय आमतौर पर सोमवार को लिए गए निर्णय पर आधारित होता है, जिसके पीछे की सोच को बीच में जीवित रहने की आवश्यकता होती है। एक एआई जो सत्र समाप्त होने पर खुद को साफ कर देता है, उस सत्र के भीतर अच्छा प्रदर्शन कर सकता है और फिर भी एक सप्ताह से अधिक समय तक चलने वाले कार्य में कुछ भी योगदान नहीं देता है।

उद्यम एआई ने धीरे-धीरे यह बदल दिया है कि यह मॉडल से क्या मांग करता है। वर्षों से, मॉडल का मूल्यांकन मुख्य रूप से इस बात पर किया जाता था कि उन्होंने कितना ज्ञान अवशोषित किया था। व्यवसायों को अब उन्हें काम के दौरान सही जानकारी को दृष्टि में रखने की आवश्यकता है, एक क्षमता जिसके लिए एक अलग प्रकार के कुशल इंजीनियरिंग की आवश्यकता है। अब तक, इस स्तर के स्थायी ज्ञान को बनाए रखने की क्षमता हासिल नहीं की जा सकी है क्योंकि इसके लिए बड़ी मात्रा में मेमोरी (जीपीयू), कंप्यूट और लागत की आवश्यकता होती है। स्वीकार्य विलंबता और मॉडल हॉलुसिनेशन के स्तर को बनाए रखना एक चुनौती बन जाती है जब बड़े संदर्भ का उपयोग करते समय समकालिक उपयोग होता है। ऐसी ज्ञान क्षमताओं की मांग बढ़ रही है और पर्याप्त मेमोरी और कंप्यूट नहीं है। इसलिए, यह सवाल उठता है: कैसे आप कम बुनियादी ढांचे और फुटप्रिंट के साथ अधिक सटीक बुद्धिमत्ता प्राप्त कर सकते हैं?

डेस्क और फाइलिंग कैबिनेट

दो चीजें मेमोरी के शीर्षक के तहत बंडल होती हैं, और वे पर्याप्त रूप से अलग व्यवहार करती हैं कि बाकी इस पर निर्भर करता है कि उन्हें अलग रखा जाए।

संदर्भ विंडो से शुरू करें, जो यह है कि एक मॉडल एक ही पास में कितना ले सकता है और इसके ऊपर कारण बना सकता है। यह एक डेस्क की सतह की तरह काम करता है। एक छोटा सा एक समय में कुछ पृष्ठ लेता है, इसलिए बाकी सब कुछ एक ड्रॉर में प्रतीक्षा करता है और जैसे ही आप जाते हैं, इसे लाया जाता है और साफ किया जाता है, जबकि एक बड़ा सा पूरे मामले को एक साथ खुला रखता है क्योंकि आप इसके ऊपर काम करते हैं। जो डेस्क पर होता है वह दिन के अंत में साफ हो जाता है, हर दिन।

स्थायी मेमोरी डेस्क के बगल में फाइलिंग कैबिनेट है। सिस्टम तय करता है कि क्या स्टोर करना है और जब यह प्रासंगिक हो जाता है तो इसे वापस ले लेता है, इसलिए जो कुछ इस सप्ताह हुआ था वह अगले सप्ताह में क्या करता है इसे प्रभावित कर सकता है। उस स्टोर में सत्रों के बीच ले जाया जाता है और इसके अपने निर्णय होने की आवश्यकता होती है कि क्या बचाना है, इसे कैसे व्यवस्थित करना है और कब इसे वापस लाना है।

इंजीनियरिंग दौड़ का अधिकांश हिस्सा डेस्क में गया है। जो खिड़कियां पहले कुछ हजार टोकन पकड़ सकती थीं, वे अब लाखों तक चली जाती हैं, और ओपनएआई और एंथ्रोपिक से सबसे बड़े मॉडल लगभग एक मिलियन तक पहुंच जाते हैं।

इस काम के लिए शब्द, ‘संदर्भ इंजीनियरिंग’, शॉपिफाई के टोबी लुटके से आया था और मिड-2025 में एंड्रेज करपथी द्वारा लोकप्रिय बनाया गया था। किसी भी गंभीर एआई अनुप्रयोग में, करपथी ने लिखा, अगले चरण के लिए सही जानकारी से विंडो भरने का कौशल है। उनकी तुलना हार्डवेयर से थी – मॉडल को प्रोसेसर के रूप में, विंडो को इसकी कार्यशील मेमोरी के रूप में। अभ्यासकर्ताओं ने शब्द को तेजी से अपनाया, क्योंकि वे इसके लिए एक लेबल के बिना इस विचार को घेर रहे थे।

एक बड़ा डेस्क मेमोरी की समस्या का समाधान नहीं है

यहीं पर स्पष्ट कदम – बस डेस्क को बड़ा करना जारी रखें – परेशानी में चलता है।

स्टैनफोर्ड शोधकर्ताओं ने 2024 में दिखाया कि जब मॉडल को जिस जानकारी की आवश्यकता होती है वह एक लंबे इनपुट के मध्य में बैठती है, तो इसकी सटीकता तेजी से गिर जाती है जब उसी तथ्य को शुरू या अंत में रखा जाता है। उन्होंने इसे ‘मध्य में खोया’ कहा, और यह लंबे संदर्भ के लिए विशेष रूप से निर्मित मॉडल के लिए भी लागू हुआ। मॉडल के सामने अधिक रखना, यह पता चलता है, इसका विश्वसनीय रूप से उपयोग करने जैसा नहीं है।

यह प्रभाव तब तक बना रहता है जब अन्य टीमें इसकी तलाश में जाती हैं, और 2025 का एक अध्ययन जिसमें 18 फ्रंटियर मॉडल को बढ़ते लंबे इनपुट के खिलाफ चलाया गया था, प्रदर्शन को खराब होते हुए पाया जब विंडो भी भरी नहीं थी, एक पैटर्न जिसे इसके लेखकों ने संदर्भ घूर्णन नाम दिया था। डेस्क को बड़ा करना और मॉडल को साफ-साफ तरीके से इसके ऊपर कारण बनाने की क्षमता दो अलग-अलग समस्याएं हैं, और पहला दूसरे को हल नहीं करता है।

संकलन क्षमता से अधिक कमाई करता है

संदर्भ इंजीनियरिंग इस पर एक अनुशासन में बढ़ी है, जिसमें 2025 के एक सर्वेक्षण ने 1,400 से अधिक पत्रों पर अपनी विधियों को निर्धारित किया और जार्टर ने जुलाई 2025 में अपने ग्राहकों को संदर्भ को प्राथमिकता देने की सलाह दी। शिल्प मॉडल के लिए एक तेज़ निर्देश देने से आगे बढ़ गया है एक तेज़ इनपुट सेट को इकट्ठा करने के लिए।

एक बड़ा डेस्क जो आप इस पर रखने का चयन करते हैं उस पर दांव बढ़ाता है। एक पूरे दस्तावेज़ स्टोर को सतह पर डालें और जो कुछ मायने रखता है वह शोर, विरोधाभासों और पुराने संस्करणों के बीच खो जाता है, जहां कार्य पर वास्तव में क्या लागू होता है उसे एक तंग चयन करने देता है मॉडल एक ही प्रदर्शन करता है। निर्णय यह है कि मॉडल के सामने क्या आता है, यह कैसे फ्रेम किया जाता है, कब यह दिखाई देता है, और क्या अलमारी में रहता है।

यही वह है जिसके लिए आरएजी (रिट्रीवल-ऑगमेंटेड जेनरेशन) बनाया गया था: दस्तावेजों को टुकड़ों में काटना और जो प्रासंगिक दिखते हैं उन्हें पुनः प्राप्त करना, एक खिड़की के आसपास काम करने के लिए जो पूरी चीज़ को पकड़ने के लिए बहुत छोटा है। कहें कि एक अनुबंध विवाद एक पेज 200 पर एक खंड पर निर्भर करता है। सामान्य दृष्टिकोण अनुबंध को टुकड़ों में काट देता है और एक पुनर्प्राप्ति प्रणाली को जो कुछ भी प्रासंगिक दिखता है उसे लाने देता है। पेज 200 को अप्रासंगिक के रूप में स्कोर करें और मॉडल खंड को कभी नहीं देखता है।

एक खिड़की जो पूरे अनुबंध के लिए आकार दी जाती है पुनर्प्राप्ति चरण को पूरी तरह से छोड़ देती है और मॉडल को खंड के साथ-साथ इसके चारों ओर सब कुछ देती है। चाहे मॉडल फिर लंबे इनपुट को अच्छी तरह से पढ़ता है या नहीं, यह पिछले खंड से विश्वसनीयता समस्या है, और यह एक पुनर्प्राप्ति प्रणाली की तुलना में एक बेहतर समस्या है जो चुपचाप तय करती है कि खंड लाने लायक नहीं था।

एक सत्र के भीतर, और इसके बाद

लंबा संदर्भ यह है कि एक एआई एजेंट एक लंबे काम पर एक एकल आदान-प्रदान के बजाय काम कर सकता है। एक एजेंट जो एक बहु-दिवसीय अनुपालन समीक्षा या एक आपूर्तिकर्ता ऑनबोर्डिंग को संभालता है, जैसे ही यह चलता है, पूरे कार्य को विंडो में रखता है, इसलिए प्रत्येक चरण पूरे कार्य की पूरी स्थिति पर आकर्षित करता है। एक लंबी खिड़की एक सत्र के भीतर मेमोरी की जगह ले सकती है।

यही वह जगह है जहां समानता रुक जाती है। जो कुछ भी प्रणाली को अगले सप्ताह में याद रखना चाहिए, एक बार यह सत्र बंद हो जाने के बाद, किसी ऐसी जगह पर रहने की आवश्यकता है जहां खिड़की नहीं है।

इस तरह की मेमोरी बनाने से एक अलग सेट की समस्याएं आती हैं, जिनमें से अधिकांश का उद्योग अभी तक सामना नहीं किया है। मेरा मनोविज्ञान और न्यूरोसाइंस में प्रशिक्षण मानव स्मृति की तुलना करना मुश्किल बना देता है। हम एक घटना का एक सही रिकॉर्डिंग पुनर्प्राप्त नहीं करते हैं। हर बार जब हम इसे याद करते हैं, तो हम इसे फिर से बनाते हैं, और छोटी गलतियां धीरे-धीरे स्वीकृत संस्करण का हिस्सा बन सकती हैं। एक मशीन मेमोरी में एक समान समस्या विकसित हो सकती है जब संग्रहीत जानकारी को बार-बार सारांशित, मिलाया या पुनः लिखा जाता है। समय के साथ, रिकॉर्ड मूल घटना से दूर हो सकता है जब तक कि कोई इसे जांचता नहीं है, गलतियों को ठीक करता है और अविश्वसनीय हो चुकी जानकारी को हटा देता है।

कई कंपनियां जो इन प्रणालियों को तैनात कर रही हैं, उन्हें अभी तक ये समस्याएं नहीं मिली हैं, और कुछ ही समस्याओं को हल करने के करीब हैं। जो मैं एक विक्रेता में देखूंगा वह यह नहीं है कि वे जिस खिड़की का विज्ञापन करते हैं। 10 मिलियन टोकन रखने वाला एक मॉडल कुछ भी नहीं है अगर अधिकांश जो यह रखता है वह पुराना, अप्रासंगिक या गलत है। इसके उत्तर दिखाई दे सकते हैं अच्छी तरह से संदर्भित होने के बावजूद व्यवसाय पर विश्वास नहीं किया जाना चाहिए सामग्री पर। जो पैसा कमाता है वह यह है कि क्या रखना है और सभी जानकारी पर सटीक रूप से कारण बनाने की क्षमता, बुनियादी ढांचे और फुटप्रिंट के एक अंश पर। यह कम से अधिक करना है, और सभी बड़ी खिड़कियां इस सच्ची क्षमता के साथ नहीं आती हैं।