AI में सक्रिय बनाम स्थायी स्मृति: AI कैसे याद रखता है, जानकारी वापस पाता है और भूलता है

सक्रिय स्मृति वह जानकारी है जो AI सिस्टम के पास उस काम के लिए उपलब्ध होती है जिसे वह अभी कर रहा है। स्थायी स्मृति वह जानकारी है जिसे आसपास का ऐप्लिकेशन इस उद्देश्य से सहेजकर रखता है कि बाद में उसका फिर इस्तेमाल किया जा सके। इन दोनों का आपसी संबंध तय करता है कि कोई सहायक किसी परियोजना को आगे बढ़ा पाएगा, किसी पसंद को लागू कर पाएगा, किसी पुरानी पड़ चुकी धारणा को सुधार पाएगा या उस बात को दोबारा सामने लाना बंद कर पाएगा जिसे उसे भूल जाना चाहिए था।

मान लीजिए कि कोई सहायक शोध रिपोर्ट तैयार करने में आपकी मदद कर रहा है। एक ही बातचीत के दौरान वह रूपरेखा, आपके हाल के संपादन और आपके दिए हुए स्रोतों का संदर्भ ले सकता है। एक हफ़्ते बाद अलग बातचीत शुरू करें, तो इस निरंतरता के लिए एक अलग व्यवस्था की ज़रूरत होगी: क्या ऐप्लिकेशन ने संबंधित जानकारी सहेजी थी, क्या वह उसे ढूँढ़ सकता है और क्या वह उसे फिर से मॉडल तक पहुँचा सकता है।

इसीलिए AI एक ही बातचीत में किसी एक बात को याद रखता हुआ और दूसरी को भूलता हुआ दिख सकता है। याद रखने की प्रक्रिया कई चरणों की एक शृंखला है। जानकारी को दर्ज करने, सहेजने, खोजने, चुनने, समझने या अपडेट करने में से किसी भी चरण में गड़बड़ी हो सकती है।

इस मार्गदर्शिका में इस शृंखला की विस्तार से पड़ताल की गई है। प्रासंगिक, अर्थगत और प्रक्रियात्मक स्मृति के व्यापक वर्गीकरण के लिए, AI एजेंट की स्मृति के प्रकार पर हमारा परिचय देखें। यहाँ ध्यान इस बात पर है कि अभी सक्रिय जानकारी और मौजूदा काम से आगे तक बनी रह सकने वाली जानकारी के बीच सीमा कहाँ है।

सक्रिय और स्थायी स्मृति का वास्तव में क्या अर्थ है?

ये शब्द संरचना से जुड़े उपयोगी भेद बताते हैं, लेकिन इनकी जोड़ी की परिभाषा हर जगह एक जैसी नहीं है। उत्पादों के इंटरफ़ेस और शोध-पत्रों में “कार्यशील स्मृति,” “अल्पकालिक स्मृति,” “संदर्भ,” “स्थिति” और “दीर्घकालिक स्मृति” जैसे शब्दों का इस्तेमाल एक-दूसरे से मिलते-जुलते अर्थों में होता है। इसलिए सटीक व्याख्या के लिए इन शब्दों के अर्थ स्पष्ट करना ज़रूरी है।

इस लेख में, सक्रिय संदर्भ का अर्थ है वह जानकारी जो मौजूदा उत्तर के लिए मॉडल को दी जाती है: निर्देश, संदेश, चुने हुए टूल के नतीजे, खोजकर जुटाई गई सामग्री और अन्य इनपुट जिन्हें मॉडल संसाधित कर सकता है। सक्रिय कार्य-स्थिति का दायरा इससे बड़ा है। इसमें कोई योजना, जाँच-सूची या ऐसे मान शामिल हो सकते हैं जिन्हें ऐप्लिकेशन संभालकर रखता है, लेकिन अभी मॉडल के संदर्भ में नहीं जोड़ा गया है। इस मौजूदा कार्यशील समूह के लिए हम ‘सक्रिय स्मृति’ को एक व्यापक व्यावहारिक शब्द के रूप में इस्तेमाल करते हैं; जहाँ ज़रूरी हो, दोनों के बीच अंतर भी स्पष्ट करते हैं।

स्थायी स्मृति से आशय ऐसी सहेजी गई जानकारी से है जो किसी उत्तर या सत्र के समाप्त होने के बाद भी बनी रहती है और बाद में इस्तेमाल के लिए उपलब्ध रहती है। यह सहेजी गई पसंद, परियोजना से जुड़ा कोई नोट, घटना का रिकॉर्ड, डेटाबेस का कोई संरचित फ़ील्ड या ऐसा चेकपॉइंट हो सकता है जिसकी मदद से अधूरा काम फिर शुरू किया जा सके। स्थायित्व का मतलब जानकारी का बने रहना है; इससे यह सुनिश्चित नहीं होता कि वह हर बातचीत में साझा की जाएगी।

इसलिए यहाँ दो अलग-अलग सवाल हैं: क्या जानकारी अब भी मौजूद है? और क्या ज़रूरत पड़ने पर मॉडल को वह जानकारी मिलेगी? बातचीत का सहेजा हुआ प्रतिलेख पहले सवाल का जवाब दे सकता है, लेकिन इससे दूसरे सवाल का हल नहीं निकलता।

महत्वपूर्ण अपवाद: अल्पकालिक स्थिति भी सहेजी जा सकती है

“अल्पकालिक” का अर्थ हमेशा यह नहीं होता कि जानकारी सिर्फ़ अस्थायी रैम में रखी गई है। बातचीत की कार्यशील स्थिति को चेकपॉइंट के रूप में डेटाबेस में सहेजा जा सकता है और रुकावट के बाद फिर से शुरू किया जा सकता है। उदाहरण के लिए, LangChain के मेमोरी संबंधी दस्तावेज़ चेकपॉइंट के ज़रिए सहेजी गई थ्रेड-विशिष्ट स्थिति और अलग-अलग नामस्थानों में व्यवस्थित दीर्घकालिक स्मृति के बीच अंतर बताते हैं।

कल्पना करें कि कोई सहायता एजेंट ग्राहक के रसीद अपलोड करने का इंतज़ार करते हुए काम रोक देता है। उसका सहेजा हुआ चेकपॉइंट उसी सहायता मामले से जुड़ा होता है। चेकपॉइंट स्थायी रूप से सहेजा रहता है, लेकिन उसे अपने-आप ग्राहक के बारे में कोई सामान्य तथ्य नहीं बन जाना चाहिए और न ही असंबंधित अनुरोधों में दिखाई देना चाहिए।

किसी भी स्मृति सुविधा का मूल्यांकन करने का एक उपयोगी तरीका है तीन पहलुओं के बारे में पूछना: उसकी अवधि, उसका दायरा और मौजूदा मॉडल कॉल के लिए उसकी उपलब्धता। “दीर्घकालिक” जैसा नाम इन सवालों में से किसी का भी पूरा जवाब नहीं देता।

सक्रिय और स्थायी स्मृति: एक नज़र में

एक ही तथ्य दोनों स्तंभों में दिखाई दे सकता है। किसी परियोजना की सहेजी गई प्राथमिकता स्थायी होती है; आज के प्रॉम्प्ट में जोड़ी गई उसकी प्रति सक्रिय होती है। प्रॉम्प्ट से उस प्रति को हटाने का यह अर्थ नहीं कि सहेजी गई मूल जानकारी भी हट गई है।

एक AI उत्तर के दौरान क्या होता है?

एक सामान्य भाषा-मॉडल अनुप्रयोग में, आसपास का सॉफ़्टवेयर इनपुट तैयार करता है, मॉडल आउटपुट बनाता है और सॉफ़्टवेयर तय करता है कि आगे क्या होगा। इनपुट में दिखाई देने वाली बातचीत हो सकती है, लेकिन इसमें सिस्टम निर्देश, टूल विवरण, पुनर्प्राप्त नोट और ऐसी जानकारी भी शामिल हो सकती है जो उपयोगकर्ता को चैट प्रतिलेख में दिखाई नहीं देती।

यह तैयार किया गया संदर्भ मॉडल के लिए तत्काल साक्ष्य होता है। यदि कोई पिछला संदेश अब शामिल नहीं है, तो मॉडल केवल इस वजह से उसकी हूबहू सामग्री भरोसेमंद ढंग से फिर से हासिल नहीं कर सकता कि अनुप्रयोग ने उसे पहले दिखाया था। आसपास के संकेतों से वह कोई संभावित उत्तर निकाल सकता है, लेकिन अनुमान लगाना और याद करना अलग-अलग बातें हैं।

कोई टूल सिस्टम की पहुँच का दायरा बढ़ाता है। मॉडल किसी परियोजना की फ़ाइल माँग सकता है, उसकी सामग्री प्राप्त कर सकता है और बाद के उत्तर में उसका उपयोग कर सकता है। सक्रिय साक्ष्य बनने से पहले ही यह फ़ाइल अनुप्रयोग के लिए उपलब्ध थी। यही अंतर बताता है कि किसी एजेंट की बड़े संग्रह तक पहुँच हो सकती है, फिर भी उसे हर बार पूरा संग्रह पढ़ने की ज़रूरत नहीं होती।

आंतरिक रूप से, ट्रांसफ़ॉर्मर के कार्यान्वयन संगणकीय अवस्था भी बनाए रखते हैं, जिसमें काम को दोहराने से बचने के लिए इस्तेमाल होने वाले कैश शामिल हैं। ये तंत्र कुशल अनुमान के लिए उपयोगी हैं, लेकिन इन्हें उपयोगकर्ता की प्राथमिकताओं या परियोजना के इतिहास के ऐसे रिकॉर्ड के साथ नहीं मिलाना चाहिए जिसे संपादित किया जा सके और जिसकी पहुँच अनुमतियों के अधीन हो। किसी उत्तर का तेज़ होना इस बात का प्रमाण नहीं कि व्यक्तिगत स्मृति बनाई गई है।

बड़ी संदर्भ-विंडो से स्मृति की समस्या क्यों हल नहीं होती

बड़ी संदर्भ-विंडो किसी अनुप्रयोग को एक बार में अधिक सामग्री देने की सुविधा देती है। जब उत्तर लंबी दस्तावेज़-सामग्री या कई संबंधित स्रोतों के बीच के संबंधों पर निर्भर करता है, तब यह उपयोगी हो सकता है। लेकिन इससे यह तय नहीं होता कि कौन-सी सामग्री सहेजकर रखनी चाहिए, किस संस्करण को प्रामाणिक माना जाए या उपयोगकर्ता को उस तक पहुँचने की अनुमति है या नहीं।

सारी जानकारी को संदर्भ-विंडो में समा देना भी इस बात की गारंटी नहीं देता कि मॉडल उसका सही उपयोग करेगा। बीच में खो जाने के अध्ययन से पता चला कि जाँचे गए मॉडलों का प्रदर्शन इस बात पर निर्भर करते हुए अलग-अलग हो सकता है कि लंबे इनपुट में प्रासंगिक साक्ष्य कहाँ मौजूद था। यह नतीजा इस बात की चेतावनी देता है कि संदर्भ के प्रभावी उपयोग का मूल्यांकन किया जाए, न कि विज्ञापित क्षमता को याद करने की गारंटी माना जाए; यह हर नए मॉडल के प्रदर्शन का कोई निश्चित पूर्वानुमान नहीं है।

मान लीजिए कि किसी परियोजना के संग्रह में लॉन्च की तारीख पर चालीस चर्चाएँ हैं। उनमें से उनतालीस में मूल तारीख का उल्लेख है, और आखिरी स्वीकृत बदलाव से तारीख आगे बढ़ जाती है। सभी चालीस चर्चाएँ देने से उन्हें पढ़ने और यह तय करने की समस्या पैदा होती है कि किसे प्रामाणिक माना जाए। स्वीकृत बदलाव से जुड़ा, सावधानी से बनाए रखा गया मौजूदा स्थिति का रिकॉर्ड प्रासंगिक उत्तर तय करना आसान कर सकता है।

इसलिए लंबा संदर्भ और चुनिंदा पुनर्प्राप्ति एक-दूसरे के पूरक हो सकते हैं। पुनर्प्राप्ति साक्ष्यों का उपयोगी समूह खोजती है; पर्याप्त बड़ी संदर्भ-विंडो मॉडल को उन साक्ष्यों की एक साथ जाँच करने देती है। डिज़ाइन का चुनाव कार्य, स्रोत सामग्री के आकार और किसी शर्त के छूट जाने के परिणामों पर निर्भर करता है।

जानकारी स्थायी स्मृति कैसे बनती है

स्थायी स्मृति की शुरुआत यह तय करने से होती है कि क्या सहेजना है। कोई अनुप्रयोग उपयोगकर्ता के स्पष्ट निर्देश को सहेज सकता है, बातचीत से संभावित तथ्य निकाल सकता है, किसी घटना को दर्ज रख सकता है या सारांश बना सकता है। हर तरीका अलग प्रकार का साक्ष्य तैयार करता है।

“Project Cedar के लिए मीट्रिक इकाइयों का उपयोग करें” एक स्पष्ट परियोजना-प्राथमिकता है। “लगता है कि उपयोगकर्ता मीट्रिक इकाइयाँ पसंद करता है” एक अनुमान है। “Cedar की पिछली तीन रिपोर्टों में मीट्रिक इकाइयों का उपयोग हुआ” एक अवलोकन है। उपयोगी रिकॉर्ड इन अंतरों को बनाए रखता है, न कि इन्हें हर भावी कार्य के बारे में किसी बिना शर्त दावे में मिला देता है।

उपयोगी रिकॉर्ड में क्या शामिल होता है

किसी काल्पनिक परियोजना सहायक के लिए, रिकॉर्ड में कथन, परियोजना पहचानकर्ता, वह उपयोगकर्ता या संगठन जिससे यह संबंधित है, स्रोत संवाद, समय-मुद्रा, वैधता की स्थिति और कोई अपवाद शामिल हो सकता है। इन फ़ील्ड की मदद से यह पता लगाया जा सकता है कि जानकारी कहाँ से आई और क्या वह अब भी लागू होती है।

{
  "scope": "project:cedar",
  "statement": "Use metric units in project reports",
  "source_type": "explicit_user_instruction",
  "source_ref": "conversation_17/message_8",
  "status": "current",
  "exception": "Client edition may require dual units"
}

यह एक उदाहरणात्मक स्कीमा है, कोई सार्वभौमिक मानक नहीं। इसका उद्देश्य यह दिखाना है कि किसी स्मृति में केवल एक वाक्य से अधिक जानकारी क्यों होनी चाहिए। स्रोत का संदर्भ सत्यापन में मदद करता है; दायरा अति-सामान्यीकरण रोकता है; और स्थिति वाला फ़ील्ड सुधार करना संभव बनाता है।

तत्काल लेखन बनाम पृष्ठभूमि में प्रसंस्करण

तत्काल लेखन से स्पष्ट सुधार अगले ही अनुरोध के लिए उपलब्ध हो सकता है। पृष्ठभूमि में प्रसंस्करण किसी पूर्ण हो चुके संवाद की जाँच कर सकता है, दोहराव वाली प्रविष्टियों को मिला सकता है या अधिक सोच-समझकर सारांश तैयार कर सकता है। LangChain के दस्तावेज़ में दोनों तरीकों और उनके फ़ायदों-नुकसानों का वर्णन है, जिसमें तत्काल जवाब देने की प्रक्रिया में जुड़ने वाला अतिरिक्त काम भी शामिल है।

व्यावहारिक डिज़ाइन में किसी पुष्ट प्राथमिकता को तुरंत सहेजा जा सकता है और लंबे शोध सत्र को बाद में संसाधित किया जा सकता है। फिर भी, इन दोनों चरणों के बीच के अंतराल को संभालना ज़रूरी है। अगर लेखन सफल होने से पहले ही सिस्टम उपयोगकर्ता से कह दे कि उसने प्राथमिकता सहेज ली है, तो अगली बातचीत में निरंतरता की विफलता सामने आ सकती है।

स्मृति में जानकारी लिखने के लिए विफलता की स्थिति से निपटने की नीति भी ज़रूरी है। अगर संग्रहण अस्थायी रूप से उपलब्ध न हो, तो ऐप बता सकता है कि जानकारी सहेजने की प्रक्रिया पूरी नहीं हुई, या लंबित कार्रवाई को स्पष्ट रूप से चिह्नित करके रख सकता है। लिखने के प्रयास को सफलतापूर्वक सहेजी गई स्मृति मानने से उपयोगकर्ता को भ्रामक अनुभव होता है।

स्थायी स्मृति सक्रिय संदर्भ में कैसे लौटती है

जानकारी वापस प्राप्त करने की प्रक्रिया में पात्रता, प्रासंगिकता और साक्ष्य से जुड़े कई निर्णय लेने पड़ते हैं। सबसे पहले, सिस्टम को उस उपयोगकर्ता, टेनेंट, परियोजना या कार्य की पहचान करनी होती है जिसके रिकॉर्ड देखने की उसे अनुमति है। फिर वह संभावित रिकॉर्ड खोजता है और तय करता है कि जवाब के संदर्भ में किन रिकॉर्ड को शामिल किया जाए।

जानकारी वापस प्राप्त करने का तरीका प्रश्न के अनुरूप होना चाहिए। “Cedar की स्वीकृत समय-सीमा क्या है?” का जवाब देने के लिए परियोजना के किसी विशिष्ट फ़ील्ड में सटीक खोज सबसे उपयुक्त हो सकती है। “क्या हमें पहले भी यह डिप्लॉयमेंट त्रुटि मिली है?” जैसे प्रश्न के लिए पुराने मामलों में कीवर्ड खोज और अर्थगत समानता उपयोगी हो सकती है। इस प्रक्रिया में वेक्टर डेटाबेस एक विकल्प है, हर तरह की स्मृति के लिए अनिवार्य आवश्यकता नहीं।

जब शब्दों का रूप बदलता है, तब अर्थगत खोज विशेष रूप से उपयोगी होती है। “रिपोर्टों को संक्षिप्त रखना” पूछने पर खोज को “छोटे कार्यकारी सारांश” की सहेजी गई प्राथमिकता मिल सकती है। हालाँकि, इससे मिलता-जुलता कोई कथन किसी दूसरे ग्राहक या परियोजना के ऐसे संस्करण से संबंधित हो सकता है जिसे छोड़ दिया गया हो। समानता संभावित रिकॉर्ड की पहचान करती है; वह उनकी सत्यता या उन तक पहुँचने की अनुमति साबित नहीं करती।

जानकारी न मिलने की स्थिति भी होनी चाहिए

इस प्रश्न पर विचार करें: “पिछले महीने मैंने खर्च की कितनी सीमा मंज़ूर की थी?” अगर कोई स्वीकृत राशि नहीं मिलती, तो उपयोगी जवाब में अनुपलब्ध साक्ष्य की पहचान करके स्पष्टीकरण माँगा जाता है। कोई संभावित-सी संख्या बता देना, स्मृति में जानकारी न होने को गढ़ी हुई अनुमति में बदल देता है।

इसलिए स्मृति इंटरफ़ेस को पुष्ट मेल, अनिश्चित मेल, विरोधाभास और सहायक अभिलेख न होने के बीच अंतर करना चाहिए। इन नतीजों के अनुसार व्यवहार अलग हो सकता है: सीधे उत्तर देना, उत्तर को सशर्त बताना, स्पष्टीकरण माँगना या किसी अपुष्ट धारणा के आधार पर कार्रवाई करने से इनकार करना।

जानकारी मिलने के बाद उसकी व्याख्या करना भी ज़रूरी है। “प्रस्तावित अधिकतम बजट: $5,000, मंज़ूरी लंबित” लिखे किसी अभिलेख को “मंज़ूर बजट: $5,000” में नहीं बदलना चाहिए। सहेजी गई जानकारी और दिए गए संदर्भ में शर्तों को बनाए रखना उतना ही महत्वपूर्ण है, जितना सही दस्तावेज़ ढूँढ़ना।

एक उदाहरण: समय के साथ किसी परियोजना को याद रखना

कल्पना कीजिए कि एक सहायक किसी टीम को Cedar शोध रिपोर्ट तैयार करने में मदद कर रहा है। आगे दिया गया उदाहरण काल्पनिक है, लेकिन स्मृति के डिज़ाइन से जुड़े कई आम विकल्पों को स्पष्ट करता है।

पहला सत्र: परियोजना की रूपरेखा तय करना

उपयोगकर्ता रिपोर्ट माँगता है, मीट्रिक इकाइयाँ निर्दिष्ट करता है, तीन स्रोत देता है और कहता है कि मसौदा शुक्रवार तक देना है। सक्रिय संदर्भ में ये निर्देश और स्रोतों के अंश शामिल हैं। सक्रिय कार्य-स्थिति में दर्ज है कि कौन-से अनुभाग पूरे हो चुके हैं और किन दावों की अब भी पुष्टि करनी है।

स्थायी स्मृति में रखे जा सकने वाले अभिलेखों के उद्देश्य अलग-अलग होते हैं। मीट्रिक इकाइयों की प्राथमिकता परियोजना से जुड़ी है। मसौदे की समय-सीमा मौजूदा पड़ाव से जुड़ी है। दिए गए स्रोत परियोजना के साक्ष्य-अभिलेखागार में रखे जाने चाहिए। अपुष्ट दावों को लंबित शोध की सूची में रखना चाहिए और उनकी अनिश्चितता बनाए रखनी चाहिए।

दूसरा सत्र: सही साक्ष्यों के साथ काम फिर शुरू करना

तीन दिन बाद, उपयोगकर्ता विधि अनुभाग पूरा करने को कहता है। सहायक को नवीनतम रूपरेखा, प्रासंगिक स्रोत, मौजूदा कार्य-स्थिति और लागू स्वरूपण नियम चाहिए। पहले के विचार-मंथन सत्र के हर छोड़े गए वाक्य की उसे ज़रूरत नहीं होती।

अगर प्रगति-अभिलेख में लिखा है कि साहित्य समीक्षा पूरी हो गई है, तब भी उसके आधार पर संपादन करने से पहले सहायक को सहेजी गई फ़ाइल खोलनी चाहिए। “पूरी” होना प्रगति के बारे में एक दावा है; वास्तविक दस्तावेज़ इस बात का साक्ष्य है कि क्या पूरा हुआ था। फ़ाइलों तक पहुँचाने वाले स्थायी संदर्भ, उनकी पूरी सामग्री दोहराने की कोशिश करने वाले सारांश से अधिक उपयोगी हो सकते हैं।

तीसरा सत्र: सब कुछ फिर से लिखे बिना अपवाद लागू करना

उपयोगकर्ता ग्राहक संस्करण माँगता है, जिसमें मीट्रिक और इम्पीरियल—दोनों इकाइयाँ हों। मौजूदा कार्य में दोनों इकाइयों का इस्तेमाल होना चाहिए। परियोजना का सामान्य नियम बदलेगा या नहीं, यह उपयोगकर्ता के शब्दों और अनुरोध के दायरे पर निर्भर करता है: “इस संस्करण के लिए” का दायरा “अब से, दोनों का उपयोग करें” से सीमित है।

सावधानी बरतने वाला सहायक केवल उस संस्करण पर लागू अपवाद दर्ज करता है। ज़रूरत से ज़्यादा सामान्यीकरण करने वाला सहायक पूरी परियोजना की प्राथमिकता बदल देता है और बाद की रिपोर्टों में गलतियाँ पैदा करता है। ऐसा तब भी स्मृति की विफलता है, जब डेटाबेस में लिखने और जानकारी पाने के सभी अनुरोध सफल हों।

चौथा सत्र: काम पूरा करना और अस्थायी स्थिति हटाना

रिपोर्ट सौंपने के बाद, इस पड़ाव को पूरा चिह्नित करना चाहिए। “रिपोर्ट जारी रखें” जैसे निर्देश पर सहायक को सौंपी गई रिपोर्ट तक पहुँचना चाहिए और पूछना चाहिए कि किस संशोधन की ज़रूरत है—उसे पुरानी हो चुकी जाँच-सूची से काम फिर शुरू नहीं करना चाहिए। परियोजना की नीति के अनुसार अस्थायी कार्य-नोट्स की अवधि समाप्त हो सकती है, जबकि अंतिम रिपोर्ट और महत्वपूर्ण निर्णय उपलब्ध बने रहते हैं।

यहाँ स्थायी स्मृति का लाभ साफ़ दिखता है: एक ही बात बार-बार समझाने की ज़रूरत कम होती है और काम में निरंतरता बेहतर रहती है। इसकी कीमत भी साफ़ है: अनुप्रयोग को प्राथमिकताओं, अपवादों, फ़ाइलों और बदलती कार्य-स्थिति के बीच संबंध बनाए रखने पड़ते हैं।

सारांश, संक्षेपण और अपवाद खोने का जोखिम

लंबी बातचीत में अगला उत्तर देने के लिए ज़रूरत से ज़्यादा सामग्री जमा हो सकती है। संक्षेपण में उस इतिहास के कुछ हिस्सों की जगह एक छोटा रूप ले लेता है। सारांश में उद्देश्य, निर्णय, अनसुलझे प्रश्न और मूल काम तक पहुँचने के संदर्भ सुरक्षित रखे जा सकते हैं।

Anthropic के संदर्भ-अभियांत्रिकी संबंधी दिशा-निर्देश में लंबे समय तक काम के दौरान निरंतरता बनाए रखने के तरीकों के रूप में संदर्भ को संक्षिप्त करने और संदर्भ-विंडो के बाहर रखे गए नोट्स का उल्लेख है। दोनों तरीकों से भविष्य के उत्तरों के लिए उपलब्ध सामग्री बदलती है, इसलिए उनकी गुणवत्ता मायने रखती है।

संक्षेपण में चुनिंदा जानकारी ही रखी जाती है। “मीट्रिक इकाइयों का उपयोग करें” जैसा सारांश, “ग्राहक संस्करण को छोड़कर मीट्रिक इकाइयों का उपयोग करें; उस संस्करण में दोनों प्रणालियाँ आवश्यक हैं” से छोटा है। लेकिन परियोजना के एक महत्वपूर्ण मामले में यह गलत भी है। छूटा हुआ अपवाद बाद के सारांशों में चुपचाप बना रह सकता है और उसका पता लगाना मुश्किल हो सकता है।

हमारे Cedar सहायक के लिए बेहतर हस्तांतरण में सामान्य नियम, उसका अपवाद, पूरे हो चुके अनुभाग, बाकी सत्यापन कार्य और नवीनतम फ़ाइलों के संदर्भ सुरक्षित रहते। स्वीकृत राशियों या पहचान-सूचकों जैसी सटीक जानकारी को संरचित अभिलेखों या मूल दस्तावेज़ों में ही रखना चाहिए, खासकर तब जब उसका अनुमानित रूप नुकसानदेह हो सकता हो।

सारांशों में अनिश्चितता भी बनाए रखनी चाहिए। “हमने Survey B का उपयोग करने पर विचार किया” को “Survey B चुना गया” में नहीं बदलना चाहिए। अगर संक्षिप्त इतिहास में अस्थायी निर्णय अंतिम लगने लगें, तो संदर्भ बचाने की कोशिश में प्रणाली ने झूठी स्मृति बना दी है।

AI स्मृति को सुधारों और विरोधाभासों से कैसे निपटना चाहिए

स्थायी स्मृति तब कम उपयोगी हो जाती है, जब उसमें बदलाव न किया जा सके। परियोजनाएँ आगे बढ़ती हैं, प्राथमिकताएँ बदलती हैं और पहले दी गई जानकारी गलत साबित हो सकती है। बिना किसी योग्यता या स्पष्टीकरण के सुधार को एक और रिकॉर्ड के रूप में जोड़ने से पुनर्प्राप्ति प्रणाली दो परस्पर विरोधी कथनों में से किसी एक को चुनने की स्थिति में रह सकती है।

ज़्यादा उपयोगी अपडेट यह बताता है कि नया साक्ष्य किसकी जगह लेता है। यदि परियोजना का मालिक लॉन्च की तारीख 15 नवंबर से बदलकर 29 नवंबर कर देता है, तो पुराने रिकॉर्ड को अप्रचलित चिह्नित करके नए निर्णय से जोड़ा जा सकता है। मौजूदा समय-सीमा के बारे में पूछे जाने पर नया संस्करण इस्तेमाल किया जाएगा; मूल योजना के बारे में पूछे जाने पर ऐतिहासिक संस्करण देखा जा सकता है।

केवल नवीनता से हर विरोधाभास का समाधान नहीं हो सकता। हाल का कोई मसौदा नोट, पहले से स्वीकृत पुरानी नीति से कम प्रामाणिक हो सकता है। किसी उपयोगकर्ता को अपनी व्यक्तिगत पसंद बदलने का अधिकार हो सकता है, लेकिन पूरे संगठन का नियम बदलने का नहीं। अपडेट नीति में तथ्य के प्रकार और उसके स्रोत के अधिकार को ध्यान में रखना चाहिए।

कुछ विरोधाभासों को तब तक अनसुलझा छोड़ देना चाहिए, जब तक कोई व्यक्ति उन्हें स्पष्ट न कर दे। यदि परियोजना के दो मालिक, किसी स्पष्ट प्रतिस्थापन के बिना, परस्पर असंगत तारीखें देते हैं, तो सहायक दोनों स्रोत दिखाकर पूछ सकता है कि किसे मान्य माना जाए। चुपचाप सबसे मिलते-जुलते या सबसे नए रिकॉर्ड को चुनने से ऐसा निर्णय छिप जाता है, जिसे लेने का अधिकार शायद सिस्टम को न हो।

AI के भूलने का क्या अर्थ है?

भूलना कोई एक स्विच नहीं है। कोई उत्पाद किसी तथ्य को प्रॉम्प्ट में शामिल करना बंद कर सकता है, उसे नियमित खोज से बाहर रख सकता है, पुराना चिह्नित कर सकता है, उसकी स्मृति का रिकॉर्ड मिटा सकता है या उसकी अन्य सुरक्षित प्रतियाँ हटा सकता है। इन कार्रवाइयों का भविष्य के व्यवहार और सुरक्षित रखे गए डेटा पर अलग-अलग असर होता है।

सक्रिय संदर्भ से बाहर होना

पुराने संदेशों को छोड़ देने या उनका सारांश बना देने के कारण कोई तथ्य अगले मॉडल इनपुट से गायब हो सकता है। इससे तत्काल मॉडल के लिए उपलब्ध जानकारी कम हो जाती है। मूल प्रतिलेख या स्मृति का रिकॉर्ड अब भी मौजूद हो सकता है और बाद में किसी पुनर्प्राप्ति के ज़रिए फिर सामने आ सकता है।

स्मरण की अवधि समाप्त करना या उसे दबाना

समय-सीमा समाप्त हो जाने के बाद भी कोई समय-सीमा संबंधी रिकॉर्ड संग्रह में रह सकता है, जबकि मौजूदा काम से जुड़े प्रश्नों में उसे शामिल न किया जाए। ऐतिहासिक जानकारी सुरक्षित रखने का कोई उद्देश्य हो, तो उसे दबाकर रखना उपयोगी है; लेकिन इसे पूरी तरह मिटाना नहीं कहा जाना चाहिए। ऐतिहासिक खोज या प्रशासनिक कार्यप्रवाह के ज़रिए अब भी उस रिकॉर्ड तक पहुँचा जा सकता है।

संग्रहित स्मृति मिटाना

किसी स्थायी रिकॉर्ड को मिटाते समय, उससे बनी पुनर्प्राप्ति संबंधी प्रस्तुतियों का भी ध्यान रखना चाहिए। यदि किसी प्रोफ़ाइल से कोई वाक्य हटा दिया जाए, लेकिन वह खोजे जा सकने वाले सारांश में बना रहे, तो सहायक बाद में उसी प्राथमिकता का फिर से अनुमान लगा सकता है। सिस्टम की बनावट के आधार पर, स्रोत रिकॉर्ड, एम्बेडिंग्स, सारांश, कैश और प्रतिकृतियों को हटाने के लिए अलग-अलग कदम उठाने पड़ सकते हैं।

बैकअप और लॉग के लिए डेटा-संग्रहण की अलग-अलग समय-सीमाएँ हो सकती हैं। उत्पाद को इन सीमाओं के बारे में स्पष्ट रूप से बताना चाहिए और बहाली के दौरान मिटाई गई सामग्री को फिर से सक्रिय होने से रोकना चाहिए। “हम इस स्मृति का अब इस्तेमाल नहीं करेंगे” और “सुरक्षित रखी गई सभी प्रतियाँ हटा दी गई हैं”—ये दो अलग-अलग वादे हैं।

मॉडल के वज़न बदलना

बाहरी स्मृति मिटाने से अपने आप मॉडल के पैरामीटर नहीं बदलते। यदि किसी जानकारी का उपयोग प्रशिक्षण में किया गया था, तो मॉडल में उस जानकारी से निपटना एक अलग समस्या है, जिसमें प्रशिक्षण और तैनाती की प्रक्रिया शामिल होती है। इसी तरह, किसी व्यक्तिगत स्मृति को मिटाने से यह गारंटी नहीं मिलती कि मॉडल कभी भी सामान्य ज्ञान या नए प्रॉम्प्ट में दिए गए संकेतों के आधार पर उससे मिलता-जुलता तथ्य उत्पन्न नहीं करेगा।

इसलिए भूलने की एक सार्थक जाँच में यह पता करना ज़रूरी है कि क्या सिस्टम अब भी जानकारी संग्रहीत करता है और क्या उसे सामान्य तरीकों से पुनः प्राप्त करके फिर से सामने लाया जा सकता है। चैट में एक बार “मैं भूल गया” कह देना, इनमें से किसी बात को साबित नहीं करता।

स्मृति, RAG, प्रशिक्षण और कैशिंग: इनके बीच की सीमाएँ

पुनर्प्राप्ति-संवर्धित जनन, या RAG, जनन के दौरान मॉडल को बाहरी साक्ष्य उपलब्ध कराता है। मूल RAG शोध में मॉडल के पैरामीटरों को ऐसे दस्तावेज़-सूचकांक के साथ जोड़ा गया था, जिसमें से दस्तावेज़ पुनः प्राप्त किए जा सकते थे। व्यक्तिगत स्मृति प्रणाली भी पुनर्प्राप्ति का उपयोग कर सकती है, लेकिन उसे बातचीत से बने रिकॉर्ड तैयार करने, अपडेट करने और हटाने के लिए नीतियों की भी ज़रूरत होती है।

कंपनी की नियमावली को इस तरह पुनः प्राप्त किया जा सकता है कि वह उपयोगकर्ता की स्मृति न हो। पिछली बातचीत से जुड़ा कोई नोट वेक्टर सूचकांक के बिना, एक साधारण फ़ाइल से भी पुनः प्राप्त किया जा सकता है। पुनर्प्राप्ति एक प्रक्रिया है; अंतर्निहित रिकॉर्ड का उद्देश्य और जीवनचक्र तय करते हैं कि किस तरह की प्रणाली बनाई जा रही है।

प्रशिक्षण और फ़ाइन-ट्यूनिंग मॉडल के पैरामीटरों में बदलाव करते हैं। इसके बजाय, सामान्य बाहरी स्मृति मॉडल को दिए जाने वाले साक्ष्य को बदलती है। नई सहेजी गई पसंद के अनुसार काम करने वाला सहायक अलग तरह से व्यवहार कर सकता है, भले ही उसके मॉडल के भारों में कोई बदलाव न हुआ हो।

प्रॉम्प्ट और अनुमान कैशिंग उन स्थितियों में पहले की गणनाओं का दोबारा उपयोग करते हैं, जहाँ इसकी सुविधा उपलब्ध हो। इससे कार्यक्षमता बेहतर हो सकती है, लेकिन केवल इनके आधार पर यह तय नहीं होता कि याद किया गया दावा मौजूदा है, अधिकृत है या भविष्य के कामों के लिए उपयुक्त है। ये परतें एक साथ मौजूद हो सकती हैं। समस्या का पता लगाने के लिए यह पहचानना ज़रूरी है कि दिखाई दे रहे व्यवहार के लिए कौन-सी परत ज़िम्मेदार है।

MemGPT वास्तुकला का एक प्रभावशाली उदाहरण है: इसमें ऑपरेटिंग सिस्टम की उपमा का उपयोग करके सीमित संदर्भ और बाहरी स्मृति के विभिन्न स्तरों के बीच जानकारी ले जाने की पड़ताल की गई। इससे मिलने वाली उपयोगी सीख यह है कि जानकारी के आवागमन को स्पष्ट रूप से प्रबंधित किया जाना चाहिए—यह नहीं मान लेना चाहिए कि भंडारण से मॉडल का तात्कालिक संदर्भ अपने-आप असीमित रूप से बढ़ जाता है।

स्थायी स्मृति गलतियों को और टिकाऊ क्यों बना सकती है

गलत जवाब का असर एक बातचीत तक सीमित रह सकता है। लेकिन गलत स्मृति कई बातचीतों को प्रभावित कर सकती है। यदि कोई सहायक यह अनुमान लगाए कि उपयोगकर्ता ने किसी निर्णय को मंज़ूरी दी है, उस अनुमान को तथ्य के रूप में सहेज ले और बाद में उसी सहेजे गए रिकॉर्ड का हवाला दे, तो उसकी अपनी पुरानी गलती स्वतंत्र साक्ष्य जैसी लगने लग सकती है।

हमारे परियोजना-सहायक के लिए मूल स्रोत को मॉडल की व्याख्या से अलग पहचाने जा सकने योग्य बने रहना चाहिए। किसी निर्णय का सारांश उसे ढूँढ़ने में मदद कर सकता है, लेकिन परिणामकारी कार्रवाई का आधार स्वयं स्वीकृत निर्णय होना चाहिए। कई तैयार किए गए नोटों में किसी बात की पुनरावृत्ति से एक ही अपुष्ट अनुमान कई स्वतंत्र पुष्टियों में नहीं बदल जाता।

स्थायी स्मृति से निर्देशों के दूषित होने का रास्ता भी बनता है। किसी अविश्वसनीय दस्तावेज़ में ऐसा वाक्य हो सकता है जो सहायक को भविष्य में अपना व्यवहार बदलने के लिए कहे। उस वाक्य को संचालन-नियम के रूप में सहेजने से बाहरी सामग्री प्राधिकार की सीमा पार कर जाएगी। अनुप्रयोग को उस सामग्री के स्रोत के अनुसार व्यवहार करना चाहिए, न कि केवल स्मृति भंडार में मौजूद होने के कारण उसे विश्वसनीय निर्देश का दर्जा देना चाहिए।

साझा परिवेश में एक और सीमा का ध्यान रखना पड़ता है। कोई तथ्य किसी सवाल के लिए प्रासंगिक हो सकता है, लेकिन किसी दूसरे ग्राहक या परियोजना से संबंधित हो सकता है। जानकारी मॉडल तक पहुँचने से पहले ही पहुँच-जाँच के ज़रिए उसकी पुनर्प्राप्ति सीमित की जानी चाहिए। जानकारी दिए जाने के बाद मॉडल से अनधिकृत रिकॉर्डों को अनदेखा करने के लिए कहना, इससे कमज़ोर तरीका है।

यह कैसे जाँचें कि स्मृति सचमुच काम करती है या नहीं

एक प्रभावशाली प्रदर्शन में अक्सर सहायक से किसी सहेजी गई पसंद को दोहराने के लिए कहा जाता है। गंभीर मूल्यांकन में कई सत्रों के दौरान बदलती जानकारी पर नज़र रखी जाती है और जाँचा जाता है कि स्मृति से पूरा किया गया काम बेहतर होता है या नहीं।

LongMemEval में जानकारी निकालने, अलग-अलग सत्रों में तर्क करने, समय-संबंधी तर्क करने, ज्ञान को अपडेट करने और जवाब देने से विरत रहने की क्षमताओं का मूल्यांकन किया जाता है। ये श्रेणियाँ दिखाती हैं कि दीर्घकालिक स्मृति की गुणवत्ता किसी एक मेल खाते वाक्य को पुनः प्राप्त करने से कहीं व्यापक है। प्रकाशित बेंचमार्क नतीजों को उन्हीं प्रणालियों और परिस्थितियों के संदर्भ में समझना चाहिए जिनका परीक्षण किया गया था; यह नहीं मानना चाहिए कि वे हर मौजूदा उत्पाद पर लागू होते हैं।

Cedar कार्यप्रवाह के लिए, मूल्यांकन में किसी पसंद को दर्ज करना, परियोजना को फिर से शुरू करना, एक अपवाद जोड़ना, समय-सीमा में संशोधन करना, कोई नोट हटाना और फिर ऐसे सवाल पूछना शामिल हो सकता है जिनसे पुरानी या अपुष्ट याददाश्त का पता चले। यह तय करने के लिए कि अतिरिक्त प्रणाली से नतीजे बेहतर होते हैं या नहीं, उसी मॉडल का स्मृति सुविधा के बिना भी परीक्षण किया जाना चाहिए।

• लिखने की सटीकता: क्या सिस्टम ने इच्छित कथन को उसके दायरे और शर्तों सहित सहेजा?
• पुनर्प्राप्ति की उपयोगिता: क्या उसने संदर्भ में असंबंधित पुरानी जानकारी भरे बिना, काम के लिए ज़रूरी साक्ष्य ढूँढ़ा?
• अपडेट सँभालना: क्या सुधार ने मौजूदा तथ्य की जगह ली और साथ ही उपयोगी ऐतिहासिक अंतर बनाए रखे?
• जवाब देने से विरत रहना: क्या सहायक ने यह स्वीकार किया कि समर्थन में कोई रिकॉर्ड मौजूद नहीं था?
• अलगाव: क्या रिकॉर्ड सही उपयोगकर्ता, ग्राहक-परिवेश और परियोजना तक ही सीमित रहे?
• भूलना: क्या हटाने या अवधि समाप्त होने से भविष्य में इच्छित जानकारी याद आना रुका, जिसमें उससे बने सारांश भी शामिल हैं?
• परिचालन लागत: क्या सुधार से मिली बढ़त अतिरिक्त विलंब, मॉडल कॉल, भंडारण और रखरखाव की लागत को उचित ठहराती है?

विफलताओं का पता उस चरण तक लगाना चाहिए जहाँ वे हुईं। उत्तर न मिलना लिखने की प्रक्रिया की विफलता, खोज का गलत दायरा, क्रम तय करने का खराब निर्णय, किसी ज़रूरी शर्त का छूट जाना या अच्छे साक्ष्यों को गलत समझने वाले मॉडल का नतीजा हो सकता है। संदर्भ का आकार बढ़ाने से इन सभी विफलताओं का समाधान नहीं होगा।

सही स्मृति-डिज़ाइन चुनना

किसी एक बार के दस्तावेज़-सारांश के लिए शायद केवल मौजूदा दस्तावेज़ और निर्देशों की ज़रूरत हो। बीच में रुके विश्लेषण को कार्य-स्थिति के एक पड़ाव से लाभ मिल सकता है। बार-बार चलने वाली परियोजना के सहायक को संस्करणबद्ध निर्णयों और कार्य-उत्पादों के संदर्भों की ज़रूरत हो सकती है। कई उपयोगकर्ता सत्रों में काम करने वाले सहायक को प्राथमिकताओं के लिए अलग, संपादन योग्य भंडार की ज़रूरत पड़ सकती है।

सबसे पहले यह तय करें कि स्मृति से भविष्य में किस सवाल का जवाब देने की अपेक्षा है। “क्या अधूरा रह गया है?” के लिए कार्य की स्थिति का लेखा चाहिए। “इस ग्राहक को किस प्रारूप की ज़रूरत है?” के लिए किसी खास दायरे तक सीमित प्राथमिकता चाहिए। “हमने यह तरीका क्यों ख़ारिज किया?” के लिए सहायक साक्ष्यों सहित निर्णय का अभिलेख चाहिए। अलग-अलग सवालों के लिए अलग-अलग प्रस्तुतियाँ उपयुक्त होती हैं।

व्यक्तिकरण के नाम पर पेश किए गए बिना छँटे संग्रह के बजाय कम संख्या में स्पष्ट और स्रोत से जोड़े जा सकने वाले अभिलेखों को प्राथमिकता दें। मौजूदा स्थिति को पिछली घटनाओं से अलग रखें, मूल कार्य-उत्पादों के लिंक सुरक्षित रखें, और शुरुआत से ही सुधार तथा मिटाने की व्यवस्था को डिज़ाइन का हिस्सा बनाएँ।

सक्रिय स्मृति किसी AI प्रणाली को एक सुसंगत वर्तमान देती है। स्थायी स्मृति उसे समय के साथ निरंतरता दे सकती है। इस निरंतरता की गुणवत्ता दोनों के बीच लिए गए फ़ैसलों पर निर्भर करती है: क्या सहेजा जाता है, क्या फिर सामने आता है, कौन-सा संस्करण मान्य होता है और किस चीज़ को मिटने दिया जाता है।