विचार नेता

एआई का मेमोरी संकट: हम एक डिजिटल डार्क एज का निर्माण कर रहे हैं

Xiaowei Jiang
Unite.AI को Google पर अपने पसंदीदा स्रोतों में जोड़ें
मुख्य बिंदुएआई एजेंट साइलोड आर्किटेक्चर के कारण परिचालन संबंधी अंतर्दृष्टि साझा नहीं कर सकते…
और देखें
  • एआई एजेंट साइलोड आर्किटेक्चर के कारण परिचालन संबंधी अंतर्दृष्टि साझा नहीं कर सकते, जिससे रोके जा सकने वाले अंधे धब्बे पैदा होते हैं।
  • साझा मेमोरी एजेंटों को निर्णय के समय एक-दूसरे के व्युत्पन्न संदर्भ तक पहुंचने की अनुमति देती है, जिससे अनुभव का संचय होता है।
  • संदर्भ इंजीनियरिंग एक महत्वपूर्ण नया अनुशासन है जो कच्चे अनुभव को टिकाऊ, निर्णय-प्रासंगिक संकेतों में ढालने के लिए है।

लाखों एआई एजेंट उत्पादन प्रणालियों में प्रवेश कर रहे हैं। लगभग कोई भी अपना परिचालन अनुभव साझा नहीं कर सकता। यही वजह है कि यह वास्तुकला संबंधी चुनाव महत्वपूर्ण है—और इसे सही ढंग से करने पर क्या बदलता है।

2:06 PM पर, एक ग्राहक लैपटॉप के लिए ऑनलाइन ऑर्डर देता है।

चेकआउट एजेंट अपने ऑपरेशनल डेटाबेस को क्वेरी करता है: साफ़ खरीद इतिहास, राशि सामान्य सीमा के भीतर, शिपिंग पता पहले उपयोग किया गया, डिवाइस और स्थान हाल के सफल ऑर्डर के साथ संगत। सब कुछ सामान्य दिखता है। एजेंट ऑर्डर को मंजूरी देता है।

उसी समय, एक व्यवहार-विश्लेषण एजेंट कंपनी के डेटा लेकहाउस में क्लिकस्ट्रीम डेटा को संसाधित करता है। सत्र से, यह एक पैटर्न को व्युत्पन्न करता है: उपयोगकर्ता गहरे चेकआउट यूआरएल पर सीधे पहुंचता है बिना ब्राउज़िंग या तुलना व्यवहार के। यह संकेत स्वयं में कमजोर है, लेकिन यह एक ज्ञात पूर्ववर्ती है खाता अधिग्रहण परिदृश्यों में जब सामान्य खरीद के साथ जोड़ा जाता है।

व्यवहार एजेंट इस व्याख्या को व्युत्पन्न ज्ञान के रूप में रिकॉर्ड करता है बाद के विश्लेषण और मॉडल प्रशिक्षण के लिए।

चेकआउट एजेंट इसे नहीं देखता। इसलिए नहीं कि संकेत की गणना नहीं हुई थी, और न ही इसलिए कि उसे अनदेखा किया गया था—बल्कि इसलिए कि यह ज्ञान ऐसी प्रणाली में रहता है जिससे चेकआउट एजेंट प्राधिकरण के दौरान जानकारी नहीं लेता।

प्रत्येक एजेंट अपने सामने उपलब्ध जानकारी के आधार पर सही व्यवहार करता है। प्रत्येक उस प्रणाली में लिखता है जिसका वह स्वामी है। लेकिन एक एजेंट को मिली अंतर्दृष्टि निर्णय लेते समय दूसरे एजेंट को दिखाई नहीं देती।

लैपटॉप भेज दिया जाता है।

छत्तीस घंटे बाद, शुल्क विवादित है। जांच पुष्टि करती है कि उसी दिन पहले ही खाते में अनधिकृत घुसपैठ हो चुकी थी। हमलावर ने लेन-देन को सामान्य सीमा के भीतर रखा, इस तथ्य पर भरोसा किया कि एकमात्र प्रारंभिक चेतावनी व्यवहार ज्ञान के रूप में चेकआउट एजेंट के निर्णय संदर्भ के बाहर रहती थी।

विफलता डेटा की कमी, धीमी प्रसंस्करण, या एक खराब मॉडल नहीं थी। यह एक एजेंट सिलो था: ज्ञान बनाया गया था, लेकिन साझा नहीं किया गया था।

और यह एक समस्या को उजागर करता है जिसके बारे में लगभग कोई नहीं बात कर रहा है। हमने ऐसी वास्तुकला बनाई है जहां निर्णय लेने वाले एआई एजेंट अन्य एआई एजेंटों द्वारा खोजे गए ज्ञान तक पहुंच नहीं सकते हैं।

मुद्रण प्रेस ने जिस समस्या का समाधान किया

मुद्रण प्रेस से पहले, ज्ञान नाजुक था। जब एक विद्वान मर जाता था, तो उनके सीखे हुए ज्ञान का बड़ा हिस्सा उनके साथ समाप्त हो जाता था। लंदन में एक गणितज्ञ दशकों तक सिद्धांतों की खोज कर सकता था जिसे पेरिस में एक गणितज्ञ पचास साल बाद स्वतंत्र रूप से खोज लेगा। प्रगति वास्तविक थी, लेकिन यह स्थानीय, धीमी, और बार-बार रीसेट होती थी।

मुद्रण प्रेस ने व्यक्तियों को अधिक बुद्धिमान नहीं बनाया। इसने स्मृति को व्यक्ति के मन से बाहर सुरक्षित रखने का साधन दिया। ज्ञान एकल मन से बंधा नहीं रहा, और इसके निर्माता के जीवन से परे बना रहा। अंतर्दृष्टि साझा की जा सकती थी, फिर से देखी जा सकती थी, और पीढ़ी-दर-पीढ़ी उनके आधार पर आगे का ज्ञान विकसित किया जा सकता था। यही कारण था कि प्रगति को जोड़ा जा सका।

हम मुद्रण प्रेस से पहले की गलती को एआई के साथ दोहराने के जोखिम में हैं।

अधिकांश संगठन अब उत्पादन प्रणालियों में एआई एजेंटों को तैनात कर रहे हैं, और कई अधिक क्षेत्रों में प्रयोग कर रहे हैं जैसे कि ग्राहक सहायता, सॉफ्टवेयर विकास, अनुसंधान, और धोखाधड़ी का पता लगाना। ये एजेंट आमतौर पर स्वतंत्र सेवाओं के रूप में तैनात किए जाते हैं जो आधुनिक माइक्रोसर्विस वास्तुकला के साथ संरेखित होते हैं, प्रत्येक का अपना डेटा और परिचालन दायरा होता है। यहां तक कि एक ही संगठन के भीतर, एजेंट अपने स्वयं के उत्पादन अनुभव से अंतर्दृष्टि प्राप्त करते हैं, लेकिन शायद ही कभी अन्य एजेंटों के साथ ज्ञान साझा करते हैं जो संबंधित निर्णय लेते हैं।

परिणामस्वरूप, ऑपरेशनल अंतर्दृष्टि खंडित रहती है। स्थानीय निर्णय में सुधार हो सकता है, लेकिन अनुभव प्रणाली भर में जमा नहीं होता है। प्रत्येक सफलता जो एकल एजेंट के भीतर फंसी रहती है वह ऐसी सफलता है जिसका लाभ आगे की प्रगति में जुड़ नहीं पाता।

इस समय, सीमित कारक बुद्धिमत्ता या गति नहीं है। यह स्मृति है। एआई प्रणालियों के पास अपनी खोजों को बाहरी रूप में सुरक्षित रखने और साझा करने का तरीका न हो, तो प्रगति आगे बढ़ने से अधिक बार फिर से शून्य पर लौटती है।

साझा स्मृति वास्तव में कैसी दिखती है

बड़ी संदर्भ विंडो व्यक्तिगत तर्क को समृद्ध कर सकती हैं, लेकिन वे एजेंटों भर में साझा, स्थायी अनुभव नहीं बनाती हैं।

साझा स्मृति परिणामों को नहीं बदलती है मॉडलों में सुधार करके, लेकिन यह बदलकर कि एजेंट निर्णय के समय क्या देख सकते हैं।

एक अलग-अलग साइलो में बंटी प्रणाली में, प्रत्येक एजेंट अपनी सीमा के भीतर सही ढंग से व्यवहार करता है। चेकआउट एजेंट लेन-देन जोखिम का मूल्यांकन करता है। व्यवहार एजेंट क्लिकस्ट्रीम पैटर्न का विश्लेषण करता है। प्रत्येक अपने निष्कर्षों को उस प्रणाली में लिखता है जिसे वह स्वामित्व में रखता है, और वे निष्कर्ष अन्य एजेंटों के लिए अदृश्य रहते हैं जो समानांतर में संचालित होते हैं। निर्णय स्थानीय रूप से सही हैं, लेकिन वैश्विक रूप से अपूर्ण हैं।

साझा स्मृति परत के साथ, वह सीमा गायब हो जाती है।

जैसे ही व्यवहार एजेंट एक सत्र को संसाधित करता है, यह एक कमजोर लेकिन अर्थपूर्ण संकेत को व्युत्पन्न करता है: एक नेविगेशन पैटर्न जो खातों पर कब्ज़ा करने के शुरुआती प्रयासों से जुड़ा हुआ है। इसके बजाय कि यह अंतर्दृष्टि को केवल ऑफलाइन विश्लेषण के लिए संग्रहीत करे, यह साझा स्मृति में संकेत लिखता है, सक्रिय सत्र से जुड़ा हुआ है।

कुछ क्षण बाद, जब चेकआउट एजेंट खरीद का मूल्यांकन करता है, तो यह उसी स्मृति को क्वेरी करता है। लेन-देन अभी भी सामान्य दिखता है। लेकिन यह अब अतिरिक्त संदर्भ देखता है: एक व्यवहार चेतावनी जो अन्यथा अनुपस्थित होगी। दोनों में से कोई भी संकेत अकेले निर्णायक नहीं है। साथ में, वे आगे की पुष्टि के लिए सीमा पार करते हैं।

एजेंटों में से कोई भी नहीं बदला है। कोई मॉडल पुनः प्रशिक्षित नहीं किया गया है। कोई केंद्रीय नियंत्रक हस्तक्षेप नहीं करता है। अंतर दृश्यता है: एक अंतर्दृष्टि जो एक एजेंट द्वारा बनाई जाती है दूसरे के लिए उपलब्ध हो जाती है जब यह अभी भी मायने रखता है।

महत्वपूर्ण बात यह है कि यह अंतर्दृष्टि बनी रहती है। जब परिणाम बाद में ज्ञात हो जाता है—धोखाधड़ी या वैध—संकेत और परिणाम के बीच संबंध रिकॉर्ड किया जाता है। समय के साथ, प्रणाली एक अनुभवजन्य रिकॉर्ड जमा करती है कि कौन से कमजोर संकेत किन परिस्थितियों में महत्वपूर्ण होने की प्रवृत्ति रखते हैं। भविष्य के निर्णय अनुभव से सूचित होते हैं जो किसी एक इंटरैक्शन या एजेंट से परे है।

साझा स्मृति एक डेटा वेयरहाउस और एक ऑपरेशनल डेटाबेस नहीं है। यह व्युत्पन्न संदर्भ के लिए कम-विलंबता वाला आधार है: संकेत, व्याख्याएं और संबंध, जो उन्हें उत्पन्न करने वाली अंतःक्रिया के बाद भी बने रहते हैं और संबंधित निर्णय लेने वाले अन्य एजेंटों द्वारा खोजे जा सकते हैं।

इसी तरह अनुभव का लाभ लगातार बढ़ता है—किसी एक मॉडल के भीतर नहीं, बल्कि पूरी प्रणाली में।

एजेंट साइलो के पीछे का वास्तुकला संबंधी समझौता

एजेंट सिलोस एक कार्यान्वयन त्रुटि नहीं हैं। वे एक अलग प्रकार के उपभोक्ता के लिए डिज़ाइन की गई उद्यम वास्तुकला का एक पूर्वानुमानित परिणाम हैं।

दशकों से, उत्पादन प्रणालियों ने कार्य द्वारा कार्यभार को अलग किया है। ऑपरेशनल प्रणालियों को कम-विलंबता, सुसंगत लेन-देन के लिए अनुकूलित किया गया था, जबकि विश्लेषणात्मक प्रणालियों को बड़े पैमाने पर डेटा एकत्रीकरण और ऐतिहासिक पैटर्न की खोज के लिए अनुकूलित किया गया था (ओएलटीपी बनाम ओएलएपी)। यह अलगाव यह दर्शाता था कि अंतर्दृष्टि कैसे उपभोग की जाती थी: विश्लेषणात्मक परिणाम मानवों के लिए उत्पादित किए गए थे, न कि मशीनों के लिए, और इसलिए उन्हें निर्णय लेने के महत्वपूर्ण मार्ग से बाहर और असिंक्रोनस रूप से आने की उम्मीद थी।

एआई एजेंट इस वास्तुकला विभाजन को विरासत में लेते हैं, लेकिन वे इसके अनुरूप नहीं होते हैं।

परिणाम केवल विलंबित अंतर्दृष्टि नहीं है, बल्कि संरचनात्मक अंधे धब्बे हैं। विश्लेषणात्मक प्रणालियों में बनने वाली अंतर्दृष्टि उनकी संरचना के कारण वास्तविक समय के निर्णय हो जाने के बाद ही सामने आती है। परिणाम बदल सकने वाले संकेत मौजूद होते हैं, लेकिन निर्णय के समय उपलब्ध नहीं हो पाते, क्योंकि वे ऐसी प्रणालियों में रहते हैं जिन्हें स्वायत्त निर्णयकर्ता लगातार जानकारी लेने के लिए उपयोग नहीं करते।

वास्तुकला टूटी हुई नहीं है। यह स्वायत्त प्रणालियों की आवश्यकताओं से मेल नहीं खाता।

गायब अनुशासन: संदर्भ इंजीनियरिंग

साझा स्मृति एक समस्या को पेश करती है जिसे अधिकांश टीमें हल करने के लिए तैयार नहीं हैं: यह तय करना कि कौन सा अनुभव बना रहना चाहिए।

एआई प्रणालियां कच्चे अनुभव की विशाल मात्रा उत्पन्न करती हैं—लेन-देन, क्लिक, संदेश, क्रियाएं, परिणाम। सभी को बनाए रखना व्यावहारिक या उपयोगी नहीं है। जानबूझकर चयन के बिना, साझा स्मृति शोर बन जाती है। चुनौती अधिक डेटा एकत्र करने की नहीं है, बल्कि अनुभव को संदर्भ में आकार देना है जिसे अन्य एजेंट उपयोग कर सकते हैं।

यह संदर्भ इंजीनियरिंग की भूमिका है।

संदर्भ इंजीनियरिंग यह तय करने का अनुशासन है कि कौन से अवलोकन स्थायी संकेत बन जाते हैं, वे संकेत कैसे प्रस्तुत किए जाते हैं, और कब उन्हें अन्य एजेंटों को प्रकट किया जाना चाहिए। यह कच्ची घटनाओं और एजेंट तर्क के बीच बैठता है, अस्थायी गतिविधि को साझा, निर्णय-प्रासंगिक समझ में बदल देता है।

अभ्यास में, इसका अर्थ है पैटर्न, संकेतक, और सशर्त संबंधों को बढ़ाना जबकि अधिकांश कच्चे अनुभव को फीका पड़ने देना। एक कमजोर संकेत या एज केस अकेले में महत्वपूर्ण नहीं हो सकता है, लेकिन जब एकत्र किया जाता है और सही समय पर प्रकट किया जाता है तो यह मूल्यवान हो जाता है।

संदर्भ इंजीनियरिंग यह निर्धारित करता है कि साझा स्मृति केवल अनुभव संग्रहीत करती है या उसके लाभ को लगातार बढ़ने देती है।

क्या होता है अगर हम इसे सही पाते हैं

यह एक भविष्य की चिंता नहीं है। यह वास्तुकला संबंधी निर्णय है जो इन्फ्रास्ट्रक्चर टीमें आज ले रही हैं—अक्सर बिना इसे स्पष्ट रूप से तय किए।

डिफ़ॉल्ट पथ अलगाव है। एआई एजेंट स्वतंत्र रूप से कार्य करते हैं, केवल अपने अनुभव पर निर्भर रहते हैं। प्रत्येक तेज़, स्थानीय रूप से सही निर्णय लेता है, लेकिन बुद्धिमत्ता की प्रगति एक स्तर पर आकर रुक जाती है। समान एज केस दोबारा होते हैं, कमजोर संकेत दोबारा खोजे जाते हैं, और विफलताएं तेजी से और बड़े पैमाने पर दोहराई जाती हैं।

विकल्प एक साझा स्मृति परत है।

जब व्युत्पन्न संदर्भ बना रहता है और निर्णय के समय दिखाई देता है, तो अनुभव गायब नहीं होता है। अंतर्दृष्टि एक बार खोजी जाती है और उपलब्ध रहती है। कमजोर संकेत जमा के माध्यम से अर्थ प्राप्त करते हैं। निर्णय मॉडलों में परिवर्तन के कारण नहीं सुधारते हैं, बल्कि इसलिए कि एजेंट अब अलगाव में तर्क नहीं देते हैं।

इसके लिए बड़े मॉडल, वास्तविक समय पुनः प्रशिक्षण, या केंद्रीय नियंत्रण की आवश्यकता नहीं है। इसके लिए स्मृति को पहले स्तर की वास्तुकला परत के रूप में मानना आवश्यक है—कम-विलंबता पहुंच, स्थायित्व, और साझा दृश्यता के लिए डिज़ाइन किया गया।

वास्तुकला डिफ़ॉल्ट तेजी से कठोर हो जाते हैं। जैसे-जैसे एजेंटों की संख्या बढ़ती है, साझा स्मृति के बिना बनी प्रणालियों में बाद में यह सुविधा जोड़ना अधिक कठिन होता जाता है। विकल्प सरल है: अनुभव को जमा करने वाली प्रणालियों का निर्माण करें—या प्रणालियों का निर्माण करें जो बार-बार रीसेट होती हैं।

ज़ियावेई जियांग टैक्नोड में सीईओ और मुख्य वास्तुकार हैं, जहाँ वह एआई एजेंटों के लिए संदर्भ बुनियादी ढांचे का निर्माण करने पर ध्यान केंद्रित करते हैं।