भूलने वाले एआई को ‘यह विचार पकड़ो’ सिखाने के लिए लंबे समय तक

भाषा मॉडल अक्सर बातचीत की शुरुआत को याद नहीं रख सकते। एक नए पाठ-संपीड़न विधि से यह बदल सकता है, और एआई चैट सत्रों को बहुत कम परेशान करने वाला बना सकता है।

चैटजीपीटी जैसे वार्तालाप एआई सिस्टम अक्सर पहले के हिस्सों को खो देते हैं बातचीत, खुद को दोहराते हुए, या पहले से सहमत नियमों को नजरअंदाज करते हुए उत्तर देते हैं।

इसका कारण यह है कि बड़े भाषा मॉडल (एलएलएम) की ध्यान केंद्रित करने की सीमित क्षमता है, जिसे ‘संदर्भ खिड़की’ के रूप में परिभाषित किया जाता है – जैसे एक टॉर्च जो केवल उस पर ध्यान केंद्रित कर सकता है जो सीधे इसके सामने है, और कुछ आसपास की वस्तुओं को रोशन कर सकता है।

इस तरह की ‘भूलने वाली’ प्रवृत्तियों को ठीक करना, जो ध्यान पर लगाए गए प्रतिबंधों के कारण होती हैं, भाषा-आधारित एआई मॉडलों में अनुसंधान के सबसे महत्वपूर्ण दिशाओं में से एक है – कम से कम इसलिए नहीं कि यह सिंड्रोम उपयोगी और सुसंगत बहु-मोड़ बातचीत की संभावना को गंभीर रूप से सीमित करता है, और चिकित्सा और कानून जैसे सटीकता-महत्वपूर्ण संदर्भों में एलएलएम की उपयोगिता को पंगु बना देता है।

क्रशिंग इट

चीन से नए शोध ^† एक नए तरीके का प्रस्ताव कर रहे हैं जिससे एक महत्वपूर्ण रूप से बड़ी मात्रा में पाठ को एक एआई मॉडल चलाने वाले जीपीयू के सीमित संसाधनों में फिट किया जा सकता है – 20x संपीड़न सुधार के परिणाम प्राप्त करते हुए 98% सटीकता बनाए रखी जा सकती है:

संदर्भ कैस्केड संपीड़न लंबे दस्तावेजों को अधिक सटीक रूप से पुनर्निर्माण करता है ऑप्टिकल संपीड़न विधियों की तुलना में जैसे कि डीपसीक-ओसीआर, यहां तक कि जब इनपुट को चालीस गुना तक सिकोड़ दिया जाता है। विभिन्न दस्तावेज़ लंबाई और संपीड़न सेटिंग्स के साथ, नई विधि लगभग पूर्ण विश्वासघात को बनाए रखती है, जबकि ऑप्टिकल दृष्टिकोण उच्च संपीड़न के तहत तेजी से खराब हो जाता है। स्रोत

इससे यह意味 है कि यहां तक कि एक बहुत लंबी बातचीत का संपूर्ण भाग संपीड़ित और री-इंजेक्ट (अद्यतन) किया जा सकता है बाद में चैट में पृष्ठभूमि संदर्भ जानकारी के रूप में, जब एलएलएम सामान्य रूप से पहले के तथ्यों को भूलने और ‘भूलने वाले’ व्यवहार में फिसलने लगेगा।

हालांकि यह एक हानिपूर्ण संपीड़न विधि है, यहां तक कि हानि का तरीका भी उपयोगी है: नए तरीके के तहत, स्मृति वाक्य के अंत में खराब होती है, और समान रूप से पूरे में, जैसा कि डीपसीक-ओसीआर वास्तुकला में होता है जिसने नए दृष्टिकोण को प्रेरित किया; वास्तव में, शोधकर्ता जो नए पत्र के पीछे हैं, सुझाव देते हैं कि उनकी विधि मानव स्मृति की तरह ही खराब होती है, यादृच्छिक रूप से नहीं:

शीर्ष, मानव स्मृति डेटा स्ट्रीम के अंत में खराब होती है; मध्य: डीपसीक-ओसीआर यादृच्छिक रूप से खराब होता है, कोई एंकर नहीं छोड़ता है जो मुद्दे को ठीक करने में मदद कर सकता है; नीचे: नई विधि मानव स्मृति की तरह खराब होती है, डेटा स्ट्रीम के समापन की ओर, जो सटीकता में सुधार करने के लिए पोस्ट फैक्टो प्रोसेसिंग में मदद करने वाले मार्कर प्रदान करती है।

इसका मतलब यह है कि एक यह अनुमान लगा सकता है どこ स्मृति डेटा कम विश्वसनीय हो सकता है, और इस ज्ञान का उपयोग समस्या को हल करने के लिए किया जा सकता है – संभावित रूप से बातचीत में पुनरावृत्ति और सुसंगतता में एक बड़ा सुधार प्रदान करता है, 100% सटीकता के साथ उपचार के बाद।

नई दृष्टिकोण को संदर्भ कैस्केड संपीड़न (सी3) कहा जाता है, और यह डीपसीक-ओसीआर द्वारा प्रेरित है जो पाठ को छवियों के रूप में संपीड़ित करता है, जो महान संपीड़न स्तर प्राप्त करता है। हालांकि, दो (मध्यम और बड़े) भाषा मॉडलों का उपयोग करके लंबे पाठ को सीधे लेटेंट एम्बेडिंग में कुचल दिया जाता है, नई दृष्टिकोण रास्टर छवियों का उपयोग करने से होने वाली खींचतान को काट देती है, जिससे बेहतर प्रदर्शन प्राप्त होता है।

पत्र में कहा गया है:

‘सी3 का उत्कृष्ट प्रदर्शन इसके मूलभूत वास्तुकला डिजाइन के लिए जिम्मेदार है। डीपसीक-ओसीआर विश्लेषण का अनुमान है कि इसके प्रदर्शन में गिरावट “जटिल लेआउट” और “निम्न रिज़ॉल्यूशन पर छवि धुंधलापन” जैसे कारकों के कारण होती है – ऑप्टिकल मार्ग की अंतर्निहित सीमाएं।

‘हमारा सी3 परिदृश्य, पाठ के डोमेन में सीधे काम करके, इन दृश्य-डोमेन कलाकृतियों से पूरी तरह से प्रतिरक्षित है। यह पिक्सेल में पाठ को रेंडर करने और फिर उन पिक्सेल को एन्कोड करने से जुड़ी जानकारी की हानि से बचता है। इसके बजाय, यह एक पूर्व-प्रशिक्षित एलएलएम की शक्तिशाली सेमेंटिक समझ का लाभ उठाता है ताकि पाठ की जानकारी को एक कुशल लेटेंट प्रतिनिधित्व में सीधे संक्षिप्त किया जा सके।’

नई पत्र संदर्भ कैस्केड संपीड़न: टेक्स्ट संपीड़न की ऊपरी सीमाओं का अन्वेषण शीर्षक से है, और यह दो लेखकों ^† से है, जो सी3 को एक खुला स्रोत रिपॉजिटरी गिटहब पर प्रदान करने के लिए भी प्रतीत होते हैं।

विधि

नई दृष्टिकोण को समझने के लिए, यह जानना उपयोगी है कि ऑप्टिकल कैरेक्टर रिकग्निशन (ओसीआर) क्या है, क्योंकि यहीं से पूरा विचार निकलता है।

ओसीआर एक एल्गोरिदमिक विधि है जो 1920 के दशक से है, हालांकि 1990 के दशक में लोकप्रिय हुई, जहां पैटर्न-डिटेक्शन एक कंप्यूटर प्रोग्राम को रास्टर पाठ (यानी, छवियों में पाठ, जो चुना जा सकता है और जो केवल फोटोग्राफिक सामग्री के रूप में मौजूद है) को संपादित करने योग्य पाठ में बदलने की अनुमति देता है।

डीपसीक-ओसीआर के निर्माताओं ने पाया कि पाठ को मानक पाइपलाइनों की तुलना में बहुत अधिक संपीड़ित किया जा सकता है यदि ओसीआर का मध्यवर्ती चरण के रूप में उपयोग किया जाता है। दूसरे शब्दों में, पाठ को स्वयं संपीड़ित करने के बजाय, एक बड़ी लेटेंट एम्बेडिंग घनत्व (यानी, अधिक जानकारी सहेजी जा सकती है) प्राप्त की जा सकती है पाठ के रास्टरीकृत संस्करण को संपीड़ित करके:

डीपसीकओसीआर रिलीज़ पत्र से संपीड़न पाइपलाइन के लिए एक स्कीमा, जिसमें 16×16 रास्टरीकृत पैच शामिल हैं ओसीआर घटक के रूप में। स्रोत

नई पत्र सुझाव देती है कि ऑप्टिकल दृष्टिकोण जैसे डीपसीक-ओसीआर अपने संपीड़न लाभ के स्रोत को गलत तरीके से अर्थ दे सकते हैं। इसके बजाय पाठ से छवि में परिवर्तन का प्राथमिक कारक होने के, लेखकों का तर्क है कि मुख्य लाभ वेर्बोस टोकन को अधिक कुशल लेटेंट प्रतिनिधित्व में परिवर्तित करने से आता है।

इसका परीक्षण करने के लिए, उन्होंने दो भाषा मॉडलों का लाभ उठाने वाली एक पाइपलाइन बनाई: छोटे क्वेन2.5 1.5बी, जो एन्कोडर के रूप में कार्य करता है, लंबे मार्गों को एक छोटे सेट में संपीड़ित करता है लेटेंट टोकन; और बड़ा क्वेन2.5 3बी, जो डिकोडर के रूप में कार्य करता है, उन टोकन से मूल पाठ का पुनर्निर्माण करता है:

नई सी3 प्रणाली में, छोटे क्वेन2.5 1.5बी मॉडल एक लंबे इनपुट को प्रशिक्षित क्वेरी एम्बेडिंग का उपयोग करके एक निश्चित-लंबाई लेटेंट टोकन सेट में संपीड़ित करता है। ये टोकन, एक प्रोम्प्ट के साथ, बड़े क्वेन2.5 3बी मॉडल को पास किए जाते हैं, जो मूल पाठ का पुनर्निर्माण करता है। यह वास्तुकला केवल मूल टोकन गणना के एक अंश का उपयोग करके लंबे अनुक्रमों की उच्च-विश्वासघात वाली रिकॉल को सक्षम बनाती है।

संपीड़न चरण को संभालने के लिए, शोधकर्ताओं ने पूर्व-प्रशिक्षित क्वेन2.5 1.5बी मॉडल को प्रशिक्षित क्वेरी एम्बेडिंग पेश करके अनुकूलित किया: अमूर्त प्रोम्प्ट जो मॉडल को लंबे आगमन संदर्भ को एक बहुत छोटे लेटेंट प्रतिनिधित्व में कुचलने में मार्गदर्शन करते हैं।

मॉडल की स्व-ध्यान तंत्र इन तत्वों को समान रूप से व्यवहार करता है, जिससे यह एक निश्चित-लंबाई लेटेंट संदर्भ का उत्पादन कर सकता है बिना नए परतों या डिज़ाइन परिवर्तनों की आवश्यकता के; और यह आउटपुट तब बड़े मॉडल को पुनर्निर्माण के लिए सौंपा जाता है।

संपीड़न के दौरान कितनी जानकारी बची रहती है, इसका मूल्यांकन करने के लिए, शोधकर्ताओं ने क्वेन2.5 3बी डिकोडर को केवल लेटेंट टोकन का उपयोग करके मूल इनपुट का पुनर्निर्माण करने के लिए निर्देशित किया, और प्रोम्प्ट ‘पाठ को दोहराएं’। चूंकि कार्य में सटीक पुनरुत्पादन शामिल था, सारांश या परिभाषा के बजाय, कोई भी विचलन मूल से संपीड़न में खो गई जानकारी के लिए सीधे जिम्मेदार ठहराया जा सकता था, जो एन्कोड-डिकोड पाइपलाइन में विश्वासघात का एक साफ और वस्तुनिष्ठ परीक्षण प्रदान करता था।

डेटा और परीक्षण

पत्र में कहा गया है कि लेखकों ने एक मूल डेटासेट तैयार किया है जिसमें एक लाख पृष्ठ हैं जो इंटरनेट से प्राप्त किए गए हैं। इस बिंदु पर विस्तार स्पष्ट नहीं है, और लेखक इस बात पर जानबूझकर अस्पष्ट प्रतीत होते हैं।

फिर भी, वे देखते हैं कि उनके उद्देश्यों के लिए डेटा इंजीनियरिंग और क्यूरेशन आवश्यक नहीं थी, और उन्होंने देखा कि वे ‘विविध लंबाई’ के नमूनों पर अपने मॉडल को प्रभावी ढंग से प्रशिक्षित कर सकते हैं; और वे कहते हैं कि यह उनकी वास्तुकला को लचीला (और अनुमान लगाया जा रहा है, प्रशिक्षण सेटिंग्स पर निर्भर करता है, अच्छी तरह से सामान्यीकृत) बनाता है।

मॉडल को आठ एनवीडिया एच800 जीपीयू के एक उच्च-प्रदर्शन क्लस्टर पर प्रशिक्षित किया गया था, प्रत्येक में 80GB का वीआरएएम था, कुल वीआरएएम संसाधन 640GB के लिए। प्रत्येक जीपीयू ने बैच आकार 2 को समायोजित किया, जो 16 संचय चरणों को ध्यान में रखते हुए कुल वैश्विक बैच आकार 256 प्राप्त करता है। ऑप्टिमाइज़र एडमडब्ल्यू था, कुल 40,000 चरणों पर।

सी3 आर्किटेक्चर की प्रभावशीलता का परीक्षण करने के लिए, शोधकर्ताओं ने मूल डीपसीक-ओसीआर पत्र में उपयोग किए गए मूल्यांकन सेटअप का पालन किया, फॉक्स बेंचमार्क का उपयोग करके विभिन्न दस्तावेज़ लंबाई और संपीड़न सेटिंग्स के साथ संपीड़न और पुनर्निर्माण सटीकता को मापा।

अंग्रेजी भाषा के ग्रंथों का चयन किया गया था, जिसमें 600 से 1300 टोकन तक के पासेज शामिल थे, जिन्हें क्वेन टोकनाइज़र द्वारा टोकनाइज़ किया गया था।

निष्पक्ष तुलना को सक्षम करने के लिए, (डीपसीक-ओसीआर) ऑप्टिकल बेसलाइन से समान संपीड़न स्तर का उपयोग किया गया था, 64 और 100 लेटेंट टोकन के साथ। विधि की सीमाओं का अन्वेषण करने के लिए, 32 लेटेंट टोकन का उपयोग करके अतिरिक्त परीक्षण चलाए गए। प्रत्येक मामले में, पुनर्निर्माण ‘पाठ को दोहराएं:’ निर्देश के साथ शुरू हुआ:

प्रारंभिक परीक्षण के परिणाम। सात टोकन रेंज में 64 और 100 लेटेंट टोकन का उपयोग करके पुनर्निर्माण सटीकता और संपीड़न अनुपात को मापा गया, जो उच्च संपीड़न स्तरों पर विशेष रूप से सी3 के डीपसीक-ओसीआर पर सुसंगत रूप से बेहतर प्रदर्शन दिखा रहा था।

उपरोक्त परिणामों पर चर्चा करते हुए, पत्र में कहा गया है:

‘डेटा सी3 के सीधे पाठ-से-लेटेंट संपीड़न परिदृश्य के महत्वपूर्ण प्रदर्शन को स्पष्ट रूप से प्रदर्शित करता है, जो सभी परीक्षण की स्थिति में ऑप्टिकल संपीड़न दृष्टिकोण से बेहतर है।’

जब दोनों प्रणालियों का लंबे दस्तावेजों पर परीक्षण किया गया, तो डीपसीक-ओसीआर ने संपीड़न बढ़ने के साथ सटीकता खो दी, जो सबसे चरम मामले में 60% से नीचे गिर गई। सी3 ने उसी स्तर के संपीड़न को बहुत कम नुकसान के साथ संभाला, जो 98% के करीब बना रहा, यहां तक कि जब इनपुट को इसके मूल आकार का एक बीसवां हिस्सा तक सिकोड़ दिया गया था।

सबसे मांग वाले परीक्षण में, पूर्ण पाठ को केवल 32 टोकन तक सिकोड़ दिया गया था। फिर भी, मॉडल ने मूल सामग्री को लगभग पूरी तरह से पुनर्प्राप्त किया, जो कई मामलों में 99% के करीब सटीकता बनाए रखी:

32 लेटेंट टोकन पर पुनर्निर्माण सटीकता और संपीड़न अनुपात, जो दिखाते हैं कि यहां तक कि लगभग 40 गुना (तीस गुना से अधिक) संपीड़न पर भी सटीकता 93% से अधिक रहती है।

सबसे चरम सेटिंग पर, जहां इनपुट को लगभग अपने आकार का चालीसवां हिस्सा तक सिकोड़ दिया गया था, यह अभी भी 93% से अधिक की सटीकता को याद रखा। इसकी तुलना में, पहले के ऑप्टिकल तरीकों ने उस स्तर के संपीड़न के आधे हिस्से पर भी 60% की सटीकता तक गिरा दिया था।

लेखकों का तर्क है^††:

‘इन निष्कर्षों से सी3 आर्किटेक्चर का लाभ स्पष्ट रूप से साबित होता है। दृश्य मोडलिटी (जैसे छवि रिज़ॉल्यूशन सीमाएं, लेआउट जटिलता) में निहित संभावित जानकारी बोतलनेक और कलाकृतियों से बचकर, हमारी विधि अत्यधिक संपीड़न को सौम्य रूप से संभालती है, न्यूनतम जानकारी हानि के साथ।

‘इस आक्रामक परीक्षण मामले से परिणाम हमारे दावे को मजबूत करते हैं कि सीधे पाठ-से-लेटेंट संपीड़न एक मूलभूत रूप से अधिक कुशल और शक्तिशाली परिदृश्य है अपने ऑप्टिकल समकक्षों की तुलना में।’

वे यह निष्कर्ष भी निकालते हैं कि सी3 ‘पूरी किताबों, व्यापक कानूनी दस्तावेजों, या बड़े कोडबेस को संसाधित करने में नए क्षमताओं को अनलॉक कर सकता है प्रश्न-उत्तर, सारांश, और विश्लेषण जैसे कार्यों के लिए’।

निष्कर्ष

यह हाल के दिनों में मेरे द्वारा आयोजित सबसे स्पष्ट और सबसे अधिक सुलभ पत्रों में से एक है, जिसमें एक प्रशंसनीय रूप से स्पष्ट मूल विचार है जो कम से कम एक अतिरिक्त हमले की रेखा के रूप में साबित हो सकता है ‘संदर्भ खिड़की समस्या’ के खिलाफ।

एलएलएम के कई उपयोगकर्ताओं ने अब तक सीखा होगा कि लंबे विनिमय के दौरान महत्वपूर्ण जानकारी या दिशानिर्देशों को आवर्ती रूप से ‘ताज़ा’ करना, यह जानकर कि चैटजीपीटी जैसे लोगों को बहुत लंबे समय तक उस जानकारी को बनाए रखने में सक्षम नहीं हैं। इस स्वाभाविक त्वरित-निर्धारित से आगे बढ़ते हुए, नई पत्र में विचार यह है कि लंबी बातचीत का एक अत्यधिक संपीड़ित संस्करण स्वचालित रूप से वर्तमान एलएलएम उदाहरण में संदर्भ खिड़की में अंतराल पर पुनः इंजेक्ट किया जा सकता है, मूल रूप से ‘प्रॉक्सी द्वारा याद रखना’।

एक जलवायु में जहां जीपीयू की कमी के कारण पारंपरिक कंप्यूटर मेमोरी (जैसे डीआरएएम, जहां कई पूर्व जीपीयू कार्यभार अब बड़े मॉडलों का समर्थन करने के लिए ऑफलोड किए जा रहे हैं) पर भी कीमतें बढ़ रही हैं, यह असंभावित लगता है कि एआई के होस्ट हार्डवेयर भविष्य में काफी अधिक क्षमतावान हो जाएगा; इसलिए, इस तरह के नवाचार जो लगभग 1990 के दशक के फ़ाइल संपीड़न के विकास का एक नोस्टैल्जिक रीरन हैं, प्रदर्शन को आगे बढ़ाने के लिए आवश्यक हो सकते हैं।

अधिक महत्वपूर्ण बात यह है कि यह बस महान होगा अगर एलएलएम एक घंटे या उससे अधिक समय तक एक सुसंगत बातचीत बनाए रख सकें और वास्तव में याद रखें कि बातचीत क्या थी पहले स्थान पर।

* सीआईएल स्थापना निर्देश दिए गए हैं, लेकिन मैं स्थापना का प्रयास करने के लिए समय नहीं ले सकता, और यह निश्चित नहीं है कि रिपॉजिटरी कोड-पूर्ण है।

^† दो लेखक फैनफैन लियू और हैबो कियू के रूप में उल्लिखित हैं। जैसा कि कैजुअल रिसर्च संकेत देता है, कियू वर्तमान में चीनी प्रौद्योगिकी कंपनी मीतुआन में एक शोधकर्ता है, और लियू चीनी विज्ञान अकादमी में एक एमएस छात्र है। न ही वर्तमान में इस पत्र में से किसी को अपने इतिहास में सूचीबद्ध किया गया है। यदि इनमें से कोई भी विशेषता गलत है, तो कृपया मेरे प्रोफाइल के माध्यम से मुझसे संपर्क करें।

^†† हालांकि लेखक सूत्र का पालन करते हुए अतिरिक्त गुणात्मक परीक्षण प्रदान करते हैं, वे पहले दौर के संपीड़न परीक्षणों की तुलना में प्रकाश डालते हैं और मैंने उन्हें यहां शामिल नहीं किया है।

पहली बार शुक्रवार, 21 नवंबर, 2025 को प्रकाशित