शीर्ष एआई मॉडल लंबे दस्तावेजों में खो जा रहे हैं

एक नई अध्ययन एलएमयू म्यूनिख, म्यूनिख सेंटर फॉर मशीन लर्निंग और एडोबी रिसर्च के शोधकर्ताओं से एआई भाषा मॉडल में एक कमजोरी का खुलासा किया है: वे लंबे दस्तावेजों को समझने के लिए संघर्ष करते हैं जो आपको आश्चर्यचकित कर सकते हैं। शोध दल के निष्कर्षों से पता चलता है कि सबसे उन्नत एआई मॉडल भी सरल शब्द मिलान पर निर्भर नहीं रह सकते हैं।

एआई की रीडिंग स्किल्स के साथ छिपी हुई समस्या

एक लंबे शोध पत्र में एक विशिष्ट विवरण खोजने की कोशिश करने की कल्पना करें। आप इसे तेजी से पढ़ सकते हैं, विभिन्न खंडों के बीच मानसिक संबंध बनाकर जानकारी को एक साथ रखने की कोशिश कर सकते हैं जो आपको चाहिए। कई एआई मॉडल, यह पता चलता है, बिल्कुल भी ऐसा नहीं करते हैं। इसके बजाय, वे अक्सर शब्द मिलान की खोज में भारी रूप से निर्भर करते हैं, जो आपके कंप्यूटर पर Ctrl + F का उपयोग करने के समान है।

शोध दल ने एक नई बेंचमार्क विकसित की जिसे NOLIMA (नो लिटरल मैचिंग) कहा जाता है, विभिन्न एआई मॉडल का परीक्षण करने के लिए। परिणामों से पता चला कि जब एआई मॉडल 2,000 शब्दों से अधिक लंबे ग्रंथों को संभालते हैं, तो उनका प्रदर्शन नाटकीय रूप से गिर जाता है। जब तक वे 32,000 शब्दों तक नहीं पहुंच जाते – एक छोटी पुस्तक की लंबाई के बारे में – अधिकांश मॉडल अपनी सामान्य क्षमता के आधे पर प्रदर्शन करते हैं। इसमें जीपीटी -4ओ, जेमिनी 1.5 प्रो और लामा 3.3 70बी जैसे प्रमुख मॉडलों का परीक्षण शामिल था।

एक चिकित्सा शोधकर्ता को एआई का उपयोग करके रोगी रिकॉर्ड का विश्लेषण करने की कल्पना करें, या एक कानूनी टीम को मामले के दस्तावेजों की समीक्षा करने के लिए एआई का उपयोग करना। यदि एआई महत्वपूर्ण संबंधों को याद करता है क्योंकि प्रासंगिक जानकारी खोज प्रश्न के समान शब्दों का उपयोग नहीं करती है, तो परिणाम महत्वपूर्ण हो सकते हैं।

शब्द मिलान क्यों पर्याप्त नहीं है

वर्तमान एआई मॉडल एक ध्यान तंत्र का उपयोग करके पाठ को संसाधित करते हैं। यह प्रणाली एआई को विभिन्न पाठ के हिस्सों पर ध्यान केंद्रित करने में मदद करती है ताकि शब्दों और विचारों के बीच संबंधों को समझा जा सके। जब छोटे पाठ के साथ काम किया जाता है, तो यह पर्याप्त रूप से काम करता है। हालांकि, शोध से पता चलता है कि यह तंत्र लंबे पाठ के साथ अभिभूत हो जाता है, विशेष रूप से जब यह शब्द मिलान पर निर्भर नहीं रह सकता है।

एनओलिमा परीक्षण ने इस सीमा को उजागर किया कि एआई मॉडल से शब्द मिलान की खोज के बजाय संदर्भ को समझने की आवश्यकता वाले प्रश्न पूछकर। परिणाम बताने वाले थे। जबकि मॉडल छोटे पाठ के साथ अच्छा प्रदर्शन करते थे, उनकी क्षमता लंबे पाठ के साथ महत्वपूर्ण रूप से गिर जाती थी। यहां तक कि तर्क कार्यों के लिए विशेष रूप से डिज़ाइन किए गए मॉडल भी लंबे दस्तावेजों के साथ 50% से कम सटीकता के साथ स्कोर करते थे।

शब्द मिलान के बिना, एआई मॉडल संघर्ष करते हैं:

• विभिन्न शब्दावली का उपयोग करने वाली संबंधित अवधारणाओं को जोड़ने के लिए
• बहु-चरण तर्क मार्ग का अनुसरण करने के लिए
• मुख्य संदर्भ के बाद दिखाई देने वाली प्रासंगिक जानकारी खोजने के लिए
• अप्रासंगिक खंडों में भ्रामक शब्द मिलान की उपेक्षा करने के लिए

संख्याएं कहानी बताती हैं

शोध के निष्कर्ष लंबे पाठ के साथ एआई मॉडल के प्रदर्शन की एक स्पष्ट तस्वीर पेश करते हैं। जीपीटी -4ओ ने सबसे मजबूत प्रदर्शन दिखाया, लगभग 8,000 टोकन (लगभग 6,000 शब्द) तक प्रभावशीलता बनाए रखी। हालांकि, यहां तक कि इस शीर्ष प्रदर्शनकर्ता ने भी लंबे पाठ के साथ महत्वपूर्ण गिरावट दिखाई। अधिकांश अन्य मॉडल, जिनमें जेमिनी 1.5 प्रो और लामा 3.3 70बी शामिल हैं, ने 2,000 और 8,000 टोकन के बीच तेजी से प्रदर्शन में गिरावट का अनुभव किया।

प्रदर्शन में गिरावट और भी अधिक स्पष्ट हो गई जब कार्यों में कई चरणों की तर्कसंगतता की आवश्यकता होती थी। उदाहरण के लिए, यदि एक मॉडल को दो तर्कसंगत संबंध बनाने की आवश्यकता थी – जैसे कि यह समझना कि एक पात्र एक भूमि के पास रहता था, और वह भूमि एक विशिष्ट शहर में थी – सफलता दर काफी कम हो गई। शोध से पता चला कि 16,000 टोकन से आगे के पाठ में यह प्रकार की बहु-चरण तर्कसंगतता विशेष रूप से चुनौतीपूर्ण हो जाती है, यहां तक कि तर्कसंगतता में सुधार के लिए डिज़ाइन किए गए तकनीकों का उपयोग करने पर भी, जैसे कि श्रृंखला के विचार को प्रोत्साहित करना।

जो इन निष्कर्षों को विशेष रूप से उल्लेखनीय बनाता है वह यह है कि वे दावों को चुनौती देते हैं कि एआई मॉडल लंबे संदर्भों को संभाल सकते हैं। जबकि कई मॉडल व्यापक संदर्भ विंडो के समर्थन का विज्ञापन करते हैं, एनओलिमा बेंचमार्क से पता चलता है कि हमारे वर्तमान एआई पाठ प्रसंस्करण दृष्टिकोण में सुधार की आवश्यकता है, विशेष रूप से मॉडल लंबे मार्गों में जानकारी को कैसे संभालते हैं।

स्रोत: मोदरेसी एट अल।

जब एआई पेड़ के लिए जंगल को याद करता है

इन सीमाओं का वास्तविक दुनिया के अनुप्रयोगों में उपयोग के लिए गंभीर परिणाम हैं। एक कानूनी एआई प्रणाली को मामले के कानून के माध्यम से खोजते हुए कल्पना करें। यह प्रासंगिक पूर्ववर्तियों को याद कर सकता है क्योंकि वे खोज प्रश्न के समान शब्दावली का उपयोग नहीं करते हैं। प्रणाली इसके बजाय कम प्रासंगिक मामलों पर ध्यान केंद्रित कर सकती है जो खोज शब्दों के साथ अधिक शब्द साझा करते हैं।

खोज और दस्तावेज़ विश्लेषण पर प्रभाव विशेष रूप से चिंताजनक है। वर्तमान एआई-संचालित खोज प्रणालियां अक्सर एक तकनीक पर निर्भर करती हैं जिसे पुनर्प्राप्ति-संवर्धित पीढ़ी (आरएजी) कहा जाता है। यहां तक कि जब ये प्रणालियां सफलतापूर्वक एक दस्तावेज़ पुनर्प्राप्त करती हैं जिसमें सही जानकारी होती है, तो एआई प्रश्न से शब्दावली के अंतर के कारण इसकी प्रासंगिकता को पहचानने में विफल हो सकता है। इसके बजाय, एआई कम प्रासंगिक दस्तावेजों की ओर आकर्षित हो सकता है जो खोज शब्दों के साथ सतह-स्तर की समानता साझा करते हैं।

एआई उपयोगकर्ताओं के लिए, इन निष्कर्षों से कई महत्वपूर्ण विचार हैं:

पहले, छोटे प्रश्न और दस्तावेज़ अधिक विश्वसनीय परिणाम देने की संभावना है। लंबे पाठ के साथ काम करते समय, उन्हें छोटे, केंद्रित खंडों में तोड़ना प्रदर्शन को बनाए रखने में मदद कर सकता है।

दूसरा, जब आप एआई से लंबे दस्तावेज़ के विभिन्न हिस्सों में संबंध बनाने के लिए कहते हैं, तो विशेष रूप से सावधान रहें। शोध से पता चलता है कि एआई मॉडल सबसे ज्यादा संघर्ष करते हैं जब उन्हें अलग-अलग खंडों से जानकारी को एक साथ रखने की आवश्यकता होती है, खासकर जब संबंध शब्दावली के माध्यम से स्पष्ट नहीं होता है।

अंत में, ये सीमाएं मानव पर्यवेक्षण के महत्व को रेखांकित करती हैं। जबकि एआई जटिल दस्तावेजों के विश्लेषण के लिए एक शक्तिशाली उपकरण हो सकता है, इसे लंबे या जटिल दस्तावेजों में महत्वपूर्ण संबंधों की पहचान करने के एकमात्र साधन के रूप में नहीं माना जाना चाहिए। लंबे पाठ के माध्यम से संदर्भ और अवधारणात्मक संबंध बनाने की मानव क्षमता वर्तमान एआई क्षमताओं से अधिक है।

निष्कर्ष यह याद दिलाते हैं कि एआई प्रौद्योगिकी में तेजी से प्रगति के बावजूद, ये प्रणालियां अभी भी मानवों से बहुत अलग तरीके से जानकारी संसाधित करती हैं। इन सीमाओं को समझना एआई टूल का प्रभावी ढंग से उपयोग करने और यह जानने के लिए महत्वपूर्ण है कि मानव निर्णय लेना कब आवश्यक रहता है।

आगे क्या है

वर्तमान एआई मॉडल की सीमाओं को समझना कि वे लंबे पाठ को कैसे संसाधित करते हैं, एआई विकास के भविष्य के बारे में महत्वपूर्ण प्रश्न खोलता है। एनओलिमा बेंचमार्क के पीछे के शोध से पता चलता है कि हमारे वर्तमान एआई पाठ प्रसंस्करण दृष्टिकोण में सुधार की आवश्यकता है, विशेष रूप से मॉडल लंबे मार्गों में जानकारी को कैसे संभालते हैं।

वर्तमान समाधानों ने केवल आंशिक सफलता दिखाई है। श्रृंखला के विचार को प्रोत्साहित करना, जो एआई मॉडल को अपने तर्क को चरणों में तोड़ने के लिए प्रोत्साहित करता है, प्रदर्शन में कुछ सुधार करता है। उदाहरण के लिए, इस तकनीक का उपयोग करते समय, लामा 3.3 70बी ने लंबे संदर्भों को संभालने में बेहतर क्षमता दिखाई। हालांकि, यह दृष्टिकोण 16,000 टोकन से परे पाठ के साथ अभी भी कम पड़ जाता है, जो दर्शाता है कि हमें अधिक मूलभूत समाधानों की आवश्यकता है।

ध्यान तंत्र, जो वर्तमान एआई मॉडल के पाठ प्रसंस्करण का मूल है, की पुनः कल्पना करने की आवश्यकता है। इसे एक भीड़ भरे कमरे में बातचीत करने की कोशिश करने जैसा सोचें – जितनी लंबी बातचीत होगी, उतनी ही मुश्किल होगी कि पहले कही गई सभी महत्वपूर्ण बातों को याद रखा जाए। हमारे वर्तमान एआई मॉडल एक ही चुनौती का सामना करते हैं, लेकिन बहुत बड़े पैमाने पर।

भविष्य की ओर देखते हुए, शोधकर्ता कई आशाजनक दिशाओं का अन्वेषण कर रहे हैं। एक दृष्टिकोण लंबे पाठ में जानकारी को व्यवस्थित और प्राथमिकता देने के लिए एआई के तरीके विकसित करना शामिल है, जो कि शब्द मिलान से परे गहरे概念ual संबंधों को समझने के लिए आगे बढ़ता है। यह मानवों द्वारा जानकारी के मानसिक मानचित्र बनाने के तरीके के समान काम कर सकता है, जो अर्थ के आधार पर विचारों को जोड़ता है, न कि केवल साझा शब्दावली के आधार पर।

एक अन्य विकास क्षेत्र एआई मॉडल को जिसे शोधकर्ता “लेटेंट हॉप्स” कहते हैं उसमें सुधार पर केंद्रित है, जो विभिन्न जानकारी के टुकड़ों को जोड़ने के लिए तर्कसंगत कदम हैं। वर्तमान मॉडल, विशेष रूप से लंबे पाठ में, इन संबंधों के साथ संघर्ष करते हैं, लेकिन नई वास्तुकला इस अंतर को पाटने में मदद कर सकती है।

आज एआई टूल के साथ काम करने वालों के लिए, इन निष्कर्षों से कई व्यावहारिक दृष्टिकोण सुझाव देते हैं:

लंबे दस्तावेजों को अर्थपूर्ण खंडों में तोड़ने पर विचार करें जब आप एआई के साथ काम कर रहे हों। इससे महत्वपूर्ण संदर्भ को संरक्षित करने वाले तार्किक खंड बनाने में मदद मिलती है। उदाहरण के लिए, एक शोध पत्र का विश्लेषण करते समय, आप विधि और परिणाम अनुभागों को एक साथ रख सकते हैं क्योंकि वे अक्सर संबंधित जानकारी chứaते हैं।

जब आप एआई से लंबे पाठ का विश्लेषण करने के लिए कहते हैं, तो आप जिन संबंधों को बनाना चाहते हैं उन पर विशिष्ट होने का प्रयास करें। इसके बजाय व्यापक प्रश्न पूछने के बजाय, एआई को उन विशिष्ट संबंधों की ओर मार्गदर्शन करें जिन्हें आप अन्वेषण में रुचि रखते हैं। यह मॉडल की वर्तमान सीमाओं के लिए क्षतिपूर्ति करता है जो स्वतंत्र रूप से इन संबंधों को बनाने में असमर्थ है।

शायद सबसे महत्वपूर्ण बात यह है कि लंबे पाठ के साथ एआई की क्षमताओं के बारे में वास्तविक अपेक्षाएं बनाए रखें। जबकि ये उपकरण कई कार्यों के लिए अविश्वसनीय रूप से सहायक हो सकते हैं, उन्हें जटिल दस्तावेजों के मानव विश्लेषण के पूर्ण प्रतिस्थापन के रूप में नहीं माना जाना चाहिए। लंबे पाठ के माध्यम से संदर्भ और अवधारणात्मक संबंध बनाने की मानव क्षमता वर्तमान एआई क्षमताओं से अधिक है।

इस क्षेत्र में एआई विकास के लिए आगे का मार्ग चुनौतीपूर्ण और रोमांचक दोनों है। जैसे ही हम इन सीमाओं को बेहतर ढंग से समझते हैं, हम उन एआई प्रणालियों की ओर काम कर सकते हैं जो वास्तव में लंबे पाठ को समझती हैं, न कि केवल उन्हें संसाधित करती हैं। तब तक, एआई का प्रभावी ढंग से उपयोग करना इसकी वर्तमान सीमाओं के साथ काम करने और इसकी ताकत की सराहना करने के बारे में है।