कम है ज्यादा : क्यों कम दस्तावेज़ प्राप्त करने से एआई उत्तरों में सुधार हो सकता है

रिट्रीवल-ऑगमेंटेड जेनरेशन (RAG) एक ऐसा तरीका है जो भाषा मॉडल को बाहरी ज्ञान स्रोत के साथ जोड़ता है। सरल शब्दों में, एआई पहले उपयोगकर्ता के प्रश्न से संबंधित प्रासंगिक दस्तावेजों (जैसे लेख या वेब पेज) की खोज करता है, और फिर उन दस्तावेजों का उपयोग अधिक सटीक उत्तर देने के लिए करता है। इस तरीके को बड़े भाषा मॉडलों (LLM) को तथ्यात्मक और हॉलुसिनेशन को कम करने में मदद करने के लिए जाना जाता है।

आम तौर पर, कोई यह सोच सकता है कि एआई द्वारा प्राप्त किए गए दस्तावेजों की संख्या जितनी अधिक होगी, उत्तर उतना ही बेहतर होगा। हालांकि, हाल के शोध से एक आश्चर्यजनक मोड़ सामने आया है: जब एआई को जानकारी देने की बात आती है, तो कभी-कभी कम ही ज्यादा होता है।

कम दस्तावेज़, बेहतर उत्तर

हिब्रू विश्वविद्यालय के शोधकर्ताओं द्वारा एक नई अध्ययन में यह देखा गया कि RAG प्रणाली के प्रदर्शन पर दस्तावेजों की संख्या का क्या प्रभाव पड़ता है। महत्वपूर्ण बात यह है कि उन्होंने कुल पाठ की मात्रा को स्थिर रखा – अर्थात, यदि कम दस्तावेज़ प्रदान किए गए थे, तो वे दस्तावेज़ थोड़े विस्तारित किए गए थे ताकि वही लंबाई बनी रहे जितनी कि कई दस्तावेज़ होते। इस तरह, किसी भी प्रदर्शन में अंतर दस्तावेजों की संख्या के कारण हो सकता है, न कि केवल इसलिए कि इनपुट छोटा था।

शोधकर्ताओं ने एक प्रश्न-उत्तर डेटासेट (मुसीक्यू) का उपयोग किया, जिसमें ट्रिविया प्रश्न थे, प्रत्येक के साथ 20 विकिपीडिया अनुच्छेद जोड़े गए थे (जिनमें से केवल कुछ ही वास्तव में उत्तर थे, और बाकी भ्रम पैदा करने वाले थे)। दस्तावेजों की संख्या को 20 से घटाकर केवल 2-4 वास्तव में प्रासंगिक ones तक – और उन्हें थोड़ा अतिरिक्त संदर्भ के साथ भरने के लिए ताकि लंबाई स्थिर रहे – उन्होंने ऐसे परिदृश्य बनाए जहां एआई के पास कम सामग्री थी, लेकिन लगभग समान शब्दों की संख्या थी।

परिणाम चौंकाने वाले थे। अधिकांश मामलों में, एआई मॉडल ने अधिक सटीक रूप से उत्तर दिया जब उन्हें कम दस्तावेज़ दिए गए थे, न कि पूरे सेट के। प्रदर्शन में काफी सुधार हुआ – कुछ मामलों में 10% तक सटीकता (F1 स्कोर) में जब प्रणाली ने केवल कुछ समर्थन दस्तावेजों का उपयोग किया, न कि बड़े संग्रह का। यह विरोधाभासी बढ़ावा विभिन्न खुले स्रोत भाषा मॉडलों में देखा गया, जिनमें मेटा के लामा और अन्य के संस्करण शामिल थे, जो दर्शाता है कि यह घटना किसी एक एआई मॉडल से जुड़ी नहीं है।

एक मॉडल (Qwen-2) एक उल्लेखनीय अपवाद था जो बिना स्कोर में गिरावट के कई दस्तावेजों को संभाल सकता था, लेकिन लगभग सभी परीक्षण किए गए मॉडलों ने कम दस्तावेजों के साथ बेहतर प्रदर्शन किया। दूसरे शब्दों में, अतिरिक्त संदर्भ सामग्री जोड़ना उनके प्रदर्शन को अधिक बार नुकसान पहुंचाता था niż मदद करता था।

स्रोत: लेवी एट अल।

यह इतना आश्चर्यजनक क्यों है? आमतौर पर, RAG प्रणालियों को यह मानकर डिज़ाइन किया जाता है कि अधिक जानकारी प्राप्त करना एआई के लिए मददगार हो सकता है – यदि उत्तर पहले कुछ दस्तावेजों में नहीं है, तो यह दसवें या बीसवें में हो सकता है।

यह अध्ययन इस धारणा को बदल देता है, यह दिखाता है कि अतिरिक्त दस्तावेजों को बिना सोचे समझे जोड़ने से नकारात्मक परिणाम हो सकते हैं। यहां तक कि जब कुल पाठ की लंबाई स्थिर रखी गई, तो कई अलग-अलग दस्तावेजों (प्रत्येक के साथ अपना संदर्भ और विशिष्टता) की मौजूदगी ने प्रश्न-उत्तर कार्य को एआई के लिए अधिक चुनौतीपूर्ण बना दिया। यह लगता है कि एक निश्चित बिंदु से परे, प्रत्येक अतिरिक्त दस्तावेज़ ने अधिक शोर पेश किया है और सिग्नल की तुलना में अधिक भ्रम पैदा किया है, मॉडल को भ्रमित किया है और इसकी क्षमता को कम कर दिया है सही उत्तर निकालने की।

RAG में कम है ज्यादा क्यों

यह “कम है ज्यादा” परिणाम तब समझ में आता है जब हम विचार करते हैं कि एआई भाषा मॉडल जानकारी कैसे संसाधित करते हैं। जब एआई को केवल सबसे प्रासंगिक दस्तावेज़ दिए जाते हैं, तो यह देखता है कि संदर्भ केंद्रित और विचलित करने वाला नहीं है, जैसे कि एक छात्र जिसे सिर्फ सही पृष्ठ दिए गए हैं अध्ययन के लिए।

अध्ययन में, मॉडल ने तब बेहतर प्रदर्शन किया जब उन्हें केवल समर्थन दस्तावेज़ दिए गए थे, और अप्रासंगिक सामग्री हटा दी गई थी। शेष संदर्भ न केवल छोटा था, बल्कि साफ भी था – यह सीधे तौर पर उत्तर की ओर इशारा करता था और कुछ नहीं। कम दस्तावेजों के साथ, मॉडल प्रासंगिक जानकारी पर अपना पूरा ध्यान केंद्रित कर सकता था, जिससे यह कम होने की संभावना थी कि यह भटक जाए या भ्रमित हो।

दूसरी ओर, जब कई दस्तावेज़ प्राप्त किए गए थे, तो एआई को प्रासंगिक और अप्रासंगिक सामग्री के मिश्रण के माध्यम से छानना पड़ा। अक्सर ये अतिरिक्त दस्तावेज़ “समान लेकिन असंबंधित” थे – वे प्रश्न के विषय या कीवर्ड साझा कर सकते थे, लेकिन वास्तव में उत्तर नहीं थे। ऐसी सामग्री मॉडल को भ्रमित कर सकती है। एआई बर्बाद कर सकता है प्रयास उन बिंदुओं को जोड़ने की कोशिश करने में जो वास्तव में उत्तर की ओर नहीं ले जाते हैं, या और भी बदतर, यह कई स्रोतों से जानकारी को गलत तरीके से मिला सकता है। इससे हॉलुसिनेशन का खतरा बढ़ जाता है – एआई द्वारा उत्पन्न उत्तर जो सुनने में युक्तिसंगत लगते हैं लेकिन किसी एक स्रोत में आधारित नहीं हैं।

मूल रूप से, एआई को बहुत सारे दस्तावेज़ देने से उपयोगी जानकारी को पतला करने और विरोधाभासी विवरण पेश करने की संभावना बढ़ जाती है, जिससे यह तय करना मुश्किल हो जाता है कि क्या सच है।

एक व्यावहारिक लाभ भी है: कम दस्तावेज़ प्राप्त करने और प्रसंस्करण से RAG प्रणाली के लिए कम्प्यूटेशनल ओवरहेड कम हो जाता है। प्रत्येक दस्तावेज़ को विश्लेषण (एम्बेडेड, पढ़ा, और मॉडल द्वारा ध्यान देने) की आवश्यकता होती है, जो समय और संसाधनों का उपयोग करता है। अतिरिक्त दस्तावेजों को हटाने से प्रणाली अधिक कुशल हो जाती है – यह तेजी से और कम लागत पर उत्तर खोज सकती है। उन परिदृश्यों में जहां सटीकता में सुधार हुआ, हम दोहरे लाभ प्राप्त करते हैं: बेहतर उत्तर और एक पतला, अधिक कुशल प्रक्रिया।

स्रोत: लेवी एट अल।

RAG के बारे में पुनर्विचार: भविष्य की दिशा

बाहरी ज्ञान पर निर्भर एआई प्रणालियों के भविष्य के लिए इस नए साक्ष्य का महत्वपूर्ण अर्थ है कि गुणवत्ता अक्सर मात्रा से बेहतर होती है। यह सुझाव देता है कि RAG प्रणालियों के डिजाइनरों को दस्तावेजों की स्मार्ट फिल्टरिंग और रैंकिंग पर ध्यान केंद्रित करना चाहिए, न कि केवल मात्रा पर। इसके बजाय 100 संभावित पाराग्राफ लाने और आशा करने के बजाय कि उत्तर कहीं न कहीं छुपा है, शायद केवल शीर्ष कुछ उच्च प्रासंगिक लाना बेहतर होगा।

अध्ययन के लेखक इस बात पर जोर देते हैं कि प्राप्ति विधियों को “प्रासंगिकता और विविधता” के बीच संतुलन बनाने की आवश्यकता है जो वे मॉडल को प्रदान करते हैं। दूसरे शब्दों में, हम विषय को कवर करना चाहते हैं ताकि प्रश्न का उत्तर दिया जा सके, लेकिन इतना नहीं कि मूल तथ्यों को अतिरिक्त पाठ में डूबो दिया जाए।

आगे बढ़ते हुए, शोधकर्ता उन तकनीकों का अन्वेषण करने की संभावना है जो एआई मॉडलों को कई दस्तावेजों को अधिक सुंदरता से संभालने में मदद करेंगे। एक दृष्टिकोण बेहतर रिट्रीवर सिस्टम या री-रैंकर्स विकसित करना है जो वास्तव में मूल्य जोड़ने वाले दस्तावेजों की पहचान कर सकते हैं और जो केवल संघर्ष पेश करते हैं। एक और दृष्टिकोण भाषा मॉडलों को स्वयं में सुधार करना है: यदि एक मॉडल (जैसे Qwen-2) कई दस्तावेजों को बिना सटीकता खोए संभाल सकता है, तो यह देखना कि यह कैसे प्रशिक्षित किया गया था या संरचित किया गया था, अन्य मॉडलों को अधिक मजबूत बनाने के संकेत प्रदान कर सकता है। शायद भविष्य के बड़े भाषा मॉडल मechanisms शामिल करेंगे जो यह पहचानेंगे कि जब दो स्रोत एक ही बात कह रहे हैं (या एक दूसरे के विरोधाभासी) और तदनुसार ध्यान केंद्रित करेंगे। लक्ष्य यह होगा कि मॉडल विविध स्रोतों का उपयोग कर सकें बिना भ्रम का शिकार हुए – वास्तव में दोनों दुनियाओं (ज्ञान की गहराई और फोकस की स्पष्टता) का सर्वश्रेष्ठ प्राप्त करना।

यह भी ध्यान देने योग्य है कि जब एआई प्रणालियों को बड़े संदर्भ विंडो मिलती हैं (एक ही समय में अधिक पाठ पढ़ने की क्षमता), तो प्रॉम्प्ट में अधिक डेटा डंप करना एक चांदी की गोली नहीं है। बड़ा संदर्भ स्वचालित रूप से बेहतर समझ नहीं देता। यह अध्ययन दिखाता है कि भले ही एआई 50 पृष्ठ एक समय में पढ़ सकता है, फिर भी 50 पृष्ठों की मिश्रित गुणवत्ता वाली जानकारी देने से अच्छा परिणाम नहीं मिल सकता है। मॉडल को अभी भी क्यूरेटेड, प्रासंगिक सामग्री का लाभ होता है, न कि बिना सोचे समझे डंप की गई। वास्तव में, बुद्धिमान पुनर्प्राप्ति विशाल संदर्भ विंडो के युग में और भी महत्वपूर्ण हो सकती है – यह सुनिश्चित करने के लिए कि अतिरिक्त क्षमता का उपयोग मूल्यवान ज्ञान के लिए किया जाता है, न कि शोर के लिए।

अध्ययन के निष्कर्षों से एआई अनुसंधान में हमारी धारणाओं की पुनः जांच होती है। कभी-कभी, एआई को सभी उपलब्ध डेटा देना उतना प्रभावी नहीं होता जितना हम सोचते हैं। सबसे प्रासंगिक जानकारी पर ध्यान केंद्रित करके, हम न केवल एआई-उत्पन्न उत्तरों की सटीकता में सुधार करते हैं, बल्कि प्रणालियों को अधिक कुशल और विश्वास करने योग्य भी बनाते हैं। यह एक विरोधाभासी सबक है, लेकिन इसके उत्साहजनक परिणाम हैं: भविष्य की RAG प्रणालियां दोनों हो सकती हैं स्मार्ट और पतली – ध्यान से चुने गए कम, बेहतर दस्तावेज़ प्राप्त करके।