गहराई से Retrieval-Augmented Generation का विश्लेषण

कल्पना कीजिए कि आप एक विश्लेषक हैं, और आपके पास एक बड़ा भाषा मॉडल है। आप इसके द्वारा लाए जाने वाले अवसरों के बारे में उत्साहित हैं। लेकिन जब आप इसे नवीनतम शेयर बाजार की कीमतों या वर्तमान मुद्रास्फीति दर के बारे में पूछते हैं, तो यह आपको बताता है कि:

“मुझे खेद है, लेकिन मैं वास्तविक समय या पोस्ट-कटऑफ डेटा प्रदान नहीं कर सकता। मेरा अंतिम प्रशिक्षण डेटा केवल जनवरी 2022 तक है।”

बड़े भाषा मॉडल, अपनी भाषाई शक्ति के लिए, ‘अब‘ को समझने में असमर्थ हैं। और तेजी से बदलती दुनिया में, ‘अब‘ सब कुछ है।

शोध से पता चलता है कि बड़े पूर्व-प्रशिक्षित भाषा मॉडल (LLM) वास्तविक ज्ञान के भंडार भी हैं।

उन्हें इतने अधिक डेटा पर प्रशिक्षित किया गया है कि उन्होंने बहुत सारे तथ्य और आंकड़े ग्रहण कर लिए हैं। जब उन्हें ठीक से ट्यून किया जाता है, तो वे विभिन्न प्रकार के NLP कार्यों पर उल्लेखनीय परिणाम प्राप्त कर सकते हैं।

लेकिन समस्या यह है: उनकी इस संग्रहीत ज्ञान तक पहुँचने और उसका हेरफेर करने की क्षमता हमेशा सही नहीं होती। विशेष रूप से, जब कार्य ज्ञान-गहन होता है, तो ये मॉडल अधिक विशेषज्ञता वाले आर्किटेक्चर से पीछे रह सकते हैं। यह एक पुस्तकालय की तरह है जिसमें दुनिया की सभी किताबें हैं, लेकिन कोई कैटलॉग नहीं है जिससे पता चले कि आपको क्या चाहिए।

OpenAI के ChatGPT को ब्राउज़िंग अपग्रेड मिला

OpenAI द्वारा ChatGPT की ब्राउज़िंग क्षमता की घोषणा Retrieval-Augmented Generation (RAG) की दिशा में एक महत्वपूर्ण कदम है। ChatGPT अब इंटरनेट पर वर्तमान और प्रामाणिक जानकारी के लिए खोज कर सकता है, जो RAG दृष्टिकोण को दर्शाता है जिसमें गतिशील रूप से बाहरी स्रोतों से डेटा खींचकर समृद्ध प्रतिक्रियाएं प्रदान की जाती हैं।

https://twitter.com/OpenAI/status/1707077710047216095

वर्तमान में प्लस और एंटरप्राइज़ उपयोगकर्ताओं के लिए उपलब्ध, OpenAI जल्द ही इस सुविधा को सभी उपयोगकर्ताओं के लिए रोल आउट करने की योजना बना रहा है। उपयोगकर्ता GPT-4 विकल्प के तहत ‘बिंग के साथ ब्राउज़’ चुनकर इसे सक्रिय कर सकते हैं।

ChatGPT की नई Bing ब्राउज़िंग सुविधा

 प्रॉम्प्ट इंजीनियरिंग प्रभावी लेकिन अपर्याप्त है

प्रॉम्प्ट्स LLM के ज्ञान के लिए प्रवेश द्वार के रूप में कार्य करते हैं। वे मॉडल को मार्गदर्शन प्रदान करते हैं, प्रतिक्रिया के लिए दिशा प्रदान करते हैं। हालांकि, एक प्रभावी प्रॉम्प्ट बनाना LLM से वह प्राप्त करने का पूर्ण समाधान नहीं है जो आप चाहते हैं। फिर भी, आइए कुछ अच्छी प्रथाओं पर विचार करें जिन्हें प्रॉम्प्ट लिखते समय ध्यान में रखना चाहिए:

1. स्पष्टता: एक अच्छी तरह से परिभाषित प्रॉम्प्ट अस्पष्टता को समाप्त करता है। यह सीधा होना चाहिए, यह सुनिश्चित करना कि मॉडल उपयोगकर्ता के इरादे को समझता है। यह स्पष्टता अक्सर अधिक सुसंगत और प्रासंगिक प्रतिक्रियाओं में अनुवाद करती है।
2. संदर्भ: विशेष रूप से विस्तृत इनपुट के लिए, निर्देश की स्थिति आउटपुट को प्रभावित कर सकती है। उदाहरण के लिए, एक लंबे प्रॉम्प्ट के अंत में निर्देश को स्थानांतरित करने से अक्सर बेहतर परिणाम मिलते हैं।
3. निर्देश में सटीकता: प्रश्न की ताकत, अक्सर “कौन, क्या, कहाँ, कब, क्यों, कैसे” फ्रेमवर्क के माध्यम से व्यक्त, मॉडल को एक अधिक केंद्रित प्रतिक्रिया की ओर मार्गदर्शन कर सकती है। इसके अलावा, वांछित आउटपुट प्रारूप या आकार को निर्दिष्ट करने से मॉडल के आउटपुट को और भी परिष्कृत किया जा सकता है।
4. अनिश्चितता को संभालना: यह आवश्यक है कि मॉडल को यह निर्देश दिया जाए कि जब यह अनिश्चित हो तो कैसे प्रतिक्रिया देनी है। उदाहरण के लिए, मॉडल को अनिश्चित होने पर “मुझे नहीं पता” के साथ प्रतिक्रिया करने का निर्देश देने से यह रोका जा सकता है कि यह असटीक या “हॉलुसिनेटेड” प्रतिक्रियाएं उत्पन्न करे।
5. क्रमिक सोच: जटिल निर्देशों के लिए, मॉडल को व्यवस्थित रूप से सोचने या कार्य को उप-कार्यों में तोड़ने के लिए मार्गदर्शन करने से अधिक व्यापक और सटीक आउटपुट हो सकते हैं।

ChatGPT में प्रॉम्प्ट इंजीनियरिंग के महत्व के संबंध में, Unite.ai पर एक विस्तृत लेख पाया जा सकता है।

जेनरेटिव एआई मॉडल में चुनौतियाँ

प्रॉम्प्ट इंजीनियरिंग में आपके मॉडल को दिए जाने वाले निर्देशों को बेहतर बनाना शामिल है ताकि इसके प्रदर्शन में सुधार हो। यह आपके जेनरेटिव एआई एप्लिकेशन की सटीकता को बढ़ाने का एक बहुत ही लागत प्रभावी तरीका है, जिसमें केवल मामूली कोड समायोजन की आवश्यकता होती है। जबकि प्रॉम्प्ट इंजीनियरिंग आउटपुट को काफी हद तक बढ़ा सकती है, यह समझना महत्वपूर्ण है कि बड़े भाषा मॉडल (LLM) की सीमाएं हैं। दो प्राथमिक चुनौतियाँ हॉलुसिनेशन और ज्ञान कट-ऑफ हैं।

• हॉलुसिनेशन: यह उन मामलों को संदर्भित करता है जहां मॉडल आत्मविश्वास से गलत या मनगढ़ंत उत्तर देता है। उन्नत LLM में ऐसे आउटपुट पहचानने और उनसे बचने के लिए अंतर्निहित तंत्र भी होते हैं।

LLM में हॉलुसिनेशन

• ज्ञान कट-ऑफ: प्रत्येक LLM मॉडल की एक प्रशिक्षण समाप्ति तिथि होती है, जिसके बाद यह घटनाओं या विकास से अनजान हो जाता है। इस सीमा का अर्थ है कि मॉडल का ज्ञान इसकी अंतिम प्रशिक्षण तिथि पर जमे हुए हैं। उदाहरण के लिए, 2022 तक प्रशिक्षित एक मॉडल 2023 की घटनाओं को नहीं जानता होगा।

LLM में ज्ञान कट-ऑफ

पुनर्प्राप्ति-संवर्धित जनरेशन (RAG) इन चुनौतियों का समाधान प्रदान करता है। यह मॉडल को बाहरी जानकारी तक पहुँचने की अनुमति देता है, जो हॉलुसिनेशन की समस्याओं को कम करता है और विशिष्ट या प्रोप्राइटरी डेटा तक पहुँच प्रदान करता है। ज्ञान कट-ऑफ के लिए, RAG मॉडल के प्रशिक्षण तिथि से परे वर्तमान जानकारी तक पहुँच सकता है, यह सुनिश्चित करता है कि आउटपुट अद्यतित है।
यह LLM को विभिन्न बाहरी स्रोतों से वास्तविक समय में डेटा लेने की सुविधा भी देता है, चाहे वे ज्ञान आधार हों, डेटाबेस हों या व्यापक इंटरनेट।

पुनर्प्राप्ति-संवर्धित जनरेशन का परिचय

पुनर्प्राप्ति-संवर्धित जनरेशन (RAG) एक फ्रेमवर्क है, न कि एक विशिष्ट प्रौद्योगिकी, जो बड़े भाषा मॉडल को ऐसे बाहरी डेटा तक पहुँचने देता है जिस पर उन्हें प्रशिक्षित नहीं किया गया था। RAG को लागू करने के कई तरीके हैं, और सबसे अच्छा फिट आपके विशिष्ट कार्य और आपके डेटा की प्रकृति पर निर्भर करता है।

RAG फ्रेमवर्क एक संरचित तरीके से काम करता है:

प्रॉम्प्ट इनपुट

प्रक्रिया उपयोगकर्ता के इनपुट या प्रॉम्प्ट से शुरू होती है। यह एक प्रश्न या विशिष्ट जानकारी मांगने वाला बयान हो सकता है।

बाहरी स्रोतों से पुनर्प्राप्ति

इसके बजाय कि मॉडल अपने प्रशिक्षण पर सीधे प्रतिक्रिया उत्पन्न करे, यह एक पुनर्प्राप्ति घटक की मदद से बाहरी डेटा स्रोतों के माध्यम से खोज करता है। ये स्रोत ज्ञान आधार, डेटाबेस, दस्तावेज़ स्टोर और इंटरनेट से सुलभ डेटा तक हो सकते हैं।

पुनर्प्राप्ति को समझना

इसका सार एक खोज ऑपरेशन की तरह है। यह उपयोगकर्ता के इनपुट के प्रतिक्रिया में सबसे प्रासंगिक जानकारी निकालने के बारे में है। इस प्रक्रिया को दो चरणों में विभाजित किया जा सकता है:

1. इंडेक्सिंग: यह पुनर्प्राप्ति-संवर्धित जनरेशन यात्रा का सबसे चुनौतीपूर्ण हिस्सा है। इंडेक्सिंग प्रक्रिया को दो चरणों में विभाजित किया जा सकता है: लोडिंग और विभाजन। LangChain जैसे टूल्स में, इन प्रक्रियाओं को “लोडर” और “विभाजक” कहा जाता है। लोडर विभिन्न स्रोतों से सामग्री लाते हैं, चाहे वे वेब पेज हों या पीडीएफ। एक बार सामग्री लाने के बाद, विभाजक इसे छोटे टुकड़ों में विभाजित करते हैं, जो एम्बेडिंग और खोज के लिए अनुकूलित होते हैं।
2. क्वेरी करना: यह खोज शब्द के आधार पर सबसे प्रासंगिक ज्ञान टुकड़ों को निकालने का कार्य है।

पुनर्प्राप्ति के कई तरीके हैं, जिनमें से कुछ सरल पाठ मिलान से लेकर खोज इंजन जैसे गूगल तक हैं। आधुनिक पुनर्प्राप्ति-संवर्धित जनरेशन (RAG) प्रणाली सेमेंटिक खोज पर निर्भर करती है। सेमेंटिक खोज के केंद्र में एम्बेडिंग की अवधारणा है। बड़े भाषा मॉडल भाषा को कैसे समझते हैं, इसमें एम्बेडिंग की केंद्रीय भूमिका होती है। मनुष्य जब बताते हैं कि शब्दों का अर्थ कैसे समझते हैं, तो बात अक्सर सहज समझ तक पहुँचती है। हमारी संज्ञानात्मक संरचनाओं में यह बोध होता है कि “child” और “kid” समानार्थी हैं, या “red” और “green” दोनों रंग दर्शाते हैं।

प्रॉम्प्ट को संवर्धित करना

पुनर्प्राप्त जानकारी को तब मूल प्रॉम्प्ट के साथ जोड़कर एक संवर्धित या विस्तारित प्रॉम्प्ट बनाया जाता है। यह संवर्धित प्रॉम्प्ट मॉडल को अतिरिक्त संदर्भ प्रदान करता है, जो विशेष रूप से मूल्यवर्धक है यदि डेटा डोमेन-विशिष्ट है या मॉडल के मूल प्रशिक्षण कॉर्पस में नहीं है।

पूर्णता का निर्माण

संवर्धित प्रॉम्प्ट के साथ, मॉडल तब पूर्णता या प्रतिक्रिया उत्पन्न करता है। यह प्रतिक्रिया न केवल मॉडल के प्रशिक्षण पर आधारित है, बल्कि पुनर्प्राप्त वास्तविक समय डेटा से भी सूचित है।

पुनर्प्राप्ति-संवर्धित जनरेशन

पहले RAG LLM की वास्तुकला

2020 में प्रकाशित मेटा द्वारा शोध पत्र “ज्ञान-गहन NLP कार्यों के लिए पुनर्प्राप्ति-संवर्धित जनरेशन” इस तकनीक का एक गहन विवरण प्रदान करता है। पुनर्प्राप्ति-संवर्धित जनरेशन मॉडल पारंपरिक जनरेशन प्रक्रिया को एक बाहरी पुनर्प्राप्ति या खोज तंत्र के साथ बढ़ाता है। यह मॉडल को विशाल डेटा संग्रहों से प्रासंगिक जानकारी खींचने की अनुमति देता है, जिससे यह संदर्भ की दृष्टि से सटीक प्रतिक्रियाएं उत्पन्न कर सकता है।
इसकी कार्यप्रणाली इस प्रकार है:

1. पैरामीट्रिक मेमोरी: यह पारंपरिक भाषा मॉडल है, जैसे seq2seq मॉडल, जिसे विशाल मात्रा में डेटा पर प्रशिक्षित किया गया है और जिसमें बहुत सा ज्ञान संग्रहीत है।
2. नॉन-पैरामीट्रिक मेमोरी: इसे खोज इंजन की तरह समझें। उदाहरण के लिए, यह Wikipedia का सघन वेक्टर इंडेक्स हो सकता है, जिसे न्यूरल रिट्रीवर से खोजा जाता है।

इन दोनों को मिलाकर सटीक मॉडल बनता है। RAG पहले नॉन-पैरामीट्रिक मेमोरी से प्रासंगिक जानकारी निकालता है और फिर अपने पैरामीट्रिक ज्ञान से सुसंगत उत्तर देता है।

Meta का मूल RAG मॉडल

1. दो-चरण प्रक्रिया:

RAG LLM एक दो-चरण प्रक्रिया में काम करता है:

• पुनर्प्राप्ति: मॉडल पहले एक बड़े डेटासेट से प्रासंगिक दस्तावेज़ या पासेज खोजता है। यह एक सघन पुनर्प्राप्ति तंत्र का उपयोग करके किया जाता है, जो दोनों प्रश्न और दस्तावेज़ों को निरंतर वेक्टर स्थान में एम्बेड करता है। एम्बेडिंग का उपयोग समानता स्कोर की गणना के लिए किया जाता है, और शीर्ष-रैंक वाले दस्तावेज़ पुनर्प्राप्त किए जाते हैं।
• जनरेशन: शीर्ष-k प्रासंगिक दस्तावेज़ हाथ में होने के साथ, वे एक क्रम-दर-क्रम जनरेटर के साथ-साथ मूल प्रश्न के साथ चैनल किए जाते हैं। यह जनरेटर तब अंतिम आउटपुट बनाता है, जो न केवल प्रश्न से बल्कि पुनर्प्राप्त दस्तावेज़ों से भी संदर्भ लेता है।

2. सघन पुनर्प्राप्ति:

पारंपरिक पुनर्प्राप्ति प्रणाली अक्सर विरल निरूपण जैसे TF-IDF पर निर्भर करती हैं। हालांकि, RAG LLM सघन निरूपण का उपयोग करता है, जहां प्रश्न और दस्तावेज़ दोनों को निरंतर वेक्टर स्थान में एम्बेड किया जाता है। यह अधिक सूक्ष्म समानता तुलना की अनुमति देता है, जो केवल कीवर्ड मिलान से परे सेमेंटिक संबंधों को पकड़ लेता है।

3. क्रम-दर-क्रम जनरेशन:

पुनर्प्राप्त दस्तावेज़ जनरेशन मॉडल के लिए विस्तारित संदर्भ के रूप में कार्य करते हैं। यह मॉडल, अक्सर ट्रांसफॉर्मर जैसे आर्किटेक्चर पर आधारित, तब अंतिम आउटपुट उत्पन्न करता है, यह सुनिश्चित करते हुए कि यह प्रश्न और पुनर्प्राप्त दस्तावेज़ दोनों से संदर्भ लेता है।

दस्तावेज़ खोज

दस्तावेज़ इंडेक्सिंग और पुनर्प्राप्ति

दस्तावेज़ों से कुशलता से जानकारी पुनर्प्राप्त करने के लिए, विशेष रूप से बड़े दस्तावेज़ों के लिए, डेटा अक्सर एक वेक्टर डेटाबेस में संग्रहीत किया जाता है। प्रत्येक डेटा टुकड़े या दस्तावेज़ को इसके एम्बेडिंग वेक्टर के आधार पर अनुक्रमित किया जाता है, जो सामग्री का सेमेंटिक सार पकड़ता है। कुशल अनुक्रमण पुनर्प्राप्ति प्रक्रिया को तेज़ बनाता है, जिससे पुनर्प्राप्ति प्रक्रिया में प्रश्न के आधार पर प्रासंगिक जानकारी जल्दी से पुनर्प्राप्त की जा सकती है।

वेक्टर डेटाबेस

स्रोत: Redis

वेक्टर डेटाबेस, कभी-कभी वेक्टर स्टोरेज के रूप में जाना जाता है, वे डेटा को स्टोर और रिट्रीव करने में माहिर होते हैं जो वेक्टर प्रारूप में फिट होता है, जैसे कि एआई मॉडल से एम्बेडिंग। AI और कंप्यूटर विज्ञान में वेक्टर मूलतः संख्याओं की सूचियाँ हैं, जो बहुआयामी स्थान में बिंदुओं को दर्शाती हैं। ये डेटाबेस पारंपरिक डेटाबेस की तुलना में वेक्टर डेटा को प्रबंधित करने में बेहतर होते हैं, जो टेबुलर डेटा के लिए अधिक अनुकूल होते हैं।

कुछ उल्लेखनीय वेक्टर डेटाबेस में Annoy, Meta का Faiss, Milvus, और Pinecone शामिल हैं। ये डेटाबेस एआई अनुप्रयोगों में, सिफारिश प्रणालियों से लेकर छवि खोज तक, कार्यों की एक श्रृंखला में सहायक होते हैं। AWS जैसे प्लेटफ़ॉर्म वेक्टर डेटाबेस की आवश्यकताओं के लिए अनुकूलित सेवाएं भी प्रदान करते हैं, जैसे कि Amazon OpenSearch Service और Amazon RDS for PostgreSQL। ये सेवाएं विशिष्ट उपयोग के मामलों के लिए अनुकूलित हैं, जिससे कुशल अनुक्रमण और प्रश्नों की सुविधा मिलती है।

प्रासंगिकता के लिए चंकिंग

चूंकि कई दस्तावेज़ व्यापक हो सकते हैं, इसलिए एक तकनीक जिसे “चंकिंग” कहा जाता है, अक्सर उपयोग की जाती है। इसमें बड़े दस्तावेज़ों को छोटे, सेमेंटिक रूप से सुसंगत टुकड़ों में तोड़ना शामिल है। ये टुकड़े तब अनुक्रमित और पुनर्प्राप्त किए जाते हैं, जिससे प्रॉम्प्ट संवर्धन के लिए सबसे प्रासंगिक दस्तावेज़ के हिस्से का उपयोग किया जा सके।

संदर्भ विंडो विचार

प्रत्येक LLM एक संदर्भ विंडो के भीतर काम करता है, जो मूल रूप से यह है कि यह एक बार में कितनी जानकारी पर विचार कर सकता है। यदि बाहरी डेटा स्रोत ऐसी जानकारी प्रदान करते हैं जो इस विंडो से अधिक है, तो इसे संदर्भ विंडो के भीतर फिट होने वाले छोटे टुकड़ों में तोड़ने की आवश्यकता होती है।

पुनर्प्राप्ति-संवर्धित जनरेशन का उपयोग करने के लाभ

1. सटीकता में वृद्धि: बाहरी डेटा स्रोतों का लाभ उठाकर, RAG LLM प्रतिक्रियाएं उत्पन्न कर सकता है जो न केवल इसके प्रशिक्षण डेटा पर आधारित हैं, बल्कि पुनर्प्राप्ति कॉर्पस में उपलब्ध सबसे प्रासंगिक और अद्यतन जानकारी से भी सूचित हैं।
2. ज्ञान अंतराल को पार करना: RAG LLM ज्ञान की सीमाओं को प्रभावी ढंग से संबोधित करता है, चाहे वह मॉडल की प्रशिक्षण कट-ऑफ के कारण हो या इसके प्रशिक्षण कॉर्पस में डोमेन-विशिष्ट डेटा की अनुपस्थिति के कारण।
3. लचीलापन: RAG विभिन्न बाहरी डेटा स्रोतों के साथ एकीकृत किया जा सकता है, जो एक संगठन के भीतर स्वामित्व वाले डेटाबेस से लेकर सार्वजनिक रूप से सुलभ इंटरनेट डेटा तक हो सकता है। यह इसे विभिन्न अनुप्रयोगों और उद्योगों के लिए अनुकूल बनाता है।
4. हॉलुसिनेशन को कम करना: LLM के साथ एक चुनौती “हॉलुसिनेशन” या तथ्यात्मक रूप से गलत या बनावटी जानकारी का उत्पादन है। वास्तविक समय डेटा संदर्भ प्रदान करके, RAG इस तरह के आउटपुट की संभावना को काफी कम कर सकता है।
5. मापनीयता: RAG LLM का एक प्राथमिक लाभ इसकी मापनीयता है। पुनर्प्राप्ति और जनरेशन प्रक्रिया को अलग करके, मॉडल बड़े डेटासेट को कुशलता से संभाल सकता है, जिससे यह वास्तविक दुनिया के अनुप्रयोगों के लिए उपयुक्त हो जाता है जहां डेटा बहुत अधिक होता है।

चुनौतियाँ और विचार

• गणनात्मक ओवरहेड: दो-चरण प्रक्रिया गणनात्मक रूप से गहन हो सकती है, विशेष रूप से बड़े डेटासेट के साथ।
• डेटा निर्भरता: पुनर्प्राप्त दस्तावेजों की गुणवत्ता सीधे जनरेशन की गुणवत्ता को प्रभावित करती है। इसलिए, एक व्यापक और अच्छी तरह से देखभाल की गई पुनर्प्राप्ति कॉर्पस होना महत्वपूर्ण है।

निष्कर्ष

पुनर्प्राप्ति और जनरेशन प्रक्रिया को एकीकृत करके, पुनर्प्राप्ति-संवर्धित जनरेशन ज्ञान-गहन कार्यों के लिए एक मजबूत समाधान प्रदान करती है, यह सुनिश्चित करते हुए कि आउटपुट न केवल सूचित हैं बल्कि संदर्भ से भी संबंधित हैं।

पुनर्प्राप्ति-संवर्धित जनरेशन का वास्तविक वादा इसके वास्तविक दुनिया के अनुप्रयोगों में निहित है। स्वास्थ्य सेवा जैसे क्षेत्रों में, जहां समय पर और सटीक जानकारी महत्वपूर्ण हो सकती है, RAG चिकित्सा साहित्य से निर्बाध रूप से अंतर्दृष्टि निकालने की क्षमता प्रदान करता है। वित्त में, जहां बाजार मिनटों में विकसित होते हैं, RAG वास्तविक समय डेटा से संचालित अंतर्दृष्टि प्रदान कर सकता है, जिससे सूचित निर्णय लेने में मदद मिलती है। इसके अलावा, अकादमिक और शोध क्षेत्र में, विद्वान पुनर्प्राप्ति-संवर्धित जनरेशन का उपयोग करके जानकारी के विशाल भंडार को स्कैन कर सकते हैं, साहित्य समीक्षा और डेटा विश्लेषण को अधिक कुशल बना सकते हैं।