गहराई से Retrieval-Augmented Generation का विश्लेषण

कल्पना कीजिए कि आप एक विश्लेषक हैं, और आपके पास एक बड़ा भाषा मॉडल है। आप इसके द्वारा लाए जाने वाले अवसरों के बारे में उत्साहित हैं। लेकिन जब आप इसे नवीनतम शेयर बाजार की कीमतों या वर्तमान मुद्रास्फीति दर के बारे में पूछते हैं, तो यह आपको बताता है कि:

“मुझे खेद है, लेकिन मैं वास्तविक समय या पोस्ट-कटऑफ डेटा प्रदान नहीं कर सकता। मेरा अंतिम प्रशिक्षण डेटा केवल जनवरी 2022 तक है।”

बड़े भाषा मॉडल, अपनी भाषाई शक्ति के लिए, ‘अब‘ को समझने में असमर्थ हैं। और तेजी से बदलते दुनिया में, ‘अब‘ सब कुछ है।

शोध से पता चलता है कि बड़े पूर्व-प्रशिक्षित भाषा मॉडल (LLM) वास्तविक ज्ञान के भंडार भी हैं।

उन्हें इतने अधिक डेटा पर प्रशिक्षित किया गया है कि उन्होंने बहुत सारे तथ्य और आंकड़े吸收 कर लिए हैं। जब उन्हें ठीक से ट्यून किया जाता है, तो वे विभिन्न प्रकार के NLP कार्यों पर उल्लेखनीय परिणाम प्राप्त कर सकते हैं।

लेकिन यहाँ पकड़ है: उनकी इस संग्रहीत ज्ञान तक पहुँचने और उसका हेरफेर करने की क्षमता हमेशा सही नहीं होती। विशेष रूप से, जब कार्य ज्ञान-गहन होता है, तो ये मॉडल अधिक विशेषज्ञता वाले आर्किटेक्चर से पीछे रह सकते हैं। यह एक पुस्तकालय की तरह है जिसमें दुनिया की सभी किताबें हैं, लेकिन कोई कैटलॉग नहीं है जिससे पता चले कि आपको क्या चाहिए।

OpenAI के ChatGPT को ब्राउज़िंग अपग्रेड मिला

OpenAI द्वारा ChatGPT की ब्राउज़िंग क्षमता की घोषणा Retrieval-Augmented Generation (RAG) की दिशा में एक महत्वपूर्ण कदम है। ChatGPT अब इंटरनेट पर वर्तमान और अधिकारिक जानकारी के लिए खोज कर सकता है, जो RAG दृष्टिकोण को दर्शाता है जिसमें गतिशील रूप से बाहरी स्रोतों से डेटा खींचकर समृद्ध प्रतिक्रियाएं प्रदान की जाती हैं।

https://twitter.com/OpenAI/status/1707077710047216095

वर्तमान में प्लस और एंटरप्राइज़ उपयोगकर्ताओं के लिए उपलब्ध, OpenAI जल्द ही इस सुविधा को सभी उपयोगकर्ताओं के लिए रोल आउट करने की योजना बना रहा है। उपयोगकर्ता GPT-4 विकल्प के तहत ‘बिंग के साथ ब्राउज़’ चुनकर इसे सक्रिय कर सकते हैं।

 प्रॉम्प्ट इंजीनियरिंग प्रभावी लेकिन अपर्याप्त है

प्रॉम्प्ट्स LLM के ज्ञान के लिए प्रवेश द्वार के रूप में कार्य करते हैं। वे मॉडल को मार्गदर्शन प्रदान करते हैं, प्रतिक्रिया के लिए दिशा प्रदान करते हैं। हालांकि, एक प्रभावी प्रॉम्प्ट बनाना LLM से वह प्राप्त करने का पूर्ण समाधान नहीं है जो आप चाहते हैं। फिर भी, आइए कुछ अच्छी प्रथाओं पर विचार करें जिन्हें प्रॉम्प्ट लिखते समय ध्यान में रखना चाहिए:

1. स्पष्टता: एक अच्छी तरह से परिभाषित प्रॉम्प्ट अस्पष्टता को समाप्त करता है। यह सीधा होना चाहिए, यह सुनिश्चित करना कि मॉडल उपयोगकर्ता के इरादे को समझता है। यह स्पष्टता अक्सर अधिक सुसंगत और प्रासंगिक प्रतिक्रियाओं में अनुवाद करती है।
2. संदर्भ: विशेष रूप से विस्तृत इनपुट के लिए, निर्देश की स्थिति आउटपुट को प्रभावित कर सकती है। उदाहरण के लिए, एक लंबे प्रॉम्प्ट के अंत में निर्देश को स्थानांतरित करने से अक्सर बेहतर परिणाम मिलते हैं।
3. निर्देश में सटीकता: प्रश्न की ताकत, अक्सर “कौन, क्या, कहाँ, कब, क्यों, कैसे” फ्रेमवर्क के माध्यम से व्यक्त, मॉडल को एक अधिक केंद्रित प्रतिक्रिया की ओर मार्गदर्शन कर सकती है। इसके अलावा, वांछित आउटपुट प्रारूप या आकार को निर्दिष्ट करने से मॉडल के आउटपुट को और भी परिष्कृत किया जा सकता है।
4. अनिश्चितता को संभालना: यह आवश्यक है कि मॉडल को यह निर्देश दिया जाए कि जब यह अनिश्चित हो तो कैसे प्रतिक्रिया देनी है। उदाहरण के लिए, मॉडल को अनिश्चित होने पर “मुझे नहीं पता” के साथ प्रतिक्रिया करने का निर्देश देने से यह रोका जा सकता है कि यह असटीक या “हॉलुसिनेटेड” प्रतिक्रियाएं उत्पन्न करे।
5. क्रमिक सोच: जटिल निर्देशों के लिए, मॉडल को व्यवस्थित रूप से सोचने या कार्य को उप-कार्यों में तोड़ने के लिए मार्गदर्शन करने से अधिक व्यापक और सटीक आउटपुट हो सकते हैं।

ChatGPT में प्रॉम्प्ट इंजीनियरिंग के महत्व के संबंध में, Unite.ai पर एक विस्तृत लेख पाया जा सकता है।

जेनरेटिव एआई मॉडल में चुनौतियाँ

प्रॉम्प्ट इंजीनियरिंग में आपके मॉडल को दिए जाने वाले निर्देशों को बेहतर बनाना शामिल है ताकि इसके प्रदर्शन में सुधार हो। यह आपके जेनरेटिव एआई एप्लिकेशन की सटीकता को बढ़ाने का एक बहुत ही लागत प्रभावी तरीका है, जिसमें केवल मामूली कोड समायोजन की आवश्यकता होती है। जबकि प्रॉम्प्ट इंजीनियरिंग आउटपुट को काफी हद तक बढ़ा सकती है, यह समझना महत्वपूर्ण है कि बड़े भाषा मॉडल (LLM) की सीमाएं हैं। दो प्राथमिक चुनौतियाँ हॉलुसिनेशन और ज्ञान कट-ऑफ हैं।

• हॉलुसिनेशन: यह उन मामलों को संदर्भित करता है जहां मॉडल एक गलत या बनावटी प्रतिक्रिया के साथ आत्मविश्वास से लौटता है।

LLM में हॉलुसिनेशन

• ज्ञान कट-ऑफ: प्रत्येक LLM मॉडल की एक प्रशिक्षण समाप्ति तिथि होती है, जिसके बाद यह घटनाओं या विकास से अनजान हो जाता है। यह सीमा意味ाता है कि मॉडल का ज्ञान इसकी अंतिम प्रशिक्षण तिथि पर जमे हुए हैं। उदाहरण के लिए, 2022 तक प्रशिक्षित एक मॉडल 2023 की घटनाओं को नहीं जानता होगा।

LLM में ज्ञान कट-ऑफ

पुनर्प्राप्ति-संवर्धित पीढ़ी (RAG) इन चुनौतियों का समाधान प्रदान करता है। यह मॉडल को बाहरी जानकारी तक पहुँचने की अनुमति देता है, जो हॉलुसिनेशन की समस्याओं को कम करता है और विशिष्ट या प्रोप्राइटरी डेटा तक पहुँच प्रदान करता है। ज्ञान कट-ऑफ के लिए, RAG मॉडल के प्रशिक्षण तिथि से परे वर्तमान जानकारी तक पहुँच सकता है, यह सुनिश्चित करता है कि आउटपुट अद्यतित है।

पुनर्प्राप्ति-संवर्धित पीढ़ी की परिचय

पुनर्प्राप्ति-संवर्धित पीढ़ी (RAG) एक फ्रेमवर्क है, न कि एक विशिष्ट प्रौद्योगिकी, जो बड़े भाषा मॉडल को प्रशिक्षित डेटा पर नहीं बल्कि बाहरी डेटा तक पहुँच प्रदान करने में सक्षम बनाता है। RAG को लागू करने के कई तरीके हैं, और सबसे अच्छा फिट आपके विशिष्ट कार्य और आपके डेटा की प्रकृति पर निर्भर करता है।

RAG फ्रेमवर्क एक संरचित तरीके से काम करता है:

प्रॉम्प्ट इनपुट

प्रक्रिया उपयोगकर्ता के इनपुट या प्रॉम्प्ट से शुरू होती है। यह एक प्रश्न या विशिष्ट जानकारी मांगने वाला बयान हो सकता है।

बाहरी स्रोतों से पुनर्प्राप्ति

इसके बजाय कि मॉडल अपने प्रशिक्षण पर सीधे प्रतिक्रिया उत्पन्न करे, यह एक पुनर्प्राप्ति घटक की मदद से बाहरी डेटा स्रोतों के माध्यम से खोज करता है। ये स्रोत ज्ञान आधार, डेटाबेस, दस्तावेज़ स्टोर और इंटरनेट से सुलभ डेटा तक हो सकते हैं।

पुनर्प्राप्ति को समझना

इसका सार एक खोज ऑपरेशन की तरह है। यह उपयोगकर्ता के इनपुट के प्रतिक्रिया में सबसे प्रासंगिक जानकारी निकालने के बारे में है। इस प्रक्रिया को दो चरणों में विभाजित किया जा सकता है:

1. इंडेक्सिंग: यह पुनर्प्राप्ति-संवर्धित पीढ़ी यात्रा का सबसे चुनौतीपूर्ण हिस्सा है। इंडेक्सिंग प्रक्रिया को दो चरणों में विभाजित किया जा सकता है: लोडिंग और विभाजन। LangChain जैसे टूल्स में, इन प्रक्रियाओं को “लोडर” और “विभाजक” कहा जाता है। लोडर विभिन्न स्रोतों से सामग्री लाते हैं, चाहे वे वेब पेज हों या पीडीएफ। एक बार सामग्री लाने के बाद, विभाजक इसे छोटे टुकड़ों में विभाजित करते हैं, जो एम्बेडिंग और खोज के लिए अनुकूलित होते हैं।
2. क्वेरी करना: यह खोज शब्द के आधार पर सबसे प्रासंगिक ज्ञान टुकड़ों को निकालने का कार्य है।

पुनर्प्राप्ति के कई तरीके हैं, जिनमें से कुछ सरल पाठ मिलान से लेकर खोज इंजन जैसे गूगल तक हैं। आधुनिक पुनर्प्राप्ति-संवर्धित पीढ़ी (RAG) प्रणाली सेमेंटिक खोज पर निर्भर करती है। सेमेंटिक खोज के केंद्र में एम्बेडिंग की अवधारणा है।

प्रॉम्प्ट को संवर्धित करना

पुनर्प्राप्त जानकारी को तब मूल प्रॉम्प्ट के साथ जोड़कर एक संवर्धित या विस्तारित प्रॉम्प्ट बनाया जाता है। यह संवर्धित प्रॉम्प्ट मॉडल को अतिरिक्त संदर्भ प्रदान करता है, जो विशेष रूप से मूल्यवर्धक है यदि डेटा डोमेन-विशिष्ट है या मॉडल के मूल प्रशिक्षण निगम में नहीं है।

पूर्णता का निर्माण

संवर्धित प्रॉम्प्ट के साथ, मॉडल तब पूर्णता या प्रतिक्रिया उत्पन्न करता है। यह प्रतिक्रिया न केवल मॉडल के प्रशिक्षण पर आधारित है, बल्कि पुनर्प्राप्त वास्तविक समय डेटा से भी सूचित है।

पहले RAG LLM की वास्तुकला

2020 में प्रकाशित मेटा द्वारा शोध पत्र “पुनर्प्राप्ति-संवर्धित पीढ़ी के लिए ज्ञान-गहन NLP कार्य” इस तकनीक का एक गहन विवरण प्रदान करता है। पुनर्प्राप्ति-संवर्धित पीढ़ी मॉडल पारंपरिक पीढ़ी प्रक्रिया को एक बाहरी पुनर्प्राप्ति या खोज तंत्र के साथ बढ़ाता है। यह मॉडल को विशाल डेटा निगम से प्रासंगिक जानकारी खींचने की अनुमति देता है, जिससे यह संदर्भually सटीक प्रतिक्रियाएं उत्पन्न कर सकता है।

1. दो-चरण प्रक्रिया:

RAG LLM एक दो-चरण प्रक्रिया में काम करता है:

• पुनर्प्राप्ति: मॉडल पहले एक बड़े डेटासेट से प्रासंगिक दस्तावेज़ या पासेज खोजता है। यह एक घने पुनर्प्राप्ति तंत्र का उपयोग करके किया जाता है, जो दोनों प्रश्न और दस्तावेज़ों को निरंतर वेक्टर स्थान में एम्बेड करता है। एम्बेडिंग का उपयोग समानता स्कोर की गणना के लिए किया जाता है, और शीर्ष-रैंक वाले दस्तावेज़ पुनर्प्राप्त किए जाते हैं।
• पीढ़ी: शीर्ष-k प्रासंगिक दस्तावेज़ हाथ में होने के साथ, वे एक क्रम-दर-क्रम जनरेटर के साथ-साथ मूल प्रश्न के साथ चैनल किए जाते हैं। यह जनरेटर तब अंतिम आउटपुट बनाता है, जो न केवल प्रश्न से बल्कि पुनर्प्राप्त दस्तावेज़ों से भी संदर्भ लेता है।

2. घना पुनर्प्राप्ति:

पारंपरिक पुनर्प्राप्ति प्रणाली अक्सर विरल प्रतिनिधित्व जैसे TF-IDF पर निर्भर करती हैं। हालांकि, RAG LLM घने प्रतिनिधित्व का उपयोग करता है, जहां प्रश्न और दस्तावेज़ दोनों को निरंतर वेक्टर स्थान में एम्बेड किया जाता है। यह अधिक सूक्ष्म समानता तुलना की अनुमति देता है, जो केवल कीवर्ड मिलान से परे सेमेंटिक संबंधों को पकड़ लेता है।

3. क्रम-दर-क्रम पीढ़ी:

पुनर्प्राप्त दस्तावेज़ जनरेशन मॉडल के लिए विस्तारित संदर्भ के रूप में कार्य करते हैं। यह मॉडल, अक्सर ट्रांसफॉर्मर जैसे आर्किटेक्चर पर आधारित, तब अंतिम आउटपुट उत्पन्न करता है, यह सुनिश्चित करते हुए कि यह प्रश्न और पुनर्प्राप्त दस्तावेज़ दोनों से संदर्भ लेता है।

दस्तावेज़ खोज

दस्तावेज़ इंडेक्सिंग और पुनर्प्राप्ति

दस्तावेज़ों से कुशलता से जानकारी पुनर्प्राप्त करने के लिए, विशेष रूप से बड़े दस्तावेज़ों के लिए, डेटा अक्सर एक वेक्टर डेटाबेस में संग्रहीत किया जाता है। प्रत्येक डेटा टुकड़े या दस्तावेज़ को इसके एम्बेडिंग वेक्टर के आधार पर अनुक्रमित किया जाता है, जो सामग्री का सेमेंटिक सार पकड़ता है। कुशल अनुक्रमण पुनर्प्राप्ति प्रक्रिया को तेज़ बनाता है, जिससे पुनर्प्राप्ति प्रक्रिया में प्रश्न के आधार पर प्रासंगिक जानकारी जल्दी से पुनर्प्राप्त की जा सकती है।

वेक्टर डेटाबेस

वेक्टर डेटाबेस, कभी-कभी वेक्टर स्टोरेज के रूप में जाना जाता है, वे डेटा को स्टोर और रिट्रीव करने में माहिर होते हैं जो वेक्टर प्रारूप में फिट होता है, जैसे कि एआई मॉडल से एम्बेडिंग। ये डेटाबेस पारंपरिक डेटाबेस की तुलना में वेक्टर डेटा को प्रबंधित करने में बेहतर होते हैं, जो टेबुलर डेटा के लिए अधिक अनुकूल होते हैं।

कुछ उल्लेखनीय वेक्टर डेटाबेस में Annoy, Faiss by Meta, Milvus, और Pinecone शामिल हैं। ये डेटाबेस एआई अनुप्रयोगों में, सिफारिश प्रणालियों से लेकर छवि खोज तक, कार्यों की एक श्रृंखला में सहायक होते हैं। AWS जैसे प्लेटफ़ॉर्म वेक्टर डेटाबेस की आवश्यकताओं के लिए अनुकूलित सेवाएं भी प्रदान करते हैं, जैसे कि Amazon (AMZN ) OpenSearch Service और Amazon RDS for PostgreSQL। ये सेवाएं विशिष्ट उपयोग के मामलों के लिए अनुकूलित हैं, जिससे कुशल अनुक्रमण और प्रश्नों की सुविधा मिलती है।

प्रासंगिकता के लिए चंकिंग

चूंकि कई दस्तावेज़ व्यापक हो सकते हैं, इसलिए एक तकनीक जिसे “चंकिंग” कहा जाता है, अक्सर उपयोग की जाती है। इसमें बड़े दस्तावेज़ों को छोटे, सेमेंटिक रूप से सुसंगत टुकड़ों में तोड़ना शामिल है। ये टुकड़े तब अनुक्रमित और पुनर्प्राप्त किए जाते हैं, जिससे प्रॉम्प्ट संवर्धन के लिए सबसे प्रासंगिक दस्तावेज़ के हिस्से का उपयोग किया जा सके।

संदर्भ विंडो विचार

प्रत्येक LLM एक संदर्भ विंडो के भीतर काम करता है, जो मूल रूप से यह है कि यह एक बार में कितनी जानकारी पर विचार कर सकता है। यदि बाहरी डेटा स्रोत ऐसी जानकारी प्रदान करते हैं जो इस विंडो से अधिक है, तो इसे संदर्भ विंडो के भीतर फिट होने वाले छोटे टुकड़ों में तोड़ने की आवश्यकता होती है।

पुनर्प्राप्ति-संवर्धित पीढ़ी का उपयोग करने के लाभ

1. सटीकता में वृद्धि: बाहरी डेटा स्रोतों का लाभ उठाकर, RAG LLM प्रतिक्रियाएं उत्पन्न कर सकता है जो न केवल इसके प्रशिक्षण डेटा पर आधारित हैं, बल्कि पुनर्प्राप्ति निगम में उपलब्ध सबसे प्रासंगिक और अद्यतन जानकारी से भी सूचित हैं।
2. ज्ञान अंतराल को पार करना: RAG LLM ज्ञान की सीमाओं को प्रभावी ढंग से संबोधित करता है, चाहे वह मॉडल की प्रशिक्षण कट-ऑफ के कारण हो या इसके प्रशिक्षण निगम में डोमेन-विशिष्ट डेटा की अनुपस्थिति के कारण।
3. लचीलापन: RAG विभिन्न बाहरी डेटा स्रोतों के साथ एकीकृत किया जा सकता है, जो एक संगठन के भीतर स्वामित्व वाले डेटाबेस से लेकर सार्वजनिक रूप से सुलभ इंटरनेट डेटा तक हो सकता है। यह इसे विभिन्न अनुप्रयोगों और उद्योगों के लिए अनुकूल बनाता है।
4. हॉलुसिनेशन को कम करना: LLM के साथ एक चुनौती “हॉलुसिनेशन” या तथ्यात्मक रूप से गलत या बनावटी जानकारी का उत्पादन है। वास्तविक समय डेटा संदर्भ प्रदान करके, RAG इस तरह के आउटपुट की संभावना को काफी कम कर सकता है।
5. मापनीयता: RAG LLM का एक प्राथमिक लाभ इसकी मापनीयता है। पुनर्प्राप्ति और पीढ़ी प्रक्रिया को अलग करके, मॉडल बड़े डेटासेट को कुशलता से संभाल सकता है, जिससे यह वास्तविक दुनिया के अनुप्रयोगों के लिए उपयुक्त हो जाता है जहां डेटा बहुत अधिक होता है।

चुनौतियाँ और विचार

• गणनात्मक ओवरहेड: दो-चरण प्रक्रिया गणनात्मक रूप से गहन हो सकती है, विशेष रूप से बड़े डेटासेट के साथ।
• डेटा निर्भरता: पुनर्प्राप्त दस्तावेजों की गुणवत्ता सीधे पीढ़ी की गुणवत्ता को प्रभावित करती है। इसलिए, एक व्यापक और अच्छी तरह से देखभाल की गई पुनर्प्राप्ति निगम होना महत्वपूर्ण है।

निष्कर्ष

पुनर्प्राप्ति और पीढ़ी प्रक्रिया को एकीकृत करके, पुनर्प्राप्ति-संवर्धित पीढ़ी ज्ञान-गहन कार्यों के लिए एक मजबूत समाधान प्रदान करती है, यह सुनिश्चित करते हुए कि आउटपुट न केवल सूचित हैं बल्कि संदर्भ से भी संबंधित हैं।

पुनर्प्राप्ति-संवर्धित पीढ़ी का वास्तविक वादा इसके वास्तविक दुनिया के अनुप्रयोगों में निहित है। स्वास्थ्य सेवा जैसे क्षेत्रों में, जहां समय पर और सटीक जानकारी महत्वपूर्ण हो सकती है, RAG चिकित्सा साहित्य से निर्बाध रूप से अंतर्दृष्टि निकालने की क्षमता प्रदान करता है। वित्त में, जहां बाजार मिनटों में विकसित होते हैं, RAG वास्तविक समय डेटा से संचालित अंतर्दृष्टि प्रदान कर सकता है, जिससे सूचित निर्णय लेने में मदद मिलती है। इसके अलावा, अकादमिक और शोध क्षेत्र में, विद्वान पुनर्प्राप्ति-संवर्धित पीढ़ी का उपयोग करके जानकारी के विशाल भंडार को स्कैन कर सकते हैं, साहित्य समीक्षा और डेटा विश्लेषण को अधिक कुशल बना सकते हैं।