रेरैंकर्स और दो-चरण रिट्रीवल की शक्ति रिट्रीवल ऑगमेंटेड जेनरेशन के लिए

जब प्राकृतिक भाषा प्रसंस्करण (एनएलपी) और सूचना पुनर्प्राप्ति की बात आती है, तो प्रासंगिक जानकारी को कुशलता से और सटीक रूप से पुनर्प्राप्त करने की क्षमता सर्वोपरि है। जैसा कि क्षेत्र आगे बढ़ रहा है, नए तकनीकों और विधियों को पुनर्प्राप्ति प्रणालियों के प्रदर्शन को बढ़ाने के लिए विकसित किया जा रहा है, विशेष रूप से रिट्रीवल ऑगमेंटेड जेनरेशन (आरएजी) के संदर्भ में। दो-चरण पुनर्प्राप्ति के साथ रेरैंकर्स एक ऐसी तकनीक है जो पारंपरिक पुनर्प्राप्ति विधियों की सीमाओं को दूर करने के लिए एक शक्तिशाली समाधान के रूप में उभरी है।

इस लेख में, हम दो-चरण पुनर्प्राप्ति और रेरैंकर्स की जटिलताओं पर चर्चा करेंगे, उनके अंतर्निहित सिद्धांतों, कार्यान्वयन रणनीतियों और आरएजी प्रणालियों में सटीकता और दक्षता को बढ़ाने में उनके द्वारा प्रदान किए जाने वाले लाभों का अन्वेषण करेंगे। हम व्यावहारिक उदाहरण और कोड स्निपेट प्रदान करेंगे ताकि यह सुनिश्चित किया जा सके कि इस उन्नत तकनीक की गहरी समझ हो।

रिट्रीवल ऑगमेंटेड जेनरेशन (आरएजी) को समझना

दो-चरण पुनर्प्राप्ति और रेरैंकर्स की विशिष्टताओं में गोता लगाने से पहले, आइए रिट्रीवल ऑगमेंटेड जेनरेशन (आरएजी) की अवधारणा को संक्षेप में देखें। आरएजी एक तकनीक है जो बड़े भाषा मॉडल (एलएलएम) को बाहरी सूचना स्रोतों जैसे डेटाबेस या दस्तावेज़ संग्रह तक पहुंच प्रदान करके उनकी क्षमताओं और ज्ञान को बढ़ाती है। अधिक जानकारी के लिए “एलएलएम में रिट्रीवल ऑगमेंटेड जेनरेशन पर एक गहरा गोता” लेख देखें।

आम तौर पर आरएजी प्रक्रिया में निम्नलिखित चरण शामिल हैं:

1. प्रश्न: एक उपयोगकर्ता प्रणाली को एक प्रश्न प्रस्तुत करता है या निर्देश देता है।
2. पुनर्प्राप्ति: प्रणाली एक वेक्टर डेटाबेस या दस्तावेज़ संग्रह को प्रश्न से संबंधित जानकारी खोजने के लिए पूछती है।
3. वृद्धि: पुनर्प्राप्त की गई जानकारी को मूल प्रश्न या निर्देश के साथ जोड़ा जाता है।
4. उत्पादन: भाषा मॉडल वृद्ध input को संसाधित करता है और बाहरी जानकारी का लाभ उठाकर अपने आउटपुट की सटीकता और व्यापकता को बढ़ाने के लिए एक प्रतिक्रिया उत्पन्न करता है।

हालांकि आरएजी एक शक्तिशाली तकनीक साबित हुई है, यह अपनी चुनौतियों के बिना नहीं है। पुनर्प्राप्ति चरण में एक प्रमुख मुद्दा है, जहां पारंपरिक पुनर्प्राप्ति विधियां सबसे प्रासंगिक दस्तावेजों की पहचान करने में विफल हो सकती हैं, जिससे भाषा मॉडल से उपोत्पादक या असटीक प्रतिक्रियाएं हो सकती हैं।

दो-चरण पुनर्प्राप्ति और रेरैंकर्स की आवश्यकता

पारंपरिक पुनर्प्राप्ति विधियों, जैसे कि कीवर्ड मिलान या वेक्टर स्पेस मॉडल पर आधारित विधियां, अक्सर प्रश्न और दस्तावेजों के बीच सूक्ष्म सेमेंटिक संबंधों को पकड़ने में संघर्ष करती हैं। यह सीमा दस्तावेजों की पुनर्प्राप्ति का कारण बन सकती है जो केवल सतही रूप से प्रासंगिक हैं या महत्वपूर्ण जानकारी को याद कर सकते हैं जो उत्पन्न प्रतिक्रिया की गुणवत्ता में काफी सुधार कर सकती है।

इस चुनौती का सामना करने के लिए, शोधकर्ताओं और पрак्टिशनरों ने दो-चरण पुनर्प्राप्ति के साथ रेरैंकर्स की ओर रुख किया है। यह दृष्टिकोण एक दो-चरण प्रक्रिया को शामिल करता है:

1. प्रारंभिक पुनर्प्राप्ति: पहले चरण में, एक अपेक्षाकृत बड़ा सेट संभावित रूप से प्रासंगिक दस्तावेजों को एक तेज़ और कुशल पुनर्प्राप्ति विधि का उपयोग करके पुनर्प्राप्त किया जाता है, जैसे कि वेक्टर स्पेस मॉडल या कीवर्ड-आधारित खोज।
2. पुनर्मूल्यांकन: दूसरे चरण में, एक अधिक परिष्कृत पुनर्मूल्यांकन मॉडल का उपयोग प्रारंभिक रूप से पुनर्प्राप्त दस्तावेजों को प्रश्न के लिए उनकी प्रासंगिकता के आधार पर पुनः क्रमबद्ध करने के लिए किया जाता है, प्रभावी रूप से सूची के शीर्ष पर सबसे प्रासंगिक दस्तावेजों को लाता है।

पुनर्मूल्यांकन मॉडल, अक्सर एक न्यूरल नेटवर्क या ट्रांसफॉर्मर-आधारित वास्तुकला, विशेष रूप से एक दिए गए प्रश्न के लिए एक दस्तावेज़ की प्रासंगिकता का आकलन करने के लिए प्रशिक्षित किया जाता है। उन्नत प्राकृतिक भाषा समझ क्षमताओं का लाभ उठाकर, पुनर्मूल्यांकनकर्ता प्रश्न और दस्तावेजों के बीच सेमेंटिक सूक्ष्मता और संदर्भ संबंधों को पकड़ सकता है, जिससे एक अधिक सटीक और प्रासंगिक रैंकिंग होती है।

दो-चरण पुनर्प्राप्ति और रेरैंकर्स के लाभ

आरएजी प्रणालियों के संदर्भ में दो-चरण पुनर्प्राप्ति के साथ रेरैंकर्स को अपनाने से कई महत्वपूर्ण लाभ मिलते हैं:

1. सुधारित सटीकता: प्रारंभिक रूप से पुनर्प्राप्त दस्तावेजों को पुनर्मूल्यांकन करके और सबसे प्रासंगिक लोगों को सूची के शीर्ष पर बढ़ावा देकर, प्रणाली भाषा मॉडल को अधिक सटीक और सटीक जानकारी प्रदान कर सकती है, जिससे उच्च गुणवत्ता वाले उत्पन्न प्रतिक्रियाएं होती हैं।
2. बाहरी-डोमेन मुद्दों को कम करना: पारंपरिक पुनर्प्राप्ति के लिए उपयोग किए जाने वाले एम्बेडिंग मॉडल अक्सर सामान्य-उद्देश्य पाठ निगमों पर प्रशिक्षित होते हैं, जो डोमेन-विशिष्ट भाषा और सेमेंटिक्स को पर्याप्त रूप से पकड़ नहीं सकते हैं। दूसरी ओर, पुनर्मूल्यांकन मॉडल डोमेन-विशिष्ट डेटा पर प्रशिक्षित किया जा सकता है, जो “बाहरी-डोमेन” समस्या को कम करता है और विशेषज्ञता वाले डोमेन के भीतर पुनर्प्राप्त दस्तावेजों की प्रासंगिकता में सुधार करता है।
3. मापनीयता: दो-चरण दृष्टिकोण प्रारंभिक चरण में तेज़ और हल्के पुनर्प्राप्ति विधियों का लाभ उठाने की अनुमति देता है, जबकि अधिक कम्प्यूटेशनल रूप से गहन पुनर्मूल्यांकन प्रक्रिया को एक छोटे से दस्तावेज़ सबसेट के लिए आरक्षित किया जाता है।
4. लचीलापन: पुनर्मूल्यांकन मॉडल को प्रारंभिक पुनर्प्राप्ति विधि के स्वतंत्र रूप से स्विच किया जा सकता है या अद्यतन किया जा सकता है, जिससे प्रणाली की आवश्यकताओं के विकास के लिए लचीलापन और अनुकूलनशीलता प्रदान की जा सकती है।

कोलबेर्ट: दो-चरण पुनर्प्राप्ति के लिए कुशल और प्रभावी देर से परस्पर क्रिया

पुनर्मूल्यांकन के क्षेत्र में एक उल्लेखनीय मॉडल कोलबेर्ट (संदर्भित देर से परस्पर क्रिया बेर्ट पर) है। कोलबेर्ट एक दस्तावेज़ पुनर्मूल्यांकनकर्ता मॉडल है जो बेर्ट की गहरी भाषा समझ क्षमताओं का लाभ उठाता है और एक नए परस्पर क्रिया तंत्र की शुरुआत करता है, जिसे “देर से परस्पर क्रिया” के रूप में जाना जाता है।

कोलबेर्ट: बेर्ट पर संदर्भित देर से परस्पर क्रिया के माध्यम से कुशल और प्रभावी पारगमन खोज

कोलबेर्ट में देर से परस्पर क्रिया तंत्र प्रश्नों और दस्तावेजों को अलग-अलग संसाधित करने की अनुमति देता है जब तक कि पुनर्प्राप्ति प्रक्रिया के अंतिम चरण तक नहीं। विशेष रूप से, कोलबेर्ट प्रश्न और दस्तावेज़ को स्वतंत्र रूप से बेर्ट का उपयोग करके एन्कोड करता है, और फिर एक हल्के लेकिन शक्तिशाली परस्पर क्रिया चरण का उपयोग करता है जो उनकी बारीकी से समानता को मॉडल करता है। इस देर से परस्पर क्रिया को स्थगित करने और बनाए रखने से, कोलबेर्ट गहरे भाषा मॉडल की अभिव्यक्ति का लाभ उठा सकता है और साथ ही दस्तावेज़ प्रतिनिधित्व को ऑफलाइन प्री-कंप्यूट करने की क्षमता प्राप्त कर सकता है, जिससे प्रश्न प्रसंस्करण को काफी तेज़ किया जा सकता है।

कोलबेर्ट की देर से परस्पर क्रिया वास्तुकला कई लाभ प्रदान करती है, जिनमें सुधारित गणनात्मक दक्षता, दस्तावेज़ संग्रह के आकार के साथ मापनीयता, और वास्तविक दुनिया के परिदृश्यों के लिए व्यावहारिक अनुप्रयोग शामिल हैं। इसके अलावा, कोलबेर्ट को शोर-मुक्त पर्यवेक्षण और अवशिष्ट संपीड़न (कोलबेर्टवी2 में) जैसी तकनीकों के साथ और बढ़ाया गया है, जो प्रशिक्षण प्रक्रिया को परिष्कृत करते हैं और मॉडल के स्थान पदचिह्न को कम करते हुए उच्च पुनर्प्राप्ति प्रभावशीलता बनाए रखते हैं।

दो-चरण पुनर्प्राप्ति के साथ रेरैंकर्स को लागू करना

अब जब हम दो-चरण पुनर्प्राप्ति और रेरैंकर्स के सिद्धांतों को समझते हैं, तो आइए उनके व्यावहारिक कार्यान्वयन का अन्वेषण करें आरएजी प्रणाली के संदर्भ में। हम लोकप्रिय पुस्तकालयों और फ्रेमवर्क का लाभ उठाएंगे ताकि इन तकनीकों के एकीकरण को प्रदर्शित किया जा सके।

पर्यावरण सेटअप

कोड में गोता लगाने से पहले, आइए अपना विकास पर्यावरण सेट करें। हम पाइथन और कई लोकप्रिय एनएलपी पुस्तकालयों का उपयोग करेंगे, जिनमें हगिंग फेस ट्रांसफॉर्मर, सेंटेंस ट्रांसफॉर्मर और लांसडीबी शामिल हैं।

# आवश्यक पुस्तकालय स्थापित करें
!pip install datasets huggingface_hub sentence_transformers lancedb

डेटा तैयारी

प्रदर्शन के लिए, हम हगिंग फेस डेटासेट से “ai-arxiv-chunked” डेटासेट का उपयोग करेंगे, जिसमें मशीन लर्निंग, प्राकृतिक भाषा प्रसंस्करण और बड़े भाषा मॉडल पर 400 से अधिक ArXiv पेपर हैं।

from datasets import load_dataset

<p>dataset = load_dataset(&quot;jamescalam/ai-arxiv-chunked&quot;, split=&quot;train&quot;)</p>

&amp;lt;pre&amp;gt;

इसके बाद, हम डेटा को प्रोसेस करेंगे और इसे छोटे टुकड़ों में विभाजित करेंगे ताकि पुनर्प्राप्ति और प्रसंस्करण को कुशलता से सुविधा प्रदान की जा सके।

from transformers import AutoTokenizer

<p>tokenizer = AutoTokenizer.from_pretrained(&quot;bert-base-uncased&quot;)</p>

<p>def chunk_text(text, chunk_size=512, overlap=64):
tokens = tokenizer.encode(text, return_tensors=&quot;pt&quot;, truncation=True)
chunks = tokens.split(chunk_size - overlap)
texts = [tokenizer.decode(chunk) for chunk in chunks]
return texts</p>

<p>chunked_data = []
for doc in dataset:
text = doc[&quot;chunk&quot;]
chunked_texts = chunk_text(text)
chunked_data.extend(chunked_texts)</p>

प्रारंभिक पुनर्प्राप्ति चरण के लिए, हम एक वाक्य ट्रांसफॉर्मर मॉडल का उपयोग अपने दस्तावेजों और प्रश्नों को घने वेक्टर प्रतिनिधित्व में एन्कोड करने के लिए करेंगे, और फिर एक वेक्टर डेटाबेस जैसे लांसडीबी का उपयोग करके अनुमानित निकटतम पड़ोसी खोज करेंगे।

from sentence_transformers import SentenceTransformer
from lancedb import lancedb

<p># वाक्य ट्रांसफॉर्मर मॉडल लोड करें
model = SentenceTransformer(&#039;all-MiniLM-L6-v2&#039;)</p>

<p># लांसडीबी वेक्टर स्टोर बनाएं
db = lancedb.lancedb(&#039;/path/to/store&#039;)
db.create_collection(&#039;docs&#039;, vector_dimension=model.get_sentence_embedding_dimension())</p>

<p># दस्तावेज़ इंडेक्स
for text in chunked_data:
vector = model.encode(text).tolist()
db.insert_document(&#039;docs&#039;, vector, text)</p>

<p>from sentence_transformers import SentenceTransformer
from lancedb import lancedb</p>

<p># वाक्य ट्रांसफॉर्मर मॉडल लोड करें
model = SentenceTransformer(&#039;all-MiniLM-L6-v2&#039;)</p>

<p># लांसडीबी वेक्टर स्टोर बनाएं
db = lancedb.lancedb(&#039;/path/to/store&#039;)
db.create_collection(&#039;docs&#039;, vector_dimension=model.get_sentence_embedding_dimension())</p>

<p># दस्तावेज़ इंडेक्स
for text in chunked_data:
vector = model.encode(text).tolist()
db.insert_document(&#039;docs&#039;, vector, text)

एक बार जब हमारे दस्तावेज़ सूचीबद्ध हो जाते हैं, तो हम प्रश्न वेक्टर के निकटतम पड़ोसियों को खोजने के द्वारा प्रारंभिक पुनर्प्राप्ति कर सकते हैं।

from transformers import AutoTokenizer

<p>tokenizer = AutoTokenizer.from_pretrained(&quot;bert-base-uncased&quot;)</p>

<p>def chunk_text(text, chunk_size=512, overlap=64):
tokens = tokenizer.encode(text, return_tensors=&quot;pt&quot;, truncation=True)
chunks = tokens.split(chunk_size - overlap)
texts = [tokenizer.decode(chunk) for chunk in chunks]
return texts</p>

<p>chunked_data = []
for doc in dataset:
text = doc[&quot;chunk&quot;]
chunked_texts = chunk_text(text)
chunked_data.extend(chunked_texts)

पुनर्मूल्यांकन

प्रारंभिक पुनर्प्राप्ति के बाद, हम एक पुनर्मूल्यांकनकर्ता मॉडल का उपयोग पुनर्प्राप्त दस्तावेजों को प्रश्न के लिए उनकी प्रासंगिकता के आधार पर पुनः क्रमबद्ध करने के लिए करेंगे। इस उदाहरण में, हम कोलबेर्ट पुनर्मूल्यांकनकर्ता का उपयोग करेंगे, जो एक तेज़ और सटीक ट्रांसफॉर्मर-आधारित मॉडल है जो विशेष रूप से दस्तावेज़ रैंकिंग के लिए डिज़ाइन किया गया है।

from lancedb.rerankers import ColbertReranker

reranker = ColbertReranker()

<p># प्रारंभिक दस्तावेज़ पुनर्मूल्यांकन
reranked_docs = reranker.rerank(query, initial_docs)

अब reranked_docs सूची में प्रश्न के लिए उनकी प्रासंगिकता के आधार पर पुनः क्रमबद्ध किए गए दस्तावेज़ शामिल हैं।

वृद्धि और उत्पादन

पुनर्मूल्यांकन और प्रासंगिक दस्तावेज़ हाथ में होने के साथ, हम आरएजी पाइपलाइन के वृद्धि और उत्पादन चरणों की ओर बढ़ सकते हैं। हम हगिंग फेस ट्रांसफॉर्मर लाइब्रेरी से एक भाषा मॉडल का उपयोग अंतिम प्रतिक्रिया उत्पन्न करने के लिए करेंगे।

from transformers import AutoTokenizer, AutoModelForSeq2SeqLM

<p>tokenizer = AutoTokenizer.from_pretrained(&quot;t5-base&quot;)
model = AutoModelForSeq2SeqLM.from_pretrained(&quot;t5-base&quot;)</p>

<p># मूल प्रश्न को पुनर्मूल्यांकन किए गए दस्तावेजों के साथ वृद्धि करें
augmented_query = query + &quot; &quot; + &quot; &quot;.join(reranked_docs[:3])</p>

<p># भाषा मॉडल से प्रतिक्रिया उत्पन्न करें
input_ids = tokenizer.encode(augmented_query, return_tensors=&quot;pt&quot;)
output_ids = model.generate(input_ids, max_length=500)
response = tokenizer.decode(output_ids[0], skip_special_tokens=True)</p>

print(response)