पायथन में लैंगचैन के साथ जीरो से एडवांस्ड प्रॉम्प्ट इंजीनियरिंग

बड़े भाषा मॉडल (एलएलएम) का एक महत्वपूर्ण पहलू उन मापदंडों की संख्या है जो ये मॉडल सीखने के लिए उपयोग करते हैं। किसी मॉडल में जितने अधिक पैरामीटर होंगे, वह शब्दों और वाक्यांशों के बीच संबंध को उतना ही बेहतर समझ सकता है। इसका मतलब यह है कि अरबों मापदंडों वाले मॉडल विभिन्न रचनात्मक पाठ प्रारूप उत्पन्न करने और सूचनात्मक तरीके से खुले और चुनौतीपूर्ण प्रश्नों का उत्तर देने की क्षमता रखते हैं।

चैटजीपीटी जैसे एलएलएम, जो ट्रांसफार्मर मॉडल का उपयोग करते हैं, मानव भाषा को समझने और उत्पन्न करने में कुशल हैं, जो उन्हें उन अनुप्रयोगों के लिए उपयोगी बनाते हैं जिनके लिए प्राकृतिक भाषा समझ की आवश्यकता होती है। हालाँकि, उनकी अपनी सीमाएँ हैं, जिनमें पुराना ज्ञान, बाहरी प्रणालियों के साथ बातचीत करने में असमर्थता, संदर्भ समझ की कमी और कभी-कभी प्रशंसनीय-लगने वाली लेकिन गलत या निरर्थक प्रतिक्रियाएँ उत्पन्न करना शामिल है।

इन सीमाओं को संबोधित करने के लिए एलएलएम को बाहरी डेटा स्रोतों और क्षमताओं के साथ एकीकृत करने की आवश्यकता है, जो जटिलताएं पेश कर सकते हैं और व्यापक कोडिंग और डेटा हैंडलिंग कौशल की मांग कर सकते हैं। यह, एआई अवधारणाओं और जटिल एल्गोरिदम को समझने की चुनौतियों के साथ मिलकर, एलएलएम का उपयोग करके विकासशील अनुप्रयोगों से जुड़े सीखने में योगदान देता है।

फिर भी, एलएलएम-संचालित एप्लिकेशन बनाने के लिए अन्य उपकरणों के साथ एलएलएम का एकीकरण हमारे डिजिटल परिदृश्य को फिर से परिभाषित कर सकता है। ऐसे अनुप्रयोगों की क्षमता बहुत बड़ी है, जिसमें दक्षता और उत्पादकता में सुधार, कार्यों को सरल बनाना, निर्णय लेने की क्षमता को बढ़ाना और व्यक्तिगत अनुभव प्रदान करना शामिल है।

इस लेख में, हम इन मुद्दों पर गहराई से विचार करेंगे, लैंगचैन के साथ त्वरित इंजीनियरिंग की उन्नत तकनीकों की खोज करेंगे, स्पष्ट स्पष्टीकरण, व्यावहारिक उदाहरण और उन्हें लागू करने के तरीके पर चरण-दर-चरण निर्देश प्रदान करेंगे।

लैंगचैन, एक अत्याधुनिक लाइब्रेरी, डिजाइनिंग, कार्यान्वयन और ट्यूनिंग प्रॉम्प्ट में सुविधा और लचीलापन लाती है। जैसे ही हम त्वरित इंजीनियरिंग के सिद्धांतों और प्रथाओं को उजागर करते हैं, आप सीखेंगे कि GPT-4 जैसे SOTA जेनरेटिव AI मॉडल की ताकत का लाभ उठाने के लिए लैंगचैन की शक्तिशाली सुविधाओं का उपयोग कैसे करें।

संकेतों को समझना

प्रॉम्प्ट इंजीनियरिंग की तकनीकीताओं में उतरने से पहले, प्रॉम्प्ट की अवधारणा और उनके महत्व को समझना आवश्यक है।

ए 'शीघ्र' टोकन का एक क्रम है जिसका उपयोग भाषा मॉडल में इनपुट के रूप में किया जाता है, जो इसे एक विशेष प्रकार की प्रतिक्रिया उत्पन्न करने का निर्देश देता है। किसी मॉडल के व्यवहार को संचालित करने में संकेत महत्वपूर्ण भूमिका निभाते हैं। वे उत्पन्न पाठ की गुणवत्ता को प्रभावित कर सकते हैं, और जब सही ढंग से तैयार किया जाता है, तो मॉडल को व्यावहारिक, सटीक और संदर्भ-विशिष्ट परिणाम प्रदान करने में मदद मिल सकती है।

प्रॉम्प्ट इंजीनियरिंग प्रभावी संकेतों को डिजाइन करने की कला और विज्ञान है। लक्ष्य भाषा मॉडल से वांछित आउटपुट प्राप्त करना है। संकेतों का सावधानीपूर्वक चयन और संरचना करके, कोई मॉडल को अधिक सटीक और प्रासंगिक प्रतिक्रियाएँ उत्पन्न करने के लिए मार्गदर्शन कर सकता है। व्यवहार में, इसमें मॉडल के प्रशिक्षण और संरचनात्मक पूर्वाग्रहों को पूरा करने के लिए इनपुट वाक्यांशों को ठीक करना शामिल है।

प्रॉम्प्ट इंजीनियरिंग का परिष्कार सरल तकनीकों से लेकर होता है, जैसे मॉडल को प्रासंगिक कीवर्ड के साथ फीड करना, जटिल, संरचित संकेतों के डिजाइन से जुड़े अधिक उन्नत तरीकों तक जो मॉडल के आंतरिक यांत्रिकी को अपने लाभ के लिए उपयोग करते हैं।

लैंगचैन: सबसे तेजी से बढ़ने वाला प्रॉम्प्ट टूल

लैंगचेन, अक्टूबर 2022 में लॉन्च किया गया हैरिसन चेस, में से एक बन गया है सबसे उच्च श्रेणी निर्धारण वाले ओपन-सोर्स फ्रेमवर्क 2023 में GitHub पर। यह अनुप्रयोगों में बड़े भाषा मॉडल (एलएलएम) को शामिल करने के लिए एक सरलीकृत और मानकीकृत इंटरफ़ेस प्रदान करता है। यह त्वरित इंजीनियरिंग के लिए एक सुविधा संपन्न इंटरफ़ेस भी प्रदान करता है, जिससे डेवलपर्स को विभिन्न रणनीतियों के साथ प्रयोग करने और उनके परिणामों का मूल्यांकन करने की अनुमति मिलती है। लैंगचैन का उपयोग करके, आप त्वरित इंजीनियरिंग कार्यों को अधिक प्रभावी ढंग से और सहजता से कर सकते हैं।

लैंगफ्लो लैंगचेन घटकों को एक निष्पादन योग्य फ़्लोचार्ट में व्यवस्थित करने के लिए एक उपयोगकर्ता इंटरफ़ेस के रूप में कार्य करता है, जो त्वरित प्रोटोटाइप और प्रयोग को सक्षम करता है।

लैंगचेन जनता के लिए एआई विकास में एक महत्वपूर्ण अंतर को भरता है। यह वास्तविक दुनिया की समस्याओं की एक श्रृंखला को हल करने के लिए वर्चुअल असिस्टेंट, कंटेंट जेनरेटर, प्रश्न-उत्तर प्रणाली और बहुत कुछ जैसे एनएलपी अनुप्रयोगों की एक श्रृंखला को सक्षम बनाता है।

एक स्टैंडअलोन मॉडल या प्रदाता होने के बजाय, लैंगचेन विभिन्न मॉडलों के साथ बातचीत को सरल बनाता है, एक साधारण एपीआई कॉल की बाधाओं से परे एलएलएम अनुप्रयोगों की क्षमताओं का विस्तार करता है।

लैंगचेन की वास्तुकला

लैंगचेन के मुख्य घटकों में मॉडल I/O, प्रॉम्प्ट टेम्प्लेट, मेमोरी, एजेंट और चेन शामिल हैं।

मॉडल I/O

लैंगचेन विभिन्न भाषा मॉडलों को मॉडल I/O नामक एक मानकीकृत इंटरफ़ेस के साथ लपेटकर उनके साथ एक सहज कनेक्शन की सुविधा प्रदान करता है। यह अनुकूलन या बेहतर प्रदर्शन के लिए सहज मॉडल स्विच की सुविधा प्रदान करता है। लैंगचेन विभिन्न भाषा मॉडल प्रदाताओं का समर्थन करता है, जिनमें शामिल हैं OpenAI, हगिंग फ़ेस, नीला, आतिशबाजी, और अधिक.

शीघ्र टेम्पलेट

इनका उपयोग संक्षिप्त निर्देश या उदाहरण प्रदान करके एलएलएम के साथ इंटरैक्शन को प्रबंधित और अनुकूलित करने के लिए किया जाता है। संकेतों को अनुकूलित करने से मॉडल का प्रदर्शन बढ़ता है, और उनका लचीलापन इनपुट प्रक्रिया में महत्वपूर्ण योगदान देता है।

शीघ्र टेम्पलेट का एक सरल उदाहरण:

from langchain.prompts import PromptTemplate
prompt = PromptTemplate(input_variables=["subject"],
template="What are the recent advancements in the field of {subject}?")
print(prompt.format(subject="Natural Language Processing"))

जैसे-जैसे हम जटिलता में आगे बढ़ते हैं, हमें लैंगचेन में अधिक परिष्कृत पैटर्न का सामना करना पड़ता है, जैसे कि कारण और अधिनियम (रिएक्ट) पैटर्न। ReAct कार्रवाई निष्पादन के लिए एक महत्वपूर्ण पैटर्न है जहां एजेंट एक उपयुक्त टूल को कार्य सौंपता है, इसके लिए इनपुट को अनुकूलित करता है, और कार्य को पूरा करने के लिए इसके आउटपुट को पार्स करता है। नीचे दिया गया पायथन उदाहरण एक रिएक्ट पैटर्न दिखाता है। यह दर्शाता है कि लैंगचेन में एक प्रॉम्प्ट को कैसे संरचित किया जाता है, जो किसी समस्या पर विचार करने और अंतिम उत्तर देने के लिए विचारों और कार्यों की एक श्रृंखला का उपयोग करता है:

PREFIX = """Answer the following question using the given tools:"""
FORMAT_INSTRUCTIONS = """Follow this format:
Question: {input_question}
Thought: your initial thought on the question
Action: your chosen action from [{tool_names}]
Action Input: your input for the action
Observation: the action's outcome"""
SUFFIX = """Start!
Question: {input}
Thought:{agent_scratchpad}"""

याद

लैंगचेन में मेमोरी एक महत्वपूर्ण अवधारणा है, जो एलएलएम और टूल को समय के साथ जानकारी बनाए रखने में सक्षम बनाती है। यह स्टेटफुल व्यवहार पिछली प्रतिक्रियाओं, उपयोगकर्ता इंटरैक्शन, पर्यावरण की स्थिति और एजेंट के लक्ष्यों को संग्रहीत करके लैंगचेन अनुप्रयोगों के प्रदर्शन में सुधार करता है। कन्वर्सेशनबफ़रमेमोरी और कन्वर्सेशनबफ़रविंडोमेमोरी रणनीतियाँ क्रमशः बातचीत के पूर्ण या हाल के हिस्सों पर नज़र रखने में मदद करती हैं। अधिक परिष्कृत दृष्टिकोण के लिए, कन्वर्सेशनकेजीमेमोरी रणनीति बातचीत को एक ज्ञान ग्राफ के रूप में एन्कोड करने की अनुमति देती है जिसे संकेतों में वापस फीड किया जा सकता है या एलएलएम को कॉल किए बिना प्रतिक्रियाओं की भविष्यवाणी करने के लिए उपयोग किया जा सकता है।

एजेंट्स

एक एजेंट कार्यों और कार्यों को निष्पादित करके दुनिया के साथ बातचीत करता है। लैंगचेन में, एजेंट कार्य निष्पादन के लिए टूल और चेन को जोड़ते हैं। यह एलएलएम ज्ञान को बढ़ाने के लिए सूचना पुनर्प्राप्ति के लिए बाहरी दुनिया से संबंध स्थापित कर सकता है, इस प्रकार उनकी अंतर्निहित सीमाओं पर काबू पा सकता है। वे स्थिति के आधार पर गणनाओं को कैलकुलेटर या पायथन दुभाषिया को सौंपने का निर्णय ले सकते हैं।

एजेंट उपघटकों से सुसज्जित हैं:

• टूल्स: ये कार्यात्मक घटक हैं.
• उपकरणकिटें: उपकरणों का संग्रह.
• एजेंट निष्पादक: यह निष्पादन तंत्र है जो उपकरणों के बीच चयन करने की अनुमति देता है।

लैंगचेन में एजेंट जीरो-शॉट रिएक्ट पैटर्न का भी पालन करते हैं, जहां निर्णय केवल टूल के विवरण पर आधारित होता है। संपूर्ण वार्तालाप इतिहास को ध्यान में रखने के लिए इस तंत्र को मेमोरी के साथ बढ़ाया जा सकता है। ReAct के साथ, एलएलएम को अपने पाठ को स्वत: पूर्ण करने के लिए कहने के बजाय, आप उसे विचार/कार्य/अवलोकन लूप में प्रतिक्रिया देने के लिए संकेत दे सकते हैं।

चेन

चेन, जैसा कि शब्द से पता चलता है, संचालन के अनुक्रम हैं जो लैंगचेन लाइब्रेरी को भाषा मॉडल इनपुट और आउटपुट को निर्बाध रूप से संसाधित करने की अनुमति देते हैं। लैंगचेन के ये अभिन्न घटक मूल रूप से लिंक से बने होते हैं, जो अन्य श्रृंखलाएं, या आदिम जैसे संकेत, भाषा मॉडल या उपयोगिताएं हो सकते हैं।

किसी कारखाने में कन्वेयर बेल्ट के रूप में एक श्रृंखला की कल्पना करें। इस बेल्ट पर प्रत्येक चरण एक निश्चित ऑपरेशन का प्रतिनिधित्व करता है, जो एक भाषा मॉडल को लागू करना, किसी पाठ में पायथन फ़ंक्शन को लागू करना, या यहां तक ​​​​कि मॉडल को एक विशेष तरीके से संकेत देना भी हो सकता है।

लैंगचेन अपनी श्रृंखलाओं को तीन प्रकारों में वर्गीकृत करता है: उपयोगिता श्रृंखला, जेनेरिक श्रृंखला, और संयुक्त दस्तावेज़ श्रृंखला। हम अपनी चर्चा के लिए यूटिलिटी और जेनेरिक श्रृंखलाओं में उतरेंगे।

• उपयोगिता श्रृंखलाएँ विशेष रूप से संकीर्ण रूप से परिभाषित कार्यों के लिए भाषा मॉडल से सटीक उत्तर निकालने के लिए डिज़ाइन किए गए हैं। उदाहरण के लिए, आइए LLMMathChain पर एक नज़र डालें। यह उपयोगिता श्रृंखला भाषा मॉडल को गणितीय गणना करने में सक्षम बनाती है। यह प्राकृतिक भाषा में एक प्रश्न स्वीकार करता है, और भाषा मॉडल बदले में एक पायथन कोड स्निपेट उत्पन्न करता है जिसे उत्तर देने के लिए निष्पादित किया जाता है।
• जेनेरिक चेनदूसरी ओर, अन्य श्रृंखलाओं के लिए बिल्डिंग ब्लॉक्स के रूप में काम करते हैं लेकिन सीधे स्टैंडअलोन का उपयोग नहीं किया जा सकता है। ये शृंखलाएं, जैसे एलएलएमचेन, मूलभूत हैं और जटिल कार्यों को पूरा करने के लिए अक्सर अन्य शृंखलाओं के साथ जोड़ दी जाती हैं। उदाहरण के लिए, LLMChain का उपयोग अक्सर दिए गए प्रॉम्प्ट टेम्प्लेट के आधार पर इनपुट को फ़ॉर्मेट करके और फिर उसे भाषा मॉडल में पास करके किसी भाषा मॉडल ऑब्जेक्ट को क्वेरी करने के लिए किया जाता है।

लैंगचैन के साथ प्रॉम्प्ट इंजीनियरिंग का चरण-दर-चरण कार्यान्वयन

हम आपको लैंगचैन का उपयोग करके शीघ्र इंजीनियरिंग लागू करने की प्रक्रिया के बारे में बताएंगे। आगे बढ़ने से पहले, सुनिश्चित करें कि आपने आवश्यक सॉफ़्टवेयर और पैकेज इंस्टॉल कर लिए हैं।

लैंगचेन स्थापित करने के लिए आप डॉकर, कोंडा, पिप और पोएट्री जैसे लोकप्रिय टूल का लाभ उठा सकते हैं। इनमें से प्रत्येक विधि के लिए प्रासंगिक इंस्टॉलेशन फ़ाइलें लैंगचेन रिपॉजिटरी में पाई जा सकती हैं https://github.com/benman1/generative_ai_with_langchain. इसमें शामिल है a Dockerfile डॉकर के लिए, ए requirements.txt पिप के लिए, ए pyproject.toml कविता के लिए, और ए langchan_ai.yml कोंडा के लिए फ़ाइल।

हमारे लेख में हम तृतीय-पक्ष पुस्तकालयों की स्थापना और प्रबंधन की सुविधा के लिए, पायथन के लिए मानक पैकेज प्रबंधक, पिप का उपयोग करेंगे। यदि यह आपके पायथन वितरण में शामिल नहीं है, तो आप दिए गए निर्देशों का पालन करके पिप इंस्टॉल कर सकते हैं https://pip.pypa.io/.

पिप के साथ लाइब्रेरी स्थापित करने के लिए, कमांड का उपयोग करें pip install library_name.

हालाँकि, पिप स्वयं परिवेश का प्रबंधन नहीं करता है। विभिन्न वातावरणों को संभालने के लिए, हम टूल का उपयोग करते हैं Virtualenv.

अगले भाग में, हम मॉडल एकीकरण पर चर्चा करेंगे।

चरण 1: लैंगचैन की स्थापना

सबसे पहले, आपको लैंगचैन पैकेज स्थापित करना होगा। हम विंडोज़ ओएस का उपयोग कर रहे हैं. इसे स्थापित करने के लिए अपने टर्मिनल में निम्नलिखित कमांड चलाएँ:

pip install langchain

चरण 2: लैंगचैन और अन्य आवश्यक मॉड्यूल आयात करना

इसके बाद, अन्य आवश्यक मॉड्यूल के साथ लैंगचैन आयात करें। यहां, हम ट्रांसफॉर्मर लाइब्रेरी भी आयात करते हैं, जिसका उपयोग एनएलपी कार्यों में बड़े पैमाने पर किया जाता है।

import langchain
from transformers import AutoModelWithLMHead, AutoTokenizer

चरण 3: पूर्व-प्रशिक्षित मॉडल लोड करें

AI खोलें

OpenAI मॉडलों को लैंगचेन लाइब्रेरी या ओपनएआई पायथन क्लाइंट लाइब्रेरी के साथ आसानी से इंटरफेस किया जा सकता है। विशेष रूप से, OpenAI टेक्स्ट एम्बेडिंग मॉडल के लिए एक एंबेडिंग क्लास प्रस्तुत करता है। दो प्रमुख एलएलएम मॉडल जीपीटी-3.5 और जीपीटी-4 हैं, जो मुख्य रूप से टोकन लंबाई में भिन्न हैं। प्रत्येक मॉडल का मूल्य निर्धारण OpenAI की वेबसाइट पर पाया जा सकता है। जबकि और भी हैं GPT-4-32K जैसे परिष्कृत मॉडल जिनकी टोकन स्वीकृति अधिक है, एपीआई के माध्यम से उनकी उपलब्धता है हमेशा गारंटी नहीं होती.

इन मॉडलों तक पहुँचने के लिए OpenAI API कुंजी की आवश्यकता होती है। यह OpenAI के प्लेटफ़ॉर्म पर एक खाता बनाकर, बिलिंग जानकारी सेट करके और एक नई गुप्त कुंजी उत्पन्न करके किया जा सकता है।

import os
os.environ["OPENAI_API_KEY"] = 'your-openai-token'

कुंजी को सफलतापूर्वक बनाने के बाद, आप इसे एक पर्यावरण चर (OPENAI_API_KEY) के रूप में सेट कर सकते हैं या OpenAI कॉल के लिए क्लास इंस्टेंटिएशन के दौरान इसे एक पैरामीटर के रूप में पास कर सकते हैं।

OpenAI मॉडल के साथ इंटरेक्शन प्रदर्शित करने के लिए एक लैंगचेन स्क्रिप्ट पर विचार करें:

from langchain.llms import OpenAI
llm = OpenAI(model_name="text-davinci-003")
# The LLM takes a prompt as an input and outputs a completion
prompt = "who is the president of the United States of America?"
completion = llm(prompt)

The current President of the United States of America is Joe Biden.

इस उदाहरण में, गणना करने के लिए एक एजेंट को आरंभीकृत किया जाता है। एजेंट एक इनपुट लेता है, एक सरल अतिरिक्त कार्य, प्रदान किए गए ओपनएआई मॉडल का उपयोग करके इसे संसाधित करता है और परिणाम देता है।

गले लगना

गले लगना एक नि: शुल्क-से-उपयोग ट्रांसफॉर्मर पायथन लाइब्रेरी, PyTorch, TensorFlow और JAX के साथ संगत है, और इसमें मॉडलों का कार्यान्वयन शामिल है बर्ट, T5, आदि

हगिंग फेस हगिंग फेस हब भी प्रदान करता है, जो कोड रिपॉजिटरी, मशीन लर्निंग मॉडल, डेटासेट और वेब एप्लिकेशन होस्ट करने के लिए एक मंच है।

अपने मॉडलों के लिए प्रदाता के रूप में हगिंग फेस का उपयोग करने के लिए, आपको एक खाता और एपीआई कुंजी की आवश्यकता होगी, जिसे उनकी वेबसाइट से प्राप्त किया जा सकता है। टोकन आपके परिवेश में HUGGINGFACEHUB_API_TOKEN के रूप में उपलब्ध कराया जा सकता है।

निम्नलिखित पायथन स्निपेट पर विचार करें जो Google द्वारा विकसित एक ओपन-सोर्स मॉडल, फ़्लान-T5-XXL मॉडल का उपयोग करता है:

from langchain.llms import HuggingFaceHub

llm = HuggingFaceHub(model_kwargs={"temperature": 0.5, "max_length": 64},repo_id="google/flan-t5-xxl")
prompt = "In which country is Tokyo?"
completion = llm(prompt)
print(completion)

यह स्क्रिप्ट एक प्रश्न को इनपुट के रूप में लेती है और मॉडल के ज्ञान और भविष्यवाणी क्षमताओं को प्रदर्शित करते हुए एक उत्तर देती है।

चरण 4: बेसिक प्रॉम्प्ट इंजीनियरिंग

आरंभ करने के लिए, हम एक सरल संकेत उत्पन्न करेंगे और देखेंगे कि मॉडल कैसे प्रतिक्रिया देता है।

prompt = 'Translate the following English text to French: "{0}"'
input_text = 'Hello, how are you?'
input_ids = tokenizer.encode(prompt.format(input_text), return_tensors='pt')

generated_ids = model.generate(input_ids, max_length=100, temperature=0.9)
print(tokenizer.decode(generated_ids[0], skip_special_tokens=True))

उपरोक्त कोड स्निपेट में, हम अंग्रेजी पाठ का फ़्रेंच में अनुवाद करने का संकेत प्रदान करते हैं। फिर भाषा मॉडल संकेत के आधार पर दिए गए पाठ का अनुवाद करने का प्रयास करता है।

चरण 5: उन्नत प्रॉम्प्ट इंजीनियरिंग

हालाँकि उपरोक्त दृष्टिकोण ठीक काम करता है, लेकिन यह त्वरित इंजीनियरिंग की शक्ति का पूरा लाभ नहीं उठाता है। आइए कुछ और जटिल शीघ्र संरचनाओं को प्रस्तुत करके इसमें सुधार करें।

prompt = 'As a highly proficient French translator, translate the following English text to French: "{0}"'
input_text = 'Hello, how are you?'
input_ids = tokenizer.encode(prompt.format(input_text), return_tensors='pt')

generated_ids = model.generate(input_ids, max_length=100, temperature=0.9)
print(tokenizer.decode(generated_ids[0], skip_special_tokens=True))

इस कोड स्निपेट में, हम यह सुझाव देने के लिए संकेत को संशोधित करते हैं कि अनुवाद 'अत्यधिक कुशल फ्रांसीसी अनुवादक' द्वारा किया जा रहा है। प्रॉम्प्ट में बदलाव से अनुवाद में सुधार हो सकता है, क्योंकि मॉडल अब एक विशेषज्ञ का व्यक्तित्व ग्रहण करता है।

लैंगचैन के साथ एक अकादमिक साहित्य प्रश्नोत्तरी प्रणाली का निर्माण

हम लैंगचेन का उपयोग करके एक अकादमिक साहित्य प्रश्न और उत्तर प्रणाली का निर्माण करेंगे जो हाल ही में प्रकाशित अकादमिक पत्रों के बारे में सवालों के जवाब दे सकती है।

सबसे पहले, अपना पर्यावरण स्थापित करने के लिए, हम आवश्यक निर्भरताएँ स्थापित करते हैं।

pip install langchain arxiv openai transformers faiss-cpu

इंस्टॉलेशन के बाद, हम एक नई पायथन नोटबुक बनाते हैं और आवश्यक लाइब्रेरी आयात करते हैं:

from langchain.llms import OpenAI
from langchain.chains.qa_with_sources import load_qa_with_sources_chain
from langchain.docstore.document import Document
import arxiv

हमारे Q&A सिस्टम का मूल एक निश्चित क्षेत्र से संबंधित प्रासंगिक अकादमिक पेपर लाने की क्षमता है, यहां हम arXiv अकादमिक डेटाबेस का उपयोग करके प्राकृतिक भाषा प्रसंस्करण (एनएलपी) पर विचार करते हैं। इसे निष्पादित करने के लिए, हम एक फ़ंक्शन परिभाषित करते हैं get_arxiv_data(max_results=10). यह फ़ंक्शन arXiv से नवीनतम एनएलपी पेपर सारांश एकत्र करता है और सामग्री के रूप में सारांश और स्रोत के रूप में अद्वितीय प्रविष्टि आईडी का उपयोग करके उन्हें लैंगचेन दस्तावेज़ ऑब्जेक्ट में समाहित करता है।

हम एनएलपी से संबंधित हालिया कागजात लाने के लिए arXiv एपीआई का उपयोग करेंगे:

def get_arxiv_data(max_results=10):
    search = arxiv.Search(
        query="NLP",
        max_results=max_results,
        sort_by=arxiv.SortCriterion.SubmittedDate,
    )
   
    documents = []
   
    for result in search.results():
        documents.append(Document(
            page_content=result.summary,
            metadata={"source": result.entry_id},
        ))

    return documents

यह फ़ंक्शन arXiv से नवीनतम एनएलपी पेपर के सारांश पुनर्प्राप्त करता है और उन्हें लैंगचेन दस्तावेज़ ऑब्जेक्ट में परिवर्तित करता है। हम पेपर के सारांश और उसकी विशिष्ट प्रविष्टि आईडी (पेपर का यूआरएल) को क्रमशः सामग्री और स्रोत के रूप में उपयोग कर रहे हैं।

def print_answer(question):
    print(
        chain(
            {
                "input_documents": sources,
                "question": question,
            },
            return_only_outputs=True,
        )["output_text"]
    )                 

आइए अपने कोष को परिभाषित करें और लैंगचेन स्थापित करें:

sources = get_arxiv_data(2)
chain = load_qa_with_sources_chain(OpenAI(temperature=0))

हमारी शैक्षणिक प्रश्नोत्तरी प्रणाली अब तैयार है, हम एक प्रश्न पूछकर इसका परीक्षण कर सकते हैं:

print_answer("What are the recent advancements in NLP?")

आउटपुट आपके प्रश्न का उत्तर होगा, उन स्रोतों का हवाला देते हुए जिनसे जानकारी निकाली गई थी। उदाहरण के लिए:

Recent advancements in NLP include Retriever-augmented instruction-following models and a novel computational framework for solving alternating current optimal power flow (ACOPF) problems using graphics processing units (GPUs).
SOURCES: http://arxiv.org/abs/2307.16877v1, http://arxiv.org/abs/2307.16830v1

आप अपनी आवश्यकताओं के अनुसार आसानी से मॉडल बदल सकते हैं या सिस्टम बदल सकते हैं। उदाहरण के लिए, यहां हम GPT-4 में बदल रहे हैं जो अंततः हमें बेहतर और विस्तृत प्रतिक्रिया देता है।

sources = get_arxiv_data(2)
chain = load_qa_with_sources_chain(OpenAI(model_name="gpt-4",temperature=0))

Recent advancements in Natural Language Processing (NLP) include the development of retriever-augmented instruction-following models for information-seeking tasks such as question answering (QA). These models can be adapted to various information domains and tasks without additional fine-tuning. However, they often struggle to stick to the provided knowledge and may hallucinate in their responses. Another advancement is the introduction of a computational framework for solving alternating current optimal power flow (ACOPF) problems using graphics processing units (GPUs). This approach utilizes a single-instruction, multiple-data (SIMD) abstraction of nonlinear programs (NLP) and employs a condensed-space interior-point method (IPM) with an inequality relaxation strategy. This strategy allows for the factorization of the KKT matrix without numerical pivoting, which has previously hampered the parallelization of the IPM algorithm.
SOURCES: http://arxiv.org/abs/2307.16877v1, http://arxiv.org/abs/2307.16830v1

GPT-4 में एक टोकन एक अक्षर जितना छोटा या एक शब्द जितना लंबा हो सकता है। उदाहरण के लिए, GPT-4-32K, एक बार में 32,000 टोकन तक प्रोसेस कर सकता है जबकि GPT-4-8K और GPT-3.5-टर्बो क्रमशः 8,000 और 4,000 टोकन का समर्थन करते हैं। हालाँकि, यह ध्यान रखना महत्वपूर्ण है कि इन मॉडलों के साथ प्रत्येक इंटरैक्शन एक लागत के साथ आती है जो संसाधित टोकन की संख्या के सीधे आनुपातिक है, चाहे वह इनपुट हो या आउटपुट।

हमारी प्रश्नोत्तरी प्रणाली के संदर्भ में, यदि अकादमिक साहित्य का एक टुकड़ा अधिकतम टोकन सीमा से अधिक हो जाता है, तो सिस्टम इसे पूरी तरह से संसाधित करने में विफल हो जाएगा, जिससे प्रतिक्रियाओं की गुणवत्ता और पूर्णता प्रभावित होगी। इस समस्या को हल करने के लिए, पाठ को छोटे भागों में तोड़ा जा सकता है जो टोकन सीमा का अनुपालन करते हैं।

FAISS (फेसबुक AI समानता खोज) उपयोगकर्ता की क्वेरी से संबंधित सबसे प्रासंगिक पाठ खंडों को शीघ्रता से ढूंढने में सहायता करता है। यह प्रत्येक पाठ खंड का एक वेक्टर प्रतिनिधित्व बनाता है और किसी दिए गए प्रश्न के वेक्टर प्रतिनिधित्व के समान सबसे समान खंडों को पहचानने और पुनर्प्राप्त करने के लिए इन वैक्टरों का उपयोग करता है।

यह याद रखना महत्वपूर्ण है कि FAISS जैसे टूल के उपयोग के साथ भी, टोकन सीमाओं के कारण पाठ को छोटे हिस्सों में विभाजित करने की आवश्यकता कभी-कभी संदर्भ के नुकसान का कारण बन सकती है, जिससे उत्तरों की गुणवत्ता प्रभावित होती है। इसलिए, इन बड़े भाषा मॉडलों के साथ काम करते समय टोकन उपयोग का सावधानीपूर्वक प्रबंधन और अनुकूलन महत्वपूर्ण है।

 
pip install faiss-cpu langchain CharacterTextSplitter

यह सुनिश्चित करने के बाद कि उपरोक्त लाइब्रेरी स्थापित हैं, चलाएँ

 
from langchain.embeddings.openai import OpenAIEmbeddings 
from langchain.vectorstores.faiss import FAISS 
from langchain.text_splitter import CharacterTextSplitter 
documents = get_arxiv_data(max_results=10) # We can now use feed more data
document_chunks = []
splitter = CharacterTextSplitter(separator=" ", chunk_size=1024, chunk_overlap=0)
for document in documents:
    for chunk in splitter.split_text(document.page_content):
        document_chunks.append(Document(page_content=chunk, metadata=document.metadata))

search_index = FAISS.from_documents(document_chunks, OpenAIEmbeddings())

chain = load_qa_with_sources_chain(OpenAI(temperature=0))

def print_answer(question):
    print(
        chain(
            {
                "input_documents": search_index.similarity_search(question, k=4),
                "question": question,
            },
            return_only_outputs=True,
        )["output_text"]
    )

कोड पूरा होने के साथ, अब हमारे पास एनएलपी के क्षेत्र में नवीनतम अकादमिक साहित्य की पूछताछ के लिए एक शक्तिशाली उपकरण है।

 
Recent advancements in NLP include the use of deep neural networks (DNNs) for automatic text analysis and natural language processing (NLP) tasks such as spell checking, language detection, entity extraction, author detection, question answering, and other tasks. 
SOURCES: http://arxiv.org/abs/2307.10652v1, http://arxiv.org/abs/2307.07002v1, http://arxiv.org/abs/2307.12114v1, http://arxiv.org/abs/2307.16217v1 

निष्कर्ष

अनुप्रयोगों में बड़े भाषा मॉडल (एलएलएम) के एकीकरण से भाषा अनुवाद, भावना विश्लेषण और सूचना पुनर्प्राप्ति सहित कई डोमेन को अपनाने में तेजी आई है। इन मॉडलों की क्षमता को अधिकतम करने के लिए प्रॉम्प्ट इंजीनियरिंग एक शक्तिशाली उपकरण है, और लैंगचैन इस जटिल कार्य को सरल बनाने में अग्रणी है। इसका मानकीकृत इंटरफ़ेस, लचीला प्रॉम्प्ट टेम्पलेट, मजबूत मॉडल एकीकरण, और एजेंटों और श्रृंखलाओं का अभिनव उपयोग एलएलएम के प्रदर्शन के लिए इष्टतम परिणाम सुनिश्चित करता है।

हालाँकि, इन प्रगतियों के बावजूद, ध्यान में रखने योग्य कुछ युक्तियाँ हैं। जैसे ही आप लैंगचैन का उपयोग करते हैं, यह समझना आवश्यक है कि आउटपुट की गुणवत्ता काफी हद तक प्रॉम्प्ट के वाक्यांश पर निर्भर करती है। विभिन्न शीघ्र शैलियों और संरचनाओं के साथ प्रयोग करने से बेहतर परिणाम मिल सकते हैं। यह भी याद रखें कि लैंगचैन विभिन्न भाषा मॉडलों का समर्थन करता है, लेकिन प्रत्येक की अपनी ताकत और कमजोरियां होती हैं। अपने विशिष्ट कार्य के लिए सही का चयन करना महत्वपूर्ण है। अंत में, यह याद रखना महत्वपूर्ण है कि इन मॉडलों का उपयोग लागत पर विचार के साथ आता है, क्योंकि टोकन प्रसंस्करण सीधे इंटरैक्शन की लागत को प्रभावित करता है।

जैसा कि चरण-दर-चरण मार्गदर्शिका में दिखाया गया है, लैंगचैन अकादमिक साहित्य प्रश्नोत्तर प्रणाली जैसे मजबूत अनुप्रयोगों को शक्ति प्रदान कर सकता है। बढ़ते उपयोगकर्ता समुदाय और ओपन-सोर्स परिदृश्य में बढ़ती प्रमुखता के साथ, लैंगचैन जीपीटी-4 जैसे एलएलएम की पूरी क्षमता का दोहन करने में एक महत्वपूर्ण उपकरण होने का वादा करता है।