बड़े भाषा मॉडल (LLM) भविष्य के ऐप्स को कैसे शक्ति प्रदान करेंगे

जनरेटिव एआई और विशेष रूप से इसका भाषा संस्करण – ChatGPT हर जगह है। बड़े भाषा मॉडल (LLM) प्रौद्योगिकी भविष्य के अनुप्रयोगों के विकास में एक महत्वपूर्ण भूमिका निभाएगी। LLM भाषा को समझने में बहुत अच्छे हैं क्योंकि इसके लिए व्यापक पूर्व-प्रशिक्षण किया गया है जो सार्वजनिक डोमेन पाठ, सहित कोड की लाखों पंक्तियों पर आधारित है। पर्यवेक्षित फ़ाइन-ट्यूनिंग और मानव प्रतिक्रिया (RLHF) के साथ सुदृढ़ अधिगम जैसे तरीके इन LLM को विशिष्ट प्रश्नों का उत्तर देने और उपयोगकर्ताओं के साथ बातचीत करने में और अधिक कुशल बनाते हैं। जैसे ही हम LLM द्वारा संचालित अगले चरण में एआई ऐप्स में प्रवेश करते हैं – निम्नलिखित मुख्य घटक इन अगली-पीढ़ी के अनुप्रयोगों के लिए महत्वपूर्ण होंगे। नीचे दी गई आकृति इस प्रगति को दिखाती है, और जैसे ही आप श्रृंखला में ऊपर जाते हैं, आप अपने अनुप्रयोगों में अधिक बुद्धिमत्ता और स्वायत्तता बनाते हैं। आइए इन विभिन्न स्तरों पर एक नज़र डालें।

LLM कॉल:

वे LLM प्रदाता जैसे Azure OpenAI या Google PaLM या Amazon Bedrock द्वारा पूर्णता या चैट मॉडल के लिए सीधे कॉल हैं। इन कॉलों में बहुत बुनियादी प्रोम्प्ट होता है और ज्यादातर आउटपुट उत्पन्न करने के लिए LLM की आंतरिक मेमोरी का उपयोग किया जाता है।

उदाहरण: एक बुनियादी मॉडल जैसे “text-davinci” से “एक चुटकुला सुनाएं” पूछना। आप बहुत कम संदर्भ देते हैं और मॉडल अपनी आंतरिक पूर्व-प्रशिक्षित मेमोरी पर निर्भर करता है ताकि एक उत्तर तैयार किया जा सके (नीचे दी गई आकृति में हरे रंग में हाइलाइट किया गया है – Azure OpenAI का उपयोग करते हुए)।

प्रोम्प्ट:

बुद्धिमत्ता का अगला स्तर प्रोम्प्ट में अधिक और अधिक संदर्भ जोड़ना है। LLM के लिए प्रोम्प्ट इंजीनियरिंग की तकनीकें हैं जो उन्हें अनुकूलित प्रतिक्रियाएं देने में सक्षम बना सकती हैं। उदाहरण के लिए, जब एक उपयोगकर्ता को एक ईमेल तैयार किया जा रहा हो, तो उपयोगकर्ता के बारे में कुछ संदर्भ, पिछली खरीदारी और व्यवहार पैटर्न प्रोम्प्ट के रूप में काम कर सकते हैं ताकि ईमेल को बेहतर ढंग से अनुकूलित किया जा सके। ChatGPT के साथ परिचित उपयोगकर्ता विभिन्न प्रोम्प्टिंग विधियों को जानते हैं जो LLM द्वारा प्रतिक्रिया बनाने के लिए उपयोग की जाती हैं। प्रोम्प्ट LLM की आंतरिक मेमोरी को अतिरिक्त संदर्भ के साथ बढ़ाते हैं। नीचे एक उदाहरण दिया गया है।

एम्बेडिंग:

एम्बेडिंग प्रोम्प्ट को अगले स्तर पर ले जाती है bằng खोज ज्ञान स्टोर के लिए संदर्भ खोजती है और उस संदर्भ को प्राप्त करती है और प्रोम्प्ट में जोड़ती है। यहाँ, पहला कदम एक बड़े दस्तावेज़ स्टोर बनाना है जो अनस्ट्रक्चर्ड पाठ को खोज योग्य बनाने के लिए टेक्स्ट को इंडेक्स करके और एक वेक्टर डेटाबेस को आबाद करने के लिए है। इसके लिए OpenAI द्वारा ‘ada’ जैसे एम्बेडिंग मॉडल का उपयोग किया जाता है जो एक टेक्स्ट के टुकड़े को n-आयामी वेक्टर में परिवर्तित करता है। ये एम्बेडिंग टेक्स्ट के संदर्भ को पकड़ते हैं, इसलिए समान वाक्य वेक्टर स्पेस में एक दूसरे के करीब एम्बेडिंग होंगे। जब उपयोगकर्ता एक प्रश्न दर्ज करता है, तो उस प्रश्न को भी एम्बेडिंग में परिवर्तित किया जाता है और उस वेक्टर को डेटाबेस में वेक्टर के खिलाफ मिलान किया जाता है। इस प्रकार, हम प्रश्न के लिए शीर्ष 5 या 10 मिलान वाले टेक्स्ट टुकड़े प्राप्त करते हैं जो संदर्भ बनाते हैं। प्रश्न और संदर्भ को LLM को मानव जैसे तरीके से प्रश्न का उत्तर देने के लिए पारित किया जाता है।

चेन:

आज चेन सबसे उन्नत और परिपक्व प्रौद्योगिकी है जो व्यापक रूप से LLM अनुप्रयोगों को बनाने के लिए उपयोग की जा रही है। चेन निर्धारित होती है जहां LLM कॉल की एक श्रृंखला एक साथ जुड़ी होती है और एक LLM का आउटपुट दूसरे LLM में प्रवाहित होता है। उदाहरण के लिए, हमारे पास एक LLM कॉल हो सकती है जो एक SQL डेटाबेस को क्वेरी करती है और ग्राहक ईमेल की सूची प्राप्त करती है और उस सूची को एक अन्य LLM को भेजती है जो ग्राहकों के लिए व्यक्तिगत ईमेल तैयार करती है। इन LLM श्रृंखलाओं को मौजूदा अनुप्रयोग प्रवाह में एकीकृत किया जा सकता है ताकि अधिक मूल्यवान परिणाम उत्पन्न किए जा सकें। चेन का उपयोग करके, हम बाहरी इनपुट जैसे API कॉल और ज्ञान ग्राफ के साथ एकीकरण के साथ LLM कॉल को संदर्भ प्रदान करने के लिए बढ़ा सकते हैं। इसके अलावा, आज कई LLM प्रदाताओं के साथ जैसे OpenAI, AWS Bedrock, Google PaLM, MosaicML, आदि हम श्रृंखलाओं में LLM कॉल मिला सकते हैं। श्रृंखला के तत्वों के लिए सीमित बुद्धिमत्ता के लिए एक निचले LLM जैसे ‘gpt3.5-turbo’ का उपयोग किया जा सकता है, जबकि अधिक उन्नत कार्यों के लिए ‘gpt4’ का उपयोग किया जा सकता है। चेन डेटा, अनुप्रयोगों और LLM कॉल के लिए एक स抽象 प्रदान करती है।

एजेंट:

एजेंट एक विषय है जो विशेष रूप से कृत्रिम सामान्य बुद्धिमत्ता (AGI) के संबंध में ऑनलाइन बहस का विषय है। एजेंट एक उन्नत LLM जैसे ‘gpt4’ या ‘PaLM2’ का उपयोग करके कार्यों की योजना बनाते हैं बजाय पूर्वनिर्धारित श्रृंखला के। तो अब जब उपयोगकर्ता अनुरोध होते हैं, तो प्रश्न के आधार पर एजेंट यह तय करता है कि कौन से कार्यों को कॉल करना है और गतिविधियों को डायनामिक रूप से बनाता है। उदाहरण के लिए, जब हम एक एजेंट को एक कमांड के साथ कॉन्फ़िगर करते हैं जैसे “उधार APR परिवर्तन के कारण सरकारी नियमन अद्यतन के लिए ग्राहकों को सूचित करें”। एजेंट फ्रेमवर्क एक LLM कॉल बनाता है ताकि यह तय किया जा सके कि क्या कदम उठाने हैं या श्रृंखला बनानी है। यहाँ यह एक ऐप को कॉल करना शामिल करेगा जो नियामक वेबसाइटों को स्क्रैप करता है और नवीनतम APR दर निकालता है, फिर एक LLM कॉल डेटाबेस को खोजता है और प्रभावित ग्राहक ईमेल निकालता है और अंत में एक ईमेल तैयार किया जाता है ताकि सभी को सूचित किया जा सके।

अंतिम विचार

LLM एक तेजी से विकसित हो रही प्रौद्योगिकी है और बेहतर मॉडल और अनुप्रयोग हर सप्ताह लॉन्च किए जा रहे हैं। LLM से एजेंट तक बुद्धिमत्ता की सीढ़ी है और जैसे ही हम ऊपर जाते हैं, हम जटिल स्वायत्त अनुप्रयोग बनाते हैं। बेहतर मॉडल अधिक प्रभावी एजेंटों का अर्थ होगा और अगली पीढ़ी के अनुप्रयोग इनसे संचालित होंगे। समय बताएगा कि अगली पीढ़ी के अनुप्रयोग कितने उन्नत होंगे और वे किन पैटर्न से संचालित होंगे।