बड़ी भाषा मॉडल (LLM) भविष्य के ऐप्स को कैसे शक्ति प्रदान करेंगी

जनरेटिव एआई और विशेष रूप से इसका भाषा स्वाद – चैटजीपीटी हर जगह है। बड़ी भाषा मॉडल (LLM) तकनीक भविष्य के अनुप्रयोगों के विकास में एक महत्वपूर्ण भूमिका निभाएगी। LLM बहुत अच्छे हैं भाषा को समझने में क्योंकि व्यापक पूर्व-प्रशिक्षण के लिए फाउंडेशन मॉडल पर लाखों लाइनों के सार्वजनिक डोमेन पाठ, सहित कोड के लिए किया गया है। पर्यवेक्षित फाइन-ट्यूनिंग और मानव प्रतिक्रिया (RLHF) के साथ सुदृढ़ सीखने जैसे तरीके इन LLM को और अधिक कुशल बनाते हैं विशिष्ट प्रश्नों का उत्तर देने और उपयोगकर्ताओं के साथ बातचीत करने में। जैसे ही हम LLM द्वारा संचालित अगले चरण में एआई ऐप्स में प्रवेश करते हैं – निम्नलिखित कुंजी घटक इन अगले पीढ़ी के अनुप्रयोगों के लिए महत्वपूर्ण होंगे। नीचे दी गई आकृति इस प्रगति को दिखाती है, और जैसे ही आप श्रृंखला में ऊपर जाते हैं, आप अपने अनुप्रयोगों में अधिक बुद्धिमत्ता और स्वायत्तता बनाते हैं। आइए इन विभिन्न स्तरों पर नज़र डालें।

LLM कॉल:

वे एक LLM प्रदाता जैसे Azure OpenAI या Google PaLM या Amazon Bedrock द्वारा सीधे पूर्णता या चैट मॉडल के लिए कॉल हैं। इन कॉलों में एक बहुत ही बुनियादी प्रॉम्प्ट है और ज्यादातर आउटपुट उत्पन्न करने के लिए LLM की आंतरिक मेमोरी का उपयोग करते हैं।

उदाहरण: एक बुनियादी मॉडल जैसे “text-davinci” से “एक चुटकुला सुनाएं” पूछना। आप बहुत कम संदर्भ देते हैं और मॉडल अपनी आंतरिक पूर्व-प्रशिक्षित मेमोरी पर निर्भर करता है एक उत्तर के साथ आने के लिए (नीचे दी गई आकृति में हरे रंग में हाइलाइट किया गया है – Azure OpenAI का उपयोग करके)।

प्रॉम्प्ट:

बुद्धिमत्ता का अगला स्तर प्रॉम्प्ट में अधिक और अधिक संदर्भ जोड़ना है। LLM के लिए प्रॉम्प्ट इंजीनियरिंग के तरीके हैं जिन्हें लागू किया जा सकता है जो उन्हें अनुकूलित प्रतिक्रियाएं देने के लिए बना सकते हैं। उदाहरण के लिए, जब एक उपयोगकर्ता को एक ईमेल उत्पन्न करना, कुछ संदर्भ उपयोगकर्ता के बारे में, पिछली खरीदारी और व्यवहार पैटर्न प्रॉम्प्ट के रूप में कार्य कर सकते हैं ईमेल को बेहतर ढंग से अनुकूलित करने के लिए। चैटजीपीटी के साथ परिचित उपयोगकर्ता विभिन्न प्रॉम्प्टिंग विधियों को जानते हैं जैसे कि उदाहरण देना जो LLM द्वारा प्रतिक्रिया बनाने के लिए उपयोग किया जाता है। प्रॉम्प्ट LLM की आंतरिक मेमोरी को अतिरिक्त संदर्भ के साथ बढ़ाते हैं। नीचे एक उदाहरण है।

एम्बेडिंग:

एम्बेडिंग प्रॉम्प्ट को अगले स्तर पर ले जाती है एक ज्ञान स्टोर को संदर्भ के लिए खोजकर और उस संदर्भ को प्राप्त करके और प्रॉम्प्ट में जोड़कर। यहां, पहला कदम एक बड़े दस्तावेज़ स्टोर को बनाना है जिसमें असंरचित पाठ होता है जो सूचकांक द्वारा खोजा जा सकता है पाठ और एक वेक्टर डेटाबेस को आबाद करना। इसके लिए ओपनएआई द्वारा ‘ada’ जैसे एम्बेडिंग मॉडल का उपयोग किया जाता है जो पाठ के एक टुकड़े को n-आयामी वेक्टर में परिवर्तित करता है। ये एम्बेडिंग पाठ के संदर्भ को पकड़ते हैं, इसलिए समान वाक्यों में वेक्टर स्पेस में एक दूसरे के करीब एम्बेडिंग होंगे। जब उपयोगकर्ता एक प्रश्न दर्ज करता है, तो उस प्रश्न को भी एम्बेडिंग में परिवर्तित किया जाता है और उस वेक्टर को डेटाबेस में वेक्टर के खिलाफ मेल खाता है। इस प्रकार, हम प्रश्न के लिए शीर्ष 5 या 10 मेल खाने वाले पाठ के टुकड़े प्राप्त करते हैं जो संदर्भ बनाते हैं। प्रश्न और संदर्भ को LLM को एक मानवीय तरीके से प्रश्न का उत्तर देने के लिए पास किया जाता है।

श्रृंखला:

आज श्रृंखला सबसे उन्नत और परिपक्व प्रौद्योगिकी है जो व्यापक रूप से LLM अनुप्रयोगों को बनाने के लिए उपयोग की जा रही है। श्रृंखला निर्धारित है जहां LLM कॉल की एक श्रृंखला एक साथ जुड़ी हुई है जिसमें एक LLM का आउटपुट एक या एक से अधिक LLM में प्रवाहित होता है। उदाहरण के लिए, हमारे पास एक LLM कॉल हो सकता है जो एक SQL डेटाबेस को प्रश्न करता है और ग्राहक ईमेल की सूची प्राप्त करता है और उस सूची को एक अन्य LLM को भेजता है जो ग्राहकों को व्यक्तिगत ईमेल तैयार करेगा। ये LLM श्रृंखला मौजूदा अनुप्रयोग प्रवाह में एकीकृत की जा सकती है अधिक मूल्यवान परिणाम उत्पन्न करने के लिए। श्रृंखला का उपयोग करके, हम बाहरी इनपुट जैसे API कॉल और ज्ञान ग्राफ के साथ एकीकरण के साथ LLM कॉल को बढ़ा सकते हैं संदर्भ प्रदान करने के लिए। इसके अलावा, आज कई LLM प्रदाताओं के साथ उपलब्ध होने के नाते, जैसे कि OpenAI, AWS Bedrock, Google PaLM, MosaicML, आदि, हम श्रृंखला में LLM कॉल मिला सकते हैं। श्रृंखला के तत्वों के लिए सीमित बुद्धिमत्ता के साथ एक निम्न LLM जैसे ‘gpt3.5-turbo’ का उपयोग किया जा सकता है, जबकि अधिक उन्नत कार्यों के लिए ‘gpt4’ का उपयोग किया जा सकता है। श्रृंखला डेटा, अनुप्रयोगों और LLM कॉल के लिए एक स抽象 प्रदान करती है।

एजेंट:

एजेंट एक विषय है जो विशेष रूप से कृत्रिम सामान्य बुद्धिमत्ता (AGI) के संबंध में ऑनलाइन बहस का विषय है। एजेंट एक उन्नत LLM जैसे ‘gpt4’ या ‘PaLM2’ का उपयोग कार्यों की योजना बनाने के लिए करते हैं, न कि पूर्वनिर्धारित श्रृंखला के साथ। इसलिए, जब उपयोगकर्ता अनुरोध होते हैं, तो एजेंट अनुरोध के आधार पर कार्यों के सेट को कॉल करने और गतिविधियों के लिए एक श्रृंखला बनाने का निर्णय लेता है। उदाहरण के लिए, जब हम एक एजेंट को एक कमांड के साथ कॉन्फ़िगर करते हैं जैसे “ग्राहकों को सूचित करें जब सरकारी नियमन अद्यतन के कारण ऋण एपीआर परिवर्तन होता है”। एजेंट फ्रेमवर्क एक LLM कॉल बनाता है कि कदम उठाने का फैसला करने के लिए या श्रृंखला बनाने के लिए। यहां, यह एक ऐसा ऐप शामिल करेगा जो नियामक वेबसाइटों को स्क्रैप करता है और नवीनतम एपीआर दर निकालता है, फिर एक LLM कॉल डेटाबेस को खोजता है और प्रभावित ग्राहक ईमेल निकालता है और अंत में एक ईमेल तैयार किया जाता है सभी को सूचित करने के लिए।

अंतिम विचार

LLM एक तेजी से विकसित हो रही तकनीक है और बेहतर मॉडल और अनुप्रयोग हर सप्ताह लॉन्च किए जा रहे हैं। LLM से एजेंट तक बुद्धिमत्ता की सीढ़ी है और जैसे ही हम ऊपर जाते हैं, हम जटिल स्वायत्त अनुप्रयोग बनाते हैं। बेहतर मॉडल अधिक प्रभावी एजेंट का मतलब होगा और अगली पीढ़ी के अनुप्रयोग इनसे संचालित होंगे। समय बताएगा कि अगली पीढ़ी के अनुप्रयोग कितने उन्नत होंगे और वे किन पैटर्न से संचालित होंगे।