बड़े भाषा मॉडल और जेनरेटिव एआई ने प्राकृतिक भाषा प्रसंस्करण कार्यों की एक विस्तृत श्रृंखला पर अभूतपूर्व सफलता का प्रदर्शन किया है। एनएलपी क्षेत्र पर विजय प्राप्त करने के बाद, जेनएआई और एलएलएम शोधकर्ताओं के लिए अगली चुनौती यह है कि वे बड़े भाषा मॉडल को वास्तविक दुनिया में स्वायत्त रूप से कैसे कार्य कर सकते हैं, जिसमें पाठ से क्रिया तक विस्तारित पीढ़ी अंतराल है, जो कि कृत्रिम सामान्य बुद्धिमत्ता की खोज में एक महत्वपूर्ण परिप्रेक्ष्य का प्रतिनिधित्व करता है। ऑनलाइन गेम्स को बड़े भाषा मॉडल से निहित एजेंटों को विकसित करने के लिए एक उपयुक्त परीक्षण आधार माना जाता है जो मानव द्वारा की जाने वाली तरह से दृश्य वातावरण के साथ बातचीत करते हैं।

उदाहरण के लिए, एक लोकप्रिय ऑनलाइन सिम्युलेशन गेम माइनक्राफ्ट में, निर्णय लेने वाले एजेंटों को खिलाड़ियों को दुनिया का अन्वेषण करने में सहायता के लिए नियोजित किया जा सकता है, साथ ही साथ उपकरण बनाने और कार्यों को हल करने के लिए कौशल विकसित करने में मदद मिलती है। एलएलएम एजेंटों के दृश्य वातावरण के साथ बातचीत करने का एक और उदाहरण दूसरे ऑनलाइन गेम, द सिम्स में देखा जा सकता है, जहां एजेंटों ने सामाजिक बातचीत में उल्लेखनीय सफलता का प्रदर्शन किया है और मानवों के समान व्यवहार प्रदर्शित करते हैं। हालांकि, मौजूदा गेम्स की तुलना में, रणनीतिक लड़ाई गेम एलएलएम की क्षमता को आभासी गेम खेलने के लिए बेंचमार्क करने के लिए एक बेहतर विकल्प साबित हो सकते हैं। प्राथमिक कारण यह है कि जीत की दर को सीधे मापा जा सकता है, और सुसंगत विरोधी सहित मानव खिलाड़ी और एआई हमेशा उपलब्ध होते हैं।

इसी पर निर्माण करते हुए, पोकेल्मोन का उद्देश्य दुनिया का पहला निहित एजेंट बनना है जो पोकेमोन लड़ाइयों जैसे रणनीतिक गेम्स में मानव-स्तरीय प्रदर्शन प्राप्त करता है। इसके मूल में, पोकेल्मोन फ्रेमवर्क में तीन मुख्य रणनीतियाँ शामिल हैं।

1. लड़ाइयों से प्राप्त पाठ-आधारित प्रतिक्रिया का उपभोग करके नीति को पुनरावृत्ति रूप से परिष्कृत करने के लिए संदर्भ में प्रबल प्रशिक्षण।
2. ज्ञान-संवर्धित पीढ़ी जो भ्रम का मुकाबला करने के लिए बाहरी ज्ञान को पुनर्प्राप्त करती है, जिससे एजेंट को आवश्यकतानुसार उचित कार्रवाई करने में सक्षम बनाती है।
3. सुसंगत क्रिया पीढ़ी जो एजेंट को एक मजबूत खिलाड़ी का सामना करने पर घबराहट से बचाती है और उनसे बचने की कोशिश करती है।

इस लेख का उद्देश्य पोकेल्मोन फ्रेमवर्क को गहराई से कवर करना है, और हम तंत्र, विधियों, फ्रेमवर्क की वास्तुकला के साथ-साथ राज्य-कला फ्रेमवर्क के साथ इसकी तुलना करते हैं। हम यह भी चर्चा करेंगे कि पोकेल्मोन फ्रेमवर्क कैसे उल्लेखनीय मानव-जैसी लड़ाई रणनीतियों और समय पर निर्णय लेने की क्षमता प्रदर्शित करता है, और लगभग 50% की सम्मानजनक जीत दर हासिल करता है। तो आइए शुरू करें।

पोकेल्मोन: एक मानव-परितोषिक एजेंट जो LLM के साथ पोकेमोन लड़ाइयों में सक्षम है

बड़े भाषा मॉडल और जेनरेटिव एआई फ्रेमवर्क की क्षमताओं में पिछले कुछ वर्षों में हुई वृद्धि एनएलपी कार्यों पर विशेष रूप से अद्भुत रही है। हाल ही में, डेवलपर्स और एआई शोधकर्ता जेनरेटिव एआई और एलएलएम को वास्तविक दुनिया के दृश्यों में अधिक प्रमुख बनाने के तरीकों पर काम कर रहे हैं, जिसमें भौतिक दुनिया में स्वायत्त रूप से कार्य करने की क्षमता है। इस स्वायत्त प्रदर्शन को भौतिक और वास्तविक दुनिया की स्थितियों में प्राप्त करने के लिए, शोधकर्ता और डेवलपर्स गेम्स को बड़े भाषा मॉडल से निहित एजेंटों को विकसित करने के लिए एक उपयुक्त परीक्षण आधार मानते हैं जो मानव द्वारा की जाने वाली तरह से दृश्य वातावरण के साथ बातचीत करते हैं।

पूर्व में, डेवलपर्स ने माइनक्राफ्ट और सिम्स जैसे आभासी सिम्युलेशन गेम्स पर एलएलएम से निहित एजेंटों को विकसित करने का प्रयास किया है, हालांकि यह माना जाता है कि पोकेमोन जैसे रणनीतिक गेम्स बेहतर विकल्प हो सकते हैं। पोकेमोन लड़ाइयां डेवलपर्स को जाने-माने पोकेमोन गेम्स में एक प्रशिक्षक की लड़ाई क्षमता का मूल्यांकन करने में सक्षम बनाती हैं, और अन्य रणनीतिक गेम्स की तुलना में कई फायदे प्रदान करती हैं। चूंकि क्रिया और राज्य स्थान विच्छिन्न हैं, इसलिए उन्हें बिना किसी नुकसान के पाठ में अनुवादित किया जा सकता है। निम्नलिखित चित्र एक典型 पोकेमोन लड़ाई को दर्शाता है जहां खिलाड़ी को प्रत्येक मोड़ पर कार्रवाई उत्पन्न करने के लिए कहा जाता है, दोनों पक्षों से पोकेमोन की वर्तमान स्थिति के साथ। उपयोगकर्ताओं के पास पांच अलग-अलग पोकेमोन चुनने का विकल्प होता है और कार्रवाई स्थान में चार चालें होती हैं। इसके अलावा, गेम एलएलएम के लिए अनुमान समय और अनुमान लागत पर तनाव को कम करने में मदद करता है क्योंकि मोड़-आधारित प्रारूप गहन गेमप्ले की आवश्यकता को समाप्त करता है। परिणामस्वरूप, प्रदर्शन मुख्य रूप से बड़े भाषा मॉडल की तर्क क्षमता पर निर्भर करता है। अंत में, हालांकि पोकेमोन लड़ाई गेम्स सरल प्रतीत होते हैं, वास्तव में वे जटिल होते हैं और अत्यधिक रणनीतिक होते हैं। एक अनुभवी खिलाड़ा लड़ाई के लिए यादृच्छिक रूप से एक पोकेमोन का चयन नहीं करता है, लेकिन विभिन्न कारकों पर विचार करता है, जिनमें पोकेमोन का प्रकार, आंकड़े, क्षमताएं, प्रजाति, आइटम, चालें शामिल हैं। इसके अलावा, एक यादृच्छिक लड़ाई में, पोकेमोन को एक हजार से अधिक पात्रों के पूल से यादृच्छिक रूप से चुना जाता है, प्रत्येक के अपने विशिष्ट पात्रों के साथ तर्क क्षमता और पोकेमोन ज्ञान के साथ।

पोकेल्मोन: विधियाँ और वास्तुकला

पोकेल्मोन फ्रेमवर्क की समग्र वास्तुकला निम्नलिखित छवि में दिखाई गई है।

प्रत्येक मोड़ पर, पोकेल्मोन फ्रेमवर्क पिछली क्रियाओं और उनकी संबंधित पाठ-आधारित प्रतिक्रिया का उपयोग करके नीति को पुनरावृत्ति रूप से परिष्कृत करने के लिए करता है, साथ ही साथ वर्तमान राज्य जानकारी को बाहरी ज्ञान जैसे कि क्षमता/चाल प्रभाव या लाभ/कमजोरी संबंध के साथ बढ़ाता है। इनपुट के रूप में दी गई जानकारी के लिए, पोकेल्मोन फ्रेमवर्क स्वतंत्र रूप से कई क्रियाएं उत्पन्न करता है, और फिर अंतिम आउटपुट के रूप में सबसे सुसंगत लोगों का चयन करता है।

संदर्भ में प्रबल प्रशिक्षण

मानव खिलाड़ी और एथलीट अक्सर निर्णय लेते हैं न केवल वर्तमान स्थिति के आधार पर, बल्कि वे पिछली क्रियाओं की प्रतिक्रिया और अन्य खिलाड़ियों के अनुभवों पर भी विचार करते हैं। यह कहना सुरक्षित होगा कि सकारात्मक प्रतिक्रिया ही एक खिलाड़ी को अपनी गलतियों से सीखने में मदद करती है, और उन्हें बार-बार एक ही त्रुटि करने से रोकती है। उचित प्रतिक्रिया के बिना, पोकेल्मोन एजेंट एक ही त्रुटि क्रिया पर अटक सकते हैं, जैसा कि निम्नलिखित चित्र में दिखाया गया है।

जैसा कि देखा जा सकता है, गेम में एजेंट एक पोकेमोन पात्र के खिलाफ जल-आधारित चाल का उपयोग करता है जिसमें “ड्राई स्किन” क्षमता है, जो इसे जल-आधारित हमलों के खिलाफ नुकसान को रद्द करने की अनुमति देती है। गेम उपयोगकर्ता को स्क्रीन पर “इम्यून” संदेश फ्लैश करके आगाह करने का प्रयास करता है जो एक मानव खिलाड़ी को अपनी क्रियाओं पर पुनर्विचार करने और उन्हें बदलने के लिए प्रेरित कर सकता है, भले ही उन्हें “ड्राई स्किन” के बारे में पता न हो। हालांकि, यह एजेंट के लिए राज्य विवरण में शामिल नहीं है, जिससे एजेंट एक ही त्रुटि को दोहराता है।

पोकेल्मोन एजेंट को अपनी पिछली त्रुटियों से सीखने के लिए, फ्रेमवर्क संदर्भ में प्रबल प्रशिक्षण दृष्टिकोण को लागू करता है। प्रबल प्रशिक्षण मशीन लर्निंग में एक लोकप्रिय दृष्टिकोण है, और यह विकासकर्ताओं को नीति को परिष्कृत करने में मदद करता है क्योंकि यह क्रियाओं का मूल्यांकन करने के लिए संख्यात्मक पुरस्कारों की आवश्यकता होती है। चूंकि बड़े भाषा मॉडल भाषा की व्याख्या और समझने में सक्षम हैं, पाठ-आधारित विवरण बड़े भाषा मॉडल के लिए एक नए प्रकार के पुरस्कार के रूप में उभरे हैं। पिछली क्रियाओं से पाठ-आधारित प्रतिक्रिया को शामिल करके, पोकेल्मोन एजेंट अपनी नीति को पुनरावृत्ति रूप से और तुरंत परिष्कृत करने में सक्षम है, जिसे संदर्भ में प्रबल प्रशिक्षण कहा जाता है। पोकेल्मोन फ्रेमवर्क चार प्रकार की प्रतिक्रिया विकसित करता है,

1. एक हमला चाल द्वारा किए गए वास्तविक नुकसान, जो दो连续 मोड़ों पर एचपी में अंतर के आधार पर है।
2. हमला चालों की प्रभावशीलता। प्रतिक्रिया हमले की प्रभावशीलता को दर्शाती है, जो कि क्षमता/चाल प्रभाव या प्रकार लाभ के कारण कोई प्रभाव नहीं है, अप्रभावी या अत्यधिक प्रभावी है।
3. चाल निष्पादन के लिए प्राथमिकता क्रम। चूंकि विरोधी पोकेमोन के सटीक आंकड़े उपलब्ध नहीं हैं, प्राथमिकता क्रम प्रतिक्रिया गति का एक अस्थायी अनुमान प्रदान करता है।
4. निष्पादित चालों का वास्तविक प्रभाव। दोनों हमला चालें और स्थिति परिणाम जैसे एचपी पुनर्प्राप्ति, स्टेट बूस्ट या डीबफ़, फ्रीज़, बर्न या ज़हर जैसी स्थितियों को लगाने में परिणत हो सकते हैं।

इसके अलावा, संदर्भ में प्रबल प्रशिक्षण दृष्टिकोण का उपयोग करने से प्रदर्शन में महत्वपूर्ण वृद्धि होती है, जैसा कि निम्नलिखित चित्र में दिखाया गया है।

जब जीपीटी-4 पर मूल प्रदर्शन की तुलना में रखा जाता है, तो जीत दर लगभग 10% तक बढ़ जाती है, साथ ही लड़ाई स्कोर में लगभग 13% की वृद्धि होती है। इसके अलावा, जैसा कि निम्नलिखित चित्र में दिखाया गया है, एजेंट पिछली चालों में की गई क्रियाओं का विश्लेषण करना शुरू कर देता है और उन्हें बदल देता है यदि वे अपेक्षाओं को पूरा नहीं करते हैं।

ज्ञान-संवर्धित पीढ़ी या केएजी

हालांकि संदर्भ में प्रबल प्रशिक्षण को लागू करने से भ्रम को कुछ हद तक मदद मिलती है, लेकिन यह अभी भी एजेंट को प्रतिक्रिया प्राप्त करने से पहले घातक परिणामों का कारण बन सकता है। उदाहरण के लिए, यदि एजेंट एक आग-प्रकार के पोकेमोन के खिलाफ एक घास-प्रकार के पोकेमोन से लड़ने का निर्णय लेता है, तो पहला संभवतः एक मोड़ में जीत जाएगा। भ्रम को और कम करने और एजेंट की निर्णय लेने की क्षमता में सुधार करने के लिए, पोकेल्मोन फ्रेमवर्क ज्ञान-संवर्धित पीढ़ी या केएजी दृष्टिकोण को लागू करता है, जो बाहरी ज्ञान का उपयोग करके पीढ़ी को संवर्धित करने की एक तकनीक है।

अब, जब मॉडल उपरोक्त वर्णित चार प्रकार की प्रतिक्रिया उत्पन्न करता है, तो यह पोकेमोन चालों और जानकारी को एनोटेट करता है, जिससे एजेंट को स्वयं प्रकार लाभ संबंध का अनुमान लगाने में सक्षम बनाता है। भ्रम को और कम करने के प्रयास में, पोकेल्मोन फ्रेमवर्क विरोधी पोकेमोन और एजेंट के पोकेमोन की प्रकार लाभ और कमजोरी को पर्याप्त विवरण के साथ स्पष्ट रूप से एनोटेट करता है। इसके अलावा, पोकेमोन की विशिष्ट चालों और प्रभावों को याद रखना चुनौतीपूर्ण है, खासकर जब उनमें से बहुत सारे हैं। निम्नलिखित तालिका ज्ञान-संवर्धित पीढ़ी के परिणामों को दर्शाती है। यह ध्यान देने योग्य है कि ज्ञान-संवर्धित पीढ़ी दृष्टिकोण को लागू करके, पोकेल्मोन फ्रेमवर्क मौजूदा 36% से 55% तक जीत दर में लगभग 20% की वृद्धि करने में सक्षम है।

इसके अलावा, डेवलपर्स ने观察 किया कि जब एजेंट को पोकेमोन के बारे में बाहरी ज्ञान प्रदान किया गया, तो यह सही समय पर विशेष चालों का उपयोग करना शुरू कर देता है, जैसा कि निम्नलिखित छवि में दिखाया गया है।

सुसंगत क्रिया पीढ़ी

मौजूदा मॉडल यह प्रदर्शित करते हैं कि प्रॉम्प्टिंग और तर्क दृष्टिकोणों को लागू करने से एलएलएम की जटिल कार्यों को हल करने की क्षमता में सुधार हो सकता है। एक-शॉट क्रिया के बजाय उत्पन्न करने के, पोकेल्मोन फ्रेमवर्क मौजूदा प्रॉम्प्टिंग रणनीतियों का मूल्यांकन करता है, जिनमें सीओटी या विचार श्रृंखला, टीओटी या विचार पेड़, और स्व-संगतता शामिल हैं। विचार श्रृंखला के लिए, एजेंट पहले एक विचार उत्पन्न करता है जो वर्तमान लड़ाई परिदृश्य का विश्लेषण करता है, और विचार पर सशर्त एक क्रिया का उत्पादन करता है। स्व-संगतता के लिए, एजेंट तीन बार क्रियाएं उत्पन्न करता है, और अधिकतम मत प्राप्त करने वाले आउटपुट का चयन करता है। अंत में, विचार पेड़ दृष्टिकोण के लिए, फ्रेमवर्क तीन क्रियाएं उत्पन्न करता है, लेकिन स्वयं द्वारा उनका मूल्यांकन करने के बाद सबसे अच्छा एक का चयन करता है। निम्नलिखित तालिका प्रॉम्प्टिंग दृष्टिकोणों के प्रदर्शन को सारांशित करती है।

केवल एक ही क्रिया प्रत्येक मोड़ के लिए है, जिसका अर्थ है कि भले ही एजेंट स्विच करने का निर्णय लेता है और विरोधी हमला करने का निर्णय लेता है, स्विच-इन पोकेमोन नुकसान को सहन करेगा। सामान्य तौर पर, एजेंट स्विच करने का निर्णय लेता है क्योंकि यह बैटलफील्ड से बाहर पोकेमोन को प्रकार लाभ स्विच करना चाहता है, और स्विच-इन पोकेमोन विरोधी पोकेमोन की चालों के लिए प्रतिरोधी होगा। हालांकि, जैसा कि ऊपर दिखाया गया है, सीओटी तर्क के साथ एजेंट के लिए, यह मिशन के साथ असंगत रूप से कार्य करता है, क्योंकि यह स्विच-इन पोकेमोन में स्विच करना चाह सकता है लेकिन कई पोकेमोन और वापस, जिसे हम पैनिक स्विचिंग कहते हैं। पैनिक स्विचिंग चालों को लेने की संभावना को समाप्त करती है, और हार का कारण बनती है।

पोकेल्मोन: परिणाम और प्रयोग

परिणामों पर चर्चा करने से पहले, यह महत्वपूर्ण है कि हम लड़ाई परिदृश्य को समझें। एक मोड़ की शुरुआत में, परिदृश्य सर्वर से एक क्रिया-अनुरोध संदेश प्राप्त करता है और उस संदेश का उत्तर देगा जिसमें पिछले मोड़ से निष्पादन परिणाम शामिल है।

1. संदेश को पार्स करता है और स्थानीय राज्य चर को अपडेट करता है, 2. फिर राज्य चर को पाठ में अनुवादित करता है। पाठ विवरण में मुख्य रूप से चार भाग होते हैं: 1. स्व-टीम जानकारी, जिसमें मैदान में और बाहर (अप्रयुक्त) पोकेमोन के गुण शामिल हैं।
2. विरोधी टीम जानकारी, जिसमें विरोधी पोकेमोन के गुण शामिल हैं जो मैदान में और बाहर (कुछ जानकारी अज्ञात) हैं।
3. मैदान जानकारी, जिसमें मौसम, प्रवेश खतरे, और क्षेत्र शामिल हैं।
4. ऐतिहासिक मोड़ लॉग जानकारी, जिसमें दोनों पोकेमोन की पिछली क्रियाएं शामिल हैं और एक लॉग क्यू में संग्रहीत की जाती हैं। एलएलएम इनपुट के रूप में अनुवादित राज्य लेते हैं और अगले चरण के लिए क्रियाएं उत्पन्न करते हैं। क्रिया तब सर्वर को भेजी जाती है और मानव द्वारा की गई क्रिया के साथ एक ही समय में निष्पादित की जाती है।

मानव खिलाड़ियों के खिलाफ लड़ाई

निम्नलिखित तालिका पोकेल्मोन एजेंट के मानव खिलाड़ियों के खिलाफ प्रदर्शन को दर्शाती है।

जैसा कि देखा जा सकता है, पोकेल्मोन एजेंट लैडर खिलाड़ियों के खिलाफ प्रदर्शन प्रदान करता है जो एक आमंत्रित खिलाड़ी की तुलना में उच्च जीत दर के साथ-साथ व्यापक लड़ाई अनुभव के साथ हैं।

लड़ाई कौशल विश्लेषण

पोकेल्मोन फ्रेमवर्क शायद ही कभी प्रभावी चाल चुनने में गलती करता है, और ज्ञान-संवर्धित पीढ़ी रणनीति के कारण दूसरे पोकेमोन में स्विच करता है।

जैसा कि ऊपर दिखाया गया है, एजेंट केवल एक पोकेमोन का उपयोग करके पूरे विरोधी टीम को हरा देता है क्योंकि यह विभिन्न हमला चालों का चयन करने में सक्षम है जो विरोधी के लिए सबसे प्रभावी हैं। इसके अलावा, पोकेल्मोन फ्रेमवर्क मानव-जैसी क्षय रणनीति भी प्रदर्शित करता है। कुछ पोकेमोन में “ज़हर” चाल होती है जो प्रत्येक मोड़ पर अतिरिक्त नुकसान पहुंचा सकती है, जबकि “पुनर्प्राप्ति” चाल इसे अपने एचपी को पुनर्प्राप्त करने की अनुमति देती है। इसका लाभ उठाते हुए, एजेंट पहले विरोधी पोकेमोन को ज़हर देता है, और फिर पुनर्प्राप्ति चाल का उपयोग करके खुद को बेहोश होने से रोकता है।

अंतिम विचार

इस लेख में, हमने पोकेल्मोन के बारे में चर्चा की है, जो एक दृष्टिकोण है जो बड़े भाषा मॉडल को मानवों के खिलाफ स्वायत्त रूप से पोकेमोन लड़ाइयों में सक्षम बनाता है। पोकेल्मोन का उद्देश्य दुनिया का पहला निहित एजेंट बनना है जो पोकेमोन लड़ाइयों जैसे रणनीतिक गेम्स में मानव-स्तरीय प्रदर्शन प्राप्त करता है। पोकेल्मोन फ्रेमवर्क तीन मुख्य रणनीतियों को प्रस्तुत करता है: संदर्भ में प्रबल प्रशिक्षण जो पाठ-आधारित प्रतिक्रिया को “पुरस्कार” के रूप में उपभोग करता है ताकि क्रिया पीढ़ी नीति को पुनरावृत्ति रूप से परिष्कृत किया जा सके, ज्ञान-संवर्धित पीढ़ी जो भ्रम का मुकाबला करने के लिए बाहरी ज्ञान को पुनर्प्राप्त करती है और सुनिश्चित करती है कि एजेंट समय पर और उचित रूप से कार्य करे, और सुसंगत क्रिया पीढ़ी जो पैनिक स्विचिंग समस्या को रोकती है जब एजेंट एक मजबूत विरोधी से मिलता है।