यह 2018 में था, जब न्यूरल नेटवर्क वर्ल्ड मॉडल के संदर्भ में रिनफोर्समेंट लर्निंग की अवधारणा पहली बार पेश की गई थी, और जल्द ही, इस मूलभूत सिद्धांत को वर्ल्ड मॉडल्स पर लागू किया गया था। रिनफोर्समेंट लर्निंग को लागू करने वाले कुछ प्रमुख मॉडल ड्रीमर फ्रेमवर्क थे, जिसने एक रिकरेंट स्टेट स्पेस मॉडल के लेटेंट स्पेस से रिनफोर्समेंट लर्निंग पेश किया था। ड्रीमरवी2 ने दिखाया कि विचारों के नुकसान को कम करने के लिए विचारों का उपयोग करने से परिणामस्वरूप कम्पाउंडिंग त्रुटियों में कमी आ सकती है, और ड्रीमरवी3 फ्रेमवर्क ने निश्चित हाइपरपैरामीटर के साथ विभिन्न डोमेन में कई कार्यों पर मानव जैसा प्रदर्शन प्राप्त करने में सक्षम था।

इसके अलावा, इमेज जेनरेशन मॉडल और वर्ल्ड मॉडल के बीच समानताएं खींची जा सकती हैं, जो यह दर्शाती हैं कि जेनरेटिव विजन मॉडल में की गई प्रगति को वर्ल्ड मॉडल के लाभ के लिए दोहराया जा सकता है। नेचरल लैंग्वेज प्रोसेसिंग फ्रेमवर्क में ट्रांसफॉर्मर का उपयोग लोकप्रिय होने के बाद, डीएलएल-ई और वीक्यूजीएन फ्रेमवर्क सामने आए। इन फ्रेमवर्क ने विचारों को विचारों में परिवर्तित करने के लिए विचारों को लागू किया और स्व-निर्भर ट्रांसफॉर्मर की अनुक्रम मॉडलिंग क्षमताओं का लाभ उठाकर शक्तिशाली और कुशल पाठ से इमेज जेनरेटिव मॉडल बनाने में सक्षम थे। इसी समय, डिफ्यूजन मॉडल लोकप्रिय हो गए, और आज, डिफ्यूजन मॉडल उच्च-रिज़ॉल्यूशन इमेज जेनरेशन के लिए एक प्रमुख परिदृश्य के रूप में स्थापित हो गए हैं। डिफ्यूजन मॉडल और रिनफोर्समेंट लर्निंग की क्षमताओं के कारण, दोनों दृष्टिकोणों को जोड़ने के प्रयास किए जा रहे हैं, जिसका उद्देश्य डिफ्यूजन मॉडल की लचीलापन का लाभ उठाना है, जो ट्रेजेक्टरी मॉडल, रिवार्ड मॉडल, प्लानर और ऑफलाइन रिनफोर्समेंट लर्निंग में डेटा ऑगमेंटेशन के लिए नीति के रूप में कार्य करता है।

वर्ल्ड मॉडल रिनफोर्समेंट लर्निंग एजेंटों को सुरक्षित और कुशलता से प्रशिक्षित करने के लिए एक आशाजनक तरीका प्रदान करते हैं। पारंपरिक रूप से, इन मॉडलों में वातावरण गतिविधियों को अनुकरण करने के लिए विचारों की श्रृंखला का उपयोग किया जाता है। हालांकि, यह संपीड़न रिनफोर्समेंट लर्निंग के लिए महत्वपूर्ण विजुअल विवरणों को अनदेखा कर सकता है। इसी समय, डिफ्यूजन मॉडल इमेज जेनरेशन के लिए लोकप्रिय हो गए हैं, जो पारंपरिक तरीकों को चुनौती दे रहे हैं जो विचारों का उपयोग करते हैं। इस बदलाव से प्रेरित होकर, इस लेख में, हम डायमंड (डीआईफ्यूजन एज ए मॉडल ऑफ एनवायरनमेंट ड्रीम्स) के बारे में बात करेंगे, जो एक रिनफोर्समेंट लर्निंग एजेंट है जिसे एक डिफ्यूजन वर्ल्ड मॉडल के भीतर प्रशिक्षित किया गया है। हम उन आवश्यक डिज़ाइन विकल्पों का अन्वेषण करेंगे जो डिफ्यूजन को वर्ल्ड मॉडलिंग के लिए उपयुक्त बनाने के लिए आवश्यक हैं और यह दिखाएंगे कि बेहतर विजुअल विवरण एजेंट के प्रदर्शन में सुधार करते हैं। डायमंड एक नए बेंचमार्क को प्रतिष्ठापित करता है जो प्रतिस्पर्धी एटारी 100के परीक्षण पर 1.46 का मानव सामान्य स्कोर प्राप्त करता है, जो पूरी तरह से एक वर्ल्ड मॉडल के भीतर प्रशिक्षित एजेंटों के लिए उच्चतम है।

डायमंड: डीआईफ्यूजन एज ए मॉडल ऑफ एनवायरनमेंट ड्रीम्स

वर्ल्ड मॉडल या पर्यावरण के जेनरेटिव मॉडल एजेंटों के लिए योजना बनाने और अपने पर्यावरण के बारे में तर्क करने के लिए एक महत्वपूर्ण घटक के रूप में उभर रहे हैं। हालांकि रिनफोर्समेंट लर्निंग का उपयोग हाल के वर्षों में काफी सफलता प्राप्त की है, रिनफोर्समेंट लर्निंग को लागू करने वाले मॉडल नमूना अक्षम होने के लिए जाने जाते हैं, जो उनके वास्तविक दुनिया के अनुप्रयोगों को महत्वपूर्ण रूप से सीमित करता है। दूसरी ओर, वर्ल्ड मॉडल ने विभिन्न पर्यावरणों में रिनफोर्समेंट लर्निंग एजेंटों को प्रशिक्षित करने में अपनी क्षमता का प्रदर्शन किया है, जिसमें नमूना दक्षता में काफी सुधार हुआ है, जिससे मॉडल वास्तविक दुनिया के अनुभवों से सीखने में सक्षम हो जाता है। हाल के वर्ल्ड मॉडलिंग फ्रेमवर्क आमतौर पर पर्यावरण गतिविधियों को विचारों की श्रृंखला के रूप में मॉडल करते हैं, जिसमें मॉडल लेटेंट स्पेस को विचारों को कम करने के लिए विचारों में विभाजित करता है। हालांकि यह दृष्टिकोण महत्वपूर्ण परिणाम प्रदान कर सकता है, यह जानकारी के नुकसान से भी जुड़ा हुआ है, जिससे पुनर्निर्माण की गुणवत्ता और सामान्यता की हानि होती है। जानकारी की हानि वास्तविक दुनिया के दृश्यों के लिए एक महत्वपूर्ण बाधा बन सकती है जिन्हें जानकारी की आवश्यकता होती है, जैसे स्वायत्त वाहनों को प्रशिक्षित करना। ऐसे कार्यों में, विजुअल इनपुट में छोटे परिवर्तन या विवरण, जैसे कि ट्रैफिक लाइट का रंग या आगे के वाहन का टर्न इंडिकेटर, एजेंट की नीति को बदल सकते हैं। हालांकि विचारों की संख्या बढ़ाने से जानकारी के नुकसान से बचा जा सकता है, यह गणना लागत को महत्वपूर्ण रूप से बढ़ा देता है।

इसके अलावा, हाल के वर्षों में, डिफ्यूजन मॉडल उच्च-गुणवत्ता वाले इमेज जेनरेशन फ्रेमवर्क के लिए एक प्रमुख दृष्टिकोण के रूप में उभरे हैं। डिफ्यूजन मॉडल नोइज़िंग प्रक्रिया को उलटने के लिए सीखते हैं और विचारों को मॉडलिंग करने वाले अधिक स्थापित दृष्टिकोणों के साथ प्रतिस्पर्धा करते हैं, जो वर्ल्ड मॉडलिंग में विचारों की आवश्यकता को समाप्त करने के लिए एक आशाजनक विकल्प प्रदान करते हैं। डिफ्यूजन मॉडल अपनी स्थिति की स्थिति को सटीक रूप से प्रतिबिंबित करने में सक्षम होने के लिए सशर्त करने की क्षमता के लिए जाने जाते हैं, जो अधिक विश्वसनीय क्रेडिट असाइनमेंट की ओर ले जाता है। इसके अलावा, बहुस्तरीय वितरण को मॉडलिंग करने से एजेंट के लिए प्रशिक्षण दृश्यों की विविधता में वृद्धि होती है, जो इसके समग्र प्रदर्शन में सुधार करता है।

इन विशेषताओं पर निर्माण करते हुए, डायमंड, एक रिनफोर्समेंट लर्निंग एजेंट है जिसे एक डिफ्यूजन वर्ल्ड मॉडल के भीतर प्रशिक्षित किया गया है। डायमंड फ्रेमवर्क अपने डिफ्यूजन वर्ल्ड मॉडल को कुशल और स्थिर बनाने के लिए सावधानी से डिज़ाइन विकल्प बनाता है। फ्रेमवर्क एक गुणात्मक विश्लेषण प्रदान करता है जो इन डिज़ाइन विकल्पों के महत्व को प्रदर्शित करता है। डायमंड एक नए राज्य के साथ एक बेंचमार्क स्थापित करता है – एटारी 100के बेंचमार्क पर 1.46 का मानव सामान्य स्कोर, जो पूरी तरह से एक वर्ल्ड मॉडल के भीतर प्रशिक्षित एजेंटों के लिए उच्चतम है। इमेज स्पेस में काम करने से डायमंड के डिफ्यूजन वर्ल्ड मॉडल को पर्यावरण को सुचारू रूप से प्रतिस्थापित करने की अनुमति मिलती है, जो वर्ल्ड मॉडल और एजेंट व्यवहार के बारे में अधिक अंतर्दृष्टि प्रदान करता है। विशेष रूप से, कुछ खेलों में सुधारित प्रदर्शन महत्वपूर्ण विजुऐल विवरणों के बेहतर मॉडलिंग के लिए जिम्मेदार है। डायमंड फ्रेमवर्क पर्यावरण को एक मानक पीओएमडीपी या आंशिक रूप से दृश्यमान मार्कोव निर्णय प्रक्रिया के रूप में मॉडल करता है, जिसमें एक सेट राज्य, एक सेट विचारों और एक सेट इमेज अवलोकन होते हैं। ट्रांज़िशन फंक्शन पर्यावरण गतिविधियों का वर्णन करते हैं, और रिवार्ड फंक्शन ट्रांज़िशन को स्केलर रिवार्ड में मैप करता है।

डायमंड: पद्धति और वास्तुकला

डिफ्यूजन मॉडल एक प्रकार के जेनरेटिव मॉडल हैं जो एक नमूना को नोइज़िंग प्रक्रिया को उलटने से उत्पन्न करते हैं और गैर-संतुलन थर्मोडायनामिक्स से भारी प्रेरणा लेते हैं। डायमंड फ्रेमवर्क एक निरंतर समय चर द्वारा सूचीबद्ध एक डिफ्यूजन प्रक्रिया पर विचार करता है, जिसमें संबंधित मार्जिनल और सीमा स्थितियों के साथ एक ट्रैक्टेबल अनस्ट्रक्चर्ड प्रायर वितरण होता है। इसके अलावा, एक जेनरेटिव मॉडल प्राप्त करने के लिए, जो शोर से डेटा तक मैप करता है, डायमंड फ्रेमवर्क को प्रक्रिया को उलटने की आवश्यकता है, जिसमें उलटने की प्रक्रिया भी एक डिफ्यूजन प्रक्रिया है जो समय में पीछे की ओर चलती है। इसके अलावा, किसी भी समय, स्कोर फंक्शन का अनुमान लगाना आसान नहीं है क्योंकि डायमंड फ्रेमवर्क वास्तविक स्कोर फंक्शन तक पहुंच नहीं रखता है, और मॉडल इस बाधा को पार करने के लिए स्कोर मिलान उद्देश्य को लागू करता है, जो एक फ्रेमवर्क को स्कोर मॉडल को प्रशिक्षित करने की अनुमति देता है बिना अंतर्निहित स्कोर फंक्शन को जाने। स्कोर-आधारित डिफ्यूजन मॉडल एक अनशर्त जेनरेटिव मॉडल प्रदान करता है। हालांकि, पर्यावरण गतिविधियों के एक सशर्त जेनरेटिव मॉडल की आवश्यकता होती है जो एक वर्ल्ड मॉडल के रूप में कार्य कर सके, और इस उद्देश्य को पूरा करने के लिए, डायमंड फ्रेमवर्क पीओएमडीपी दृष्टिकोण के सामान्य मामले को देखता है, जिसमें फ्रेमवर्क पिछले अवलोकनों और क्रियाओं का उपयोग अज्ञात मार्कोवियन राज्य को अनुमानित करने के लिए कर सकता है। जैसा कि फिगर 1 में दिखाया गया है, डायमंड फ्रेमवर्क इस इतिहास का उपयोग एक डिफ्यूजन मॉडल को सशर्त बनाने के लिए करता है, जो अगले अवलोकन को सीधे अनुमानित और उत्पन्न करने के लिए उपयोग किया जाता है। हालांकि डायमंड फ्रेमवर्क सिद्धांत रूप में किसी भी एसडीई या ओडीई सॉल्वर का उपयोग कर सकता है, डिफ्यूजन मॉडल के अनुमान लागत पर एनएफई और नमूना गुणवत्ता के बीच एक ट्रेड-ऑफ है।

उपरोक्त ज्ञान पर निर्माण करते हुए, आइए अब डिफ्यूजन-आधारित वर्ल्ड मॉडल के डायमंड फ्रेमवर्क के व्यावहारिक कार्यान्वयन पर एक नज़र डालें, जिसमें एक विशिष्ट डिफ्यूजन दृष्टिकोण के लिए ड्रिफ्ट और डिफ्यूजन सहग होते हैं। फ्रेमवर्क एक वास्तविक मूल्य वाले फंक्शन के साथ एक विकृति अनुसूची के साथ एक विकृति कर्नल का चयन करता है, जिसे डिफ्यूजन समय कहा जाता है। फ्रेमवर्क इनपुट और आउटपुट वेरिएंस को किसी भी वॉयस स्तर के लिए स्थिर रखने के लिए प्रीस्केलर्स का चयन करता है। नेटवर्क प्रशिक्षण शोर और सिग्नल को अनुकूल रूप से मिलाता है, जो डिग्रेडेशन स्तर पर निर्भर करता है, और जब शोर कम होता है, तो लक्ष्य साफ और विकृत सिग्नल के बीच का अंतर होता है, अर्थात जोड़ा गया गॉसियन शोर।直观 रूप से, यह कम-शोर रिजीम में प्रशिक्षण उद्देश्य को तुच्छ बनाने से रोकता है। व्यवहार में, यह उद्देश्य शोर अनुसूची के चरम पर उच्च-वेरिएंस होता है, इसलिए मॉडल मध्यम-शोर क्षेत्रों के आसपास प्रशिक्षण को केंद्रित करने के लिए एक लॉग-नॉर्मल वितरण से शोर स्तर का नमूना लेता है। डायमंड फ्रेमवर्क वेक्टर फील्ड के लिए एक मानक यू-नेट 2डी घटक का उपयोग करता है और पिछले अवलोकनों और क्रियाओं का एक बफर रखता है जिसे फ्रेमवर्क सशर्त बनाने के लिए उपयोग किया जाता है। डायमंड फ्रेमवर्क तब इन पिछले अवलोकनों को अगले शोर अवलोकन में जोड़ता है और क्रियाओं को यू-नेट के अवशेष ब्लॉकों में अनुकूल समूह सामान्यीकरण परतों के माध्यम से इनपुट करता है।

डायमंड: प्रयोग और परिणाम

व्यापक मूल्यांकन के लिए, डायमंड फ्रेमवर्क एटारी 100के बेंचमार्क का चयन करता है। एटारी 100के बेंचमार्क में 26 खेल शामिल हैं जो एजेंट की विभिन्न क्षमताओं का परीक्षण करने के लिए डिज़ाइन किए गए हैं। प्रत्येक खेल में, एक एजेंट को पर्यावरण में 100के क्रियाओं तक सीमित किया जाता है, जो मानव खेल के लगभग 2 घंटे के बराबर है, सीखने से पहले खेल का मूल्यांकन करने के लिए। तुलना के लिए, अनर्स्ट्रिक्टेड एटारी एजेंट आमतौर पर 50 मिलियन कदमों के लिए प्रशिक्षित होते हैं, जो अनुभव में 500 गुना वृद्धि का प्रतिनिधित्व करता है। हमने प्रत्येक खेल के लिए 5 यादृच्छिक बीज का उपयोग करके डायमंड को शुरू से प्रशिक्षित किया। प्रत्येक प्रशिक्षण रन में लगभग 12 जीबी वीआरएएम की आवश्यकता थी और एक एकल एनवीडिया आरटीएक्स 4090 पर लगभग 2.9 दिनों का समय लिया, जो कुल 1.03 जीपीयू वर्षों के बराबर था। निम्नलिखित तालिका सभी खेलों के लिए स्कोर, मानव-सामान्य स्कोर के लिए माध्य, और मानव-सामान्य स्कोर के लिए इंटरक्वार्टाइल मीन प्रदान करती है।

बिंदु अनुमानों की सीमाओं का पालन करते हुए, डायमंड फ्रेमवर्क मानव-सामान्य स्कोर के माध्य और इंटरक्वार्टाइल मीन में स्ट्रेटिफाइड बूटस्ट्रैप आत्मविश्वास प्रदान करता है, साथ ही प्रदर्शन प्रोफाइल और अतिरिक्त मेट्रिक्स, जैसा कि निम्नलिखित आंकड़े में सारांशित किया गया है।

परिणामों से पता चलता है कि डायमंड बेंचमार्क में असाधारण रूप से अच्छा प्रदर्शन करता है, 11 खेलों में मानव खिलाड़ियों को पार करता है और 1.46 का मानव-सामान्य स्कोर प्राप्त करता है, जो पूरी तरह से एक वर्ल्ड मॉडल के भीतर प्रशिक्षित एजेंटों के लिए एक नया रिकॉर्ड स्थापित करता है। इसके अलावा, डायमंड का इंटरक्वार्टाइल मीन एसटीओआरएम के बराबर है और सभी अन्य बेसलाइन से अधिक है। डायमंड उन पर्यावरणों में उत्कृष्ट प्रदर्शन करता है जहां छोटे विवरणों को पकड़ना महत्वपूर्ण है, जैसे कि एस्टरिक्स, ब्रेकआउट, और रोड रनर। इसके अलावा, जैसा कि पहले चर्चा की गई थी, डायमंड फ्रेमवर्क के पास अपने पाइपलाइन में किसी भी डिफ्यूजन मॉडल को लागू करने की लचीलापन है, हालांकि यह ईडीएम दृष्टिकोण का चयन करता है, यह डीडीपीएम मॉडल के लिए एक प्राकृतिक विकल्प होगा क्योंकि यह पहले से ही कई इमेज जेनरेटिव अनुप्रयोगों में लागू किया जा रहा है। ईडीएम दृष्टिकोण की तुलना डीडीपीएम कार्यान्वयन से करने के लिए, डायमंड फ्रेमवर्क दोनों वेरिएंट को एक ही नेटवर्क आर्किटेक्चर के साथ एक ही साझा स्थिर डेटासेट पर प्रशिक्षित करता है, जिसमें 100के से अधिक फ्रेम शामिल हैं जो एक विशेषज्ञ नीति के साथ एकत्र किए गए हैं। डेनोइज़िंग चरणों की संख्या सीधे तौर पर वर्ल्ड मॉडल की अनुमान लागत से संबंधित है, और इसलिए कम चरणों का उपयोग करने से प्रशिक्षण लागत को कम किया जा सकता है। हालांकि, डेनोइज़िंग चरणों की संख्या को बहुत कम सेट करने से दृश्य गुणवत्ता में गिरावट आ सकती है, जिससे त्रुटियों का संचय हो सकता है। विभिन्न डिफ्यूजन वेरिएंट की स्थिरता का मूल्यांकन करने के लिए, हम त = 1000 टाइमस्टेप तक स्व-सर्गम्य रूप से उत्पन्न काल्पनिक ट्रैजेक्टरी प्रदर्शित करते हैं, विभिन्न डेनोइज़िंग चरणों की संख्या n ≤ 10 का उपयोग करते हुए।

हम देखते हैं कि डीडीपीएम (ए) का उपयोग करने से इस शासन में गंभीर त्रुटियों का संचय होता है, जिससे वर्ल्ड मॉडल जल्दी से वितरित हो जाता है। इसके विपरीत, ईडीएम-आधारित डिफ्यूजन वर्ल्ड मॉडल (बी) लंबे समय तक बहुत अधिक स्थिर रहता है, यहां तक कि एक ही डेनोइज़िंग चरण के साथ भी। डीडीपीएम (बाएं) और ईडीएम (दाएं) पर आधारित डिफ्यूजन वर्ल्ड मॉडल के साथ उत्पन्न काल्पनिक ट्रैजेक्टरी दिखाई गई हैं। प्रारंभिक अवलोकन t = 0 दोनों के लिए समान है, और प्रत्येक पंक्ति डेनोइज़िंग चरणों की घटती संख्या n को दर्शाती है। हम देखते हैं कि डीडीपीएम-आधारित पीढ़ी में त्रुटियों का संचय होता है, जिसमें डेनोइज़िंग चरणों की कम संख्या तेजी से त्रुटि संचय की ओर ले जाती है। इसके विपरीत, डायमंड का ईडीएम-आधारित वर्ल्ड मॉडल बहुत अधिक स्थिर रहता है, यहां तक कि n = 1 के लिए भी। एकल-चरण पूर्वानुमान एक दिए गए शोर इनपुट के लिए संभावित पुनर्निर्माण के लिए अपेक्षा है, जो बहुस्तरीय होने पर वितरित हो सकता है। जबकि कुछ खेल, जैसे कि ब्रेकआउट, निर्धारित संक्रमण हैं जिन्हें एकल-चरण पुनर्निर्माण द्वारा सटीक रूप से मॉडल किया जा सकता है, अन्य खेल आंशिक रूप से दृश्यमान हैं जो बहुस्तरीय अवलोकन वितरण की ओर ले जाते हैं। इन मामलों में, एक पुनरावृत्त सॉल्वर आवश्यक है जो नमूना प्रक्रिया को एक विशिष्ट मोड की ओर मार्गदर्शन करे, जैसा कि बॉक्सिंग खेल में दिखाया गया है। तदनुसार, डायमंड फ्रेमवर्क ने अपने सभी प्रयोगों में n = 3 सेट किया है।

उपरोक्त आंकड़े में बॉक्सिंग में एकल-चरण (शीर्ष पंक्ति) और बहु-चरण (नीचे की पंक्ति) नमूना तुलना की जा रही है। काले खिलाड़ी की गतिविधियों का अनुमान लगाना मुश्किल है, जिससे एकल-चरण शोर हटाने से संभावित परिणामों के बीच अंतर करने की ओर जाता है, जिससे धुंधली भविष्यवाणी होती है। इसके विपरीत, बहु-चरण नमूना एक स्पष्ट छवि का उत्पादन करता है जो पीढ़ी को एक विशिष्ट मोड की ओर मार्गदर्शन करता है। दिलचस्प बात यह है कि चूंकि नीति सफेद खिलाड़ी को नियंत्रित करती है, उनकी क्रियाएं वर्ल्ड मॉडल के लिए ज्ञात हैं, जिससे अस्पष्टता को समाप्त किया जा सकता है। इसलिए, एकल-चरण और बहु-चरण नमूना दोनों ही सफेद खिलाड़ी की स्थिति की सटीक भविष्यवाणी करते हैं।

उपरोक्त आंकड़े में, डायमंड द्वारा कल्पना की गई ट्रैजेक्टरी आमतौर पर आईआरआईएस द्वारा कल्पना की गई ट्रैजेक्टरी की तुलना में उच्च दृश्य गुणवत्ता और वास्तविक पर्यावरण के लिए अधिक वफादार होती हैं। आईआरआईएस द्वारा उत्पन्न ट्रैजेक्टरी में फ्रेम के बीच दृश्य असंगतताएं होती हैं (सफेद बक्से द्वारा हाइलाइट किया जाता है), जैसे कि दुश्मनों को पुरस्कार के रूप में प्रदर्शित किया जाता है और इसके विपरीत। हालांकि ये असंगतताएं केवल कुछ पिक्सेल को प्रभावित कर सकती हैं, वे एक ऑप्टिमल नीति सीखने के लिए एजेंट के लिए चुनौतीपूर्ण बना सकती हैं। आंकड़े में आईआरआईएस (बाएं) और डायमंड (दाएं) के साथ उत्पन्न क्रमिक फ्रेम दिखाए गए हैं। सफेद बक्से फ्रेम के बीच असंगतताओं को हाइलाइट करते हैं, जो केवल आईआरआईएस द्वारा उत्पन्न ट्रैजेक्टरी में दिखाई देते हैं। एस्टरिक्स (शीर्ष पंक्ति) में, एक दुश्मन (नारंगी) दूसरे फ्रेम में एक पुरस्कार (लाल) बन जाता है, फिर तीसरे फ्रेम में एक दुश्मन में वापस आ जाता है, और चौथे फ्रेम में फिर से एक पुरस्कार में बदल जाता है। ब्रेकआउट (मध्य पंक्ति) में, ईंटों और स्कोर के बीच फ्रेम असंगत हैं। रोड रनर (नीचे की पंक्ति) में, सड़क पर छोटे नीले बिंदु (पुरस्कार) फ्रेम के बीच असंगत रूप से प्रदर्शित होते हैं। ये असंगतताएं डायमंड में नहीं होती हैं। ब्रेकआउट में, स्कोर विश्वसनीय रूप से लाल ईंट तोड़ने पर +7 द्वारा अपडेट किया जाता है।

निष्कर्ष

इस लेख में, हमने डायमंड के बारे में बात की है, जो एक रिनफोर्समेंट लर्निंग एजेंट है जिसे एक डिफ्यूजन वर्ल्ड मॉडल के भीतर प्रशिक्षित किया गया है। डायमंड फ्रेमवर्क अपने डिफ्यूजन वर्ल्ड मॉडल को कुशल और स्थिर बनाने के लिए सावधानी से डिज़ाइन विकल्प बनाता है। फ्रेमवर्क एक गुणात्मक विश्लेषण प्रदान करता है जो इन डिज़ाइन विकल्पों के महत्व को प्रदर्शित करता है। डायमंड एक नए राज्य के साथ एक बेंचमार्क स्थापित करता है – एटारी 100के बेंचमार्क पर 1.46 का मानव सामान्य स्कोर, जो पूरी तरह से एक वर्ल्ड मॉडल के भीतर प्रशिक्षित एजेंटों के लिए उच्चतम है। इमेज स्पेस में काम करने से डायमंड के डिफ्यूजन वर्ल्ड मॉडल को पर्यावरण को सुचारू रूप से प्रतिस्थापित करने की अनुमति मिलती है, जो वर्ल्ड मॉडल और एजेंट व्यवहार के बारे में अधिक अंतर्दृष्टि प्रदान करता है। विशेष रूप से, कुछ खेलों में सुधारित प्रदर्शन महत्वपूर्ण विजुऐल विवरणों के बेहतर मॉडलिंग के लिए जिम्मेदार है। डायमंड फ्रेमवर्क पर्यावरण को एक मानक पीओएमडीपी या आंशिक रूप से दृश्यमान मार्कोव निर्णय प्रक्रिया के रूप में मॉडल करता है, जिसमें एक सेट राज्य, एक सेट विचारों और एक सेट इमेज अवलोकन होते हैं। ट्रांज़िशन फंक्शन पर्यावरण गतिविधियों का वर्णन करते हैं, और रिवार्ड फंक्शन ट्रांज़िशन को स्केलर रिवार्ड में मैप करता है।