डीपमाइंड और गूगल ब्रेन का लक्ष्य सुदृढीकरण सीखने की दक्षता में सुधार के लिए तरीके बनाना है

सुदृढीकरण सीखने की प्रणालियाँ शक्तिशाली और मजबूत हो सकती हैं, जो प्रशिक्षण के हजारों पुनरावृत्तियों के माध्यम से बेहद जटिल कार्यों को पूरा करने में सक्षम हो सकती हैं। जबकि सुदृढीकरण सीखने के एल्गोरिदम परिष्कृत और कभी-कभी आश्चर्यजनक व्यवहार को सक्षम करने में सक्षम हैं, उन्हें प्रशिक्षित करने में लंबा समय लगता है और बड़ी मात्रा में डेटा की आवश्यकता होती है। ये कारक सुदृढीकरण सीखने की तकनीकों को अप्रभावी बनाते हैं, और हाल ही में अल्फाबेट डीपमाइंड और गूगल ब्रेन की शोध टीमों ने सुदृढीकरण शिक्षण प्रणाली बनाने के अधिक कुशल तरीकों को खोजने का प्रयास किया है।

जैसा कि वेंचरबीट ने रिपोर्ट किया हैसंयुक्त अनुसंधान समूह ने हाल ही में सुदृढीकरण सीखने के प्रशिक्षण को और अधिक कुशल बनाने के तरीकों का प्रस्ताव दिया है। प्रस्तावित सुधारों में से एक एडेप्टिव बिहेवियर पॉलिसी शेयरिंग (एबीपीएस) नामक एक एल्गोरिदम था, जबकि दूसरा यूनिवर्सल वैल्यू फंक्शन एप्रोक्सिमेटर्स (यूवीएफए) नामक एक ढांचा था। एबीपीएस एआई एजेंटों के समूह को उनके अनुकूल रूप से चयनित अनुभवों को साझा करने देता है, जबकि यूवीएफए उन एआई को एक साथ निर्देशित अन्वेषण नीतियों की जांच करने देता है।

एबीपीएस का उद्देश्य किसी मॉडल को प्रशिक्षित करते समय हाइपरपैरामीटर के अनुकूलन में तेजी लाना है। एबीपीएस विभिन्न हाइपरपैरामीटर वाले कई अलग-अलग एजेंटों को अपने व्यवहार नीति अनुभवों को साझा करने की अनुमति देकर इष्टतम हाइपरपैरामीटर खोजने को त्वरित बनाता है। अधिक सटीक होने के लिए, एबीपीएस सुदृढीकरण सीखने वाले एजेंटों को उन कार्यों में से कार्यों का चयन करने देता है जिन्हें नीति ने ठीक माना है और बाद में इसे निम्नलिखित स्थिति के आधार पर इनाम और अवलोकन प्रदान किया जाता है।

एआई सुदृढीकरण एजेंटों को क्षय दर और सीखने की दर जैसे संभावित हाइपरपैरामीटर के विभिन्न संयोजनों के साथ प्रशिक्षित किया जाता है। किसी मॉडल को प्रशिक्षित करते समय, लक्ष्य यह होता है कि मॉडल हाइपरपैरामीटर के संयोजन पर केंद्रित हो जो इसे सर्वोत्तम प्रदर्शन देता है, और इस मामले में वे जो डेटा दक्षता में भी सुधार करते हैं। एक समय में कई एजेंटों को प्रशिक्षित करने और अगले चरण के दौरान तैनात किए जाने वाले केवल एक एजेंट के व्यवहार को चुनने से दक्षता बढ़ जाती है। लक्ष्य एजेंट के पास जो नीति है उसका उपयोग कार्यों का नमूना लेने के लिए किया जाता है। तब बदलावों को एक साझा स्थान के भीतर लॉग किया जाता है, और इस स्थान का लगातार मूल्यांकन किया जाता है ताकि नीति चयन इतनी बार न हो। प्रशिक्षण के अंत में, एजेंटों का एक समूह चुना जाता है और शीर्ष प्रदर्शन करने वाले एजेंटों को अंतिम तैनाती के लिए चुना जाता है।

यूवीएफए के संदर्भ में, यह सुदृढीकरण सीखने की सामान्य समस्याओं में से एक से निपटने का प्रयास करता है, कि कमजोर रूप से प्रबलित एजेंट अक्सर कार्य नहीं सीखते हैं। यूवीएफए एजेंट को एक ही समय में शोषण और अन्वेषण नीतियों का एक अलग सेट सीखकर समस्या को हल करने का प्रयास करता है। कार्यों को अलग करने से एक ढांचा तैयार होता है जो खोजपूर्ण नीतियों को पर्यावरण की खोज जारी रखने की अनुमति देता है जबकि शोषण नीतियां वर्तमान कार्य के लिए इनाम को अधिकतम करने का प्रयास जारी रखती हैं। यूवीएफए की खोजपूर्ण नीतियां एक आधारभूत वास्तुकला के रूप में काम करती हैं जो कोई प्राकृतिक पुरस्कार न मिलने पर भी सुधार करना जारी रखेगी। ऐसी स्थिति में, एक फ़ंक्शन जो आंतरिक पुरस्कारों से मेल खाता है, अनुमानित है, जो एजेंटों को एक वातावरण में सभी राज्यों का पता लगाने के लिए प्रेरित करता है, भले ही वे अक्सर परिचित राज्यों में लौटते हों।

जैसा कि वेंचरबीट ने समझाया, जब यूवीएफए ढांचा चलन में होता है, तो सिस्टम के आंतरिक पुरस्कार सीधे एजेंट को इनपुट के रूप में दिए जाते हैं। फिर एजेंट किसी दिए गए एपिसोड के दौरान सभी इनपुट (जैसे पुरस्कार, कार्रवाई और स्थिति) के प्रतिनिधित्व पर नज़र रखता है। इसका परिणाम यह होता है कि पुरस्कार समय के साथ संरक्षित रहता है और एजेंट की नीति के बारे में हर समय कम से कम कुछ हद तक सूचित किया जाता है।

यह "एपिसोडिक नवीनता" और "जीवन भर नवीनता" मॉड्यूल के उपयोग के साथ पूरा किया गया है। पहले मॉड्यूल का कार्य वर्तमान, एपिसोडिक मेमोरी को पकड़ना और वर्तमान निष्कर्षों को पहले उल्लिखित प्रतिनिधित्व में मैप करना है, जिससे एजेंट को प्रशिक्षण के हर चरण के लिए एक आंतरिक एपिसोडिक इनाम निर्धारित करने की सुविधा मिलती है। इसके बाद, वर्तमान अवलोकन से जुड़ी स्थिति को मेमोरी में जोड़ा जाता है। इस बीच, जीवन भर नवीनता मॉड्यूल यह प्रभावित करने के लिए जिम्मेदार है कि एजेंट कई एपिसोड के दौरान कितनी बार खोज करता है।

अल्फाबेट/गूगल टीमों के अनुसार, नई प्रशिक्षण तकनीकों ने सुदृढीकरण शिक्षण प्रणाली को प्रशिक्षित करते समय पहले से ही पर्याप्त सुधार की क्षमता का प्रदर्शन किया है। यूवीएफए विभिन्न अटारी गेम खेलने वाले कुछ बेस एजेंटों के प्रदर्शन को दोगुना करने में सक्षम था। इस बीच, एबीपीएस कुछ समान अटारी खेलों में प्रदर्शन बढ़ाने में सक्षम रहा, जिससे शीर्ष प्रदर्शन करने वाले एजेंटों के बीच अंतर लगभग 25% कम हो गया। यूवीएफए प्रशिक्षित एल्गोरिदम अपने आप में पिटफॉल में उच्च स्कोर प्राप्त करने में सक्षम था, जिसमें मानव डेमो की किसी भी इंजीनियरी सुविधाओं का अभाव था।