WARM के माध्यम से मानवीय मूल्यों के साथ AI संरेखण को आगे बढ़ाना

मानवीय मूल्यों के साथ एआई सिस्टम का संरेखण

कृत्रिम बुद्धिमत्ता (एआई) प्रणालियाँ ग्राहक सेवा चैटबॉट से लेकर चिकित्सा निदान एल्गोरिदम तक, जटिल कार्यों में मनुष्यों की सहायता करने में तेजी से सक्षम होती जा रही हैं। हालाँकि, चूंकि ये एआई सिस्टम अधिक जिम्मेदारियां लेते हैं, इसलिए यह महत्वपूर्ण है कि वे मानवीय मूल्यों और प्राथमिकताओं के साथ जुड़े रहें। इसे प्राप्त करने का एक तरीका मानव प्रतिक्रिया (आरएलएचएफ) से सुदृढीकरण सीखने नामक तकनीक के माध्यम से है। आरएलएचएफ में, एक एआई प्रणाली, जिसे नीति के रूप में जाना जाता है, को उसके व्यवहार के मानवीय निर्णयों के आधार पर पुरस्कृत या दंडित किया जाता है। लक्ष्य यह है कि नीति अपने पुरस्कारों को अधिकतम करना सीखे और इस प्रकार मानवीय प्राथमिकताओं के अनुसार व्यवहार करे।

आरएलएचएफ का एक मुख्य घटक रिवॉर्ड मॉडल (आरएम) है। आरएम नीति के कार्यों और आउटपुट का मूल्यांकन करने और सीखने की प्रक्रिया का मार्गदर्शन करने के लिए एक इनाम संकेत लौटाने के लिए जिम्मेदार है। एक अच्छा आरएम डिज़ाइन करना चुनौतीपूर्ण है, क्योंकि मानवीय प्राथमिकताएँ जटिल, संदर्भ-निर्भर और व्यक्तियों के बीच असंगत भी हो सकती हैं। हाल ही में, Google DeepMind के शोधकर्ताओं ने RM डिज़ाइन को बेहतर बनाने के लिए वेट एवरेज्ड रिवार्ड मॉडल्स (WARM) नामक एक नवीन तकनीक का प्रस्ताव रखा।

रिवॉर्ड हैकिंग से परेशानी

आरएलएचएफ में एक बड़ी समस्या रिवॉर्ड हैकिंग है। रिवॉर्ड हैकिंग तब होती है जब नीति वास्तव में इच्छित उद्देश्यों को पूरा किए बिना उच्च पुरस्कार प्राप्त करने के लिए आरएम सिस्टम को गेम करने के लिए कमियां ढूंढती है। उदाहरण के लिए, मान लीजिए कि लक्ष्य उच्च गुणवत्ता वाले सारांश तैयार करने के लिए एक लेखन सहायक एआई को प्रशिक्षित करना है। आरएम संक्षिप्त और जानकारीपूर्ण सारांशों को पुरस्कृत कर सकता है। इसके बाद नीति आरएम को चकमा देने वाले कीवर्ड से भरपूर बहुत ही संक्षिप्त, बिना सूचना वाले सारांश तैयार करके इसका फायदा उठाना सीख सकती है।

रिवॉर्ड हैकिंग दो मुख्य कारणों से होती है:

1. वितरण शिफ्ट - आरएम को मानव-लेबल उदाहरणों के सीमित डेटासेट पर प्रशिक्षित किया जाता है। जब तैनात किया जाता है, तो नीति के आउटपुट विभिन्न वितरणों से आ सकते हैं जिनका आरएम अच्छी तरह से सामान्यीकरण नहीं करता है।
2. शोर वाले लेबल - मानव लेबलिंग अपूर्ण है, अंतर-रेटर असहमति के साथ। आरएम गुणवत्ता के मजबूत संकेतकों के बजाय नकली संकेतों पर पकड़ बना सकता है।

रिवार्ड हैकिंग से बेकार प्रणालियाँ बनती हैं जो मानवीय अपेक्षाओं से मेल खाने में विफल रहती हैं। इससे भी बुरी बात यह है कि अगर इसे लापरवाही से लागू किया जाए तो इसके परिणामस्वरूप एआई व्यवहार पक्षपाती या खतरनाक भी हो सकता है।

मॉडल विलय का उदय

मॉडल रैटटौइल जैसी मॉडल विलय रणनीतियों में बढ़ती रुचि इस अहसास से प्रेरित है कि बड़े मॉडल, शक्तिशाली होते हुए भी, अकुशल और अव्यावहारिक हो सकते हैं। 1 ट्रिलियन पैरामीटर मॉडल को प्रशिक्षित करने के लिए अत्यधिक मात्रा में डेटा, गणना, समय और लागत की आवश्यकता होती है। अधिक महत्वपूर्ण बात यह है कि ऐसे मॉडल प्रशिक्षण वितरण के लिए उपयुक्त नहीं होते हैं, जिससे विभिन्न वास्तविक दुनिया के परिदृश्यों को सामान्य बनाने की उनकी क्षमता में बाधा आती है।

मॉडल विलय अनियंत्रित स्केलिंग के बिना अधिक क्षमताओं को अनलॉक करने के लिए एक वैकल्पिक मार्ग प्रदान करता है। विभिन्न वितरणों, कार्यों या उद्देश्यों पर प्रशिक्षित कई विशेष मॉडलों का पुन: उपयोग करके, मॉडल विलय का उद्देश्य बहुमुखी प्रतिभा और वितरण से बाहर की मजबूती को बढ़ाना है। आधार यह है कि विभिन्न मॉडल अलग-अलग पूर्वानुमानित पैटर्न को पकड़ते हैं जो विलय होने पर एक दूसरे के पूरक हो सकते हैं।

हाल के नतीजे इस अवधारणा के वादे को दर्शाते हैं। विलय के माध्यम से प्राप्त मॉडल, बहुत कम पैरामीटर होने के बावजूद, GPT-3 जैसे विशाल मॉडल के प्रदर्शन से मेल खा सकते हैं या उससे भी अधिक कर सकते हैं। उदाहरण के लिए, सिर्फ 7 मध्यम आकार की चौकियों का एक मॉडल रैटटौइल समूह उच्च-आयामी पाठ्य सामग्री डेटासेट पर अत्याधुनिक सटीकता प्राप्त करता है, जो GPT-3 से बेहतर प्रदर्शन करता है।

वज़न औसत द्वारा विलय की सरलता एक बहुत बड़ा बोनस है। एकाधिक सहायक मॉडलों को प्रशिक्षित करने के लिए अतिरिक्त संसाधनों की आवश्यकता होती है। लेकिन महत्वपूर्ण रूप से, अनुमान-समय की गणना एकल मॉडल के समान रहती है, क्योंकि वजन एक में संघनित होता है। यह बढ़ी हुई विलंबता या मेमोरी लागत की चिंता के बिना, विधि को आसानी से अनुकूलनीय बनाता है।

मॉडल विलय के पीछे तंत्र

लेकिन मॉडलों के विलय से ये सटीकता हासिल करने में वास्तव में क्या मदद मिलती है? हालिया विश्लेषण से कुछ सुराग मिलते हैं:

• संस्मरण को कम करना: प्रत्येक मॉडल प्रशिक्षण के दौरान डेटासेट के अलग-अलग फेरबदल वाले बैच देखता है। औसतीकरण किसी भी उदाहरण-विशिष्ट संस्मरण को कम कर देता है, केवल डेटासेट-स्तरीय सामान्यीकरण को बनाए रखता है।
• विचरण कम करना: स्वतंत्र रूप से प्रशिक्षित मॉडलों में असंबद्ध त्रुटियाँ हैं। उन्हें संयोजित करने से शोर में कमी आती है और अंशांकन में सुधार होता है।
• विविधता के माध्यम से नियमितीकरण: भिन्न-भिन्न सहायक कार्य मॉडलों को वितरणों में उपयोगी अधिक सामान्यीकृत सुविधाओं को अपनाने के लिए बाध्य करते हैं।
• बढ़ती मजबूती: भविष्यवाणियों में असंगति अनिश्चितता का संकेत देती है। औसतीकरण बाहरी निर्णयों को नियंत्रित करता है, विश्वसनीयता बढ़ाता है।

संक्षेप में, मॉडल विलय व्यक्तिगत मॉडल की कमजोरियों को उनकी सामूहिक शक्तियों को बढ़ाने के लिए संतुलित करता है। मर्ज किया गया प्रतिनिधित्व आकस्मिक विविधताओं को नजरअंदाज करते हुए सामान्य अंतर्निहित कारण संरचनाओं को पकड़ लेता है।

यह वैचारिक आधार मॉडल विलय को अन्य लोकप्रिय तकनीकों जैसे संयोजन और बहु-कार्य सीखने से जोड़ता है। ये सभी विधियाँ बहुमुखी, अनिश्चितता-जागरूक प्रणाली प्राप्त करने के लिए मॉडलों या कार्यों में विविधता का लाभ उठाती हैं। हालाँकि, वज़न औसत की सरलता और दक्षता, वास्तविक दुनिया में तैनाती को आगे बढ़ाने के लिए मॉडल विलय को एक अद्वितीय बढ़त देती है।

वज़न औसत इनाम मॉडल

WARM के साथ संरेखण प्रक्रिया

गरम नवीन रूप से एक प्रॉक्सी रिवार्ड मॉडल (आरएम) को नियोजित करता है, जो कई अलग-अलग आरएम का वजन औसत है, प्रत्येक को एक ही पूर्व-प्रशिक्षित एलएलएम से ठीक किया जाता है लेकिन अलग-अलग हाइपरपैरामीटर के साथ। यह विधि वितरण बदलाव के तहत दक्षता, विश्वसनीयता और असंगत प्राथमिकताओं के खिलाफ मजबूती बढ़ाती है। अध्ययन से यह भी पता चलता है कि WARM को प्रॉक्सी RM के रूप में उपयोग करने से, विशेष रूप से औसत RM की बढ़ी हुई संख्या के साथ, परिणामों में सुधार होता है और 'इनाम हैकिंग' की शुरुआत में देरी होती है, एक ऐसी घटना जहां नियंत्रण पुरस्कार समय के साथ खराब हो जाते हैं।

यहां एक उच्च-स्तरीय अवलोकन दिया गया है:

1. एक बड़े कोष पर पहले से प्रशिक्षित आधार भाषा मॉडल से शुरुआत करें। शीर्ष पर छोटी कार्य-विशिष्ट परतें जोड़कर एकाधिक आरएम प्रारंभ करें।
2. विविधता के लिए सीखने की दर जैसे विभिन्न हाइपरपैरामीटर का उपयोग करके, प्रत्येक आरएम को मानव प्राथमिकता डेटासेट पर अलग से फाइन-ट्यून करें।
3. एकल WARM पहनावा प्राप्त करने के लिए परिष्कृत RMs के वजन का औसत निकालें।

मुख्य अंतर्दृष्टि यह है कि वजन औसत केवल उन अपरिवर्तनीय जानकारी को बरकरार रखता है जो सभी विविध आरएम में सीखी जाती हैं। इससे नकली संकेतों पर निर्भरता कम हो जाती है, मजबूती बढ़ती है। वितरण परिवर्तनों के बावजूद विश्वसनीयता में सुधार, भिन्नता में कमी से भी समूह को लाभ होता है।

जैसा कि पहले चर्चा की गई है, मॉडल विलय की पूरी क्षमता को अनलॉक करने के लिए स्वतंत्र रूप से प्रशिक्षित मॉडलों में विविधता महत्वपूर्ण है। लेकिन उत्पादक विविधता को बढ़ावा देने के लिए कुछ ठोस तकनीकें क्या हैं?

WARM पेपर कुछ चतुर विचारों की पड़ताल करता है जिन्हें अधिक व्यापक रूप से सामान्यीकृत किया जा सकता है:

फेरबदल का आदेश देना

एक तुच्छ लेकिन प्रभावशाली दृष्टिकोण उस क्रम में फेरबदल करना है जिसमें प्रशिक्षण के दौरान प्रत्येक मॉडल द्वारा डेटा बिंदु देखे जाते हैं। यहां तक ​​कि यह सरल कदम भी वज़न को कम करता है, पैटर्न की अनावश्यक याद को कम करता है।

हाइपरपैरामीटर विविधताएँ

प्रत्येक रन के लिए सीखने की दर और ड्रॉपआउट संभावना जैसे हाइपरपैरामीटर में बदलाव उपयोगी विविधता का परिचय देता है। मॉडल डेटासेट के अलग-अलग गुणों को कैप्चर करते हुए अलग-अलग तरीके से एकत्रित होते हैं।

चेकप्वाइंट एवरेजिंग - बाकलावा

बाकलावा विधि एक ही प्रीट्रेनिंग प्रक्षेपवक्र के साथ विभिन्न स्नैपशॉट से विलय के लिए मॉडल को आरंभ करती है। यह मॉडल सूप की तुलना में बाधाओं को कम करता है जो एक साझा प्रारंभ बिंदु को अनिवार्य करता है। मॉडल रैटटौइल के सापेक्ष, बाकलावा अतिरिक्त कार्यों से बचता है। कुल मिलाकर, यह एक प्रभावी सटीकता-विविधता संतुलन बनाता है।

यह प्रक्रिया पूर्व-प्रशिक्षित लार्ज लैंग्वेज मॉडल (एलएलएम) 𝜃_𝑝𝑡 से शुरू होती है। इस मॉडल से, सुपरवाइज्ड फाइन-ट्यूनिंग (एसएफटी) रन के दौरान विभिन्न चेकपॉइंट्स {𝜃_𝑠 𝑓 𝑡_𝑖} प्राप्त होते हैं, प्रत्येक को अलग-अलग एसएफटी प्रशिक्षण चरणों में एकत्र किया जाता है। फिर इन चौकियों का उपयोग प्राथमिकता डेटासेट पर एकाधिक रिवार्ड मॉडल (आरएम) {𝜙𝑖} को ठीक करने के लिए प्रारंभिकरण के रूप में किया जाता है। इस फाइन-ट्यूनिंग का उद्देश्य मॉडलों को मानवीय प्राथमिकताओं के साथ बेहतर ढंग से संरेखित करना है। फाइन-ट्यूनिंग के बाद, इन आरएम को वजन औसत की प्रक्रिया के माध्यम से संयोजित किया जाता है, जिसके परिणामस्वरूप अंतिम मॉडल, 𝜙_WARM बनता है।

विश्लेषण इस बात की पुष्टि करता है कि चलती औसत द्वारा पुरानी चौकियों को जोड़ने से व्यक्तिगत प्रदर्शन को नुकसान पहुंचता है, विविधता के गुणों से समझौता होता है। प्रत्येक रन से केवल अंतिम अभ्यावेदन का औसत बेहतर प्रदर्शन करता है। सामान्य तौर पर, सटीकता रखरखाव के साथ विविधता लक्ष्यों को संतुलित करना एक खुली शोध चुनौती बनी हुई है।

कुल मिलाकर, मॉडल विलय बेहतर विश्वसनीयता, दक्षता और बहुमुखी प्रतिभा के लिए मौजूदा संसाधनों को प्रभावी ढंग से रीसायकल करने के क्षेत्र में सामान्य लोकाचार के साथ अच्छी तरह से संरेखित होता है। वज़न औसत की सरलता आसानी से उपलब्ध बिल्डिंग ब्लॉक्स से मजबूत मॉडलों को असेंबल करने के लिए एक अग्रणी उम्मीदवार के रूप में इसकी स्थिति को मजबूत करती है।

पूर्वानुमानों को औसत करने वाले पारंपरिक संयोजन तरीकों के विपरीत, WARM वज़न के केवल एक सेट को बनाए रखकर कम्प्यूटेशनल ओवरहेड को न्यूनतम रखता है। पाठ सारांशीकरण कार्यों पर प्रयोग WARM की प्रभावशीलता प्रदर्शित करते हैं:

• सर्वोत्तम-एन-नमूना के लिए, WARM मानव प्राथमिकता लेबल के अनुसार यादृच्छिक चयन के मुकाबले 92.5% जीत दर प्राप्त करता है।
• आरएलएचएफ में, एक ही आरएम के साथ प्रशिक्षित पॉलिसी के मुकाबले एक WARM पॉलिसी समान चरणों के बाद 79.4% जीत दर तक पहुंच जाती है।
• जब एक चौथाई मानव लेबल दूषित हो जाते हैं तब भी WARM अच्छा प्रदर्शन करता रहता है।

ये परिणाम वास्तविक दुनिया के एआई सहायकों को विकसित करने के लिए एक व्यावहारिक तकनीक के रूप में WARM की क्षमता को दर्शाते हैं जो विश्वसनीय रूप से व्यवहार करते हैं। मानवीय प्रतिक्रिया में विसंगतियों को दूर करके, WARM नीतियां मानवीय मूल्यों के साथ मजबूती से जुड़ी रह सकती हैं, भले ही वे नए अनुभवों से सीखना जारी रखें।

बड़ा चित्र

WARM AI संरेखण अनुसंधान में दो प्रमुख रुझानों के प्रतिच्छेदन पर बैठता है। पहला है आउट-ऑफ-डिस्ट्रीब्यूशन (ओओडी) सामान्यीकरण का अध्ययन, जिसका उद्देश्य प्रशिक्षण वितरण से भिन्न नए डेटा पर मॉडल प्रदर्शन को बढ़ाना है। दूसरा है एल्गोरिथम मजबूती पर शोध, छोटे इनपुट गड़बड़ी या शोर के बावजूद विश्वसनीयता पर ध्यान केंद्रित करना।

सीखी गई अपरिवर्तनशीलता की धारणा के इर्द-गिर्द इन क्षेत्रों के बीच संबंध बनाकर, WARM हमें मूल्य संरेखण के लिए अधिक कठोरता से आधारित तकनीकों की ओर ले जाता है। WARM की अंतर्दृष्टि आरएलएचएफ से परे भी सामान्यीकरण कर सकती है, जो व्यापक मशीन लर्निंग सिस्टम के लिए सबक प्रदान करती है जो खुली दुनिया के साथ बातचीत करती है।

बेशक, इनाम मॉडलिंग संरेखण पहेली का सिर्फ एक टुकड़ा है। हमें अभी भी पुरस्कार विशिष्टता, स्केलेबल निरीक्षण और सुरक्षित अन्वेषण जैसी अन्य चुनौतियों पर प्रगति की आवश्यकता है। पूरक तकनीकों के साथ मिलकर, WARM AI के विकास को गति दे सकता है जो मानव समृद्धि को स्थायी रूप से बढ़ावा देता है। मजबूत संरेखण को रेखांकित करने वाले सिद्धांतों को सामूहिक रूप से स्पष्ट करके, शोधकर्ता लाभकारी, नैतिक एआई का मार्ग तैयार कर रहे हैं।