आर्टिफ़िशियल मैकेनिकल टर्क्स का निर्माण प्रीट्रेन्ड लैंग्वेज मॉडल्स के साथ

मशीन लर्निंग सिस्टम्स के विकास का एक बड़ा हिस्सा डेटा के लेबलिंग पर निर्भर करता है, जहां सैकड़ों, यहां तक कि हजारों प्रश्न (जैसे कि क्या यह एक बिल्ली की तस्वीर है? और क्या यह पाठ अपमानजनक है? ) को निर्धारित करने के लिए विकसित करने के लिए प्राधिकरण डेटासेट पर एआई सिस्टम को प्रशिक्षित करने के लिए निर्धारित किया जाना चाहिए।

हालांकि हम सभी इस प्रक्रिया में कुछ बिंदु पर योगदान करते हैं, इन लेबलिंग कार्यों का अधिकांश भाग पैसे के लिए अमेज़ॅन मैकेनिकल टर्क जैसे फ्रेमवर्क में मानव श्रमिकों द्वारा किया जाता है, जहां एनोटेटर छोटे वर्गीकरण कार्यों को पीस-वर्क अर्थव्यवस्था में पूरा करते हैं।

मॉडल विकास कम खर्चीला होगा यदि प्रीट्रेन्ड लैंग्वेज मॉडल (पीएलएम) स्वयं एएमटी और समान प्लेटफ़ॉर्म पर वर्तमान में भीड़स्रोत वाले मानव बुद्धिमत्ता कार्यों (एचआईटी) के कुछ अधिक मूलभूत कार्यों को स्वयं कर सकते हैं।

हाल के जर्मनी और हुआवे से शोध में यह प्रस्तावित किया गया है, पेपर एलएमटुर्क: फ्यू-शॉट लर्नर्स को क्राउडसोर्सिंग वर्कर्स के रूप में में।

फ्यू-शॉट लर्निंग करने वाले भाषा मॉडल

लेखकों का सुझाव है कि मानव टर्क श्रमिकों को निर्देशित कार्यों के सरल स्तर वास्तव में फ्यू-शॉट लर्निंग के समान हैं, जहां एक स्वचालित फ्रेमवर्क को कुछ उदाहरणों के आधार पर एक मिनी-कार्य का निर्णय लेना होता है।

वे इसलिए प्रस्तावित करते हैं कि एआई सिस्टम मौजूदा पीएलएम से प्रभावी ढंग से सीख सकते हैं जो मूल रूप से भीड़स्रोत श्रमिकों द्वारा प्रशिक्षित किए गए थे – कि मानवों से मशीनों में स्थानांतरित किए गए मूल ज्ञान को प्रभावी ढंग से पूरा किया गया है, और जहां ऐसा ज्ञान अपेक्षाकृत अपरिवर्तनीय या कुछ तरीके से सांविदानिक है, स्वचालित भाषा मॉडल फ्रेमवर्क इन कार्यों को स्वयं कर सकते हैं।

‘हमारा मूल विचार यह है कि एक एनएलपी कार्य टी के लिए, हम फ्यू-शॉट लर्नर्स को गैर-विशेषज्ञ श्रमिकों के रूप में मानते हैं, जो मानव भाषा प्रौद्योगिकी के लिए संसाधनों को एनोटेट करने वाले भीड़स्रोत श्रमिकों के समान हैं। हम इस तथ्य से प्रेरित हैं कि हम एक भीड़स्रोत श्रमिक को एक प्रकार के फ्यू-शॉट लर्नर के रूप में देख सकते हैं। ‘

इसके परिणामों में यह संभावना शामिल है कि भविष्य के एआई सिस्टम पर निर्भर कई मूल सत्य मानवों द्वारा काफी समय पहले प्राप्त किए गए होंगे, और बाद में पूर्व-मान्य और शोषित जानकारी के रूप में माना जाता है जिसके लिए मानव हस्तक्षेप की अब आवश्यकता नहीं है।

मध्य-श्रेणी, अर्ध-प्रदर्शन भाषा मॉडल के लिए नौकरियां

मानवों-इन-द-लूप की लागत को कम करने के प्रेरणा के अलावा, शोधकर्ता सुझाव देते हैं कि ‘मध्य-श्रेणी’ पीएलएम का उपयोग ‘वास्तव में’ मैकेनिकल टर्क के रूप में उपयोगी काम प्रदान करता है, जो ‘अल्सो रैन’ सिस्टम हैं जो बढ़ते रूप से जीपीटी -3 जैसे हेडलाइन-ग्रैबिंग, हाइपरस्केल और महंगे भाषा मॉडल द्वारा प्रभावित हो रहे हैं, जो ऐसे कार्यों के लिए बहुत महंगे और ओवर-स्पेक्ड हैं।

‘हमारा लक्ष्य इस पत्र में विधियों को विकसित करना है जो वर्तमान फ्यू-शॉट लर्नर्स का अधिक प्रभावी उपयोग करते हैं। यह महत्वपूर्ण है क्योंकि विशाल फ्यू-शॉट लर्नर्स की बढ़ती संख्या प्रशिक्षित हो रही है; उन्हें प्रभावी ढंग से उपयोग करना इस प्रकार एक महत्वपूर्ण प्रश्न है। विशेष रूप से, हम एक विकल्प चाहते हैं कि कठिनाई से तैनात बड़े मॉडल। ‘

‘साथ ही, हम पीएलएम की ताकत का पूरा लाभ उठाना चाहते हैं: उनकी बहुमुखी प्रतिभा व्यापक अनुकूलता सुनिश्चित करती है; उनके द्वारा सीखे गए भाषा और दुनिया के ज्ञान का विशाल भंडार (पूर्व-प्रशिक्षण में सीखा गया) फ्यू-शॉट लर्नर्स की डेटा दक्षता में प्रकट होता है, जो डेटा एनोटेशन में श्रम और समय की खपत को कम करता है। ‘

अब तक, लेखकों का तर्क है कि एनएलपी में फ्यू-शॉट लर्नर्स को उच्च-स्तरीय प्राकृतिक भाषा प्रणालियों के मार्ग पर अस्थायी अंतराल चरण के रूप में माना जाता है जो बहुत अधिक संसाधन गहन हैं, और ऐसा काम अमूर्त रूप से और इन प्रणालियों के संभावित उपयोगिता के बिना किया गया है।

विधि

लेखक एलएमटुर्क (भाषा मॉडल को मैकेनिकल टर्क के रूप में) प्रदान करते हैं, जिसमें इस स्वचालित हिट से इनपुट एक मध्य-स्तरीय एनएलपी मॉडल के लिए लेबल प्रदान करता है।

एलएमटुर्क के लिए एक बुनियादी अवधारणा मॉडल। स्रोत: https://arxiv.org/pdf/2112.07522.pdf

यह पहली पुनरावृत्ति कुछ मानव-लेबल वाले ‘गोल्ड’ डेटा पर निर्भर करती है, जहां मांसवेयर टर्क ने सीमित संख्या में कार्यों के लिए लेबल एनोटेट किए हैं, और लेबल को अच्छी तरह से स्कोर किया गया है, या तो सीधे मानव पर्यवेक्षण के माध्यम से या सहमति वोटिंग के माध्यम से। इस योजना का अर्थ यह है कि इस मानव-आधारित प्रारंभिक बिंदु से फोर्क या विकास को बाद में मानव इनपुट की आवश्यकता नहीं हो सकती है।

हालांकि लेखक बाद के हाइब्रिड मॉडल के साथ प्रयोग करने का सुझाव देते हैं (जहां मानव इनपुट मौजूद होगा, लेकिन बहुत कम), उन्होंने अपने शोध के उद्देश्यों के लिए एलएमटुर्क मॉडल को मानव-उत्पन्न हिट श्रमिकों से प्राप्त परिणामों के खिलाफ नहीं पिटा, यह देखते हुए कि सोने के लेबल वाले डेटा स्वयं ‘मानव इनपुट’ है।

टर्क संचालन करने के लिए डिज़ाइन किए गए पीएलएम को पी-ट्यूनिंग द्वारा कार्य के लिए अनुकूलित किया गया था, जो 2021 में चीन के शोधकर्ताओं द्वारा प्रकाशित एक विधि है, जिसने प्राकृतिक भाषा समझ (एनएलयू) कार्यों पर जीपीटी -3 शैली के मॉडल के प्रदर्शन में सुधार के लिए प्रशिक्षण योग्य निरंतर प्रॉम्प्ट एम्बेडिंग का प्रस्ताव किया।

पी-ट्यूनिंग जीपीटी-शैली के मॉडल की भविष्यवाणी शक्ति और भाषा की概念UAL समझ की उपस्थिति को एम्बेडेड प्सेवдо-प्रॉम्प्ट्स को शामिल करके गहरा करने का प्रयास करता है। इस मामले में, प्रारंभिक प्रश्न ‘ब्रिटेन की राजधानी एक [x]’ है। स्रोत: https://arxiv.org/pdf/2103.10385.pdf

डेटा और वास्तुकला

एलएमटुर्क का मूल्यांकन पांच डेटासेट पर किया गया था: स्टैनफोर्ड सेंटिमेंट ट्रीबैंक के दो; एगी के न्यूज़ कॉर्पस; टेक्स्टुअल एंटेलमेंट (आरटीई); और लिंग्विस्टिक एक्सेप्टेबिलिटी (कोला) का कॉर्पस।

अपने बड़े मॉडल के लिए, एलएमटुर्क पब्लिकली उपलब्ध पीएलएम एएलबीईआरटी-एक्सएक्सलार्ज-वी2 (एएक्सएलवी2) का उपयोग करता है जिसे एक स्वचालित टर्क में परिवर्तित करने के लिए स्रोत मॉडल के रूप में किया जाता है। मॉडल में 223 मिलियन पैरामीटर (जीपीटी -3 में 175 बिलियन पैरामीटर की तुलना में) हैं। एएक्सएलवी2, लेखकों का अवलोकन, उच्च स्तर के मॉडल जैसे 334एम बीईआरटी-लार्ज को पूरा करने में सक्षम साबित हुआ है।

एक अधिक चुस्त, हल्के और एज-तैनात मॉडल के लिए, परियोजना में टीबीजी (टिनीबीईआरटी-जनरल-4एल-312डी) का उपयोग किया जाता है, जिसमें 14.5 मिलियन पैरामीटर होते हैं जो बीईआरटी-बेस (जिसमें 110 मिलियन पैरामीटर होते हैं) के प्रदर्शन के समान होते हैं।

प्रॉम्प्ट-एबल्ड प्रशिक्षण पाइटोर्च और हगिंगफेस पर एएक्सएलवी2 के लिए 100 बैच चरणों पर 13 के बैच आकार पर 5ई -4 की लर्निंग दर पर हुआ, जिसमें रैखिक क्षय हुआ। प्रत्येक प्रयोग को तीन अलग-अलग यादृच्छिक बीज के साथ शुरू किया गया था।

परिणाम

एलएमटुर्क परियोजना विभिन्न मॉडलों को इतने सारे विशिष्ट एनएलपी उप-क्षेत्रों के खिलाफ चलाती है कि शोधकर्ताओं के प्रयोगों के जटिल परिणाम एलएमटुर्क के रूप में एक व्यवहार्य दृष्टिकोण के लिए स्वयं साक्ष्य प्रदान नहीं करते हैं।

हालांकि, मूल्यांकन के उद्देश्यों के लिए, लेखक अपनी विधि की तुलना दो पूर्व कार्यों से करते हैं: क्लोज़ प्रश्नों का शोषण फ्यू-शॉट पाठ वर्गीकरण और प्राकृतिक भाषा अनुमान के लिए जर्मन शोधकर्ता टिमो शिक और हिनरिच शुट्ज़ द्वारा; और प्रॉम्प्ट-आधारित ऑटो से परिणाम, प्रीट्रेन्ड लैंग्वेज मॉडल को बेहतर फ्यू-शॉट लर्नर बनाना गाओ, चेन और फिश (क्रमशः प्रिंसटन और एमआईटी से) द्वारा。

एलएमटुर्क प्रयोगों के परिणाम, शोधकर्ताओं ने ‘तुलनात्मक’ प्रदर्शन की सूचना दी।

संक्षेप में, एलएमटुर्क उन शोधकर्ताओं के लिए एक अपेक्षाकृत आशाजनक दृष्टिकोण प्रदान करता है जो सोने के लेबल वाले मानव-मूल के डेटा को विकसित हो रहे मध्य-जटिलता वाले भाषा मॉडल में निहित और प्रतिष्ठित करना चाहते हैं।

जैसा कि इस क्षेत्र में पहले के काम के साथ, केंद्रीय अवधारणा मूल मानव डेटा की अपरिवर्तनीयता पर निर्भर करती है, और यह धारणा कि समय संबंधी कारक – जो एनएलपी विकास में महत्वपूर्ण बाधाएं प्रस्तुत कर सकते हैं – मशीन-मात्र वंश के विकसित होने के रूप में मानव हस्तक्षेप की आगे आवश्यकता नहीं होगी।

मूल रूप से 30 दिसंबर 2022 को प्रकाशित