जीपीटी-3: भाषा मॉडल के लिए फ्यू शॉट लर्निंग

पिछले कुछ वर्षों में, एआई और एमएल उद्योग में एनएलपी सिस्टम के विकास और अनुप्रयोग में एक उल्लेखनीय वृद्धि देखी गई है, क्योंकि शोधकर्ताओं ने डाउनस्ट्रीम ट्रांसफर कार्यों के लिए बहुत लचीले और कार्य-एज्नोस्टिक तरीकों से एनएलपी प्रथाओं को लागू करने में सक्षम हुए हैं।

शुरुआत में, यह एकल-परत प्रतिनिधित्व था जो शब्द वेक्टर का उपयोग करता था, और फिर इसे कार्य-विशिष्ट वास्तुकला में खिलाया गया था। अगला, यह आरएनएन वास्तुकला थी जिसने बहु-परत प्रतिनिधित्व और संदर्भ स्थिति का उपयोग करके बेहतर प्रतिनिधित्व बनाने के लिए किया था। और सबसे हाल ही में, हमारे पास स्थानांतरण भाषा मॉडल या पूर्व-प्रशिक्षित पुनरावृत्ति मॉडल हैं जिन्होंने इन नेटवर्क को ठीक करने के द्वारा कार्य-विशिष्ट वास्तुकला की आवश्यकता को पूरी तरह से हटा दिया है।

स्थानांतरण भाषा मॉडल एनएलपी उद्योग में एक महत्वपूर्ण मोड़ साबित हुए हैं, क्योंकि उन्होंने प्रश्नों के उत्तर देने, पढ़ने की समझ, पाठकीय समझ, और बहुत कुछ जैसे चुनौतीपूर्ण कार्यों पर महत्वपूर्ण प्रगति का परिणाम दिया है।

हालांकि, अपने फायदों के बावजूद, स्थानांतरण भाषा मॉडलों की एक बड़ी सीमा है कि उन्हें कार्य-विशिष्ट फाइन-ट्यूनिंग या कार्य-विशिष्ट डेटासेट की आवश्यकता होती है ताकि वे एक कार्य पर वांछित प्रदर्शन प्राप्त कर सकें। इसके अलावा, स्थानांतरण भाषा मॉडलों को विकसित करने वाले भी hundreds of thousands of examples की आवश्यकता होती है जो एक विशिष्ट कार्य के लिए विशिष्ट होते हैं।

यह कहा जा सकता है कि कार्य-विशिष्ट डेटासेट और कार्य-विशिष्ट फाइन-ट्यूनिंग की आवश्यकता को हटाना बहुत ही वांछनीय और एनएलपी उद्योग के लिए कई कारणों से फायदेमंद होगा।

मौजूदा पूर्व-प्रशिक्षित स्थानांतरण भाषा मॉडल या पुनरावृत्ति मॉडलों के साथ समस्याएं

• व्यावहारिकता और अनुप्रयोग को सीमित करना

सबसे पहले और सबसे महत्वपूर्ण, प्रत्येक कार्य के लिए एक बड़े डेटासेट की आवश्यकता जिसमें लेबल वाले डेटा हों, भाषा मॉडलों की व्यावहारिकता और अनुप्रयोग को सीमित करती है। भाषा मॉडलों का अनुप्रयोग एक विस्तृत श्रृंखला में होता है, जिसमें एक छोटी कहानी बनाना, व्याकरण संबंधी त्रुटियों को सुधारना, और एक अवधारणा पर उदाहरण बनाना शामिल है। कभी-कभी, यह एक चुनौतीपूर्ण कार्य हो सकता है जब प्रत्येक कार्य के लिए एक बड़ा पर्यवेक्षित डेटासेट एकत्र करना होता है, खासकर जब इस प्रक्रिया को प्रत्येक व्यक्तिगत कार्य के लिए दोहराना होता है।

• प्रशिक्षण डेटा में स्प्यूरियस संबंधों का शोषण

प्रशिक्षण वितरण की सीमाएं और मॉडल की अभिव्यक्ति के साथ मिलकर, प्रशिक्षण डेटा में स्प्यूरियस संबंधों का शोषण करने की क्षमता में एक मूलभूत वृद्धि हो सकती है। प्रशिक्षण डेटा का शोषण करने की क्षमता फाइन-ट्यूनिंग और पूर्व-प्रशिक्षण परिदृश्य में समस्याएं पैदा कर सकती है, क्योंकि स्थानांतरण भाषा मॉडलों को पूर्व-प्रशिक्षण के दौरान एक बड़ी मात्रा में जानकारी को अवशोषित करने के लिए डिज़ाइन किया गया है।

इसके अलावा, पिछले मॉडलों पर काम से पता चला है कि बड़े मॉडल हमेशा बेहतर नहीं होते हैं। इसके अलावा, यह भी संकेत दिया गया है कि इस तरह के परिदृश्य में प्राप्त सामान्यीकरण खराब प्रदर्शन का कारण बन सकता है, मुख्य रूप से因为 मॉडल प्रशिक्षण डेटा के लिए बहुत विशिष्ट हो जाता है और प्रशिक्षण डेटा के दायरे से परे स्थितियों में अच्छा प्रदर्शन नहीं कर पाता है।

• मानव सीखने की तुलना

अंत में, स्थानांतरण भाषा मॉडलों की तुलना में मानवों को अधिकांश भाषा कार्यों को सीखने के लिए एक बड़े प्रशिक्षण डेटासेट की आवश्यकता नहीं होती है। अधिकांश समय, एक व्यक्ति की प्राकृतिक भाषा में एक संक्षिप्त निर्देश या भाषा कार्य का एक छोटा प्रदर्शन पर्याप्त होता है ताकि मानव एक भाषा कार्य को एक निश्चित स्तर की प्रतिस्पर्धा के साथ कर सके।

मानवों की अनुकूलन क्षमता के कई व्यावहारिक लाभ हैं, क्योंकि यह उन्हें विभिन्न कौशल सेटों के बीच स्विच करने या उन्हें एक व्याकरण में बेहतर प्रदर्शन करने के लिए मिलाने की अनुमति देता है, जो वर्तमान एनएलपी सिस्टम की क्षमता से परे है।

मेटा लर्निंग और जीपीटी-3 के साथ समस्याओं का समाधान

उपरोक्त चुनौतियों का एक संभावित समाधान मेटा लर्निंग का उपयोग है, जो एक आधुनिक एमएल अवधारणा है जो एक मॉडल को प्रशिक्षण के दौरान एक बड़े और व्यापक सेट कौशल और पैटर्न को पहचानने की क्षमता विकसित करने की अनुमति देती है, और फिर इन सीखी गई क्षमताओं का उपयोग करती है हस्तक्षेप के दौरान तेजी से अनुकूलन करने के लिए।

मेटा लर्निंग को भाषा मॉडल वास्तुकला में एक तकनीक के माध्यम से लागू किया जा रहा है जिसे “संदर्भ में सीखना” कहा जाता है, जो पूर्व-प्रशिक्षित भाषा मॉडल के पाठ इनपुट का उपयोग कार्य निर्दिष्टीकरण के रूप में करता है। इस प्रक्रिया में, मॉडल एक प्राकृतिक भाषा निर्देश पर सशर्त होता है, और यहां तक कि कुछ प्रदर्शनों का उपयोग भी कर सकता है, और फिर मॉडल को शेष कार्य को पूरा करने के लिए अगले चरणों की भविष्यवाणी करने की अपेक्षा की जाती है।

मेटा लर्निंग के साथ एकमात्र बड़ा मुद्दा यह है कि हालांकि इसमें सकारात्मक संभावना दिखाई दी है, यह अभी भी प्राकृतिक भाषा वास्तुकला में फाइन-ट्यूनिंग दृष्टिकोण से कमजोर है, और इसके व्यावहारिक तरीके से भाषा कार्यों को पार करने के लिए और सुधार की आवश्यकता है।

मेटा लर्निंग के अलावा, एक अन्य तरीका जो लोकप्रिय हो रहा है वह है ट्रांसफॉर्मर भाषा मॉडलों की क्षमता में वृद्धि करना। पिछले कुछ वर्षों में, ट्रांसफर मॉडलों ने अपनी क्षमता में एक महत्वपूर्ण वृद्धि देखी है, जिसमें आरएनएसएस18 मॉडल 100 मिलियन पैरामीटर, डीसीएलटी18 मॉडल 300 मिलियन पैरामीटर, आरडब्ल्यूसी19 मॉडल 1.5 बिलियन पैरामीटर, एसएसपी19 मॉडल 8 बिलियन पैरामीटर, आरएसआर19 मॉडल 11 बिलियन पैरामीटर, और टीयूआर20 मॉडल 17 बिलियन पैरामीटर हैं।

मॉडल या पैरामीटर की क्षमता में वृद्धि करने से ऐतिहासिक रूप से पाठ संश्लेषण में सुधार हुआ है, और यह संकेत दिया गया है कि लॉग हानि भी डाउनस्ट्रीम कार्यों के साथ स्मूथ ट्रेंड का पालन करती है।

यह हमें जीपीटी-3 मॉडल तक ले जाता है, जिसमें 175 बिलियन पैरामीटर हैं और जब यह लॉन्च हुआ था, तो यह उच्चतम क्षमता वाला स्थानांतरण भाषा मॉडल था। आइए अब जीपीटी-3 मॉडल के बारे में बात करते हैं।

जीपीटी-3 मॉडल का परिचय

जीपीटी-3 एक स्व-आक्रामक भाषा मॉडल है जिसमें 175 बिलियन पैरामीटर हैं और यह ओपनएआई द्वारा 2020 में जारी किया गया था। जीपीटी-3 को भी एक बड़ा भाषा मॉडल वर्गीकृत किया जाता है जो अपने पूर्ववर्ती जीपीटी-2 मॉडल की तरह एक डिकोडर-ओनली डीप लर्निंग ट्रांसफॉर्मर मॉडल है जो पाठ डेटा को उत्पन्न करने के लिए कॉन्वोल्यूशन-आधारित वास्तुकला का उपयोग करता है।

जीपीटी-3 मॉडल अपनी संदर्भ-सीखने की क्षमता को मापता है, और जीपीटी-3 मॉडल का मूल्यांकन दो दर्जन से अधिक एनएलपी डेटासेट और कई नए कार्यों पर किया जाता है। प्रत्येक व्यक्तिगत कार्य के लिए, जीपीटी-3 मॉडल का मूल्यांकन तीन स्थितियों में किया जाता है,

• फ्यू शॉट लर्निंग या संदर्भ में सीखना: फ्यू शॉट लर्निंग में, जीपीटी-3 मॉडल मॉडल के संदर्भ विंडो में फिट होने वाले वितरण की अनुमति देता है।
• वन शॉट लर्निंग: वन शॉट लर्निंग में, मॉडल को केवल एक प्रदर्शन की अनुमति है।
• जीरो शॉट लर्निंग: जीरो शॉट लर्निंग में, कोई प्रदर्शन नहीं है, और मॉडल को केवल एक प्राकृतिक भाषा निर्देश दिया जाता है।

व्यापक रूप से, जीपीटी-3 मॉडल शून्य-शॉट और एक-शॉट सेटिंग्स में वांछित प्रदर्शन प्राप्त करता है, और फ्यू-शॉट सेटिंग में, यह अधिकांश समय राज्य-कला स्थानांतरण मॉडलों को पार करता है। इसके अलावा, जीपीटी-3 मॉडल प्राकृतिक भाषा कार्यों में अच्छा प्रदर्शन करता है जो तेजी से तर्क या त्वरित ध्यान की आवश्यकता होती है, जैसे कि एक नए शब्द का उपयोग करना या शब्दों को अव्यवस्थित करना। दूसरी ओर, जब फ्यू-शॉट सेटिंग में संचालित किया जाता है, तो जीपीटी-3 मॉडल मानव लेखन के समान सिंथेटिक समाचार लेख उत्पन्न करता है जब इसे मानव मूल्यांकनकर्ताओं के माध्यम से पारित किया जाता है।

जीपीटी-3 मॉडल: दृष्टिकोण

जीपीटी-3 मॉडल एक पारंपरिक पूर्व-प्रशिक्षण दृष्टिकोण का उपयोग करता है जिसमें मॉडल, डेटा और प्रशिक्षण शामिल है, और यह आरडब्ल्यूसी-19 ट्रांसफर भाषा मॉडल द्वारा अनुसरण किए गए पूर्व-प्रशिक्षण प्रक्रिया के समान है। जीपीटी-3 मॉडल मॉडल के आकार, डेटासेट के आकार, डेटासेट की विविधता और प्रशिक्षण अवधि की लंबाई को बढ़ाता है।

मॉडल एक संदर्भ में सीखने के दृष्टिकोण का भी उपयोग करता है जो एक बार फिर से आरडब्ल्यूसी-19 मॉडल के दृष्टिकोण के समान है, लेकिन डेटासेट के संदर्भ में पैटर्न सीखने के लिए विभिन्न सेटिंग्स का व्यवस्थित रूप से अन्वेषण करके चीजों को थोड़ा बदल देता है।

तो आइए इन सेटिंग्स का अन्वेषण करें और मूल्यांकन करें कि जीपीटी-3 मॉडल विभिन्न सेटिंग्स पर कैसा प्रदर्शन करता है।

फाइन-ट्यूनिंग

फाइन-ट्यूनिंग को स्थानांतरण भाषा मॉडलों में एक पारंपरिक दृष्टिकोण माना जाता है, और यह पूर्व-प्रशिक्षित मॉडल के वजन को अद्यतन करने के लिए एक पर्यवेक्षित डेटासेट पर प्रशिक्षण शामिल करता है जो वांछित कार्य के लिए विशिष्ट होता है, और इसमें सैकड़ों हजारों लेबल वाले उदाहरणों का उपयोग किया जाता है।

फाइन-ट्यूनिंग दृष्टिकोण लाभदायक है क्योंकि यह विभिन्न बेंचमार्क पर मजबूत प्रदर्शन प्रदान करता है। दूसरी ओर, फाइन-ट्यूनिंग दृष्टिकोण का मुख्य सीमित यह है कि यह प्रत्येक व्यक्तिगत कार्य के लिए एक नए और बड़े डेटासेट की आवश्यकता होती है, प्रशिक्षण डेटासेट की स्प्यूरियस विशेषताओं का शोषण करने की क्षमता होती है, मानव प्रदर्शन के साथ अनुचित तुलना कर सकता है, और बाहरी-वितरण के लिए खराब सामान्यीकरण हो सकता है।

जीपीटी-3 मॉडल के वर्तमान दायरे में फाइन-ट्यूनिंग दृष्टिकोण को लागू नहीं किया जाता है क्योंकि इसके कार्य-एज्नोस्टिक प्रदर्शन के कारण, हालांकि जीपीटी-3 मॉडल में भविष्य में फाइन-ट्यूनिंग लागू की जा सकती है।

फ्यू शॉट

फ्यू शॉट एक शब्द है जो उस सेटिंग को संदर्भित करता है जहां जीपीटी-3 मॉडल को हस्तक्षेप के दौरान एक कार्य के प्रदर्शन के रूप में सशर्त किया जाता है, लेकिन मॉडल के वजन को अद्यतन नहीं किया जाता है। फ्यू-शॉट सेटिंग्स में, डेटासेट में आमतौर पर एक उदाहरण होता है जिसमें संदर्भ और वांछित पूर्णता (उदाहरण के लिए, एक फ्रेंच वाक्य और इसका अंग्रेजी अनुवाद) होता है। फ्यू-शॉट सेटिंग मॉडल को संदर्भ और पूर्णता के K उदाहरण प्रदान करता है, और फिर मॉडल को एक अंतिम संदर्भ प्रदान करता है और मॉडल से पूर्णता प्रदान करने की अपेक्षा की जाती है।

फ्यू-शॉट सेटिंग का मुख्य लाभ यह है कि यह कार्य-विशिष्ट डेटा की आवश्यकता को काफी कम कर देता है, और एक बड़े डेटासेट पर फाइन-ट्यूनिंग के द्वारा एक संकीर्ण वितरण सीखने की क्षमता को भी कम करता है। दूसरी ओर, फ्यू-शॉट लर्निंग का मुख्य नुकसान यह है कि फ्यू-शॉट सेटिंग में परिणाम अन्य राज्य-कला मॉडलों की तुलना में कमजोर होते हैं जो फाइन-ट्यून किए जाते हैं।

वन शॉट

वन-शॉट सेटिंग में, मॉडल को केवल एक प्रदर्शन प्रदान किया जाता है, और बाकी फ्यू-शॉट सेटिंग के समान है। वन-शॉट सेटिंग का कारण यह है कि स्थानांतरण भाषा मॉडलों में यह सबसे अच्छा तरीका है जिसमें कार्य मानवों को संवादित किया जाता है। यह इसलिए है क्योंकि अधिकांश कार्यों में, एक प्रदर्शन देना मुश्किल हो सकता है अन्यथा यह कार्य के संदर्भ को समझना मुश्किल हो सकता है।

जीरो शॉट

जीरो-शॉट सेटिंग में, कोई प्रदर्शन नहीं है, और मॉडल को केवल एक प्राकृतिक भाषा निर्देश दिया जाता है जो कार्य का वर्णन करता है। जीरो-शॉट विधि सबसे अधिक सुविधाजनक है, लचीली है, और स्प्यूरियस संबंधों से बचती है, लेकिन यह तीन सेटिंग्स में से सबसे चुनौतीपूर्ण है। यह इसलिए है क्योंकि कुछ मामलों में, यहां तक कि मानवों के लिए भी एक कार्य के संदर्भ को समझना मुश्किल हो सकता है यदि उन्हें पहले एक प्रदर्शन नहीं दिखाया गया है।

फिर भी, कुछ कार्यों के लिए, जीरो-शॉट सेटिंग वह है जो मानवों द्वारा प्राकृतिक भाषा कार्यों को करने के तरीके को सबसे अच्छी तरह से दर्शाती है।

उपरोक्त चित्र एक प्राकृतिक भाषा कार्य को करने के लिए फ्यू-शॉट, वन-शॉट, और जीरो-शॉट सेटिंग्स की तुलना करता है, जिसमें एक अंग्रेजी वाक्य को फ्रेंच में अनुवादित करना शामिल है।

जीपीटी-3: मॉडल वास्तुकला

जीपीटी-3 मॉडल जीपीटी-2 मॉडल द्वारा उपयोग की जाने वाली समान वास्तुकला का उपयोग करता है, और इसमें पूर्व-मानकीकरण, संशोधित प्रारंभिकरण, और प्रतिवर्ती टोकनीकरण तकनीकें शामिल हैं जो जीपीटी-मॉडल पर उपयोग की जाती हैं, स्थानीय रूप से बैंडेड स्पार्स ध्यान पैटर्न और ट्रांसफॉर्मर परतों में वैकल्पिक घने परतों का उपयोग करने के अपवाद के साथ, जो स्पार्स ट्रांसफॉर्मर के समान है।

मॉडल के प्रदर्शन की मॉडल के आकार पर निर्भरता का अध्ययन करने के लिए, विकासकर्ताओं ने आठ अलग-अलग मॉडल के आकार प्रशिक्षित किए हैं जो तीन अलग-अलग क्रमों में हैं, 125 मिलियन से लेकर 175 बिलियन पैरामीटर तक, जिनमें से अंतिम को जीपीटी-3 मॉडल कहा जाता है। पिछले कार्यों से पता चला है कि मॉडल के आकार के रूप में सत्यापन हानि का मापन एक सufficient प्रशिक्षण डेटा के साथ एक smooth power law होना चाहिए। विभिन्न आकारों के मॉडलों को प्रशिक्षित करने से विकासकर्ता यह परीक्षण करने में सक्षम हो सकते हैं कि क्या यह परिकल्पना दोनों डाउनस्ट्रीम भाषा कार्यों और सत्यापन हानि दोनों के लिए सच है।

उपरोक्त चित्र जीपीटी-3 मॉडल वास्तुकला में उपयोग किए गए आठ अलग-अलग मॉडलों के आकार और वास्तुकला की तुलना करता है। यहां, n(params) कुल प्रशिक्षित पैटर्न की संख्या को परिभाषित करता है, n(layers) मॉडल में परतों की कुल संख्या को परिभाषित करता है, d(model) प्रत्येक परत में इकाइयों की संख्या को परिभाषित करता है, और d(head) प्रत्येक ध्यान सिर के आयामों को परिभाषित करता है। प्रत्येक मॉडल के लिए संदर्भ विंडो 2048 टोकन है।

इसके अलावा, नोड्स के बीच डेटा के हस्तांतरण को कम करने के लिए, मॉडल को जीपीयू की गहराई और चौड़ाई के साथ विभाजित किया जाता है। प्रत्येक मॉडल के लिए वास्तुशिल्प पैरामीटर गणनात्मक दक्षता, लोड-संतुलन और जीपीयू पर मॉडल के लेआउट में सटीकता को अधिकतम करने के लिए चुने जाते हैं।

प्रशिक्षण डेटासेट

आम तौर पर, बड़े भाषा मॉडलों में डेटासेट का उपयोग किया जाता है जो हाल के विकास के साथ काफी बढ़ गया है, और वे कॉमन क्रॉल डेटासेट में परिणत होते हैं जिसमें एक ट्रिलियन से अधिक अलग-अलग शब्द होते हैं। डेटासेट का आकार जीपीटी-3 मॉडल को प्रशिक्षित करने के लिए पर्याप्त है बिना एक ही क्रम को कई बार अपडेट किए। हालांकि, अध्ययन और प्रदर्शन विश्लेषण से पता चलता है कि कॉमन क्रॉल डेटासेट के हल्के फिल्टर्ड संस्करण या अनफिल्टर्ड संस्करण अधिक क्यूरेटेड डेटासेट की तुलना में कम गुणवत्ता वाले होते हैं।

डेटासेट की औसत गुणवत्ता के मुद्दे को हल करने के लिए, विकासकर्ताओं ने डेटासेट की गुणवत्ता में सुधार करने के लिए तीन कदम उठाए हैं।

1. विकासकर्ताओं ने एक उच्च गुणवत्ता वाले संदर्भ कॉर्पस के समान श्रृंखला में कॉमन क्रॉल डेटासेट का एक संस्करण डाउनलोड और फिल्टर किया है।
2. विकासकर्ताओं ने डॉक्यूमेंट स्तर पर डेटासेट में फजी डुप्लिकेशन किया है ताकि उनके रखे गए सत्यापन सेट की अखंडता को एक प्रभावी माप के रूप में बनाए रखा जा सके और ओवरफिटिंग को रोका जा सके।
3. विकासकर्ताओं ने प्रशिक्षण डेटा में उच्च गुणवत्ता वाले संदर्भ कॉर्पस जोड़े हैं ताकि डेटासेट की विविधता को और बढ़ाया जा सके।

निम्नलिखित चित्र जीपीटी-3 मॉडल के प्रशिक्षण के लिए उपयोग किए गए डेटासेट के अंतिम अनुपात या मिश्रण को दिखाता है। कॉमन क्रॉल डेटा में फिल्टरिंग से पहले 45 टीबी का प्लेनटेक्स्ट था जो फिल्टरिंग के बाद 570 जीबी के डेटा में कम हो गया, जो लगभग 400 बिलियन बाइट-जोड़ी एन्कोडेड टोकन के बराबर है। यह ध्यान देने योग्य है कि प्रशिक्षण में देखे जाने वाले डेटासेट जिन्हें उच्च गुणवत्ता वाला माना जाता है, उन्हें उनके आकार के अनुपात में नमूना लिया जाता है, न कि उनके आकार के अनुपात में। इसका परिणाम यह होता है कि डेटासेट जैसे कि बुक्स2 और कॉमन क्रॉल को प्रशिक्षण के दौरान एक से अधिक बार नमूना लिया जाता है, जबकि अन्य डेटासेट को कई बार नमूना लिया जाता है। यह मॉडल को प्रशिक्षण डेटा की उच्च गुणवत्ता वाले डेटा पर प्रशिक्षित करने की अनुमति देता है, भले ही इसका मतलब एक छोटी मात्रा में ओवरफिटिंग को स्वीकार करना हो।

एक बड़े भाषा मॉडल के साथ एक महत्वपूर्ण चिंता यह है कि यह एक बड़ी मात्रा में इंटरनेट डेटा पर पूर्व-प्रशिक्षित होता है और एक बड़ी मात्रा में सामग्री को सीखने और याद रखने में सक्षम होता है। इस प्रकार, डाउनस्ट्रीम कार्यों के विकास और परीक्षण सेटों को पूर्व-प्रशिक्षण प्रक्रिया के दौरान देखा जा सकता है, जिससे संभावित रूप से डाउनस्ट्रीम कार्यों को दूषित किया जा सकता है। इस संभावित दूषण को कम करने के लिए, विकासकर्ताओं ने जीपीटी-3 के लिए अध्ययन किए गए बेंचमार्क के विकास और परीक्षण सेटों के साथ कोई भी ओवरलैप की खोज की और इन ओवरलैप्स को हटाने का प्रयास किया।

उपरोक्त चित्र जीपीटी-3 मॉडल के प्रशिक्षण के दौरान उपयोग किए गए कुल कंप्यूट को दिखाता है। मॉडल न्यूरल भाषा मॉडल के लिए स्केलिंग कानूनों का उपयोग करके प्रशिक्षित किया जाता है, जो बहुत बड़े मॉडलों को कम टोकन पर प्रशिक्षित करने की अनुमति देता है। इसके परिणामस्वरूप, जीपीटी-3 और रॉबर्टा-लार्ज मॉडल, जो जीपीटी-3 मॉडल से 10 गुना छोटा है, दोनों ने पूर्व-प्रशिक्षण प्रक्रिया के दौरान लगभग 50 पेटाफ्लॉप/दिन कंप्यूट का उपयोग किया।

मूल्यांकन

फ्यू-शॉट लर्निंग के लिए, मॉडल प्रत्येक उदाहरण का मूल्यांकन करता है जो मूल्यांकन डेटासेट में मौजूद है, जिसमें कार्य के प्रशिक्षण डेटासेट से यादृच्छिक रूप से K उदाहरणों को सशर्त किया जाता है और 1 या 2 नए लाइनों द्वारा सीमांकित किया जाता है, जो कार्य पर निर्भर करता है। स्टोरीक्लोज़ और लैम्बाडा के लिए, मॉडल विकास सेट से सशर्त उदाहरणों को आकर्षित करता है और परीक्षण सेट पर मूल्यांकन करता है क्योंकि एक पर्यवेक्षित प्रशिक्षण सेट की अनुपलब्धता के कारण। विनोग्राड के लिए, केवल एक डेटासेट है, और इसलिए सशर्त नमूने सीधे इसे से आकर्षित किए जाते हैं।

K का मान 0 से लेकर मॉडल की संदर्भ विंडो द्वारा अनुमत मаксिमम मान तक हो सकता है, जो सभी मॉडलों के लिए n = 2048 है। आमतौर पर, बड़े मानों का परिणाम बेहतर परिणाम होता है, लेकिन हमेशा नहीं। जब मॉडल के पास एक परीक्षण सेट और एक अलग विकास सेट होता है, तो मॉडल विकास सेट पर कुछ मानों के लिए प्रयोग करता है और फिर परीक्षण सेट पर सबसे अच्छा मान चलाता है।

इसके अलावा, उन कार्यों के लिए जिनमें कई विकल्पों में से सही पूर्णता का चयन करना शामिल है, विकासकर्ता K उदाहरणों को प्रदान करते हैं जिनमें सुधार और संदर्भ शामिल हैं, और फिर एक संदर्भ प्रदान करते हैं और कार्यों की तुलना प्रत्येक पूर्णता की एलएम संभावना के आधार पर करते हैं। द्विआधारी वर्गीकरण के लिए, मॉडल अक्सर अधिक सेमैंटिक रूप से और अधिक अर्थपूर्ण नामों के साथ विकल्प प्रदान करते हैं, और फिर कार्य को बहुविकल्पी के रूप में मानते हैं और कभी-कभी इसे आरएसआर मॉडल और वास्तुकला द्वारा किए गए तरीके से फ्रेम करते हैं।

मुक्त-रूप में पूर्णता की आवश्यकता वाले कार्यों के लिए, मॉडल बीम खोज का उपयोग करता है जिसमें आरएसआर फ्रेमवर्क में उपयोग किए जाने वाले समान पैरामीटर होते हैं, जिसमें 4 की लंबाई का बीम और 0.6 का जुर्माना होता है। मॉडल को तब एफ1 समानता स्कोर, सटीक मिलान, या ब्लू का उपयोग करके स्कोर किया जाता है, जो डेटासेट के मानक पर निर्भर करता है।

परिणाम

उपरोक्त चित्र जीपीटी-3 मॉडल वास्तुकला में उपयोग किए गए आठ मॉडलों के प्रशिक्षण के लिए प्रशिक्षण वक्र को दिखाता है। केएमएच भाषा मॉडल के परिणामों के समान, जीपीटी-3 मॉडल का प्रदर्शन प्रशिक्षण कंप्यूट का उपयोग करके एक स्मूथ लॉ का पालन करता है। कानून से एक छोटी सी विचलन केवल तब होता है जब रुझान को दो और ऑर्डर ऑफ मैग्निट्यूड द्वारा बढ़ाया जाता है। यह सोचने में आ सकता है कि क्रॉस-एंट्रोपी हानि में सुधार प्रशिक्षण कॉर्पस की स्प्यूरियस विवरणों को मॉडलिंग करने का परिणाम हो सकता है। हालांकि, क्रॉस-एंट्रोपी हानि में सुधार विभिन्न प्रकार के एनएलपी कार्यों में सुसंगत लाभ का परिणाम है।

जीपीटी-3 मॉडल का मूल्यांकन करने से पहले एक विस्तृत श्रृंखला में डेटासेट को आठ श्रेणियों में वर्गीकृत किया जाता है जो समान कार्यों का प्रतिनिधित्व करते हैं। ये श्रेणियां हैं

1. पारंपरिक भाषा मॉडलिंग कार्यों और भाषा मॉडलिंग जैसे कार्यों का मूल्यांकन, जैसे कि क्लोज़ टास्क या वाक्य/अनुच्छेद पूर्णता कार्य।
2. बंद-पुस्तक प्रश्नोत्तरी कार्यों पर मूल्यांकन।
3. भाषाओं के बीच अनुवाद करने की मॉडल की क्षमता का मूल्यांकन, विशेष रूप से एक-शॉट और फ्यू-शॉट सेटिंग्स में।
4. विनोग्राड स्कीमा जैसे कार्यों पर मॉडल के प्रदर्शन का मूल्यांकन।
5. सामान्य ज्ञान तर्क या प्रश्नोत्तरी कार्यों पर मूल्यांकन।
6. पढ़ने की समझ कार्यों पर मूल्यांकन।
7. सुपरग्लू बेंचमार्क सूट पर मूल्यांकन।
8. एनएलआई की खोज।

भाषा मॉडलिंग, पूर्णता और क्लोज़ टास्क

इस खंड में, जीपीटी-3 मॉडल का मूल्यांकन पारंपरिक भाषा मॉडलिंग कार्यों और उन कार्यों पर किया जाता है जिनमें एक शब्द या एक वाक्य की भविष्यवाणी करना शामिल है, या एक अनुच्छेद या एक वाक्य को पूरा करना शामिल है। आइए उन्हें विस्तार से चर्चा करें।

भाषा मॉडलिंग

जीपीटी-3 मॉडल पीटीबी या पेन ट्री बैंक डेटासेट पर शून्य-शॉट विचित्रность की गणना करता है। मॉडल विकिपीडिया-संबंधित कार्यों को छोड़ देता है क्योंकि यह मॉडल के प्रशिक्षण डेटा में पहले से ही शामिल है। एक अरब शब्द बेंचमार्क को भी छोड़ दिया जाता है क्योंकि यह डेटासेट प्रशिक्षण डेटा में महत्वपूर्ण घर्षण पैदा करता है। हालांकि, पीटीबी डेटासेट इन मुद्दों को संबोधित करता है क्योंकि यह आधुनिक इंटरनेट से पहले का है। जीपीटी-3 मॉडल वास्तुकला में सबसे बड़ा मॉडल पीटीबी डेटासेट पर एक नए एसओटीए के साथ 15 अंकों के एक उल्लेखनीय मार्जिन के साथ हासिल करता है और 20.50 की विचित्रность प्राप्त करता है।

लैम्बाडा

लैम्बाडा डेटासेट का उपयोग पाठ में लंबी दूरी की निर्भरता के मॉडलिंग का परीक्षण करने के लिए किया जाता है। इसका अर्थ है कि मॉडल को एक वाक्य के अंतिम शब्द की भविष्यवाणी करने के लिए कहा जाता है जो एक अनुच्छेद के संदर्भ में है। इसके अलावा, भाषा मॉडलों के निरंतर स्केलिंग से लैम्बाडा बेंचमार्क पर घटते रिटर्न का परिणाम होता है।

जीपीटी-3 मॉडल लैम्बाडा पर 76% की सटीकता प्राप्त करता है और पिछले सर्वश्रेष्ठ मॉडलों पर 8% से अधिक की वृद्धि करता है। इसके अलावा, लैम्बाडा मॉडल फ्यू-शॉट लर्निंग की लचीलापन को प्रदर्शित करता है क्योंकि यह क्लासिक रूप से डेटासेट के साथ समस्या को संबोधित करता है। लैम्बाडा में वाक्य की पूर्णता आमतौर पर वाक्य का अंतिम शब्द होता है, लेकिन चूंकि भाषा मॉडल नहीं जानता है, यह न केवल सही समाप्ति को सौंपता है, बल्कि अनुच्छेद में अन्य निरंतरता को भी सौंपता है।

इसके अलावा, जब जीपीटी-3 मॉडल को दिए गए उदाहरणों को एक निश्चित तरीके से संशोधित किया जाता है, तो मॉडल 86% से अधिक की सटीकता प्राप्त करता है, जो पिछले मॉडलों पर 18% से अधिक की वृद्धि है। इसके अलावा, परिणाम यह भी संकेत देते हैं कि मॉडल का प्रदर्शन फ्यू-शॉट सेटिंग में मॉडल के आकार में वृद्धि के साथ आनुपातिक रूप से बढ़ता है। हालांकि यह रणनीति जीपीटी-3 वास्तुकला में सबसे छोटे मॉडल को 20% कम कर देती है, यह 175 बिलियन पैरामीटर वाले प्राथमिक जीपीटी-3 मॉडल की सटीकता को 10% से अधिक बढ़ाती है।

बंद-पुस्तक प्रश्नोत्तरी

बंद-पुस्तक प्रश्नोत्तरी एक प्रयास है जीपीटी-3 मॉडल की क्षमता को मापने के लिए व्यापक तथ्यात्मक ज्ञान पर आधारित प्रश्नों के उत्तर देने के लिए। क्योंकि ऐसे प्रश्नों में अक्सर एक बड़ी संख्या में संभावित प्रश्न होते हैं, कार्य आमतौर पर एक जानकारी पुनर्प्राप्ति प्रणाली का उपयोग करके किया जाता है जो मॉडल को प्रश्न और प्राप्त पाठ के साथ एक प्रतिक्रिया उत्पन्न करने की अनुमति देता है।

उपरोक्त चित्र जीपीटी-3 मॉडल के परिणामों की तुलना विभिन्न मॉडलों और विभिन्न डेटासेट पर चलने वाले परिणामों से करता है। ट्रिवियाक्यू डेटासेट पर, मॉडल शून्य-शॉट सेटिंग में 64.3% का सटीकता स्कोर प्राप्त करता है, जबकि यह एक-शॉट और फ्यू-शॉट सेटिंग्स में क्रमशः 68% और 71.2% का सटीकता स्कोर प्राप्त करता है।

यह स्पष्ट रूप से देखा जा सकता है कि जीपीटी-3 मॉडल शून्य-शॉट सेटिंग में टी5-11बी मॉडल को 14% से अधिक पार करता है जो फाइन-ट्यून किया गया है।

उपरोक्त चित्र जीपीटी-3 मॉडल के प्रदर्शन को दिखाता है जो मॉडल के आकार में वृद्धि के साथ सMOOTH रूप से बढ़ता है। प्रदर्शन से पता चलता है कि भाषा मॉडल डेटासेट से सीखते रहते हैं क्योंकि उनकी क्षमता बढ़ती है।

अंतिम विचार

यह कहा जा सकता है कि जीपीटी-3 एलएलएम उद्योग में एक क्रांतिकारी चरण था क्योंकि जीपीटी-3 ने एक भाषा मॉडल क्या कर सकता है इसकी सीमाओं को आगे बढ़ाने में मदद की। जीपीटी-3 द्वारा की गई प्रगति और पार की गई बाधाएं सबसे उन्नत और सटीक बड़े भाषा मॉडल के लिए मार्ग प्रशस्त करती हैं, जो जीपीटी-4 है।