ओएलएमओ: भाषा मॉडल के विज्ञान को बढ़ाना

पिछले कुछ वर्षों में, भाषा मॉडल के विकास और प्रगति ने लगभग हर जगह अपनी उपस्थिति दर्ज की है, न केवल एनएलपी अनुसंधान में बल्कि व्यावसायिक पेशकशों और वास्तविक दुनिया के अनुप्रयोगों में भी। हालांकि, भाषा मॉडल के लिए व्यावसायिक मांग में वृद्धि ने समुदाय के विकास को कुछ हद तक बाधित किया है। यह इसलिए है क्योंकि अधिकांश राज्य-ऑफ-द-आर्ट और क्षमता वाले मॉडल प्रोप्राइटरी इंटरफेस के पीछे गेटेड हैं, जिससे विकास समुदाय को उनके प्रशिक्षण आर्किटेक्चर, डेटा और विकास प्रक्रियाओं के महत्वपूर्ण विवरण तक पहुंचना असंभव हो जाता है। यह अब अनिवार्य है कि इन प्रशिक्षण और संरचनात्मक विवरणों का अनुसंधान अध्ययनों के लिए महत्वपूर्ण है, जिसमें उनके संभावित जोखिमों और पूर्वाग्रहों की पहुंच शामिल है, जिससे अनुसंधान समुदाय के लिए एक वास्तविक रूप से खुले और शक्तिशाली भाषा मॉडल तक पहुंच की आवश्यकता होती है।

इस आवश्यकता को पूरा करने के लिए, डेवलपर्स ने ओएलएमओ बनाया है, एक राज्य-ऑफ-द-आर्ट, वास्तविक रूप से खुला भाषा मॉडल फ्रेमवर्क। यह फ्रेमवर्क शोधकर्ताओं को ओएलएमओ का उपयोग करके भाषा मॉडल बनाने और उनका अध्ययन करने की अनुमति देता है। अधिकांश राज्य-ऑफ-द-आर्ट भाषा मॉडल के विपरीत, जिन्होंने केवल इंटरफेस कोड और मॉडल वजन जारी किए हैं, ओएलएमओ फ्रेमवर्क वास्तविक रूप से ओपन सोर्स है, जिसमें सार्वजनिक रूप से सुलभ मूल्यांकन कोड, प्रशिक्षण विधियों और प्रशिक्षण डेटा है। ओएलएमओ का प्राथमिक उद्देश्य खुले अनुसंधान समुदाय और भाषा मॉडल के निरंतर विकास को सशक्त बनाना और बढ़ावा देना है।

इस लेख में, हम ओएलएमओ फ्रेमवर्क के बारे में विस्तार से चर्चा करेंगे, इसकी वास्तुकला, विधियों और वर्तमान राज्य-ऑफ-द-आर्ट फ्रेमवर्क के साथ इसके प्रदर्शन की तुलना करते हुए। तो आइए शुरू करें।

ओएलएमओ: भाषा मॉडल के विज्ञान को बढ़ाना

भाषा मॉडल पिछले कुछ वर्षों में सबसे गर्म प्रवृत्ति रहा है, न केवल एआई और एमएल समुदाय के भीतर बल्कि पूरे प्रौद्योगिकी उद्योग में, इसकी वास्तविक दुनिया के कार्यों को मानव जैसे प्रदर्शन के साथ करने की इसकी उल्लेखनीय क्षमता के कारण। चैटजीपीटी भाषा मॉडल की क्षमता का एक प्रमुख उदाहरण है, जिसमें प्रौद्योगिकी उद्योग के प्रमुख खिलाड़ी अपने उत्पादों के साथ भाषा मॉडल एकीकरण का अन्वेषण कर रहे हैं।

एनएलपी, या प्राकृतिक भाषा प्रसंस्करण, उन उद्योगों में से एक है जिसने पिछले कुछ वर्षों में व्यापक रूप से भाषा मॉडल का उपयोग किया है। हालांकि, जब से उद्योग ने मानव अनnotation के लिए संरेखण और बड़े पैमाने पर पूर्व-प्रशिक्षण के लिए नियोजित किया है, भाषा मॉडल ने अपनी व्यावसायिक व्यवहार्यता में तेजी से वृद्धि देखी है, जिसके परिणामस्वरूप अधिकांश राज्य-ऑफ-द-आर्ट भाषा और एनएलपी फ्रेमवर्क के प्रतिबंधित प्रोप्राइटरी इंटरफेस हैं।

भाषा मॉडल की प्रगति सुनिश्चित करने के लिए, ओएलएमओ, एक राज्य-ऑफ-द-आर्ट, वास्तविक रूप से खुला भाषा मॉडल, डेवलपर्स को एक फ्रेमवर्क प्रदान करता है जिसमें वे भाषा मॉडल बना सकते हैं, उनका अध्ययन कर सकते हैं और उनके विकास को आगे बढ़ा सकते हैं। यह शोधकर्ताओं को इसके प्रशिक्षण और मूल्यांकन कोड, प्रशिक्षण विधि, प्रशिक्षण डेटा, प्रशिक्षण लॉग और मध्यवर्ती मॉडल चेकपॉइंट तक पहुंचने की अनुमति देता है। मौजूदा राज्य-ऑफ-द-आर्ट मॉडल खुलेपन की विभिन्न डिग्री हैं, जबकि ओएलएमओ मॉडल ने प्रशिक्षण से लेकर डेटा तक मूल्यांकन उपकरणों तक पूरे फ्रेमवर्क को जारी किया है, जिससे राज्य-ऑफ-द-आर्ट मॉडल जैसे एलएलएएमए2 मॉडल के साथ प्रदर्शन में अंतर को कम किया जा सकता है।

मॉडलिंग और प्रशिक्षण के लिए, ओएलएमओ फ्रेमवर्क में प्रशिक्षण कोड, पूर्ण मॉडल वजन, अभिलेख, प्रशिक्षण लॉग और प्रशिक्षण मेट्रिक्स शामिल हैं, साथ ही वेट्स एंड बायस लॉग भी शामिल हैं। डेटा निर्माण और विश्लेषण के लिए, ओएलएमओ फ्रेमवर्क में एआई2 के डोल्मा और डब्ल्यूआईएमबीडी मॉडल के लिए उपयोग किए जाने वाले पूर्ण प्रशिक्षण डेटा के साथ-साथ प्रशिक्षण डेटा उत्पन्न करने वाला कोड भी शामिल है। मूल्यांकन के उद्देश्य से, ओएलएमओ फ्रेमवर्क में डाउनस्ट्रीम मूल्यांकन के लिए एआई2 का कैटवॉक मॉडल और परिप्रेक्ष्य-आधारित मूल्यांकन के लिए पालोमा मॉडल शामिल है।

ओएलएमओ: मॉडल और वास्तुकला

ओएलएमओ मॉडल एक डिकोडर-ओनली ट्रांसफॉर्मर वास्तुकला को अपनाता है जो न्यूरल इंफॉर्मेशन प्रोसेसिंग सिस्टम पर आधारित है और 1 अरब और 7 अरब पैरामीटर के साथ दो मॉडल प्रदान करता है, साथ ही 65 अरब पैरामीटर मॉडल वर्तमान में विकास के अधीन है।

ओएलएमओ फ्रेमवर्क की वास्तुकला ओपनएलएम, फाल्कन, एलएलएएमए और पाल्म जैसे हाल के राज्य-ऑफ-द-आर्ट बड़े भाषा मॉडल की तुलना में कई सुधार प्रदान करती है। निम्नलिखित आंकड़ा ओएलएमओ मॉडल की तुलना 7बी पैरामीटर के साथ हाल के एलएलएम के साथ करता है।

ओएलएमओ फ्रेमवर्क प्राथमिक परिवर्तन जो इसे वैनिला ट्रांसफॉर्मर वास्तुकला से अलग करता है, निम्नलिखित हैं:

कोई पूर्वाग्रह नहीं

फाल्कन, पाल्म, एलएलएएमए और अन्य भाषा मॉडल के विपरीत, ओएलएमओ फ्रेमवर्क अपनी वास्तुकला में कोई पूर्वाग्रह नहीं रखता है जो प्रशिक्षण स्थिरता को बढ़ाता है।

गैर-पैरामीट्रिक लेयर नॉर्म

ओएलएमओ फ्रेमवर्क अपनी वास्तुकला में गैर-पैरामीट्रिक लेयर नॉर्म का उपयोग करता है। गैर-पैरामीट्रिक लेयर नॉर्म में कोई संबंधित रूपांतरण नहीं होता है, अर्थात यह कोई अनुकूली लाभ या पूर्वाग्रह प्रदान नहीं करता है। गैर-पैरामीट्रिक लेयर नॉर्म न केवल पैरामीट्रिक लेयर नॉर्म की तुलना में अधिक सुरक्षित हैं, बल्कि वे तेज़ भी हैं।

स्विग्लू एक्टिवेशन फंक्शन

पाल्म और एलएलएएमए जैसे अधिकांश भाषा मॉडल की तरह, ओएलएमओ फ्रेमवर्क अपनी वास्तुकला में स्विग्लू एक्टिवेशन फंक्शन का उपयोग करता है, न कि रीलू एक्टिवेशन फंक्शन, और छिपी हुई सक्रियण आकार को 128 के निकटतम गुणज को बढ़ाने के लिए बढ़ाता है ताकि प्रवाह में सुधार हो सके।

रोटरी पोज़िशनल एम्बेडिंग

ओएलएमओ मॉडल एलएलएएमए और पाल्म मॉडल का अनुसरण करते हैं और निरपेक्ष स्थितिजन्य एम्बेडिंग के लिए रोटरी पोज़िशनल एम्बेडिंग का उपयोग करते हैं।

डोल्मा के साथ पूर्व-प्रशिक्षण

हालांकि विकास समुदाय के पास अब मॉडल पैरामीटर तक बढ़ी हुई पहुंच है, पूर्व-प्रशिक्षण डेटा तक पहुंच के द्वार अभी भी बंद हैं क्योंकि पूर्व-प्रशिक्षण डेटा बंद मॉडल के साथ या खुले मॉडल के साथ जारी नहीं किया जाता है। इसके अलावा, तकनीकी दस्तावेज जो इस तरह के डेटा को कवर करते हैं अक्सर मॉडल को पूरी तरह से समझने और प्रतिकृति करने के लिए आवश्यक महत्वपूर्ण विवरणों की कमी होती है। यह रोडब्लॉक भाषा मॉडल पूर्व-प्रशिक्षण पर अनुसंधान को आगे बढ़ाने में मुश्किल बनाता है, जिसमें प्रशिक्षण डेटा के क्षमता और सीमाओं पर प्रभाव की समझ शामिल है। ओएलएमओ फ्रेमवर्क ने अपने पूर्व-प्रशिक्षण डेटा, डोल्मा को जारी किया है ताकि भाषा मॉडल पूर्व-प्रशिक्षण पर खुले अनुसंधान को सुविधाजनक बनाया जा सके। डोल्मा डेटासेट 7 अलग-अलग स्रोतों से एकत्र किए गए 5 अरब दस्तावेजों में 3 ट्रिलियन टोकन का एक बहुस्रोत और विविध संग्रह है, जो बड़े पैमाने पर एलएलएम के लिए पूर्व-प्रशिक्षण के लिए सामान्य रूप से उपयोग किया जाता है और सामान्य दर्शकों के लिए उपलब्ध है।

डोल्मा डेटासेट का निर्माण 5 घटकों की एक पाइपलाइन का उपयोग करके किया गया है: भाषा फिल्टरिंग, गुणवत्ता फिल्टरिंग, सामग्री फिल्टरिंग, मल्टी-सोर्स मिक्सिंग, डुप्लिकेट हटाने और टोकनाइजेशन। ओएलएमओ ने डोल्मा रिपोर्ट भी जारी की है जो डिजाइन सिद्धांतों और निर्माण विवरण के साथ-साथ एक अधिक विस्तृत सामग्री सारांश प्रदान करती है। मॉडल ने अपने उच्च प्रदर्शन डेटा क्यूरेशन टूल्स को भी ओपन सोर्स किया है ताकि पूर्व-प्रशिक्षण डेटा निगम को आसानी से और जल्दी से क्यूरेट किया जा सके। मॉडल का मूल्यांकन एक दो-चरण रणनीति का पालन करता है, जिसमें मॉडल प्रशिक्षण के दौरान निर्णय लेने के लिए ऑनलाइन मूल्यांकन शामिल है, और एक अंतिम ऑफलाइन मूल्यांकन मॉडल चेकपॉइंट से एक समग्र मूल्यांकन के लिए। ऑफलाइन मूल्यांकन के लिए, ओएलएमओ कैटवॉक फ्रेमवर्क का उपयोग करता है, जो हमारा सार्वजनिक रूप से उपलब्ध मूल्यांकन उपकरण है जो विभिन्न डेटासेट और कार्य स्वरूपों तक पहुंच प्रदान करता है। फ्रेमवर्क डाउनस्ट्रीम मूल्यांकन के लिए कैटवॉक का उपयोग करता है, साथ ही हमारे नए परिप्रेक्ष्य बेंचमार्क, पालोमा पर भाषा मॉडल के मूल्यांकन के लिए। ओएलएमओ तब अपने निर्धारित मूल्यांकन पाइपलाइन का उपयोग करके डाउनस्ट्रीम और परिप्रेक्ष्य दोनों मूल्यांकन के लिए अन्य सार्वजनिक मॉडल के साथ तुलना करता है।

ओएलएमओ मॉडल के प्रशिक्षण के दौरान मॉडल वास्तुकला, प्रारंभिककरण, ऑप्टिमाइज़र, लर्निंग रेट अनुसूची, और डेटा मिश्रण के बारे में कई मूल्यांकन मेट्रिक्स चलाता है। डेवलपर्स इसे ओएलएमओ का “ऑनलाइन मूल्यांकन” कहते हैं, जो प्रत्येक 1000 प्रशिक्षण चरणों (∼4B प्रशिक्षण टोकन) पर एक लूप-इन-लूप पुनरावृत्ति है ताकि मॉडल की गुणवत्ता पर एक प्रारंभिक और निरंतर संकेत दिया जा सके। इन मूल्यांकनों की स्थापना हमारे ऑफलाइन मूल्यांकन के लिए उपयोग किए जाने वाले अधिकांश मूल कार्यों और प्रयोग सेटिंग्स पर निर्भर करती है। ओएलएमओ का उद्देश्य न केवल ओएलएमओ-7बी की तुलना अन्य मॉडल के साथ करना है, बल्कि यह भी दिखाना है कि यह पूर्ण और अधिक नियंत्रित वैज्ञानिक मूल्यांकन को कैसे सक्षम बनाता है। ओएलएमओ-7बी परिप्रेक्ष्य मूल्यांकन के लिए एक्सप्लिसिट डीकंटैमिनेशन के साथ सबसे बड़ा भाषा मॉडल है।

ओएलएमओ प्रशिक्षण

यह ध्यान रखना महत्वपूर्ण है कि ओएलएमओ फ्रेमवर्क मॉडल ज़ीरो ऑप्टिमाइज़र रणनीति का उपयोग करके प्रशिक्षित किए जाते हैं, जो एफएसडीपी फ्रेमवर्क के माध्यम से पाइटोर्च के माध्यम से प्रदान किया जाता है, और इस प्रकार जीपीयू मेमोरी की खपत को काफी कम कर देता है जीपीयू पर मॉडल वजन को शार्डिंग करके। इसके साथ, 7बी स्केल पर, प्रशिक्षण 4096 टोकन प्रति जीपीयू के माइक्रो-बैच आकार के साथ किया जा सकता है। ओएलएमओ-1बी और -7बी मॉडल के प्रशिक्षण फ्रेमवर्क में एक वैश्विक रूप से स्थिर बैच आकार होता है, जो लगभग 4एम टोकन (2048 उदाहरण, प्रत्येक 2048 टोकन की क्रमिक लंबाई के साथ) होता है। ओएलएमओ-65बी मॉडल (वर्तमान में प्रशिक्षण में) के लिए, डेवलपर्स एक बैच आकार वार्मअप का उपयोग करते हैं जो लगभग 2एम टोकन (1024 उदाहरण) से शुरू होता है, जो प्रत्येक 100बी टोकन पर दोगुना हो जाता है जब तक कि यह लगभग 16एम टोकन (8192 उदाहरण) तक नहीं पहुंच जाता।

प्रवाह में सुधार के लिए, हम मिक्स्ड-पर्सिशन प्रशिक्षण (मिकिकेविसियस एट अल, 2017) का उपयोग करते हैं जो एफएसडीपी की निर्मित सेटिंग्स और पाइटोर्च के एएमपी मॉड्यूल के माध्यम से प्रदान किया जाता है। बाद में यह सुनिश्चित करता है कि कertain ऑपरेशन जैसे सॉफ्टमैक्स हमेशा पूर्ण सटीकता में चलते हैं, जबकि अन्य सभी ऑपरेशन आधे सटीकता में बीफ्लोट16 प्रारूप में चलते हैं। हमारी विशिष्ट सेटिंग्स के तहत, जीपीयू स्थानीय मॉडल वजन और ऑप्टिमाइज़र राज्य पूर्ण सटीकता में रखे जाते हैं। प्रत्येक ट्रांसफॉर्मर ब्लॉक के भीतर वजन को केवल तभी बीफ्लोट16 प्रारूप में डाला जाता है जब पूर्ण आकार के पैरामीटर प्रत्येक जीपीयू पर मैटेरियलाइज़ किए जाते हैं। ग्रेडिएंट्स को पूर्ण सटीकता में जीपीयू के पार किया जाता है।

ऑप्टिमाइज़र

ओएलएमओ फ्रेमवर्क एडमडब्ल्यू ऑप्टिमाइज़र का उपयोग निम्नलिखित हाइपरपैरामीटर के साथ करता है:

सभी मॉडल आकारों के लिए, लर्निंग रेट पहले 5000 चरणों (∼21बी टोकन) पर रैखिक रूप से गर्म होता है और फिर एक निर्दिष्ट न्यूनतम लर्निंग रेट तक व्युत्क्रम वर्गमूल के साथ रैखिक रूप से घट जाता है। वार्मअप अवधि के बाद, मॉडल ग्रेडिएंट्स को क्लिप करता है ताकि पैरामीटर ग्रेडिएंट्स का कुल ले-नॉर्म 1.0 से अधिक न हो। निम्नलिखित तालिका 7बी स्केल पर हमारी ऑप्टिमाइज़र सेटिंग्स की तुलना हाल के एलएम के साथ करती है जिन्होंने एडमडब्ल्यू का उपयोग किया था।

प्रशिक्षण डेटा

प्रशिक्षण में शामिल हैं प्रशिक्षण उदाहरणों को वाक्य और बीपीई टोकनाइज़र द्वारा टोकनाइज़ करना, प्रत्येक दस्तावेज़ के अंत में एक विशेष ईओएस टोकन जोड़ना, और फिर 2048 टोकन के लगातार चंक्स को समूहीकृत करना ताकि प्रशिक्षण उदाहरण बनाए जा सकें। प्रशिक्षण उदाहरण प्रत्येक प्रशिक्षण रन के लिए समान तरीके से मिलाया जाता है। प्रशिक्षण बैच का क्रम और प्रत्येक प्रशिक्षण बैच की सटीक संरचना जारी की गई कलाकृतियों से पुनर्निर्मित की जा सकती है। सभी जारी ओएलएमओ मॉडल को कम से कम 2टी टोकन (इसके प्रशिक्षण डेटा पर एक एकल एपोक) तक प्रशिक्षित किया गया है, और कुछ को डेटा पर दूसरे एपोक के साथ शुरू करके उससे आगे प्रशिक्षित किया गया है, जिसमें एक अलग मिलान क्रम है।

परिणाम

ओएलएमओ-7बी के मूल्यांकन के लिए उपयोग किया जाने वाला चेकपॉइंट डोल्मा डेटासेट पर 2.46टी टोकन तक प्रशिक्षित किया जाता है जिसमें पहले उल्लिखित रैखिक लर्निंग रेट डिके है। इस चेकपॉइंट को डोल्मा डेटासेट पर 1000 चरणों के लिए रैखिक रूप से घटते हुए लर्निंग रेट के साथ और अधिक ट्यून करने से परिप्रेक्ष्य और अंत-कार्य मूल्यांकन सूट पर मॉडल के प्रदर्शन में और वृद्धि होती है। अंतिम मूल्यांकन के लिए, डेवलपर्स ने ओएलएमओ की तुलना एलएलएएमए-7बी, एलएलएएमए2-7बी, पाइथिया-6.9बी, फाल्कन-7बी और आरपीजे-इनसाइट-7बी जैसे अन्य सार्वजनिक रूप से उपलब्ध मॉडल के साथ की है।

डाउनस्ट्रीम मूल्यांकन

मूल डाउनस्ट्रीम मूल्यांकन सूट निम्नलिखित तालिका में सारांशित किया गया है:

हम सभी मामलों में रैंक वर्गीकरण दृष्टिकोण द्वारा शून्य-शॉट मूल्यांकन करते हैं। इस दृष्टिकोण में, उम्मीदवार पाठ पूर्ति (जैसे विभिन्न बहु-विकल्प विकल्प) को संभाव्यता (आमतौर पर कुछ सामान्यीकरण कारक द्वारा सामान्यीकृत) द्वारा रैंक किया जाता है, और पूर्वानुमान सटीकता की रिपोर्ट की जाती है।

कैटवॉक कई पारंपरिक संभाव्यता सामान्यीकरण विधियों का उपयोग करता है, जैसे प्रति-टोकन सामान्यीकरण और प्रति-अक्षर सामान्यीकरण, सामान्यीकरण रणनीतियों को प्रत्येक डेटासेट के लिए अलग से चुना जाता है और इसमें उत्तर की अनशर्त संभाव्यता शामिल है। अधिक विशेष रूप से, यह आर्सी और ओपनबुकक्यू कार्यों के लिए कोई सामान्यीकरण नहीं करना शामिल करता है, हेलस्वाग, पिक्यू और विनोग्रांडे कार्यों के लिए प्रति-टोकन सामान्यीकरण, और बूलक्यू, कोपा और स्कीक्यू कार्यों (अर्थात कार्यों को एकल टोकन पूर्वानुमान कार्य के करीब सूत्रीकरण) के लिए कोई सामान्यीकरण नहीं है।

निम्नलिखित आंकड़ा नौ मूल डाउनस्ट्रीम कार्यों के लिए सटीकता स्कोर की प्रगति को दर्शाता है। यह निष्कर्ष निकाला जा सकता है कि अधिकांश कार्यों के लिए सटीकता संख्या में एक सामान्य रूप से बढ़ती प्रवृत्ति है, ओबीक्यू को छोड़कर, क्योंकि ओएलएमओ-7बी को अधिक टोकन पर प्रशिक्षित किया जाता है। कई कार्यों में सटीकता में तेजी से वृद्धि अंतिम 1000 प्रशिक्षण चरणों के दौरान देखी जा सकती है, जब लर्निंग रेट को रैखिक रूप से शून्य तक कम किया जाता है। उदाहरण के लिए, पालोमा का तर्क दोमेन-वार प्रदर्शन की जांच से लेकर अधिक सारांशित परिणामों तक विभिन्न विश्लेषणों की एक श्रृंखला के माध्यम से होता है। हम दो स्तरों पर परिणामों की रिपोर्ट करते हैं: 18 में से 11 स्रोतों पर पालोमा में समग्र प्रदर्शन, साथ ही व्यक्तिगत रूप से प्रत्येक स्रोत पर।

अंतिम विचार

इस लेख में, हमने ओएलएमओ के बारे में चर्चा की है, जो एक राज्य-ऑफ-द-आर्ट, वास्तविक रूप से खुला भाषा मॉडल है जो डेवलपर्स को एक फ्रेमवर्क प्रदान करता है जिसमें वे भाषा मॉडल बना सकते हैं, उनका अध्ययन कर सकते हैं और उनके विकास को आगे बढ़ा सकते हैं, साथ ही शोधकर्ताओं को इसके प्रशिक्षण और मूल्यांकन कोड, प्रशिक्षण विधि, प्रशिक्षण डेटा, प्रशिक्षण लॉग और मध्यवर्ती मॉडल चेकपॉइंट तक पहुंचने की अनुमति देता है। मौजूदा राज्य-ऑफ-द-आर्ट मॉडल खुलेपन की विभिन्न डिग्री हैं, जबकि ओएलएमओ मॉडल ने प्रशिक्षण से लेकर डेटा तक मूल्यांकन उपकरणों तक पूरे फ्रेमवर्क को जारी किया है, जिससे राज्य-ऑफ-द-आर्ट मॉडल जैसे एलएलएएमए2 मॉडल के साथ प्रदर्शन में अंतर को कम किया जा सकता है।