рдХреГрддреНрд░рд┐рдо рдмреБрджреНрдзрд┐рдорддреНрддрд╛
рдЬрд░реНрдорди рдСрдЯреЛ-рдЕрдиреБрд╡рд╛рдж рдореЙрдбрд▓ рдХрд╛ рдЙрдЪреНрдЪ рдХрд╛рд░реНрдмрди рдлреБрдЯрдкреНрд░рд┐рдВрдЯ
मशीन लर्निंग अनुवाद मॉडल द्वारा निर्मित कार्बन फुटप्रिंट पर नए शोध से पता चलता है कि जर्मन शायद प्रशिक्षण के लिए सबसे कार्बन-गहन लोकप्रिय भाषा हो सकती है, हालांकि यह पूरी तरह से स्पष्ट नहीं है कि क्यों। नई रिपोर्ट का उद्देश्य अधिक कार्बन-कुशल एआई प्रशिक्षण विधियों के अनुसंधान में अतिरिक्त मार्ग खोलना है, मशीन लर्निंग सिस्टम द्वारा बिजली की खपत की सीमा के बारे में बढ़ती जागरूकता के संदर्भ में।
प्रीप्रिंट पेपर का शीर्षक कर्ब योर कार्बन एमिशन: बेंचमार्किंग कार्बन एमिशन इन मशीन ट्रांसलेशन है, और यह भारत के मैनिपाल इंस्टीट्यूट ऑफ टेक्नोलॉजी के शोधकर्ताओं से है।
लेखकों ने विभिन्न संभावित अंतर-भाषा अनुवाद मॉडल के लिए प्रशिक्षण समय और कार्बन उत्सर्जन मूल्यों की गणना की, और पाया कि ‘एक उल्लेखनीय विसंगति’ तीन सबसे कार्बन-गहन भाषा जोड़ियों और तीन सबसे कार्बन-आर्थिक मॉडल के बीच समय लिया गया था।
10 प्रशिक्षण युगों में जारी कार्बन उत्सर्जन का औसत। बाएं, ConvSeq का उपयोग करके परिणाम, दाएं, Transformers। स्रोत: https://arxiv.org/pdf/2109.12584.pdf
इस पत्र में पाया गया कि प्रशिक्षण के लिए सबसे ‘पारिस्थितिक’ भाषा जोड़ियां अंग्रेजी>फ्रेंच, फ्रेंच>अंग्रेजी और, विरोधाभासी, जर्मन से अंग्रेजी हैं, जबकि जर्मन उच्चतम उपभोक्ता जोड़ियों में से सभी में शामिल है: फ्रेंच>जर्मन, अंग्रेजी>जर्मन और जर्मन>फ्रेंच।
यौगिक ब्याज
निष्कर्षों से पता चलता है कि शब्दावली विविधता ‘प्रदर्शन के एक पर्याप्त स्तर तक पहुंचने के लिए प्रशिक्षण समय के सीधे अनुपात में है’, और यह नोट करते हैं कि जर्मन भाषा में तीन परीक्षण की गई भाषाओं में से सबसे उच्च शब्दावली विविधता स्कोर है, जैसा कि इसके प्रकार-टोकन अनुपात (टीटीआर) द्वारा अनुमानित है – एक शब्दावली के आकार के आधार पर पाठ की लंबाई का एक माप।
जर्मन को अनुवाद मॉडल में संसाधित करने की बढ़ी हुई मांगें प्रयोग के लिए उपयोग किए गए स्रोत डेटा में परिलक्षित नहीं होती हैं। वास्तव में, स्रोत डेटा से उत्पन्न जर्मन भाषा टोकन की संख्या (299445) अंग्रेजी (320108) की तुलना में कम है, और फ्रेंच (335917) की तुलना में बहुत कम है।
प्राकृतिक भाषा प्रसंस्करण (एनएलपी) के दृष्टिकोण से, जर्मन यौगिक शब्दों को उनके घटक शब्दों में विभाजित करना एक चुनौती है। एनएलपी प्रणाली अक्सर यह कार्य करती हैं बिना किसी पूर्व-‘विभाजित’ आसपास के व्याकरण या संदर्भ संकेतों के, जो कम टीटीआर स्कोर वाली भाषाओं जैसे अंग्रेजी में पाए जा सकते हैं। इस प्रक्रिया को यौगिक विभाजन या विघटन कहा जाता है।
जर्मन भाषा में दुनिया के कुछ सबसे लंबे व्यक्तिगत शब्द हैं, हालांकि 2013 में इसने अपने 65-अक्षर पूर्व रिकॉर्ड धारक की आधिकारिक मान्यता खो दी, जो इस लेख में अपनी लाइन की आवश्यकता है:
रिंडफ्लेशेटिकेटियरंग्सुएबरवाचुंग्सौफगाबेनुएबरट्रागुंग्सगेसेट्ज
शब्द गाय के मांस लेबल निगरानी कानून को संदर्भित करता है, लेकिन उस वर्ष यूरोपीय नियमों में परिवर्तन के कारण इसका अस्तित्व समाप्त हो गया, जिसने दानूब नौकायन कंपनी के कप्तान की विधवा (49 अक्षर) जैसे अन्य लोकप्रिय स्टैलवार्ट्स के लिए स्थान छोड़ दिया:
डोनाडम्पफ्सचिफ्फाह्र्ट्सगेसेलशाफ्ट्सकैपिटेन्सविटवे
सामान्य तौर पर, जर्मन की वाक्य रचना कई पश्चिमी भाषाओं में एनएलपी प्रथाओं के आधार पर शब्द-क्रम धारणाओं से विचलन की आवश्यकता होती है, जिसमें लोकप्रिय (बर्लिन स्थित) स्पेसी एनएलपी फ्रेमवर्क ने 2016 में अपनी मूल भाषा मॉडल को अपनाया था।
एक अंग्रेजी और जर्मन वाक्य में परियोजना मappings जर्मन भाषा में शब्दावली तत्वों के बीच जटिल अंतर्संबंधों को प्रदर्शित करते हैं। स्रोत: https://explosion.ai/blog/german-model
डेटा और परीक्षण
स्रोत डेटा के लिए, शोधकर्ताओं ने मल्टी30के डेटासेट का उपयोग किया, जिसमें फ्रेंच, जर्मन और अंग्रेजी भाषाओं में 30,000 नमूने हैं।
शोधकर्ताओं द्वारा उपयोग किए गए दो मॉडलों में से पहला फेसबुक एआई का 2017 कॉन्वोल्यूशनल सीक्वेंस टू सीक्वेंस (कॉन्वसेक) था, एक न्यूरल नेटवर्क जिसमें कॉन्वोल्यूशनल लेयर्स होती हैं लेकिन रिकरेंट यूनिट्स की कमी होती है, और इसके बजाय फिल्टर का उपयोग टेक्स्ट से विशेषताओं को प्राप्त करने के लिए किया जाता है। यह सभी ऑपरेशन को एक गणनात्मक रूप से कुशल समानांतर तरीके से करने की अनुमति देता है।
दूसरा दृष्टिकोण गूगल के प्रभावशाली ट्रांसफॉर्मर आर्किटेक्चर का उपयोग करता है, जो 2017 में भी है। ट्रांसफॉर्मर रूपांतरण में रेखीय परतें, ध्यान तंत्र और सामान्यीकरण दिनचर्या शामिल हैं। स्वीकार किया जाता है कि मूल रिलीज़ मॉडल कार्बन अकुशलता के लिए आलोचना के अधीन आया है, जिसमें बाद के सुधारों के विवाद हैं।
प्रयोग गूगल कोलाब पर किए गए थे, एक टेस्ला के80 जीपीयू पर समान रूप से। भाषाओं की तुलना ब्लू (बाइलिंगुअल इवैल्यूएशन अंडरस्टडी) स्कोर मेट्रिक और कोडकार्बन मशीन लर्निंग एमिशन कैलकुलेटर का उपयोग करके की गई थी। डेटा को 10 युगों में प्रशिक्षित किया गया था।
निष्कर्ष
शोधकर्ताओं ने पाया कि यह जर्मन से संबंधित भाषा जोड़ियों के लिए प्रशिक्षण का विस्तारित समय था जो उच्च कार्बन उपभोग में संतुलन को बदल देता था। हालांकि कुछ अन्य भाषा जोड़ियों, जैसे कि अंग्रेजी>फ्रेंच और फ्रेंच>अंग्रेजी में भी उच्च कार्बन उपभोग था, वे अधिक तेजी से प्रशिक्षित हुए और अधिक आसानी से हल हो गए, जिसमें शोधकर्ताओं ने उपभोग के इन उछालों को ‘अप्रासंगिक’ के रूप में वर्णित किया था। जर्मन को शामिल करने वाली भाषा जोड़ियों द्वारा उपभोग की तुलना में।
एनकोडर/डिकोडर कार्बन उत्सर्जन द्वारा भाषा जोड़ियों का विश्लेषण।
शोधकर्ता निष्कर्ष निकालते हैं:
‘हमारे निष्कर्ष यह स्पष्ट संकेत देते हैं कि कुछ भाषा जोड़ियां दूसरों की तुलना में अधिक कार्बन-गहन हैं, एक प्रवृत्ति जो विभिन्न वास्तुकला में भी बनी रहती है।’
वे जारी रखते हैं:
‘हालांकि, यह अभी भी अनुत्तरित प्रश्न हैं कि क्यों एक विशेष भाषा जोड़ी के लिए मॉडल को प्रशिक्षित करने में इतना अंतर है, और क्या विभिन्न वास्तुकला इन कार्बन-गहन भाषा जोड़ियों के लिए अधिक उपयुक्त हो सकती है, और यदि यह सच है तो क्यों।’
पत्र पर जोर देता है कि प्रशिक्षण मॉडल के माध्यम से कार्बन उपभोग में विसंगति के कारण पूरी तरह से स्पष्ट नहीं हैं। वे गैर-लैटिन आधारित भाषाओं के साथ इस शोध को विकसित करने की उम्मीद करते हैं।
1.20pm GMT+2 – पाठ त्रुटि सुधारित।
