जर्मन ऑटो-अनुवाद मॉडल का उच्च कार्बन फुटप्रिंट

मशीन लर्निंग अनुवाद मॉडल द्वारा निर्मित कार्बन फुटप्रिंट पर नए शोध से पता चलता है कि जर्मन शायद सबसे अधिक कार्बन-गहन लोकप्रिय भाषा हो सकती है, हालांकि यह पूरी तरह से स्पष्ट नहीं है कि क्यों। नई रिपोर्ट का उद्देश्य अधिक कार्बन-कुशल एआई प्रशिक्षण विधियों के अनुसंधान में अतिरिक्त मार्ग खोलना है, मशीन लर्निंग प्रणालियों द्वारा बिजली की खपत की सीमा के बारे में बढ़ती जागरूकता के संदर्भ में।

प्रिंट पेपर का शीर्षक Curb Your Carbon Emissions: Benchmarking Carbon Emissions in Machine Translation है, और यह भारत के मैनिपाल प्रौद्योगिकी संस्थान के शोधकर्ताओं से है।

लेखकों ने विभिन्न संभावित अंतर-भाषा अनुवाद मॉडल के लिए प्रशिक्षण समय और कार्बन उत्सर्जन मूल्यों की गणना की, और ‘एक उल्लेखनीय विसंगति’ पाई между तीन सबसे कार्बन-गहन भाषा जोड़ियों और तीन सबसे कार्बन-आर्थिक मॉडलों के बीच समय लिया।

10 प्रशिक्षण युगों में जारी कार्बन उत्सर्जन का औसत। बाएं, ConvSeq (नीचे देखें) का उपयोग करके परिणाम, दाएं, Transformers। स्रोत: https://arxiv.org/pdf/2109.12584.pdf

इस पत्र में पाया गया कि सबसे ‘पारिस्थितिक’ भाषा जोड़ियाँ प्रशिक्षित करने के लिए अंग्रेजी>फ्रांसीसी, फ्रांसीसी>अंग्रेजी और, विरोधाभासी, जर्मन से अंग्रेजी हैं, जबकि जर्मन उच्चतम उपभोग वाली सभी जोड़ियों में शामिल है: फ्रांसीसी>जर्मन, अंग्रेजी>जर्मन और जर्मन>फ्रांसीसी।

संयुक्त ब्याज

निष्कर्षों से पता चलता है कि शब्दकोश विविधता ‘प्रशिक्षण समय से सीधे आनुपातिक है जो एक पर्याप्त प्रदर्शन स्तर हासिल करने के लिए’, और यह ध्यान दें कि जर्मन भाषा में तीन परीक्षण भाषाओं में से सबसे अधिक शब्दकोश विविधता स्कोर है, जैसा कि इसके प्रकार-टोकन अनुपात (टीटीआर) द्वारा अनुमानित है – एक शब्दावली के आकार के आधार पर पाठ की लंबाई के आधार पर एक माप।

जर्मन को अनुवाद मॉडल में संसाधित करने की बढ़ी हुई मांग स्रोत डेटा में परिलक्षित नहीं होती है जो प्रयोग के लिए उपयोग की जाती थी। वास्तव में, स्रोत डेटा से उत्पन्न जर्मन भाषा टोकन में अंग्रेजी (320108) की तुलना में कम (299445) डेरिवेटिव टोकन हैं, और फ्रांसीसी (335917) की तुलना में बहुत कम हैं।

प्राकृतिक भाषा प्रसंस्करण (एनएलपी) के दृष्टिकोण से, चुनौती यह है कि संयुक्त जर्मन शब्दों को उनके घटक शब्दों में विभाजित किया जाए। एनएलपी प्रणालियों को अक्सर जर्मन के लिए यह करना होता है बिना किसी पूर्व-‘विभाजित’ आसपास के व्याकरण या संदर्भ संकेतों के, जो कम टीटीआर स्कोर वाली भाषाओं जैसे अंग्रेजी में पाए जा सकते हैं। इस प्रक्रिया को संयुक्त विभाजन या विघटन कहा जाता है।

जर्मन भाषा में दुनिया के कुछ सबसे लंबे व्यक्तिगत शब्द हैं, हालांकि 2013 में इसने अपने 65-अक्षर पूर्व रिकॉर्ड धारक की आधिकारिक मान्यता खो दी, जो इस लेख में अपनी लाइन की आवश्यकता है:

Rindfleischetikettierungsueberwachungsaufgabenuebertragungsgesetz

शब्द एक गाय के लेबल निगरानी कानून को संदर्भित करता है, लेकिन 2013 में यूरोपीय नियमों में परिवर्तन के कारण इसका अस्तित्व समाप्त हो गया, जो अन्य लोकप्रिय स्टालवार्ट्स के लिए जगह छोड़ देता है, जैसे ‘डैन्यूब स्टीमबोट कंपनी के कप्तान की विधवा’ (49 अक्षर):

Donaudampfschifffahrtsgesellschaftskapitaenswitwe

सामान्य तौर पर, जर्मन की वाक्य रचना कई पश्चिमी भाषाओं में एनएलपी प्रथाओं के आधार पर शब्द-क्रम धारणाओं से विचलन की आवश्यकता है, लोकप्रिय (बर्लिन स्थित) स्पेसी एनएलपी फ्रेमवर्क ने 2016 में अपनी मूल भाषा में अपनाया।

एक अंग्रेजी और जर्मन वाक्य में परियोजना मappings जर्मन भाषा में शब्दकोश तत्वों के बीच जटिल अंतर्संबंधों को प्रदर्शित करते हैं। स्रोत: https://explosion.ai/blog/german-model

डेटा और परीक्षण

स्रोत डेटा के लिए, शोधकर्ताओं ने मल्टी30के डेटासेट का उपयोग किया, जिसमें फ्रांसीसी, जर्मन और अंग्रेजी भाषाओं में 30,000 नमूने हैं।

शोधकर्ताओं द्वारा उपयोग किए गए दो मॉडलों में से पहला फेसबुक एआई का 2017 का कन्वोल्यूशनल सीक्वेंस टू सीक्वेंस (कॉन्वसेक) था, एक न्यूरल नेटवर्क जिसमें कन्वोल्यूशनल लेयर्स होती हैं लेकिन रिकरेंट यूनिट्स की कमी होती है, और इसके बजाय फिल्टर का उपयोग करके पाठ से विशेषताओं को प्राप्त करने के लिए होता है। यह सभी ऑपरेशन को एक संगणनात्मक रूप से कुशल समांतर तरीके से होने देता है।

दूसरी दृष्टिकोण गूगल के प्रभावशाली ट्रांसफॉर्मर आर्किटेक्चर का उपयोग करता है, जो 2017 से भी है। ट्रांसफॉर्मर रूपांतरण में रेखीय परतें, ध्यान तंत्र और सामान्यीकरण दिनचर्या शामिल हैं। स्वीकार किया जाता है कि मूल रिलीज़ मॉडल कार्बन अकुशलता के लिए आलोचना के अधीन आया है, जिसमें बाद के सुधार विवादित हैं।

प्रयोग गूगल कोलाब पर किए गए थे, एक समान रूप से टेस्ला के80 जीपीयू पर। भाषाओं की तुलना ब्लू (बाइलिंगुअल इवैल्यूएशन अंडरस्टडी) स्कोर मेट्रिक और कोडकार्बन मशीन लर्निंग एमिशन कैलकुलेटर का उपयोग करके की गई थी। डेटा 10 युगों में प्रशिक्षित किया गया था।

निष्कर्ष

शोधकर्ताओं ने पाया कि यह जर्मन से संबंधित भाषा जोड़ियों के लिए प्रशिक्षण का विस्तारित समय था जो उच्च कार्बन खपत में संतुलन को बदल देता था। हालांकि कुछ अन्य भाषा जोड़ियों, जैसे कि अंग्रेजी>फ्रांसीसी और फ्रांसीसी>अंग्रेजी में भी उच्च कार्बन खपत थी, वे तेजी से प्रशिक्षित हुए और अधिक आसानी से हल हो गए, जिन्हें शोधकर्ताओं ने ‘अपेक्षाकृत महत्वहीन’ के रूप में वर्णित किया था जर्मन के साथ जोड़ी वाली भाषा जोड़ियों द्वारा खपत के संबंध में।

एनकोडर/डिकोडर कार्बन उत्सर्जन द्वारा भाषा जोड़ियों का विश्लेषण।

शोधकर्ता निष्कर्ष निकालते हैं:

‘हमारे निष्कर्ष यह स्पष्ट संकेत देते हैं कि कुछ भाषा जोड़ियाँ दूसरों की तुलना में प्रशिक्षित करने के लिए अधिक कार्बन-गहन हैं, एक प्रवृत्ति जो विभिन्न आर्किटेक्चर में भी बनी रहती है।’

वे जारी रखते हैं:

‘हालांकि, कुछ भाषा जोड़ियों के लिए प्रशिक्षण मॉडल के बीच इतने बड़े अंतर के कारण अभी भी अनुत्तरित प्रश्न हैं, और क्या विभिन्न आर्किटेक्चर इन कार्बन-गहन भाषा जोड़ियों के लिए अधिक उपयुक्त हो सकते हैं, और यदि ऐसा है तो यह मामला क्यों है।’

पत्र में कहा गया है कि प्रशिक्षण मॉडल में कार्बन खपत में विसंगति के कारण पूरी तरह से स्पष्ट नहीं हैं। वे गैर-लैटिन आधारित भाषाओं के साथ इस शोध की रेखा को विकसित करने की उम्मीद करते हैं।
1.20pm GMT+2 – पाठ त्रुटि सुधारित।