एप्पल का लिंग-विशिष्ट भाषाओं के अनुवाद का समाधान

एप्पल ने हाल ही में एक शोध पत्र प्रकाशित किया है, जिसमें यूएससी के साथ मिलकर मशीन लर्निंग विधियों का उपयोग किया गया है ताकि उपयोगकर्ताओं को अपने आईओएस18 ऑपरेटिंग सिस्टम में लिंग के बारे में अधिक विकल्प प्रदान किए जा सकें।

आईओएस18 में, उपयोगकर्ता मूल ट्रांस्लेट ऐप में अनुवादित शब्द के लिए वैकल्पिक लिंग सुझाव चुन सकते हैं। स्रोत: https://support.apple.com/guide/iphone/translate-text-voice-and-conversations-iphd74cb450f/ios

इस काम में जिन मुद्दों को संबोधित किया गया है, वे वर्तमान में लिंग की परिभाषाओं के आसपास की चर्चाओं में शामिल हैं, लेकिन यह एक पुरानी समस्या पर केंद्रित है: विश्व में 229 ज्ञात भाषाओं में से 84 में लिंग-आधारित लिंग प्रणाली का उपयोग किया जाता है।

लाल बिंदु लिंग-आधारित लिंग प्रणाली का उपयोग करने वाली भाषाओं को इंगित करते हैं। स्रोत: https://wals.info/feature/31A#map

अंग्रेजी भाषा आश्चर्यजनक रूप से लिंग-आधारित श्रेणी में आती है, क्योंकि यह एकवचन सर्वनाम को पुरुष या स्त्री के रूप में सौंपा जाता है।

इसके विपरीत, सभी रोमांस भाषाएं (जिनमें स्पेनिश भाषी लोगों की संख्या अरबों में है) और कई अन्य लोकप्रिय भाषाएं, जैसे कि रूसी, लिंग समझौते की आवश्यकता होती है जो अनुवाद प्रणाली को लिंग असाइनमेंट को संबोधित करने के लिए मजबूर करती है।

इस पेपर में यह दिखाया गया है कि स्पेनिश में “द सेक्रेटरी ने बॉस से गुस्सा किया” वाक्य के सभी संभावित अनुवाद हैं:

पेपर से एक उदाहरण, जिसमें ‘द सेक्रेटरी ने बॉस से गुस्सा किया’ वाक्य के लिंग असाइनमेंट के संभावित रूप दिखाए गए हैं, अंग्रेजी से स्पेनिश में अनुवाद करते समय。 स्रोत: https://arxiv.org/pdf/2407.20438

निष्क्रिय अनुवाद लंबे ग्रंथों के लिए पर्याप्त नहीं है, जो शुरू में लिंग को स्थापित कर सकते हैं (‘वह’, ‘वह’, आदि) और फिर लिंग का उल्लेख नहीं कर सकते हैं। फिर भी, अनुवाद को पूरे ग्रंथ में भागीदार के सौंपे गए लिंग को याद रखना होगा।

यह टोकन-आधारित दृष्टिकोण के लिए चुनौतीपूर्ण हो सकता है जो अनुवादों को विविध टुकड़ों में संबोधित करता है और सामग्री की अवधि के दौरान लिंग-संदर्भ को खो सकता है।

और भी बुरा है, जो प्रणालियां पक्षपातपूर्ण लिंग असाइनमेंट के लिए वैकल्पिक अनुवाद प्रदान करती हैं, वे इसे स्वचालित रूप से नहीं कर सकती हैं, अर्थात् केवल लिंग संज्ञा को प्रतिस्थापित करके, बल्कि यह सुनिश्चित करने के लिए कि भाषा के अन्य सभी भाग लिंग संज्ञा के साथ सहमत हैं।

इस उदाहरण में, हम देखते हैं कि हालांकि “सेक्रेटरी” को पुरुष लिंग सौंपा गया है, विशेषण “वास” को स्त्रीलिंग (“वास”) के रूप में छोड़ दिया गया है:

ब्रूट-फोर्स लिंग प्रतिस्थापन लिंग समझौते की उपेक्षा कर सकते हैं। इस उदाहरण में, ‘enojada’ को ‘enojado’ होना चाहिए, जो पुरुष ‘El secretario’ से मेल खाता है।

लिंग मुद्दे

इस नए पेपर में, शीर्षक मशीन अनुवाद में लिंग विकल्प उत्पन्न करना, एप्पल और यूएससी शोधकर्ता एक अर्ध-पर्यवेक्षित विधि का प्रस्ताव करते हैं जो मशीन अनुवाद में लिंग-अस्पष्ट इकाइयों को इकाई-स्तरीय विकल्पों में परिवर्तित करती है।

प्रणाली, जिसे एप्पल ट्रांस्लेट ऐप में आईओएस18 में अनुवाद के लिए उपयोग किया गया था, एक भाषा योजना का निर्माण करती है जो बड़े भाषा मॉडल (एलएलएम) के उपयोग और पूर्व-प्रशिक्षित खुले स्रोत मशीन अनुवाद मॉडल को फाइन-ट्यून करके बनाई जाती है।

इन प्रणालियों से अनुवाद के परिणामों को एक वास्तुकला में प्रशिक्षित किया गया था जिसमें लिंग संरचनाएं शामिल थीं – वाक्यों के समूह जिनमें विभिन्न रूपों के लिंग वाले संज्ञाएं शामिल थीं जो एक ही इकाई का प्रतिनिधित्व करती थीं।

पेपर में कहा गया है:

‘प्रशिक्षण डेटा में मौजूद लिंग पूर्वाग्रह प्राकृतिक भाषा प्रसंस्करण (एनएलपी) प्रणालियों में रिसाव करते हैं, जिससे उन पूर्वाग्रहों का प्रसार और संभावित वृद्धि होती है। ऐसे पूर्वाग्रह अक्सर त्रुटियों का मूल कारण भी होते हैं।

‘एक मशीन अनुवाद (एमटी) प्रणाली उदाहरण के लिए, “डॉक्टर” को स्पेनिश शब्द मेडिको (पुरुष) के रूप में अनुवादित कर सकती है, न कि मेडिका (स्त्री) के रूप में, यदि इनपुट “डॉक्टर ने नर्स से प्रक्रिया में उसकी मदद करने के लिए कहा।”

‘लिंग असाइनमेंट के लिए गलत निर्धारण से बचने के लिए, एमटी प्रणालियों को संदर्भ के माध्यम से लिंग को स्पष्ट करने की आवश्यकता है। जब संदर्भ के माध्यम से सही लिंग का निर्धारण नहीं किया जा सकता है, तो सभी वैध लिंग विकल्पों को कवर करने वाले कई अनुवाद विकल्प प्रदान करना एक उचित दृष्टिकोण है।’

इस दृष्टिकोण से शोधकर्ता जो परिणाम निकालते हैं वह मूल रूप से एक अनुवाद को एक एकल टोकन से एक उपयोगकर्ता-नियंत्रित सरणी में बदल देता है।

इस पेपर में यह भी उल्लेख किया गया है कि यह दृष्टिकोण एप्पल ट्रांस्लेट या इसी तरह के पोर्टल में भविष्य के संस्करणों में उपयोगकर्ता की पसंद को मॉडल में वापस फीड करने की संभावना खोलता है।

एप्पल और यूएससी द्वारा विकसित मॉडल का मूल्यांकन जीईटीई और एमटी-जेनएवल पर किया गया था। जीईटीई में स्रोत वाक्य हैं जिनमें तीन लिंग-अस्पष्ट इकाइयां हैं, जबकि एमटी-जेनएवल में सामग्री है जहां लिंग का अनुमान नहीं लगाया जा सकता है, जो यह समझने में मदद करता है कि कब उपयोगकर्ता को वैकल्पिक लिंग विकल्प नहीं दिए जाने चाहिए।

दोनों ही मामलों में, परीक्षण सेट को परियोजना के उद्देश्यों के अनुरूप पुनः अन्नोटेट किया जाना था।

प्रणाली को प्रशिक्षित करने के लिए, शोधकर्ताओं ने एक नई स्वचालित डेटा वृद्धि एल्गोरिदम पर भरोसा किया, जो कि ऊपर उल्लिखित परीक्षण सेट के विपरीत था, जो मानव द्वारा अन्नोटेट किया गया था।

एप्पल क्यूरेशन के लिए योगदान देने वाले डेटासेट में यूरोपार्ल; विकिटाइटल्स; और विकिमैट्रिक्स शामिल थे। कॉर्पस को जी-टैग (12,000 वाक्यों के साथ) में विभाजित किया गया था, जिसमें वाक्य शामिल थे जिनमें सभी इकाइयों के लिए सिर शब्द थे, साथ ही लिंग-अस्पष्ट अन्नोटेशन भी था; और जी-ट्रांस (50,000 वाक्यों के साथ), जिसमें लिंग-अस्पष्ट इकाइयां और लिंग संरेखण शामिल थीं।

लेखकों का दावा है:

‘हमारे ज्ञान के अनुसार, यह लिंग अस्पष्टता और अनुवाद में लिंग रूपों के प्रभाव के साथ पहला बड़े पैमाने पर कॉर्पस है।’

परियोजना के लिए डेटा और विविध डेटा को गिटहब पर उपलब्ध कराया गया है। डेटा में पांच भाषा जोड़े हैं, जो अंग्रेजी को रूसी, जर्मन, फ्रांसीसी, पुर्तगाली और स्पेनिश के साथ जोड़ते हैं।

लेखकों ने एक पूर्व दृष्टिकोण का लाभ उठाया, जो 2019 से था, जिससे मॉडल को लिंग संरेखण के आउटपुट की क्षमता प्रदान की गई, जिसे क्रॉस-एंट्रोपी हानि और एक अतिरिक्त संरेखण हानि के साथ प्रशिक्षित किया गया था।

डेटा वृद्धि दिनचर्या के लिए, लेखकों ने पारंपरिक नियम-आधारित विधियों को छोड़ दिया और इसके बजाय एक डेटा-केंद्रित दृष्टिकोण को अपनाया, जिसमें जी-टैग डेटासेट पर एक बीईआरटी पूर्व-प्रशिक्षित भाषा मॉडल को फाइन-ट्यून किया गया था।

दोहरा लें

जिन मामलों में अस्पष्ट लिंग इकाइयों का पता लगाया जाता है, एप्पल और यूएससी ने दो तरीकों का अन्वेषण किया – पूर्व-प्रशिक्षित भाषा मॉडल को फाइन-ट्यून करना और एलएलएम का उपयोग करना।

पहले तरीके के संबंध में, पेपर में कहा गया है:

‘हम जी-ट्रांस डेटासेट से निकाले गए द्विभाषी पाठ पर पूर्व-प्रशिक्षित एमटी मॉडल एम को फाइन-ट्यून करते हैं। इस द्विभाषी पाठ के स्रोत वाक्य में अस्पष्ट इकाइयों को पुरुष या स्त्री के रूप में टैग किया जाता है, और लक्ष्य अनुवाद में लिंग टैग के अनुसार सही लिंग वाचक होते हैं।’

जी-ट्रांस डेटासेट से द्विभाषी पाठ निकालने के लिए योजना का एक चित्रण。

ऊपर दी गई छवि में, हम निचले मध्य स्तंभ में फाइन-ट्यून किया गया पाठ देखते हैं, और दाईं ओर वांछित आउटपुट, जिसमें ऊपर दिखाए गए तर्क का चित्रण किया गया है।

इस दृष्टिकोण के लिए, लेखकों ने एक लेटिस रीस्कोरिंग विधि का उपयोग किया, जो एक पूर्व 2020 के काम से था। लक्ष्य डोमेन (लिंग) को संबोधित करने के लिए, एक प्रतिबंधित बीम खोज का उपयोग एक फिल्टर के रूप में किया गया था।

एलएलएम दृष्टिकोण के लिए, लेखकों ने एक रणनीति तैयार की जिसमें एलएलएम का उपयोग एक संपादक के रूप में किया जाता है, जो प्रदान किए गए अनुवादों को लिंग असाइनमेंट प्रदान करने के लिए फिर से लिखता है।

एलएलएम को संदर्भ उदाहरण का उपयोग करके लिंग असाइनमेंट के लिए प्रेरित किया जाता है।

दोनों दृष्टिकोणों से परिणामों को जोड़कर, मॉडल को बाद में फाइन-ट्यून किया गया ताकि स्रोत टोकन को संरेखित (नीचे दी गई योजना में ‘1’ द्वारा इंगित) या असंरेखित (नीचे दी गई योजना में ‘2’ द्वारा इंगित) के रूप में वर्गीकृत किया जा सके।

दोनों दृष्टिकोणों से परिणामों के संयोजन के लिए एक योजना।

डेटा और परीक्षण

इस परियोजना के लिए उपयोग किए जाने वाले अस्पष्ट इकाई डिटेक्टर को फेसबुक एआई के xlm-roberta-large मॉडल को फाइन-ट्यून करके विकसित किया गया था, जिसमें ट्रांसफॉर्मर का उपयोग किया गया था। इसके लिए सभी पांच भाषा जोड़े पर संयुक्त जी-टैग का उपयोग किया गया था।

पहले दृष्टिकोण में, एम2एम 1.2बी मॉडल को फेयरसेक पर प्रशिक्षित किया गया था, जिसमें जी-ट्रांस डेटासेट से द्विभाषी डेटा शामिल था, जिसमें विकिपीडिया से लिंग वाचक प्रदान किए गए थे।

एलएलएम दृष्टिकोण के लिए, लेखकों ने जीपीटी-3.5-टर्बो का उपयोग किया। लिंग संरचनाओं के संरेखण के लिए, एक बार फिर से xlm-roberta-large का उपयोग किया गया था, इस बार जी-ट्रांस से लिंग संरेखण निकाले गए थे।

वैकल्पिक अनुवादों के मूल्यांकन के लिए मेट्रिक्स, संरचना (साथ ही सटीकता और पुनरावृत्ति), और संरेखण सटीकता शामिल हैं।

हालांकि पहले दो स्पष्ट हैं, संरेखण सटीकता उस प्रतिशत को मापती है जो आउटपुट लिंग संरचनाएं ज्ञात सही स्रोत पहचान के अनुरूप हैं, और δ-BLEU विधि का उपयोग करती है, जो एमटी-जेनएवल के तरीके के अनुसार है।

नीचे डेटा वृद्धि पाइपलाइन के परिणाम दिए गए हैं:

डेटा वृद्धि परीक्षणों के परिणाम। ऊपर की ओर इंगित करने वाले तीर ‘उच्च-बेहतर’ और नीचे की ओर इंगित करने वाले तीर ‘निम्न-बेहतर’ को दर्शाते हैं।

यहाँ लेखक टिप्पणी करते हैं:

‘एम2एम और जीपीटी दोनों मुख्य रूप से एक दूसरे के समान प्रदर्शन करते हैं, अंग्रेजी-रूसी को छोड़कर, जहां जीपीटी बहुत कम वैकल्पिक अनुवाद पुनरावृत्ति (58.7 की तुलना में 89.3) प्राप्त करता है। अंग्रेजी-जर्मन और अंग्रेजी-पुर्तगाली के लिए जीपीटी द्वारा उत्पन्न लिंग संरचनाओं की गुणवत्ता बेहतर है, और अंग्रेजी-स्पेनिश और अंग्रेजी-रूसी के लिए एम2एम द्वारा, जैसा कि संरचना मेट्रिक्स से देखा जा सकता है।

‘नोट करें कि हमारे पास अंग्रेजी-इतालवी के लिए जी-ट्रांस डेटा नहीं है, इसलिए एम2एम मॉडल और अंग्रेजी-इतालवी पर संरेखण सटीकता के परिणाम एम2एम और एक्सएलएम मॉडल के शून्य-शॉट सामान्यीकरण के कारण हैं। ‘

शोधकर्ताओं ने अपनी डेटा वृद्धि प्रणाली के प्रदर्शन की तुलना एम2एम के माध्यम से जीईटीई के वाक्य-स्तरीय लिंग पुनर्लेखक के साथ की, जीईटीई के अपने शब्दों में।

एप्पल/यूएससी डेटा वृद्धि पाइपलाइन जीईटीई के वाक्य-स्तरीय विधि के खिलाफ।

यहाँ पेपर में कहा गया है:

‘हम देखते हैं कि हमारी प्रणाली जीईटीई को उनके प्रस्तावित एफ.5 मेट्रिक पर तीनों भाषा जोड़े पर पार करती है, पुनरावृत्ति में महत्वपूर्ण सुधार के साथ-साथ सटीकता में अपेक्षाकृत छोटी गिरावट (इतालवी को छोड़कर)।’

अंत में, लेखकों ने विभिन्न ‘वैनिला’ बहुभाषी मॉडल को ‘वैनिला द्विभाषी’ में प्रशिक्षित किया। योगदान डेटासेट में विकिमैट्रिक्स, विकिटाइटल्स, मल्टी-यूएन, न्यूज़कमेंट्री, और टिल्ड शामिल थे।

दो अतिरिक्त वैनिला मॉडल प्रशिक्षित किए गए, एक जिसमें जी-ट्रांस डेटासेट शामिल था जिसमें <लिंग> टैग जोड़ा गया था, जिसे पर्यवेक्षित बेसलाइन के रूप में उपयोग किया गया था; और तीसरा, जिसमें लिंग संरचना और संरेखण (छोटे स्थानीय मॉडल पर, क्योंकि जीपीटी की एपीआई-आधारित सेवाओं का उपयोग इस उद्देश्य के लिए बहुत महंगा होगा) शामिल थे।

मॉडल का परीक्षण 2022 फ्लोरेस डेटासेट पर किया गया था।

संपूर्ण वैनिला मशीन अनुवाद मॉडल (पी = सटीकता, आर = पुनरावृत्ति) परीक्षण किए गए।

पेपर इन परिणामों को सारांशित करता है:

‘वैनिला मॉडल वैकल्पिक अनुवाद उत्पन्न नहीं कर सकता है और पुरुष रूपों (δ-BLEU 5.3 से 12.5 अंक) के उत्पादन में एक बड़ा पूर्वाग्रह दिखाता है।’

‘यह पूर्वाग्रह पर्यवेक्षित बेसलाइन द्वारा बहुत कम किया जाता है। डेटा वृद्धि पाइपलाइन द्वारा प्रशिक्षित मॉडल पूर्वाग्रह को और कम करता है और वैकल्पिक मेट्रिक्स, संरेखण सटीकता और δ-BLEU में सर्वोत्तम प्रदर्शन प्राप्त करता है।

‘यह डेटा वृद्धि पाइपलाइन की प्रभावशीलता को दर्शाता है। वृद्ध डेटा हमें एक प्रतिस्पर्धी प्रणाली को अंग्रेजी-इतालवी के लिए प्रशिक्षित करने की अनुमति देता है, जिसके लिए पर्यवेक्षित डेटा की कमी है।’

लेखक इस बात पर जोर देते हैं कि मॉडल की सफलता को एनएलपी के लिंग असाइनमेंट को तर्कसंगत बनाने के संघर्ष के व्यापक संदर्भ में考虑 करना होगा; और वे यह भी उल्लेख करते हैं कि यह अभी भी एक खुला समस्या है।

हालांकि शोधकर्ता मानते हैं कि प्राप्त परिणाम लिंग-अस्पष्ट अनुवाद और/या लिंग के संबंध में विचलन के उत्पादन के उद्देश्य को पूरी तरह से प्राप्त नहीं करते हैं, वे मानते हैं कि यह काम मशीन अनुवाद के सबसे चुनौतीपूर्ण क्षेत्रों में से एक में भविष्य के अन्वेषण के लिए एक ‘शक्तिशाली उपकरण’ है।

शोधकर्ता यह नोट करते हुए समाप्त करते हैं कि लिंग असाइनमेंट को अनुवाद विधि में तर्कसंगत बनाने के लिए एनएलपी का संघर्ष जारी है, और यह एक खुला समस्या बनी हुई है।

मंगलवार, 8 अक्टूबर, 2024 को पहली बार प्रकाशित।