फेसबुक ने मशीनी अनुवाद मॉडल बनाया है जो 100 विभिन्न भाषाओं के बीच सीधे अनुवाद कर सकता है

फेसबुक हाल ही में विकसित हुआ है एक नया मशीनी अनुवाद मॉडल जो 100 भाषाओं के सेट में से किसी भी जोड़ी भाषा के बीच पाठ का अनुवाद कर सकता है। जबकि अन्य मशीनी अनुवाद प्रणालियाँ मौजूद हैं, अधिकांश अन्य एआई अनुवाद प्रणालियाँ पहले पाठ का अंग्रेजी में अनुवाद करती हैं और फिर वहां से पाठ को परिवर्तित करती हैं।  जैसा कि Engadget ने रिपोर्ट किया है, फेसबुक का एआई अनुवादक बिचौलिए के रूप में अंग्रेजी भाषा का उपयोग किए बिना काम करता है, और कथित तौर पर लगभग 90% सटीकता प्राप्त करने में सक्षम है।

एआई मॉडल के लिए फेसबुक का प्रशिक्षण डेटा लगभग 7.5 अरब जोड़े वाक्यों से बना था, जो 100 विभिन्न भाषाओं में वितरित किए गए थे। डेटा को वेब क्रॉलर की एक श्रृंखला का उपयोग करके वेब से संकलित किया गया था, और एकत्र किए गए डेटा में मौजूद भाषाओं की पहचान फास्टटेक्स्ट नामक भाषा मॉडल का उपयोग करके की गई थी। एक बार डेटा एकत्र हो गया, इसे LASER 2.0 नामक टूल के माध्यम से चलाया गया था विभिन्न वाक्य नमूनों का अर्थ निकालना और विभिन्न भाषाओं में वाक्यों को उनके अर्थ के आधार पर एक साथ मिलाना। LASER 2.0 को Facebook द्वारा विकसित किया गया था और यह एम्बेडिंग बनाने के लिए बिना पर्यवेक्षित शिक्षण एल्गोरिदम का उपयोग करता है। वाक्य एम्बेडिंग में उपयोग की आवृत्ति और एक-दूसरे के कितने निकट वाक्य दिखाई देने जैसी विशेषताओं के आधार पर विभिन्न वाक्यों के बीच संबंधों के बारे में जानकारी होती है। LASER 2.0 ऐसे वाक्यों के पैसे बनाने में सक्षम है जिनके अर्थ अत्यधिक समान हैं।

प्रशिक्षण डेटा को केवल वाक्य अर्थों के आधार पर जोड़ा नहीं गया था। भाषाओं को स्वयं एक साथ समूहीकृत किया गया था। लक्ष्य एक ऐसी प्रणाली को डिज़ाइन करना था जिसमें दो भाषाओं के बीच माध्यम के रूप में अंग्रेजी का उपयोग करने की आवश्यकता नहीं थी, फेसबुक के एंजेला फैन, जिन्होंने इस परियोजना का नेतृत्व किया था, ने कहा कि दुनिया भर के कई क्षेत्र दो भाषाएं बोलते हैं जो अंग्रेजी नहीं हैं। फेसबुक इंजीनियरों ने उन भाषाओं को जोड़ने पर ध्यान केंद्रित करके प्रशिक्षण दिया, जिनका आमतौर पर एक-दूसरे से अनुवाद किया जाता है। संस्कृति, भाषाई समानता और भूगोल जैसे कारकों के आधार पर चौदह अलग-अलग भाषा समूह बनाए गए। उदाहरण के तौर पर, शोधकर्ताओं द्वारा बनाए गए भाषाई समूहों में से एक में पूरे भारत में सबसे आम भाषाएँ शामिल थीं, जिनमें उर्दू, तमिल, हिंदी और बंगाली भाषाएँ शामिल हैं। ऐसा इसलिए किया गया ताकि सामान्य रूप से युग्मित भाषाओं को उच्च गुणवत्ता वाले अनुवाद प्राप्त हो सकें।

भाषा-समूह केंद्रित प्रशिक्षण पद्धति से कुछ दिलचस्प परिणाम प्राप्त होते हैं। यह पाया गया कि परिणामी अनुवाद मॉडल में कुछ भाषा युग्मों के लिए वर्तमान में मौजूद मॉडल की तुलना में अधिक सटीकता थी। उदाहरण के लिए, अंग्रेजी और बेलारूसी के बीच अनुवाद करते समय, एआई रूसी का अनुवाद करते समय सीखे गए कुछ पैटर्न को लागू करने में सक्षम था क्योंकि बेलारूसी में रूसी के साथ भाषाई समानताएं हैं। इसी तरह, स्पैनिश और पुर्तगाली के बीच अनुवाद प्रयासों में सुधार हुआ क्योंकि स्पैनिश दूसरी सबसे व्यापक रूप से बोली जाने वाली भाषा है और इस कार्य के लिए प्रशिक्षण डेटा की पर्याप्त मात्रा थी।

लगभग साठ भाषाएँ हैं जिन्हें अनुवाद प्रणाली अभी तक कवर नहीं करती है, और उपयोग के लिए तैयार होने से पहले बहुत अधिक प्रशिक्षण डेटा के बिना भाषाओं पर मॉडल की सटीकता में सुधार करने की आवश्यकता है। दक्षिण पूर्व एशिया और अफ्रीका की कई भाषाओं में एक विश्वसनीय मॉडल को प्रशिक्षित करने के लिए आवश्यक डेटा की मात्रा का अभाव है। शोध दल को डेटा की इस कमी की भरपाई का कोई तरीका निर्धारित करने की आवश्यकता होगी। अनुसंधान दल को यह भी निर्धारित करने की आवश्यकता है कि किसी भी नस्लवादी, लिंगवादी, या अन्यथा अपवित्र पैटर्न को कैसे नियंत्रित किया जाए जो मॉडल ने सीखा हो। जबकि शोध दल ने अपवित्रता फ़िल्टर का उपयोग किया है, फ़िल्टर मुख्य रूप से अंग्रेजी डेटा पर काम करता है।

मशीनी अनुवाद प्रणाली को अभी तक फेसबुक के सोशल मीडिया प्लेटफॉर्म पर नियोजित नहीं किया गया है। वर्तमान मॉडल केवल अनुसंधान उद्देश्यों के लिए है। हालाँकि, फेसबुक इसी तरह के मॉडल डिजाइन करने की तैयारी कर रहा है और उन्हें साइट पर हर दिन प्राप्त होने वाले लगभग 20 बिलियन अनुवाद अनुरोधों को संभालने के लिए तैयार कर रहा है।