गूगल डीपमाइंड ने साइन लैंग्वेज ट्रांसलेशन को फोन में लाया है जिसका नाम है एसएल2टी

गूगल डीपमाइंड ने एक साइन-लैंग्वेज-टू-टेक्स्ट मॉडल, एसएल2टी, को दो कंज्यूमर एंड्रॉइड प्रोडक्ट्स में शिप किया है, जो पहली बार साइन लैंग्वेज एआई एक शिपिंग फोन फीचर तक पहुंचा है। मॉडल जीबोर्ड और लाइव ट्रांसक्राइब में साइन-टू-टेक्स्ट डिक्टेशन को पावर देता है पिक्सल 11 फोन पर, 12 अगस्त, 2026 को अमेरिकन साइन लैंग्वेज से अंग्रेजी अनुवाद के साथ लॉन्च होता है।

यह फीचर कहीं भी काम करता है जहां एक उपयोगकर्ता आमतौर पर टाइप करता है। एक बहरा साइनर वेब सर्च, संदेश या दस्तावेज़ का मसौदा तैयार कर सकता है, या जेमिनी को साइन करके फोन के कैमरे में टाइप करने के बजाय पूछ सकता है। लाइव ट्रांसक्राइब में, साइनर साइन किए गए वार्तालाप में प्रतिक्रिया दे सकते हैं बजाय टाइप करने के। गूगल का कहना है कि परीक्षकों ने पाया कि एएसएल में साइन करना अंग्रेजी में टाइप करने की तुलना में तेज और अधिक प्राकृतिक है।

एसएल2टी गूगल द्वारा वर्णित पहला मॉडल है जो साइन लैंग्वेज अनुवाद के लिए गुणवत्ता और सामान्यता में एक सफलता है। यह 50 से अधिक साइन लैंग्वेज में 100,000 घंटे से अधिक साइनिंग डेटा पर प्रशिक्षित किया गया था, जिसमें लगभग एक चौथाई डेटा एएसएल में था। भाषाओं, बोलियों और कौशल स्तरों के साथ संयुक्त रूप से प्रशिक्षण ने एक मॉडल का उत्पादन किया जो कंपनी के प्रयोगों में एकल-भाषा प्रणालियों को पार करता है, घोषणा के अनुसार।

मॉडल क्या देखता है और कैसे अनुवाद करता है

सिस्टम साइनर का कच्चा वीडियो नहीं संसाधित करता है। एक ऑन-डिवाइस मॉडल, मीडियापाइप होलिस्टिक, चेहरे, शरीर और हाथों पर 130 कुंजी बिंदुओं को फ्रेम दर फ्रेम ट्रैक करता है, और केवल उन ज्यामितीय निर्देशांक उपकरण से बाहर निकलते हैं अनुवाद के लिए। मूल कैमरा फीड को तुरंत छोड़ दिया जाता है, जिसे गूगल एक गोपनीयता सुरक्षा के रूप में डिज़ाइन करता है।

उस समन्वय धारा से, एसएल2टी सीधे अंग्रेजी पाठ उत्पन्न करता है, मध्यवर्ती एनोटेशन परत को छोड़ देता है जिसे ग्लॉस कहा जाता है जिस पर अधिकांश पिछले साइन लैंग्वेज अनुवाद प्रणालियों ने निर्भर किया था। ग्लॉस व्यक्तिगत संकेतों को निश्चित लेबल सौंपते हैं, जो शब्दावली को सीमित करता है और साइन भाषाओं में व्याकरणिक अर्थ ले जाने वाले गैर-मैनुअल मार्कर और स्थानिक निर्माण खो देता है। उस बोतलनेक को हटाने से अनुवाद गुणवत्ता प्रशिक्षण डेटा के साथ बढ़ सकती है, न कि एक हाथ से निर्मित लेबल सेट के साथ।

साइन भाषाएं बोली जाने वाली भाषाओं के साइन किए गए संस्करण नहीं हैं, बल्कि अपनी खुद की व्याकरण हैं। यह कार्य दो भाषाओं के बीच मशीन अनुवाद बनाता है, साथ ही एक कठिन कंप्यूटर दृष्टि समस्या भी: मॉडल को हाथों, बाहों, टोर्सो, सिर और चेहरे की एक साथ उच्च फ्रेम दर पर गति को ट्रैक करना होगा। साइन लैंग्वेज प्रौद्योगिकी के पिछले प्रयास, जैसे सेंसर ग्लव्स, न तो आवश्यकता को संबोधित कर सकते थे।

बेंचमार्क परिणाम और शेष त्रुटि पैटर्न

फ्ल्यूर्स-एएसएल बेंचमार्क पर, जो स्टूडियो स्थितियों में प्रमाणित बहरा व्याख्याकारों द्वारा रिकॉर्ड की गई जटिल, अमूर्त भाषा के एएसएल-से-अंग्रेजी अनुवाद को मापता है, एसएल2टी 70 बीएलईयूआरटी ज़ीरो-शॉट स्कोर करता है, जो पहले के परिणामों से काफी ऊपर है, गूगल के अनुसार। कंपनी ने एक हाथ वाले हस्ताक्षर के बेंचमार्क के एक संस्करण पर 74 बीएलईयूआरटी और प्रेस्टो-एएसएल पर 85 बीएलईयूआरटी भी रिपोर्ट किया है, जो एक डॉक्ड टैबलेट को साइन किए गए सहायक शैली के वाक्यांशों का एक डेटासेट है। एफएसबोर्ड पर, मोबाइल डिवाइस पर बहरा साइनर्स से एकत्र किए गए एक उंगली वर्णमाला डेटासेट पर, मॉडल 64 प्रतिशत एक्सएक्ट-मैच सटीकता तक पहुंचता है। ये विक्रेता-रिपोर्ट किए गए आंकड़े हैं; कोई स्वतंत्र मूल्यांकन प्रकाशित नहीं किया गया है।

गूगल ने फ्ल्यूर्स-एएसएल से साइड-बाय-साइड उदाहरण प्रकाशित किए हैं जो फ्लुइड आउटपुट के साथ-साथ पहचानने योग्य विफलता मोड दिखाते हैं। मॉडल कभी-कभी दुर्लभ संकेतों और तेज़ उंगली वर्णमाला को प्रतिस्थापित करता है, निष्क्रिय निर्माण और वर्गीकारक चित्रण को छोड़ देता है, और जब संदर्भ गायब होता है तो काल को खो देता है। एक उदाहरण “इस पूरी तरह से पंख वाले, गर्म-रक्त वाले शिकार पक्षी” का अनुवाद “यह प्राणी गर्म-रक्त वाला है, भूरे रंग का खाता है” के रूप में करता है, जो “शिकार” के लिए “भूरा” की जगह एक उंगली वर्णमाला त्रुटि है।

मॉडल में अभी भी अवशिष्ट हॉलुसिनेशन व्यवहार दिखाई देता है, जब कोई साइन नहीं कर रहा होता है तो पाठ उत्पन्न करता है, जैसे कि जब एक दूसरा व्यक्ति फ्रेम में प्रवेश करता है या साइनर रुक जाता है। गूगल का कहना है कि रिलीज़ संस्करण ने जुलाई 2026 में परीक्षकों द्वारा परीक्षण किए गए प्री-रिलीज़ बिल्ड की तुलना में इन त्रुटियों को काफी कम कर दिया है, लेकिन उन्हें समाप्त नहीं किया है।

गूगल कहां कहता है कि टूल का उपयोग नहीं किया जाना चाहिए

रिलीज़ एक असामान्य परत के साथ आता है। गूगल डीपमाइंड ने एक सलाहकार निकाय, एआई साइन लैंग्वेज एडवाइजरी कमिटी, का आयोजन किया, जिसमें बहरा संगठनों को एक साथ लाया गया, जिनमें नेशनल एसोसिएशन ऑफ द डेफ, वर्ल्ड फेडरेशन ऑफ द डेफ, डेफ प्रोफेशनल आर्ट्स नेटवर्क और रोचेस्टर इंस्टीट्यूट ऑफ टेक्नोलॉजी के नेशनल टेक्निकल इंस्टीट्यूट फॉर द डेफ शामिल हैं। समिति ने संयुक्त प्रभाव रिपोर्ट लिखी जो यह परिभाषित करती है कि प्रौद्योगिकी के लिए क्या है और जहां यह रुक जाती है।

रिपोर्ट एसएल2टी 1.0 को कम-हिस्सेदारी, अनौपचारिक सेटिंग्स के लिए एक सहायक ड्राफ्ट-जेनरेशन टूल के रूप में परिभाषित करती है: संदेश, खोज, नेविगेशन, नोट-लेखन और अनौपचारिक एक-से-एक बातचीत। यह चिकित्सा परामर्श, कानूनी कार्यवाही, पुलिस बातचीत, कक्षा निर्देश, नौकरी के साक्षात्कार और सरकारी लाभ निर्धारण जैसे क्षेत्रों में इसके उपयोग को स्पष्ट रूप से निर्दिष्ट करता है। यह यह भी कहता है कि टूल अमेरिकियों के साथ दिव्यांगता अधिनियम या समकक्ष ढांचे के तहत उचित आवास के लिए कानूनी दायित्वों को संतुष्ट नहीं करता है, और यह कि यह संस्थानों द्वारा प्रमाणित मानव व्याख्याकारों के लिए प्रतिस्थापन के रूप में उपयोग नहीं किया जाना चाहिए।

साइनर पूरी प्रक्रिया में शामिल रहता है। दोनों ऐप्स एक पाठ पूर्वावलोकन दिखाते हैं जिसे उपयोगकर्ता समीक्षा और संपादित कर सकता है और लाइव ट्रांसक्राइब में बहरा उपयोगकर्ता नियंत्रित करता है कि कब अनुवादित पाठ को बातचीत के साथी को दिखाया जाता है। रिपोर्ट यह ध्यान देती है कि यह सुरक्षा यह मानती है कि कार्यात्मक अंग्रेजी साक्षरता त्रुटियों को पकड़ने के लिए है।

मॉडल की अपनी सीमा दस्तावेज़ में एसएल2टी का प्रदर्शन

प्रभाव रिपोर्ट विस्तार से मॉडल की तकनीकी सीमाओं को सूचीबद्ध करती है। सटीकता कम रोशनी, कठोर बैकलाइटिंग या जब कपड़े हाथों और चेहरे के खिलाफ कंट्रास्ट को कम कर देते हैं तो खराब हो जाती है। पोज़ ट्रैकर केवल फ्रेम में सबसे बड़े विषय का अनुसरण करता है और एक से अधिक साइनर्स को संभाल नहीं सकता है। चरम कैमरा कोणों या जब साइनर लेटा होता है तो प्रदर्शन गिर जाता है। इनपुट क्लिप 60 सेकंड तक सीमित हैं, और प्रत्येक क्लिप को स्वतंत्र रूप से अनुवादित किया जाता है, किसी भी पिछले बातचीत मोड़ की कोई स्मृति नहीं है। मॉडल 18 वर्ष से कम आयु के साइनर्स पर प्रशिक्षित या मूल्यांकित नहीं किया गया था। यह कस्टम शब्द सूची, नाम संकेत या बोली वरीयताओं का समर्थन नहीं करता है।

निकट भविष्य में अपडेट पहले से ही रोडमैप पर हैं, जिनमें विराम चिह्न, नई पंक्तियों, इमोजी और बुनियादी संपादन आदेशों का वर्णन शामिल है, साथ ही लाइव ट्रांसक्राइब में क्रमिक क्लिप में बातचीत स्मृति भी शामिल है। लंबी अवधि के शोध लक्ष्यों में गैर-मैनुअल मार्कर जैसे चेहरे के भाव और भौंह की स्थिति के प्रति बेहतर संवेदनशीलता, मल्टी-साइनर समर्थन और क्षेत्रीय एएसएल बोलियों और ब्लैक एएसएल के पार डेटा संग्रह शामिल हैं।

परियोजना की शुरुआत एक बहरे गूगलर, सैम सेपाह के साथ हुई, और बहरे दृष्टिकोण को डेटा संग्रह, उपयोगकर्ता अध्ययन और मूल्यांकन में शामिल किया गया। गूगल एसएल2टी के लॉन्च को एक लंबे प्रयास की शुरुआत के रूप में वर्णित करता है: अतिरिक्त साइन भाषाएं, साइन भाषा पीढ़ी, और व्यापक फ्रंटियर क्षमताएं सभी सक्रिय कार्य के रूप में सूचीबद्ध हैं। यह सुविधा पिक्सल 11 पर कोई अतिरिक्त लागत पर जहाज करती है, और अधिक डिवाइसों का अनुसरण करने के लिए है।