कैसे एआई साइन लैंग्वेज रिकग्निशन को पहले से अधिक सटीक बना रहा है

जब हम संचार बाधाओं को तोड़ने के बारे में सोचते हैं, तो हम अक्सर भाषा अनुवाद ऐप्स या वॉयस असिस्टेंट पर ध्यान केंद्रित करते हैं। लेकिन उन लाखों लोगों के लिए जो साइन लैंग्वेज का उपयोग करते हैं, इन टूल्स ने अभी तक इस अंतर को पूरी तरह से पुल नहीं बनाया है। साइन लैंग्वेज केवल हाथ की गतिविधियों के बारे में नहीं है – यह एक समृद्ध, जटिल संचार रूप है जिसमें चेहरे के भाव और शरीर की भाषा शामिल है, प्रत्येक तत्व महत्वपूर्ण अर्थ ले जाता है।

यह विशेष रूप से चुनौतीपूर्ण है क्योंकि बोली जाने वाली भाषाओं के विपरीत, जो मुख्य रूप से शब्दावली और व्याकरण में भिन्न होती हैं, दुनिया भर में साइन लैंग्वेज अर्थ को व्यक्त करने में मौलिक रूप से भिन्न होती हैं। अमेरिकन साइन लैंग्वेज (एएसएल), उदाहरण के लिए, अपना अनोखा व्याकरण और वाक्य रचना है जो बोली जाने वाली अंग्रेजी से मेल नहीं खाती।

यह जटिलता का अर्थ है कि साइन लैंग्वेज को पहचानने और अनुवाद करने के लिए प्रौद्योगिकी बनाना जो वास्तविक समय में काम करती है, एक पूरे भाषा प्रणाली की गति में समझ की आवश्यकता होती है।

मान्यता के लिए एक नया दृष्टिकोण

यह वह जगह है जहां फ्लोरिडा अटलांटिक विश्वविद्यालय के (एफएयू) इंजीनियरिंग और कंप्यूटर साइंस कॉलेज में एक टीम ने एक ताज़ा दृष्टिकोण लेने का फैसला किया। साइन लैंग्वेज की पूरी जटिलता को एक बार में संभालने की कोशिश करने के बजाय, उन्होंने एक महत्वपूर्ण पहले चरण पर ध्यान केंद्रित किया: एआई के माध्यम से असाधारण सटीकता के साथ एएसएल अल्फाबेट इशारों को पहचानना।

इसे ऐसे सोचें जैसे कि एक कंप्यूटर को हस्तलिखित पढ़ना सिखाना, लेकिन तीन आयामों में और गति में। टीम ने कुछ अद्भुत बनाया: 29,820 स्थिर छवियों का एक डेटासेट जो एएसएल हाथ इशारों को दिखाता है। लेकिन उन्होंने केवल तस्वीरें एकत्र नहीं कीं। उन्होंने प्रत्येक छवि पर हाथ के 21 महत्वपूर्ण बिंदुओं को चिह्नित किया, जिससे हाथ की गति और विभिन्न संकेतों के गठन का एक विस्तृत मानचित्र तैयार हुआ।

डॉ. बदर अलशरीफ, जिन्होंने इस शोध का नेतृत्व एक पीएचडी उम्मीदवार के रूप में किया, समझाते हैं: “इस विधि की खोज पिछले शोध में नहीं की गई है, जो भविष्य की प्रगति के लिए एक नई और आशाजनक दिशा है।”

प्रौद्योगिकी को तोड़ना

आइए इस साइन लैंग्वेज रिकग्निशन सिस्टम को काम करने वाली प्रौद्योगिकियों के संयोजन में गहराई से जाएं。

मीडियापाइप और योलोव8

जादू दो शक्तिशाली उपकरणों के माध्यम से होता है: मीडियापाइप और योलोव8। मीडियापाइप को एक विशेषज्ञ हाथ-वॉचर के रूप में सोचें – एक कुशल साइन लैंग्वेज इंटरप्रेटर जो हर सूक्ष्म उंगली की गति और हाथ की स्थिति को ट्रैक कर सकता है। शोध टीम ने मीडियापाइप को विशेष रूप से इसकी असाधारण क्षमता के लिए चुना हाथ के निशान को ट्रैक करने में सटीक, 21 बिंदुओं की पहचान करने में सक्षम है।

लेकिन ट्रैकिंग पर्याप्त नहीं है – हमें यह समझने की आवश्यकता है कि इन आंदोलनों का क्या अर्थ है। यह वह जगह है जहां योलोव8 आता है। योलोव8 एक पैटर्न रिकग्निशन विशेषज्ञ है, जो उन सभी ट्रैक किए गए बिंदुओं को लेता है और यह तय करता है कि वे किस अक्षर या इशारे का प्रतिनिधित्व करते हैं। शोध से पता चलता है कि जब योलोव8 एक छवि को संसाधित करता है, तो यह इसे एक एस × एस ग्रिड में विभाजित करता है, प्रत्येक ग्रिड सेल के लिए जिम्मेदार होता है जो इसकी सीमाओं के भीतर वस्तुओं (इस मामले में, हाथ के इशारों) का पता लगाता है।

अलशरीफ एट अल., फ्रैंकलिन ओपन (2024)

सिस्टम वास्तव में कैसे काम करता है

प्रक्रिया पहली नज़र में जितनी लगती है उससे कहीं अधिक जटिल है。

यह वह है जो पर्दे के पीछे होता है:

हाथ का पता लगाने का चरण

जब आप एक संकेत बनाते हैं, तो मीडियापाइप पहले फ्रेम में आपके हाथ की पहचान करता है और उन 21 महत्वपूर्ण बिंदुओं को मैप करता है। ये बस यादृच्छिक बिंदु नहीं हैं – वे आपके हाथ के विशिष्ट जोड़ और लैंडमार्क से मेल खाते हैं, उंगलियों की नोक से लेकर हथेली के आधार तक।

स्थानिक विश्लेषण

योलोव8 तब इस जानकारी को वास्तविक समय में विश्लेषण करता है। छवि में प्रत्येक ग्रिड सेल के लिए, यह अनुमान लगाता है:

• हाथ के इशारे के मौजूद होने की संभावना
• इशारे के स्थान के सटीक निर्देशांक
• इसके अनुमान का विश्वास स्कोर

वर्गीकरण

सिस्टम “बाउंडिंग बॉक्स प्रेडिक्शन” का उपयोग करता है – अपने हाथ के इशारे के चारों ओर एक सही आयत बनाने की कल्पना करें। योलोव8 प्रत्येक बॉक्स के लिए पांच महत्वपूर्ण मूल्यों की गणना करता है: केंद्र के लिए x और y निर्देशांक, चौड़ाई, ऊंचाई, और एक विश्वास स्कोर।

अलशरीफ एट अल., फ्रैंकलिन ओपन (2024)

यह संयोजन इतनी अच्छी तरह से क्यों काम करता है

शोध टीम ने पाया कि इन प्रौद्योगिकियों को मिलाकर, उन्होंने अपने हिस्सों के योग से अधिक कुछ बनाया। मीडियापाइप की सटीक ट्रैकिंग योलोव8 की उन्नत वस्तु का पता लगाने के साथ मिलकर असाधारण रूप से सटीक परिणाम देती है – हम 98% सटीकता दर और 99% एफ1 स्कोर की बात कर रहे हैं।

जो इसे विशेष रूप से प्रभावशाली बनाता है वह यह है कि सिस्टम साइन लैंग्वेज की जटिलता से कैसे निपटता है। कुछ संकेत अनप्रशिक्षित आंखों के लिए बहुत समान दिख सकते हैं, लेकिन सिस्टम सूक्ष्म अंतरों को पहचान सकता है।

रिकॉर्ड तोड़ने वाले परिणाम

जब शोधकर्ता नई प्रौद्योगिकी विकसित करते हैं, तो बड़ा प्रश्न हमेशा यह होता है: “यह वास्तव में कितनी अच्छी तरह से काम करता है?” इस साइन लैंग्वेज रिकग्निशन सिस्टम के लिए, परिणाम प्रभावशाली हैं।

एफएयू की टीम ने अपने सिस्टम को कड़ाई से परीक्षण के माध्यम से डाला, और यही उन्होंने पाया:

• सिस्टम 98% समय संकेतों की सही पहचान करता है
• यह 98% संकेतों को पकड़ता है जो इसके सामने बनाए जाते हैं
• कुल प्रदर्शन स्कोर 99% तक पहुंच जाता है

“हमारे शोध के परिणाम हमारे मॉडल की क्षमता को प्रदर्शित करते हैं जो अमेरिकन साइन लैंग्वेज इशारों का पता लगाने और वर्गीकरण करने में बहुत कम त्रुटियों के साथ सटीक है,” अलशरीफ समझाते हैं।

सिस्टम दैनिक स्थितियों में अच्छा काम करता है – विभिन्न प्रकाश, विभिन्न हाथ स्थितियां, और यहां तक कि विभिन्न लोगों द्वारा साइनिंग किया जाता है।

यह सफलता साइन लैंग्वेज रिकग्निशन में संभव की सीमाओं को आगे बढ़ाती है। पिछली प्रणालियों ने सटीकता के साथ संघर्ष किया है, लेकिन मीडियापाइप की हाथ ट्रैकिंग को योलोव8 की पता लगाने की क्षमताओं के साथ मिलाकर, शोध टीम ने कुछ विशेष बनाया।

“इस मॉडल की सफलता मुख्य रूप से ट्रांसफर लर्निंग, मeticulous डेटासेट निर्माण, और सटीक ट्यूनिंग के ध्यानपूर्वक एकीकरण के कारण है,” अध्ययन के सह-लेखक मोहम्मद इलियास कहते हैं। इस विवरण पर ध्यान देने से सिस्टम के उल्लेखनीय प्रदर्शन में परिलक्षित होता है।

संचार के लिए इसका क्या अर्थ है

इस सिस्टम की सफलता संचार को अधिक सुलभ और समावेशी बनाने के लिए रोमांचक संभावनाओं को खोलती है।

टीम केवल अक्षरों को पहचानने पर रुक नहीं रही है। अगली बड़ी चुनौती सिस्टम को और भी व्यापक श्रृंखला के हाथ के आकार और इशारों को समझना सिखाना है। सोचें कि उन क्षणों के बारे में जब संकेत लगभग समान दिखते हैं – जैसे साइन लैंग्वेज में ‘एम’ और ‘एन’ अक्षर। शोधकर्ता सिस्टम को इन सूक्ष्म अंतरों को और भी बेहतर ढंग से पकड़ने में मदद करने के लिए काम कर रहे हैं। जैसा कि डॉ अलशरीफ कहते हैं: “महत्वपूर्ण बात यह है कि इस अध्ययन के निष्कर्ष न केवल सिस्टम की मजबूती पर बल देते हैं, बल्कि इसकी व्यावहारिक, वास्तविक समय अनुप्रयोगों में उपयोग की संभावना को भी रेखांकित करते हैं।”

टीम अब निम्नलिखित पर ध्यान केंद्रित कर रही है:

• सिस्टम को नियमित उपकरणों पर सुचारू रूप से काम करने के लिए
• इसे वास्तविक दुनिया की बातचीत के लिए पर्याप्त तेजी से बनाने के लिए
• सुनिश्चित करने के लिए कि यह किसी भी वातावरण में विश्वसनीय रूप से काम करता है

एफएयू के इंजीनियरिंग और कंप्यूटर साइंस कॉलेज के डीन स्टेला बटालामा साझा करते हैं बड़े विजन: “अमेरिकन साइन लैंग्वेज रिकग्निशन में सुधार करके, यह काम बहरे और कम सुनने वाले समुदाय के लिए संचार को बढ़ाने वाले उपकरण बनाने में योगदान देता है।”

एक डॉक्टर के कार्यालय में या एक कक्षा में प्रवेश करने की कल्पना करें जहां यह प्रौद्योगिकी तुरंत संचार अंतराल को पुल करती है। यही वास्तविक लक्ष्य है – दैनिक बातचीत को सभी के लिए अधिक सुचारू और प्राकृतिक बनाने के लिए प्रौद्योगिकी बनाना। यह लोगों को जोड़ने में मदद करने वाली प्रौद्योगिकी बनाने के बारे में है। शिक्षा, स्वास्थ्य सेवा, या दैनिक बातचीत में, यह प्रणाली संचार बाधाओं को छोटा करने की दिशा में एक कदम का प्रतिनिधित्व करती है।