कैसे एआई साइन लैंग्वेज रिकग्निशन को अधिक सटीक बना रहा है

जब हम संचार बाधाओं को तोड़ने के बारे में सोचते हैं, तो हम अक्सर भाषा अनुवाद ऐप या वॉयस असिस्टेंट पर ध्यान केंद्रित करते हैं। लेकिन उन लाखों लोगों के लिए जो साइन लैंग्वेज का उपयोग करते हैं, इन उपकरणों ने अभी तक उस अंतर को पूरी तरह से नहीं भरा है। साइन लैंग्वेज केवल हाथ की गतिविधियों के बारे में नहीं है – यह एक समृद्ध, जटिल संचार रूप है जिसमें चेहरे के भाव और शरीर की भाषा शामिल है, प्रत्येक तत्व महत्वपूर्ण अर्थ ले जाता है।

यहाँ क्या इसे विशेष रूप से चुनौतीपूर्ण बनाता है: बोली जाने वाली भाषाओं के विपरीत, जो मुख्य रूप से शब्दावली और व्याकरण में भिन्न होती हैं, दुनिया भर में साइन भाषाएं मूल रूप से अर्थ को व्यक्त करने के तरीके में भिन्न होती हैं। अमेरिकी साइन लैंग्वेज (एएसएल), उदाहरण के लिए, अपना अनोखा व्याकरण और वाक्य रचना है जो बोली जाने वाली अंग्रेजी से मेल नहीं खाता।

यह जटिलता का अर्थ है कि साइन लैंग्वेज को पहचानने और अनुवादित करने के लिए प्रौद्योगिकी बनाना जो वास्तविक समय में काम करती है, गति में पूरे भाषा प्रणाली की समझ की आवश्यकता होती है।

पहचान के लिए एक नया दृष्टिकोण

यहीं पर फ्लोरिडा एटलांटिक विश्वविद्यालय (एफएयू) के कॉलेज ऑफ इंजीनियरिंग और कंप्यूटर साइंस की एक टीम ने ताजगी लाने का फैसला किया। साइन लैंग्वेज की पूरी जटिलता को एक बार में संभालने की कोशिश करने के बजाय, उन्होंने एक महत्वपूर्ण पहले चरण पर ध्यान केंद्रित किया: एआई के माध्यम से एएसएल अल्फाबेट इशारों को अभूतपूर्व सटीकता के साथ पहचानना।

इसे ऐसे सोचें जैसे कि कंप्यूटर को हस्तलिखित पढ़ना सिखाना, लेकिन तीन आयामों में और गति में। टीम ने कुछ अद्भुत बनाया: 29,820 स्थिर छवियों का एक डेटासेट जो एएसएल हाथ इशारों को दिखाता है। लेकिन उन्होंने केवल तस्वीरें एकत्र नहीं कीं। उन्होंने प्रत्येक छवि पर हाथ के 21 प्रमुख बिंदुओं को चिह्नित किया, जिससे हाथ के कैसे चलते हैं और विभिन्न संकेत बनाते हैं इसका एक विस्तृत नक्शा तैयार हुआ।

डॉ. बादर अलशरीफ, जिन्होंने इस शोध का नेतृत्व एक पीएच.डी. उम्मीदवार के रूप में किया, व्याख्या करते हैं: “इस पद्धति की खोज पिछले शोध में नहीं की गई है, जो भविष्य की प्रगति के लिए एक नई और आशाजनक दिशा है।”

प्रौद्योगिकी को तोड़कर

आइए इस साइन लैंग्वेज पहचान प्रणाली को काम करने वाली प्रौद्योगिकियों के संयोजन में गहराई से जाएं।

मीडियापाइप और योलोव8

जादू दो शक्तिशाली उपकरणों के समानांतर एकीकरण के माध्यम से होता है: मीडियापाइप और योलोव8। मीडियापाइप को एक विशेषज्ञ हाथ-देखने वाले के रूप में सोचें – एक कुशल साइन लैंग्वेज इंटरप्रेटर जो हर सूक्ष्म उंगली की गति और हाथ की स्थिति को ट्रैक कर सकता है। शोध टीम ने मीडियापाइप को विशेष रूप से इसकी असाधारण क्षमता के लिए चुना हाथ के निशान को सटीक रूप से ट्रैक करने के लिए, जैसा कि हमने ऊपर उल्लेख किया है, प्रत्येक हाथ पर 21 सटीक बिंदुओं की पहचान की।

लेकिन ट्रैकिंग पर्याप्त नहीं है – हमें यह समझने की आवश्यकता है कि इन गतिविधियों का क्या अर्थ है। यहीं योलोव8 आता है। योलोव8 एक पैटर्न पहचान विशेषज्ञ है, जो उन सभी ट्रैक किए गए बिंदुओं को लेता है और यह निर्धारित करता है कि वे किस अक्षर या इशारे का प्रतिनिधित्व करते हैं। शोध से पता चलता है कि जब योलोव8 एक छवि को संसाधित करता है, तो यह इसे एक एस × एस ग्रिड में विभाजित करता है, जिसमें प्रत्येक ग्रिड सेल अपनी सीमाओं के भीतर वस्तुओं (इस मामले में, हाथ के इशारों) का पता लगाने के लिए जिम्मेदार होता है।

अलशरीफ एट अल., फ्रैंकलिन ओपन (2024)

प्रणाली वास्तव में कैसे काम करती है

प्रक्रिया पहली नज़र में जितनी लगती है उससे कहीं अधिक जटिल है।

यहाँ क्या होता है पर्दे के पीछे:

हाथ का पता लगाने का चरण

जब आप एक संकेत बनाते हैं, तो मीडियापाइप पहले फ्रेम में आपके हाथ की पहचान करता है और उन 21 प्रमुख बिंदुओं को मैप करता है। ये बस यादृच्छिक बिंदु नहीं हैं – वे आपके हाथ के विशिष्ट जोड़ और लैंडमार्क से मेल खाते हैं, उंगलियों की नोक से लेकर हथेली के आधार तक।

स्थानिक विश्लेषण

योलोव8 तब इस जानकारी को लेता है और वास्तविक समय में इसका विश्लेषण करता है। छवि में प्रत्येक ग्रिड सेल के लिए, यह भविष्यवाणी करता है:

• हाथ के इशारे के मौजूद होने की संभावना
• इशारे के स्थान के सटीक निर्देशांक
• इसकी भविष्यवाणी का विश्वास स्कोर

वर्गीकरण

प्रणाली “बाउंडिंग बॉक्स भविष्यवाणी” नामक कुछ का उपयोग करती है – अपने हाथ के इशारे के चारों ओर एक идеाई आयत बनाने की कल्पना करें। योलोव8 प्रत्येक बॉक्स के लिए पांच महत्वपूर्ण मानों की गणना करता है: केंद्र के लिए x और y निर्देशांक, चौड़ाई, ऊंचाई, और एक विश्वास स्कोर।

अलशरीफ एट अल., फ्रैंकलिन ओपन (2024)

यह संयोजन इतनी अच्छी तरह से क्यों काम करता है

शोध टीम ने पाया कि इन प्रौद्योगिकियों को मिलाकर, उन्होंने अपने हिस्सों के योग से अधिक कुछ बनाया। मीडियापाइप के सटीक ट्रैकिंग को योलोव8 के उन्नत वस्तु पता लगाने के साथ मिलाकर, आश्चर्यजनक रूप से सटीक परिणाम मिले – हम 98% सटीकता दर और 99% एफ1 स्कोर की बात कर रहे हैं।

जो इसे विशेष रूप से प्रभावशाली बनाता है वह यह है कि प्रणाली साइन लैंग्वेज की जटिलता को कैसे संभालती है। कुछ संकेत अनप्रशिक्षित आंखों के लिए बहुत समान दिख सकते हैं, लेकिन प्रणाली सूक्ष्म अंतरों को पहचान सकती है।

रिकॉर्ड तोड़ने वाले परिणाम

जब शोधकर्ता नई प्रौद्योगिकी विकसित करते हैं, तो बड़ा सवाल हमेशा यह होता है: “यह वास्तव में कितनी अच्छी तरह से काम करता है?” इस साइन लैंग्वेज पहचान प्रणाली के लिए, परिणाम प्रभावशाली हैं।

एफएयू की टीम ने अपनी प्रणाली को कठोर परीक्षण से गुजरने दिया, और यहाँ क्या पाया:

• प्रणाली 98% समय संकेतों की सही पहचान करती है
• यह 98% संकेतों को पकड़ता है जो इसके सामने बनाए जाते हैं
• कुल प्रदर्शन स्कोर 99% तक पहुंचता है

“हमारे शोध के परिणाम हमारे मॉडल की क्षमता को प्रदर्शित करते हैं जो अमेरिकी साइन लैंग्वेज इशारों का पता लगाने और वर्गीकृत करने में बहुत कम त्रुटियों के साथ सटीक रूप से पता लगा सकता है,” अलशरीफ व्याख्या करते हैं।

प्रणाली दैनिक स्थितियों में अच्छी तरह से काम करती है – विभिन्न प्रकाश व्यवस्था, विभिन्न हाथ स्थितियों में और यहां तक कि विभिन्न लोगों द्वारा संकेत दिए जाने पर भी।

यह सफलता साइन लैंग्वेज पहचान में संभव की सीमाओं को आगे बढ़ाती है। पिछली प्रणालियों ने सटीकता के साथ संघर्ष किया है, लेकिन मीडियापाइप के हाथ ट्रैकिंग को योलोव8 की पता लगाने की क्षमताओं के साथ मिलाकर, शोध टीम ने कुछ विशेष बनाया है।

“इस मॉडल की सफलता का श्रेय बड़े पैमाने पर ट्रांसफर लर्निंग, मeticulous डेटासेट निर्माण और सटीक ट्यूनिंग को जाता है,” अध्ययन के सह-लेखक मोहम्मद इल्यास कहते हैं। इस ध्यान का भुगतान प्रणाली के उल्लेखनीय प्रदर्शन में हुआ।

इसका संचार के लिए क्या अर्थ है

इस प्रणाली की सफलता अधिक सुलभ और समावेशी संचार बनाने के लिए रोमांचक संभावनाएं खोलती है।

टीम केवल अक्षरों को पहचानने पर रुक नहीं रही है। अगली बड़ी चुनौती प्रणाली को और व्यापक श्रृंखला के हाथ के आकार और इशारों को समझने के लिए सिखाना है। सोचें कि उन क्षणों के बारे में जब संकेत लगभग समान दिखते हैं – जैसे साइन लैंग्वेज में ‘एम’ और ‘एन’ अक्षर। शोधकर्ता प्रणाली को इन सूक्ष्म अंतरों को और भी बेहतर ढंग से पकड़ने में मदद करने के लिए काम कर रहे हैं। जैसा कि डॉ. अलशरीफ कहते हैं: “महत्वपूर्ण बात यह है कि इस अध्ययन के निष्कर्ष न केवल प्रणाली की मजबूती को बल्कि इसके व्यावहारिक, वास्तविक समय अनुप्रयोगों में इसकी संभावना को भी रेखांकित करते हैं।”

टीम अब पर ध्यान केंद्रित कर रही है:

• प्रणाली को नियमित उपकरणों पर चिकनी तरह से काम करने के लिए
• इसे वास्तविक दुनिया की बातचीत के लिए पर्याप्त तेजी से बनाने के लिए
• सुनिश्चित करना कि यह किसी भी वातावरण में विश्वसनीय रूप से काम करता है

एफएयू के कॉलेज ऑफ इंजीनियरिंग और कंप्यूटर साइंस के डीन स्टेला बटालामा साझा करते हैं बड़ा दृष्टिकोण: “अमेरिकी साइन लैंग्वेज पहचान में सुधार करके, यह काम बहरे और कम सुनने वाले समुदाय के लिए संचार को बढ़ाने वाले उपकरण बनाने में योगदान देता है।”

एक डॉक्टर के कार्यालय में या एक कक्षा में प्रवेश करने की कल्पना करें जहां यह प्रौद्योगिकी संचार अंतराल को तुरंत पुल करती है। यही वास्तव में यहाँ लक्ष्य है – दैनिक परिचय को अधिक चिकना और प्राकृतिक बनाना सभी के लिए शामिल। यह प्रौद्योगिकी बनाना है जो वास्तव में लोगों को जोड़ने में मदद करती है। चाहे शिक्षा में, स्वास्थ्य सेवा में, या दैनिक बातचीत में, यह प्रणाली एक ऐसी दुनिया की ओर एक कदम है जहां संचार बाधाएं छोटी होती जा रही हैं।