मशीन लर्निंग के साथ शारीरिक मुद्रा से आंखों के संपर्क का पता लगाना

फ्रांस और स्विट्जरलैंड के शोधकर्ताओं ने एक कंप्यूटर विज़न प्रणाली विकसित की है, जो यह अनुमान लगा सकती है कि कोई व्यक्ति एआई प्रणाली के 'अहं' कैमरे को सीधे देख रहा है या नहीं, यह केवल इस बात पर निर्भर करता है कि व्यक्ति किस तरह खड़ा है या चल रहा है।

नया ढाँचा इस मूल्यांकन को करने के लिए, मुख्य रूप से चेहरों की छवियों में आँखों की स्थिति का विश्लेषण करने के प्रयास के बजाय, सिमेंटिक कीपॉइंट्स (नीचे छवि देखें) के रूप में बहुत ही कम जानकारी का उपयोग करता है। यह YOLO जैसे अधिक डेटा-सघन ऑब्जेक्ट डिटेक्शन आर्किटेक्चर की तुलना में परिणामी डिटेक्शन विधि को बहुत हल्का और चुस्त बनाता है।

नया ढाँचा पूरी तरह से उसके शरीर की स्थिति के आधार पर यह मूल्यांकन करता है कि सड़क पर कोई व्यक्ति एआई के कैप्चर सेंसर को देख रहा है या नहीं। यहाँ, हरे रंग से चिह्नित लोगों के कैमरे की ओर देखने की संभावना अधिक है, जबकि लाल रंग से चिह्नित लोगों के दूसरी ओर देखने की संभावना अधिक है। स्रोत: https://arxiv.org/pdf/2112.04212.pdf

यद्यपि यह कार्य स्वायत्त वाहनों के लिए बेहतर सुरक्षा प्रणालियों के विकास से प्रेरित है, नए पेपर के लेखक मानते हैं कि अन्य उद्योगों में इसके अधिक सामान्य अनुप्रयोग हो सकते हैं, यह देखते हुए 'स्मार्ट शहरों में भी, पैदल चलने वालों के व्यवहार को बेहतर ढंग से समझने के लिए आंखों से संपर्क का पता लगाना उपयोगी हो सकता है, उदाहरण के लिए, यह पहचानना कि उनका ध्यान कहां है या वे किन सार्वजनिक संकेतों को देख रहे हैं।'.

इस और इसके बाद के सिस्टम के और विकास में सहायता के लिए, शोधकर्ताओं ने LOOK नामक एक नया और व्यापक डेटासेट संकलित किया है, जो स्व-ड्राइविंग के घूमने वाले कैमरे से देखे जाने वाले सड़क दृश्यों जैसे मनमाने परिदृश्यों में आंखों के संपर्क का पता लगाने की विशिष्ट चुनौतियों को सीधे संबोधित करता है। वाहन, या आकस्मिक भीड़ के दृश्य जिनके माध्यम से एक रोबोट को पैदल चलने वालों के मार्ग पर नेविगेट करने और रुकने की आवश्यकता हो सकती है।

फ्रेमवर्क से परिणाम, जिसमें 'लुकर्स' को हरे रंग में पहचाना गया है।

RSI अनुसंधान शीर्षक है क्या पैदल यात्री ध्यान देते हैं? जंगल में आँख से संपर्क का पता लगाना, और स्विट्जरलैंड में विजुअल इंटेलिजेंस फॉर ट्रांसपोर्टेशन (वीआईटीए) अनुसंधान पहल के चार शोधकर्ताओं और सोरबोन यूनिवर्सिटी के एक शोधकर्ता से आता है।

आर्किटेक्चर

इस क्षेत्र में पहले किया गया अधिकांश कार्य चालक के ध्यान पर केंद्रित रहा है, जिसमें चालक के सामने वाले कैमरों के आउटपुट का विश्लेषण करने के लिए मशीन लर्निंग का उपयोग किया गया है, तथा चालक के निरंतर, स्थिर और करीबी दृश्य पर निर्भर रहा है - एक ऐसी सुविधा जो सार्वजनिक टीवी कैमरों के अक्सर कम-रिज़ॉल्यूशन फीड में उपलब्ध होने की संभावना नहीं है, जहां लोग चेहरे के विश्लेषण प्रणाली के लिए बहुत दूर हो सकते हैं, उनकी आंखों की स्थिति को हल करना मुश्किल होता है, और जहां अन्य अवरोध (जैसे धूप का चश्मा) भी आड़े आते हैं।

परियोजना के घोषित उद्देश्य के लिए और भी महत्वपूर्ण बात यह है कि स्वचालित वाहनों में बाहर की ओर लगे कैमरे भी आवश्यक रूप से इष्टतम परिदृश्य में नहीं होंगे, जिससे 'निम्न-स्तरीय' मुख्य बिंदु जानकारी, दृष्टि-विश्लेषण ढाँचे के आधार के रूप में आदर्श बन जाती है। स्वचालित वाहन प्रणालियों को यह समझने के लिए एक अत्यधिक प्रतिक्रियाशील और बिजली की गति से चलने वाले तरीके की आवश्यकता होती है कि क्या किसी पैदल यात्री - जो फुटपाथ से उतरकर कार के रास्ते में आ सकता है - ने स्वचालित वाहन देखा है। ऐसी स्थिति में, विलंबता जीवन और मृत्यु के बीच का अंतर हो सकती है।

शोधकर्ताओं द्वारा विकसित मॉड्यूलर आर्किटेक्चर एक व्यक्ति की (आमतौर पर) पूरे शरीर की छवि लेता है जिसमें से 2डी जोड़ों को आधार, कंकाल के रूप में निकाला जाता है।

नई फ्रेंच/स्विस नेत्र संपर्क पहचान प्रणाली की वास्तुकला।

वाई अक्ष पर जानकारी को हटाने के लिए मुद्रा को सामान्यीकृत किया जाता है, ताकि मुद्रा का एक 'सपाट' प्रतिनिधित्व बनाया जा सके जो इसे एल्गोरिथ्म द्वारा सीखे गए हजारों ज्ञात मुद्राओं (जिन्हें इसी तरह 'सपाट' किया गया है) और उनके संबंधित बाइनरी झंडों/लेबलों (अर्थात्, 'सपाट' किया गया है) के साथ समानता में रखता है। 0: नहीं देख रहा हूँ or 1:देख रहा हूँ).

मुद्रा की तुलना एल्गोरिदम के आंतरिक ज्ञान से की जाती है कि वह मुद्रा अन्य पैदल यात्रियों की छवियों से कितनी अच्छी तरह मेल खाती है, जिन्हें 'कैमरे की ओर देखते हुए' के ​​रूप में पहचाना गया है - यह टिप्पणियां LOOK डेटासेट के विकास में भाग लेने वाले अमेज़न मैकेनिकल तुर्क श्रमिकों के लिए लेखकों द्वारा विकसित कस्टम ब्राउज़र टूल का उपयोग करके बनाई गई हैं।

LOOK में प्रत्येक छवि चार AMT कार्यकर्ताओं द्वारा जांच के अधीन थी, और केवल वे छवियां जिनमें चार में से तीन परिणाम पर सहमत थे, अंतिम संग्रह में शामिल किए गए थे।

मुख्य फसल की जानकारी, पिछले काफी काम का मूल, मनमाने शहरी परिदृश्यों में टकटकी के सबसे कम विश्वसनीय संकेतकों में से एक है, और इसे वास्तुकला में एक वैकल्पिक डेटा स्ट्रीम के रूप में शामिल किया गया है, जहां कैप्चर गुणवत्ता और कवरेज इस बारे में निर्णय का समर्थन करने के लिए पर्याप्त है कि क्या व्यक्ति कैमरे की ओर देख रहा है या नहीं। बहुत दूर के लोगों के मामले में, यह उपयोगी डेटा नहीं होगा।

जानकारी

शोधकर्ताओं ने LOOK को कई पूर्व डेटासेट से प्राप्त किया है जो डिफ़ॉल्ट रूप से इस कार्य के लिए उपयुक्त नहीं हैं। केवल दो डेटासेट जो सीधे इस परियोजना के दायरे को साझा करते हैं, वे हैं जाड और पाई, और प्रत्येक की सीमाएँ हैं।

JAAD टोरंटो में यॉर्क यूनिवर्सिटी की 2017 की पेशकश है, जिसमें बाउंडिंग बॉक्स और व्यवहार एनोटेशन सहित पैदल चलने वालों के 390,000 लेबल वाले उदाहरण शामिल हैं। इनमें से केवल 17,000 को ही लेबल किया गया है ड्राइवर को देख रहा हूँ (यानी अहंकार कैमरा). डेटासेट में उत्तरी अमेरिका और यूरोप में रिकॉर्ड किए गए 346-30 सेकंड के ऑन-बोर्ड कैमरा फुटेज पर चलने वाली 5 10fps क्लिप हैं। जेएएडी में पुनरावृत्ति की एक उच्च घटना है, और अद्वितीय पैदल यात्रियों की कुल संख्या केवल 686 है।

टोरंटो के यॉर्क विश्वविद्यालय से हाल ही में (2019) जारी किया गया PIE, JAAD के समान है, जिसमें इसमें ऑन-बोर्ड 30fps फुटेज है, जो इस बार डाउनटाउन टोरंटो से छह घंटे की ड्राइविंग से प्राप्त किया गया है, जिसमें 700,000 एनोटेटेड पैदल यात्री और 1,842 विशिष्ट पैदल यात्री हैं, जिनमें से केवल 180 कैमरे की ओर देख रहे हैं।

इसके बजाय, नए पेपर के शोधकर्ताओं ने तीन पूर्व स्वायत्त ड्राइविंग डेटासेट से सबसे उपयुक्त डेटा संकलित किया: किट्टी, जेआरडीबी, तथा NuScenes, क्रमशः जर्मनी में कार्लज़ूए इंस्टीट्यूट ऑफ टेक्नोलॉजी, ऑस्ट्रेलिया में स्टैनफोर्ड और मोनाश विश्वविद्यालय और एक बार एमआईटी स्पिन-ऑफ न्यूटोनॉमी से।

इस क्यूरेशन के परिणामस्वरूप चार शहरों - बोस्टन, सिंगापुर, ट्यूबिंगन और पालो ऑल्टो - से प्राप्त विविध प्रकार के कैप्चर प्राप्त हुए। लगभग 8000 चिह्नित पैदल यात्रियों के दृष्टिकोणों के साथ, लेखकों का तर्क है कि LOOK 'इन द वाइल्ड' नेत्र संपर्क पहचान के लिए सबसे विविध डेटासेट है।

प्रशिक्षण और परिणाम

निष्कर्षण, प्रशिक्षण और मूल्यांकन सभी एक एकल NVIDIA GeForce GTX 1080ti पर 11GB VRAM के साथ किए गए, जो 7GHz पर चलने वाले Intel Core i8700-3.20 CPU पर काम कर रहा था।

लेखकों ने पाया कि न केवल उनकी पद्धति SOTA बेसलाइन पर कम से कम 5% सुधार करती है, बल्कि यह भी कि JAAD पर प्रशिक्षित परिणामी मॉडल अनदेखे डेटा को बहुत अच्छी तरह से सामान्यीकृत करते हैं, एक परिदृश्य जिसे डेटासेट की एक श्रृंखला को क्रॉस-मिक्स करके परीक्षण किया जाता है।

चूंकि किया गया परीक्षण जटिल था, और इसमें क्रॉप-आधारित मॉडलों के लिए प्रावधान करना पड़ा (जबकि फेस आइसोलेशन और क्रॉपिंग नई पहल की संरचना के लिए केंद्रीय नहीं हैं), विस्तृत परिणामों के लिए पेपर देखें।

JAAD डेटासेट में परीक्षण के लिए पिक्सेल में बाउंडिंग बॉक्स की ऊंचाई के प्रतिशत और फ़ंक्शन के रूप में औसत परिशुद्धता (AP) के परिणाम, लेखकों के परिणाम बोल्ड में।

शोधकर्ताओं ने उपलब्ध डेटासेट के साथ अपना कोड सार्वजनिक रूप से जारी किया है यहाँ उत्पन्न करें, और स्रोत कोड GitHub पर.

लेखक इस उम्मीद के साथ निष्कर्ष निकालते हैं कि उनका काम आगे के शोध प्रयासों को प्रेरित करेगा जिसे वे वर्णित करते हैं 'महत्वपूर्ण लेकिन अनदेखा विषय'.