एआई ब्लैंक वॉल्स द्वारा प्रकट की गई गुप्त गतिविधि को उजागर करता है

NVIDIA और MIT के योगदानकर्ताओं सहित एक शोध सहयोग ने एक मशीन लर्निंग विधि विकसित की है जो पास की दीवार पर अप्रत्यक्ष रोशनी देखकर छिपे हुए लोगों की पहचान कर सकती है, तब भी जब लोग रोशनी वाले प्रकाश स्रोतों के करीब नहीं हैं। छिपे हुए लोगों की संख्या की पहचान करने का प्रयास करते समय विधि की सटीकता 94% के करीब होती है, और मानव आंखों और छवि प्रवर्धन के मानक तरीकों के लिए अदृश्य प्रकाश उछाल को बड़े पैमाने पर बढ़ाकर किसी छिपे हुए व्यक्ति की विशिष्ट गतिविधि की पहचान भी कर सकती है।

प्रकाश की अगोचर गड़बड़ी, नई विधि द्वारा प्रवर्धित, जो परिवर्तन के क्षेत्रों की पहचान करने के लिए दृढ़ तंत्रिका नेटवर्क का उपयोग करती है। स्रोत: https://www.youtube.com/watch?v=K4PapXyX-bI

नई काग़ज़ शीर्षक है एक खाली दीवार को घूरकर आप क्या सीख सकते हैं, NVIDIA और MIT के साथ-साथ इज़राइल इंस्टीट्यूट ऑफ टेक्नोलॉजी के योगदान से।

'दीवारों के चारों ओर देखने' के पहले के दृष्टिकोण नियंत्रणीय प्रकाश स्रोतों, या रोड़ा के ज्ञात स्रोतों के पूर्व ज्ञान पर निर्भर थे, जबकि नई तकनीक किसी भी नए कमरे में पुनर्गणना की आवश्यकता के बिना सामान्यीकरण कर सकती है। छिपे हुए लोगों को अलग करने वाले दो दृढ़ तंत्रिका नेटवर्क ने केवल 20 दृश्यों से प्राप्त डेटा का उपयोग किया।

परियोजना का उद्देश्य उच्च जोखिम, सुरक्षा-गंभीर स्थितियों, खोज और बचाव कार्यों, सामान्य कानून प्रवर्तन निगरानी कार्यों, आपातकालीन प्रतिक्रिया परिदृश्यों, बुजुर्ग लोगों के बीच गिरने का पता लगाना और स्वायत्त वाहनों के लिए छिपे हुए पैदल यात्रियों का पता लगाने के साधन के रूप में है।

निष्क्रिय मूल्यांकन

जैसा कि अक्सर कंप्यूटर विज़न परियोजनाओं के मामले में होता है, केंद्रीय कार्य एक छवि स्ट्रीम में कथित स्थिति परिवर्तनों की पहचान करना, वर्गीकृत करना और संचालन करना था। परिवर्तनों को संयोजित करने से हस्ताक्षर पैटर्न बनते हैं जिनका उपयोग या तो कई व्यक्तियों की पहचान करने या एक या अधिक व्यक्तियों की गतिविधि का पता लगाने के लिए किया जा सकता है।

यह कार्य परावर्तक सतहों के उपयोग की आवश्यकता के बिना, पूरी तरह से निष्क्रिय दृश्य मूल्यांकन की संभावना को खोलता है, वाई-फाई सिग्नल, राडार, ध्वनि या हाल के वर्षों के अन्य अनुसंधान प्रयासों में आवश्यक कोई अन्य 'विशेष परिस्थितियाँ' जो खतरनाक या महत्वपूर्ण वातावरण में छिपी हुई मानवीय उपस्थिति स्थापित करने की मांग करती हैं।

नए शोध के लिए उपयोग किए जाने वाले प्रकार का एक नमूना डेटा-एकत्रीकरण परिदृश्य। विषयों को सावधानीपूर्वक तैनात किया जाता है ताकि छाया न पड़े या सीधे कोई रोशनी न रुके, और किसी भी परावर्तक सतह या अन्य 'धोखा देने वाले' वैक्टर की अनुमति नहीं है। स्रोत: https://arxiv.org/pdf/2108.13027.pdf

प्रभावी रूप से, अनुप्रयोग के लिए परिकल्पित विशिष्ट परिदृश्य के लिए परिवेशी प्रकाश दृश्य में कहीं और छिपे लोगों से परावर्तित प्रकाश के कारण होने वाली किसी भी छोटी गड़बड़ी को दूर कर देगा। शोधकर्ताओं ने गणना की है कि व्यक्तियों का प्रकाश-अशांति योगदान आम तौर पर कुल दृश्यमान प्रकाश का 1% से कम होगा।

स्थैतिक प्रकाश व्यवस्था को हटाना

स्पष्ट रूप से स्थिर दीवार छवि से गति निकालने के लिए, वीडियो के अस्थायी औसत की गणना करना और इसे प्रत्येक फ्रेम से हटाना आवश्यक है। गति के परिणामी पैटर्न आमतौर पर अच्छी गुणवत्ता वाले वीडियो उपकरण की शोर सीमा से भी कम होते हैं, और वास्तव में अधिकांश गति नकारात्मक पिक्सेल स्थान के भीतर होती है।

इसका समाधान करने के लिए, शोधकर्ताओं ने वीडियो को 16 के कारक से डाउनसैंपल किया और परिणामी फुटेज को 50 के कारक से बढ़ा दिया, जबकि नकारात्मक पिक्सल की उपस्थिति को समझने के लिए एक मध्य-ग्रे बेस स्तर जोड़ा (जिसे बेसलाइन वीडियो द्वारा नहीं देखा जा सकता है) सेंसर शोर)।

मानव-कथित दीवार और छिपे हुए व्यक्तियों की निकाली गई गड़बड़ी के बीच का अंतर। चूँकि इस शोध में छवि गुणवत्ता एक केंद्रीय मुद्दा है, कृपया उच्च गुणवत्ता वाली छवि के लिए लेख के अंत में आधिकारिक वीडियो देखें।

गति को समझने की अवसर की खिड़की बहुत नाजुक है, और 60 हर्ट्ज एसी आवृत्ति पर रोशनी की टिमटिमाहट से भी प्रभावित हो सकती है। इसलिए इस प्राकृतिक गड़बड़ी का भी मूल्यांकन किया जाना चाहिए और व्यक्ति-प्रेरित आंदोलन सामने आने से पहले फुटेज से हटा दिया जाना चाहिए।

अंत में, सिस्टम स्पेस-टाइम प्लॉट तैयार करता है जो छिपे हुए कमरे के निवासियों की एक विशिष्ट संख्या का संकेत देता है - अलग दृश्य हस्ताक्षर:

एक कमरे में छिपे हुए लोगों की विभिन्न संख्या का प्रतिनिधित्व करने वाले सिग्नेचर स्पेस-टाइम प्लॉट।

विभिन्न मानवीय गतिविधियों के परिणामस्वरूप हस्ताक्षर संबंधी गड़बड़ी भी होगी जिन्हें वर्गीकृत किया जा सकता है और बाद में पहचाना जा सकता है:

निष्क्रियता, चलने, झुकने, हाथ हिलाने और कूदने के लिए स्पेस-टाइम प्लॉट हस्ताक्षर।

छिपे हुए व्यक्ति की पहचान के लिए एक स्वचालित मशीन लर्निंग-आधारित वर्कफ़्लो तैयार करने के लिए, 20 उपयुक्त परिदृश्यों से विभिन्न फुटेज का उपयोग मोटे तौर पर समान कॉन्फ़िगरेशन पर काम करने वाले दो तंत्रिका नेटवर्क को प्रशिक्षित करने के लिए किया गया था - एक दृश्य में लोगों की संख्या की गणना करने के लिए, और दूसरा होने वाली किसी भी हलचल को पहचानें।

परीक्षण

शोधकर्ताओं ने अंतिम तैनाती के लिए प्रत्याशित सीमाओं को फिर से बनाने के लिए डिज़ाइन किए गए दस अदृश्य वास्तविक दुनिया के वातावरण में प्रशिक्षित प्रणाली का परीक्षण किया। सिस्टम छिपे हुए लोगों की संख्या को वर्गीकृत करने में 94.4% सटीकता (256 फ्रेम से अधिक - आमतौर पर केवल 8 सेकंड से अधिक वीडियो) और गतिविधियों को वर्गीकृत करने में 93.7% सटीकता (समान परिस्थितियों में) प्राप्त करने में सक्षम था। यद्यपि कम स्रोत फ़्रेम के साथ सटीकता कम हो जाती है, यह एक रैखिक गिरावट नहीं है, और यहां तक ​​​​कि 64 फ़्रेम भी 'लोगों की संख्या' मूल्यांकन के लिए 79.4% सटीकता दर प्राप्त करेंगे (फ़्रेम की चार गुना संख्या के लिए लगभग 95% के मुकाबले)।

यद्यपि यह विधि प्रकाश व्यवस्था में मौसम-आधारित परिवर्तनों के लिए मजबूत है, यह टेलीविजन द्वारा प्रकाशित दृश्य में, या उन परिस्थितियों में संघर्ष करती है जहां लोग प्रतिबिंबित दीवार के समान रंग के मोनोटोन कपड़े पहन रहे हैं।

निष्कर्षण के उच्च-गुणवत्ता वाले फ़ुटेज सहित अनुसंधान के अधिक विवरण नीचे दिए गए आधिकारिक वीडियो में देखे जा सकते हैं।