परावर्तित रेडियो तरंगों से मानव छवि संश्लेषण

चीन के शोधकर्ताओं ने रेडियो तरंगों का उपयोग करके बिना कैमरे के लोगों की निकट फोटोरियल छवियों को संश्लेषित करने की एक विधि विकसित की है जनरेटिव एडवरसियर नेटवर्क (जीएएन)। उन्होंने जो प्रणाली तैयार की है, उसे अच्छी रोशनी में ली गई वास्तविक छवियों पर प्रशिक्षित किया गया है, लेकिन यह अंधेरा होने पर भी मनुष्यों के अपेक्षाकृत प्रामाणिक 'स्नैपशॉट' कैप्चर करने में सक्षम है - और यहां तक ​​​​कि प्रमुख बाधाओं के माध्यम से भी जो पारंपरिक कैमरों से लोगों को छिपाएंगे।

छवियां दो रेडियो एंटीना से 'हीट मैप्स' पर निर्भर करती हैं, एक छत से नीचे से डेटा कैप्चर करता है, और दूसरा 'खड़े' स्थिति से रेडियो तरंग गड़बड़ी को रिकॉर्ड करता है।

शोधकर्ताओं के प्रूफ-ऑफ-कॉन्सेप्ट प्रयोगों से प्राप्त तस्वीरों में एक चेहराहीन, 'जे-हॉरर' पहलू है:

आरएफजीएएन को नियंत्रित वातावरण में वास्तविक लोगों की छवियों और मानव गतिविधि को रिकॉर्ड करने वाले रेडियो तरंग हीटमैप्स पर प्रशिक्षित किया जाता है। डेटा से सुविधाएँ सीखने के बाद, RFGAN नए RF डेटा के आधार पर स्नैपशॉट उत्पन्न कर सकता है। परिणामी छवि एक अनुमान है, जो उपलब्ध कम आवृत्ति आरएफ संकेतों के सीमित रिज़ॉल्यूशन पर आधारित है। यह प्रक्रिया अंधेरे वातावरण में और विभिन्न संभावित बाधाओं के माध्यम से भी काम करती है। स्रोत: https://arxiv.org/pdf/2112.03727.pdf

GAN को प्रशिक्षित करने के लिए डब किया गया आरएफजीएएन, शोधकर्ताओं ने एक मानक आरजीबी कैमरे से मिलान किए गए डेटा का उपयोग किया, और कैप्चर के सटीक क्षण में उत्पन्न किए गए संबंधित रेडियो हीटमैप्स से। नए प्रोजेक्ट में संश्लेषित लोगों की छवियां प्रारंभिक डागुएरियोटाइप फोटोग्राफी के समान धुंधली हो जाती हैं, क्योंकि उपयोग की जाने वाली रेडियो तरंगों का रिज़ॉल्यूशन बहुत कम है, गहराई रिज़ॉल्यूशन 7.5 सेमी और कोणीय रिज़ॉल्यूशन लगभग 1.3 डिग्री है।

ऊपर, छवि GAN नेटवर्क को फीड की गई है - नीचे, दो हीटमैप्स, क्षैतिज और ऊर्ध्वाधर, जो कमरे में व्यक्ति की विशेषता बताते हैं, और जो खुद को वास्तुकला के अंदर परेशान डेटा के 3 डी प्रतिनिधित्व में संश्लेषित करते हैं।

नई काग़ज़, शीर्षक आरएफजीएएन: आरएफ-आधारित मानव संश्लेषण, चीन के इलेक्ट्रॉनिक विज्ञान और प्रौद्योगिकी विश्वविद्यालय के छह शोधकर्ताओं से आता है।

डेटा और वास्तुकला

इस दायरे को साझा करने वाले किसी भी पिछले डेटासेट या प्रोजेक्ट की कमी के कारण, और इस तथ्य के कारण कि जीएएन छवि संश्लेषण ढांचे में आरएफ संकेतों का उपयोग पहले नहीं किया गया है, शोधकर्ताओं को नई पद्धतियां विकसित करनी पड़ीं।

आरएफजीएएन की मुख्य वास्तुकला।

प्रशिक्षण के दौरान जुड़वां हीटमैप छवियों की व्याख्या करने के लिए अनुकूली सामान्यीकरण का उपयोग किया गया था, ताकि वे कैप्चर की गई छवि डेटा के साथ स्थानिक रूप से मेल खा सकें।

आरएफ कैप्चर डिवाइस मिलीमीटर वेव (एमएमवेव) रडार थे जो क्षैतिज और ऊर्ध्वाधर दो एंटीना सरणी के रूप में कॉन्फ़िगर किए गए थे। ट्रांससीविंग के लिए फ़्रीक्वेंसी मॉड्यूलेटेड कंटीन्यूअस वेव (FMCW) और रैखिक एंटीना का उपयोग किया गया था।

जेनरेटर को इनपुट परत के रूप में एक स्रोत फ्रेम प्राप्त होता है, जिसमें आरएफ फ़्यूज्ड (हीटमैप) प्रतिनिधित्व नेटवर्क को कनवल्शनल परतों के स्तर पर सामान्यीकरण के माध्यम से व्यवस्थित करता है।

जानकारी

डेटा को मात्र 20 हर्ट्ज पर एमएमवेव एंटीना से आरएफ सिग्नल प्रतिबिंबों से एकत्र किया गया था, साथ ही बहुत कम 10 एफपीएस पर मानव वीडियो कैप्चर किया गया था। छह स्वयंसेवकों का उपयोग करके नौ इनडोर दृश्य कैप्चर किए गए, जिनमें से प्रत्येक ने डेटा-एकत्रीकरण के विभिन्न सत्रों के लिए अलग-अलग कपड़े पहने थे।

परिणाम दो अलग-अलग डेटासेट थे, आरएफ-गतिविधि और आरएफ-वॉक, पहले वाले में अलग-अलग स्थिति में लोगों की 68,860 छवियां थीं (जैसे बैठने और चलना), 137,760 संगत हीटमैप फ़्रेमों के साथ; और बाद वाले में 67,860 मानव यादृच्छिक चलने वाले फ्रेम शामिल हैं, साथ में 135,720 जोड़े संबंधित हीटमैप्स भी हैं।

परंपरा के अनुसार, डेटा को प्रशिक्षण और परीक्षण के बीच असमान रूप से विभाजित किया गया था, जिसमें 55,225 छवि फ़्रेम और 110, 450 हीटमैप जोड़े प्रशिक्षण के लिए उपयोग किए गए थे, और बाकी को परीक्षण के लिए रोक दिया गया था। RGB कैप्चर फ़्रेम का आकार बदलकर 320×180 कर दिया गया, और हीटमैप का आकार 201×160 कर दिया गया।

मॉडल को जनरेटर और विवेचक दोनों के लिए 0.0002 की लगातार सीखने की दर पर एडम के साथ 80 के युग और (बहुत विरल) बैच आकार 2 पर प्रशिक्षित किया गया था। उपभोक्ता स्तर के एकमात्र GTX पर PyTorch के माध्यम से प्रशिक्षण हुआ। -1080 जीपीयू, जिसका 8 जीबी वीआरएएम आम तौर पर ऐसे कार्य के लिए काफी मामूली माना जाएगा (कम बैच आकार को समझाते हुए)।

हालाँकि शोधकर्ताओं ने आउटपुट की यथार्थता का परीक्षण करने के लिए कुछ पारंपरिक मेट्रिक्स को अनुकूलित किया (पेपर में विस्तृत), और प्रथागत पृथक्करण परीक्षण आयोजित किए, लेकिन आरएफजीएएन के प्रदर्शन को मापने के लिए कोई समकक्ष पूर्व कार्य नहीं था।

गुप्त संकेतों में खुली रुचि

आरएफजीएएन पहली परियोजना नहीं है जिसमें किसी कमरे में क्या हो रहा है, इसकी बड़ी तस्वीर बनाने के लिए रेडियो फ्रीक्वेंसी का उपयोग करने का प्रयास किया गया है। 2019 में MIT CSAIL के शोधकर्ताओं ने एक आर्किटेक्चर विकसित किया जिसका नाम है आरएफ-अवतार, करने में सक्षम 3डी इंसानों का पुनर्निर्माण अवरोध की गंभीर परिस्थितियों में, वाई-फ़ाई रेंज में रेडियो फ़्रीक्वेंसी सिग्नलों पर आधारित।

2019 से MIT CSAIL प्रोजेक्ट में, अधिक पारंपरिक CGI-आधारित वर्कफ़्लो में कैप्चर किए गए विषयों को फिर से बनाने के लिए, रेडियो तरंगों का उपयोग दीवारों और कपड़ों सहित बाधाओं को दूर करने के लिए किया गया था। स्रोत: https://people.csAIL.mit.edu/mingmin/papers/rf-avatar.pdf

नए पेपर के शोधकर्ता रेडियो तरंगों के साथ पर्यावरण मानचित्रण के आसपास शिथिल रूप से संबंधित पूर्व कार्य को भी स्वीकार करते हैं (इसमें से कोई भी फोटोरियल मनुष्यों को फिर से बनाने का प्रयास नहीं करता है), जो कि मानव गति का अनुमान लगाएं; देख दीवारों के माध्यम से वाई-फ़ाई के साथ; मानव मुद्रा का मूल्यांकन करें; और भी इंसान के हाव-भाव को पहचानें, विभिन्न अन्य लक्ष्यों के बीच।

हस्तांतरणीयता और व्यापक प्रयोज्यता

इसके बाद शोधकर्ता यह देखने के लिए निकले कि क्या उनकी खोज प्रारंभिक कैप्चर वातावरण और प्रशिक्षण परिस्थितियों से अधिक मेल खाती है, हालांकि पेपर प्रयोग के इस चरण पर कुछ विवरण प्रदान करता है। वे दावा करते हैं:

'अपने मॉडल को एक नए दृश्य में तैनात करने के लिए, हमें शुरू से ही पूरे मॉडल को फिर से प्रशिक्षित करने की आवश्यकता नहीं है। हम समान परिणाम प्राप्त करने के लिए बहुत कम डेटा (लगभग 40s डेटा) का उपयोग करके पूर्व-प्रशिक्षित आरएफजीएएन को ठीक कर सकते हैं।'

और जारी रखने के लिए:

'प्रशिक्षण चरण के साथ हानि कार्य और हाइपरपैरामीटर समान हैं। मात्रात्मक परिणामों से, हम पाते हैं कि पूर्व-प्रशिक्षित आरएफजीएएन मॉडल केवल थोड़े से डेटा के साथ फाइन-ट्यूनिंग के बाद नए दृश्य में वांछनीय मानव गतिविधि फ्रेम उत्पन्न कर सकता है, जिसका अर्थ है कि हमारे प्रस्तावित मॉडल में व्यापक रूप से उपयोग किए जाने की क्षमता है।'

नई तकनीक के इस मौलिक अनुप्रयोग के बारे में पेपर के विवरण के आधार पर, यह स्पष्ट नहीं है कि शोधकर्ताओं ने जो नेटवर्क बनाया है वह विशेष रूप से मूल विषयों के लिए 'फिट-प्रशिक्षित' है, या क्या आरएफ-हीटमैप्स कपड़ों के रंग जैसे विवरण निकाल सकते हैं , क्योंकि यह ऑप्टिकल और रेडियो कैप्चर विधियों में शामिल दो अलग-अलग प्रकार की आवृत्तियों को फैलाता हुआ प्रतीत होता है।

किसी भी तरह से, आरएफजीएएन निगरानी का एक नया और दिलचस्प रूप बनाने के लिए जनरेटिव एडवरसैरियल नेटवर्क की अनुकरणात्मक और प्रतिनिधि शक्तियों का उपयोग करने का एक नया तरीका है - जो संभावित रूप से अंधेरे में और दीवारों के माध्यम से काम कर सकता है, एक तरह से हाल के प्रयासों से भी अधिक प्रभावशाली है। को परावर्तित प्रकाश के साथ गोल कोनों को देखें.

8 दिसंबर 2021 (प्रथम प्रकाशन का दिन), 8:04 अपराह्न जीएमटी+2 - दोहराया गया शब्द हटा दिया गया। – एम.ए