न्यूरल सर्च और रेस्क्यू फ्लाई-थ्रू एनवायरनमेंट्स के साथ मेगा-नेरफ बनाना

कार्नेगी मेलन और स्वायत्त ड्राइविंग टेक्नोलॉजी कंपनी अर्गो एआई के बीच एक नए शोध सहयोग ने न्यूरल रेडियेंस फील्ड्स (नेरफ) पर आधारित डायनामिक फ्लाई-थ्रू एनवायरनमेंट्स के उत्पादन के लिए एक आर्थिक विधि विकसित की है, जो ड्रोन द्वारा कब्जा की गई फुटेज का उपयोग करके है।

नई दृष्टिकोण, जिसे मेगा-नेरफ कहा जाता है, न्यूरल रेडियेंस फील्ड्स रेंडरिंग मानक की तुलना में 40 गुना तेजी से प्राप्त करता है, साथ ही साथ मानक टैंक और मंदिरों से कुछ अलग प्रदान करता है जो नए नेरफ पेपर्स में दोहराए जाते हैं।

नया पेपर शीर्षक मेगा-नेरफ: वirtual फ्लाई-थ्रू के लिए बड़े पैमाने पर नेरफ्स का स्केलेबल निर्माण है, और यह कार्नेगी मेलन के तीन शोधकर्ताओं से है, जिनमें से एक अर्गो एआई का प्रतिनिधित्व भी करता है।

नेरफ लैंडस्केप को सर्च और रेस्क्यू के लिए मॉडलिंग

लेखकों का मानना है कि सर्च-एंड-रेस्क्यू (एसएआर) उनकी तकनीक के लिए एक संभावित उपयोग का मामला है। जब एसएआर लैंडस्केप का मूल्यांकन किया जाता है, तो ड्रोन वर्तमान में बैंडविड्थ और बैटरी जीवन प्रतिबंधों से सीमित होते हैं, और इसलिए विस्तृत या व्यापक कवरेज प्राप्त करने में सक्षम नहीं होते हैं trước वापसी के लिए आधार, जिस बिंदु पर उनके द्वारा एकत्रित डेटा परिवर्तित हो जाता है स्थिर 2डी हवाई दृश्य मानचित्रों में।

लेखकों का कहना है:

‘हम एक भविष्य की कल्पना करते हैं जिसमें न्यूरल रेंडरिंग इस विश्लेषण को 3डी में उठाती है, जिससे प्रतिक्रिया टीमें क्षेत्र का निरीक्षण कर सकती हैं जैसे कि वे वास्तविक समय में एक ड्रोन उड़ा रहे हों, जो क्लासिक स्ट्रक्चर-फ्रॉम-मोशन (एसएफएम) के साथ प्राप्त की जा सकने वाली विवरण के स्तर से बहुत आगे है। ‘

इस उपयोग के मामले के साथ कार्यभारित, लेखकों ने एक जटिल नेरफ-आधारित मॉडल बनाने का प्रयास किया है जो एक दिन के भीतर प्रशिक्षित किया जा सकता है, यह देखते हुए कि सर्च-एंड-रेस्क्यू ऑपरेशनों में जीवित बचे लोगों की जीवन प्रत्याशा पहले 24 घंटों के दौरान 80% तक कम हो जाती है।

लेखकों का उल्लेख है कि मेगा-नेरफ मॉडल को प्रशिक्षित करने के लिए आवश्यक ड्रोन कैप्चर डेटासेट मानक नेरफ डेटासेट की तुलना में ‘क्रमिक मात्रा’ बड़े हैं, और मॉडल क्षमता को डिफ़ॉल्ट फोर्क या नेरफ के डेरिवेटिव में से अधिक होना चाहिए। इसके अलावा, इंटरैक्टिविटी और अन्वेषणीयता एक खोज और बचाव भूमि मानचित्र में, जबकि मानक वास्तविक समय नेरफ रेंडर एक बहुत ही सीमित श्रृंखला की पूर्व-गणना की संभावित आंदोलन की अपेक्षा कर रहे हैं।

विभाजित और जीत

इन मुद्दों को संबोधित करने के लिए, लेखकों ने एक ज्यामितीय क्लस्टरिंग एल्गोरिदम बनाया जो कार्य को उपमॉड्यूल में विभाजित करता है, और प्रभावी रूप से एक मैट्रिक्स बनाता है जो एक साथ प्रशिक्षित उप-नेरफ्स हैं।

प्रस्तुति के समय, लेखकों ने एक जस्ट-इन-टाइम विज़ुअलाइज़ेशन एल्गोरिदम भी लागू किया जो पूरी इंटरैक्टिविटी को सुविधाजनक बनाने के लिए पर्याप्त रूप से प्रतिक्रियाशील है, जैसे कि वीडियो गेम आइटम पर विवरण को बढ़ाते हैं क्योंकि वे उपयोगकर्ता के दृष्टिकोण के करीब आते हैं, लेकिन जो दूरी में रहते हुए अधिक मूल और ऊर्जा-बचत वाले पैमाने पर रहते हैं।

इन अर्थव्यवस्थाओं, लेखकों का तर्क है, पिछले तरीकों की तुलना में बेहतर विवरण प्रदान करते हैं जो व्यापक विषय क्षेत्रों में इंटरैक्टिव संदर्भ में संबोधित करने का प्रयास करते हैं। सीमित रिज़ॉल्यूशन वीडियो फुटेज से विवरण को बढ़ाने के संदर्भ में, लेखकों ने यूसी बर्कले के प्लेनोक्ट्रीज में समान कार्यक्षमता पर मेगा-नेरफ की दृश्य सुधार का भी उल्लेख किया।

परियोजना के चेन्ड सब-नेरफ्स का उपयोग किलोनेरफ की रियल-टाइम रेंडरिंग क्षमताओं पर आधारित है, लेखकों को स्वीकार करते हैं। हालांकि, मेगा-नेरफ इस दृष्टिकोण से विचलित होता है कि यह वास्तव में प्रशिक्षण के दौरान ‘शार्डिंग’ (दृश्य के संकेतों का विविध शंटिंग) करता है, न कि किलोनेरफ के पोस्ट-प्रोसेसिंग दृष्टिकोण की तरह, जो पहले से ही गणना किए गए नेरफ दृश्य को एक अन्वेषणीय स्थान में बदल देता है।

एक विविध प्रशिक्षण सेट उपमॉड्यूल के लिए बनाया गया है, जिसमें प्रशिक्षण छवि पिक्सेल शामिल हैं जिनकी ट्रेजेक्टरी सेल को पार कर सकती है जिसे यह प्रतिनिधित्व करता है। परिणामस्वरूप, प्रत्येक मॉड्यूल को पूरी तरह से अलग से प्रशिक्षित किया जाता है संबंधित कोशिकाओं से। स्रोत: https://arxiv.org/pdf/2112.10703.pdf

लेखक मेगा-नेरफ को ‘नेरफ आर्किटेक्चर के एक पुनर्गठन के रूप में वर्णित करते हैं जो स्थानिक रूप से जागरूक तरीके से परत संबंधों को स्पार्सिफाई करता है, जो प्रशिक्षण और रेंडरिंग समय पर कुशलता में सुधार की सुविधा प्रदान करता है’।

नेरफ, नेरफ++, और मेगा-नेरफ में प्रशिक्षण और डेटा विविधता की संकल्पनात्मक तुलना। स्रोत: https://meganerf.cmusatyalab.org/

लेखकों का दावा है कि मेगा-नेरफ के नोवेल टेम्पोरल संगति रणनीतियों का उपयोग अत्यधिक पूर्व-प्रोसेसिंग की आवश्यकता से बचता है, पैमाने पर सीमाओं को पार करता है, और पिछले समान कार्यों की तुलना में अधिक विवरण प्रदान करता है, बिना इंटरैक्टिविटी को त्यागे या कई दिनों के प्रशिक्षण की आवश्यकता के।

शोधकर्ता बड़े पैमाने पर डेटासेट भी उपलब्ध करा रहे हैं जिनमें ड्रोन फुटेज से प्राप्त हजारों उच्च-परिभाषा छवियां शामिल हैं जो 100,000 वर्ग मीटर के आसपास के औद्योगिक परिसर में कब्जा कर ली गई हैं। दो उपलब्ध डेटासेट हैं ‘बिल्डिंग’ और ‘रब्बल’।

पूर्ववर्ती कार्य में सुधार

पेपर में उल्लेख किया गया है कि इसी तरह के प्रयास, जिनमें स्नेर्ज, प्लेनोक्ट्री, और फास्टनेरफ शामिल हैं, सभी कैशिंग या पूर्व-प्रोसेसिंग पर निर्भर करते हैं जो खोज और बचाव के लिए वर्चुअल वातावरण बनाने के लिए उपयुक्त नहीं हैं।

जबकि किलोनेरफ एक मौजूदा संग्रह से उप-नेरफ्स का उद्गम करता है बहुस्तरीय प्रत्यावर्ती (एमएलपी), यह वास्तुकला रूप से आंतरिक दृश्यों के लिए सीमित है जिसमें सीमित विस्तार या उच्च-स्तरीय वातावरणों को संबोधित करने की क्षमता है। फास्टनेरफ, इसके बाद, एक ‘बेक्ड’, पूर्व-गणना की हुई नेरफ मॉडल को एक समर्पित डेटा संरचना में संग्रहीत करता है और उपयोगकर्ता को एक समर्पित एमएलपी के माध्यम से या गोलाकार आधार गणना के माध्यम से नेविगेट करने की अनुमति देता है।

किलोनेरफ परिदृश्य में, दृश्य में प्रत्येक संकेत का अधिकतम रिज़ॉल्यूशन पहले से ही गणना किया गया है, और यदि उपयोगकर्ता ‘ज़ूम इन’ करने का निर्णय लेता है तो कोई अधिक रिज़ॉल्यूशन उपलब्ध नहीं होगा।

इसके विपरीत, नेरफ++ मूल रूप से असीमित, बाहरी वातावरणों को संभाल सकता है जो संभावित अन्वेषणीय स्थान को अग्रभूमि और पृष्ठभूमि क्षेत्रों में विभाजित करता है, प्रत्येक एक समर्पित एमएलपी मॉडल द्वारा पर्यवेक्षित होता है, जो रे कास्टिंग करता है अंतिम संरचना से पहले।

अंत में, नेरफ इन द वाइल्ड, जो सीधे तौर पर असीमित स्थानों को संबोधित नहीं करता है, फिर भी फोटोटूरिज़म डेटासेट में छवि गुणवत्ता में सुधार करता है, और इसके दिखावे एम्बेडिंग मेगा-नेरफ के लिए वास्तुकला में अनुसरण किए गए हैं।

लेखकों को यह भी स्वीकार करते हैं कि मेगा-नेरफ स्ट्रक्चर-फ्रॉम-मोशन (एसएफएम) परियोजनाओं से प्रेरित है, विशेष रूप से वाशिंगटन विश्वविद्यालय की बिल्डिंग रोम इन ए डे परियोजना।

टेम्पोरल संगति

प्लेनोक्ट्री की तरह, मेगा-नेरफ वर्तमान उपयोगकर्ता फोकस के क्षेत्र में एक खुरदरा कैश रंग और अपारदर्शिता की गणना करता है। हालांकि, प्लेनोक्ट्री के विपरीत, जो प्रत्येक बार गणना की जाती है जब उपयोगकर्ता के वर्तमान स्थान के पास मार्ग होते हैं, मेगा-नेरफ इस जानकारी को ‘सेव’ और पुन: उपयोग करता है उप-विभाजित करके गणना किए गए पेड़ को।

बाएं, प्लेनोक्ट्री की एकल-उपयोग गणना। मध्य, मेगा-नेरफ का ऑक्ट्री का गतिशील विस्तार, वर्तमान फ्लाई-थ्रू के स्थान के सापेक्ष। दाएं, ऑक्ट्री को बाद के नेविगेशन के लिए पुन: उपयोग किया जाता है।

इस गणना की अर्थव्यवस्था, लेखकों के अनुसार, स्थानीय कैश के रूप में उपयोग किए जाने वाले ऑन-द-फ्लाई गणनाओं द्वारा प्रसंस्करण बोझ को काफी कम करती है, पूर्व-गणना और पूर्व-गणना का अनुमान लगाने के बजाय।

गाइडेड सैंपलिंग

मानक मॉडल के अनुसार प्रारंभिक नमूनाकरण के बाद, मेगा-नेरफ ऑक्ट्री रिफाइनमेंट के बाद दूसरे दौर के निर्देशित रे सैंपलिंग को लागू करता है ताकि छवि गुणवत्ता में सुधार किया जा सके। इसके लिए, मेगा-नेरफ केवल ऑक्ट्री डेटा संरचना में मौजूद वजन का उपयोग करता है।

जैसा कि ऊपर दी गई छवि से देखा जा सकता है, मानक नमूनाकरण गणना संसाधनों को बर्बाद करता है जो लक्ष्य क्षेत्र का मूल्यांकन करता है, जबकि मेगा-नेरफ ज्यामिति की उपस्थिति के ज्ञान के आधार पर गणनाओं को सीमित करता है, एक पूर्व-निर्धारित सीमा से ऊपर गणनाओं को रोकता है।

डेटा और प्रशिक्षण

शोधकर्ताओं ने मेगा-नेरफ का परीक्षण विभिन्न डेटासेट पर किया, जिनमें ड्रोन फुटेज से ली गई दो हाथ से तैयार की गई सेट शामिल हैं। पहला डेटासेट, मिल 19 – बिल्डिंग, 500 x 250 वर्ग मीटर के क्षेत्र में ली गई फुटेज की विशेषता है। दूसरा, मिल 19 – रब्बल, एक संबंधित निर्माण स्थल पर ली गई समान फुटेज का प्रतिनिधित्व करता है, जहां शोधकर्ताओं ने एक खोज और बचाव परिदृश्य में संभावित बचे लोगों का प्रतिनिधित्व करने वाले डमी रखे थे।

पेपर की पूरक सामग्री से: बाएं, पैरोट अनाफी ड्रोन (केंद्र में चित्रित, और दूर की तस्वीर में दाईं ओर) द्वारा कवर किए जाने वाले चतुर्थांश।

इसके अलावा, वास्तुकला का परीक्षण कई दृश्यों के खिलाफ किया गया था अर्बनसीन3डी से, चीन में शेन्ज़ेन विश्वविद्यालय के विज़ुअल कंप्यूटिंग रिसर्च सेंटर से, जो बड़े शहरी वातावरणों की एचडी ड्रोन-कब्जा फुटेज है; और क्वाड 6के डेटासेट, इंडियाना विश्वविद्यालय के आईयू कंप्यूटर विजन लैब से।

प्रशिक्षण 8 उपमॉड्यूल पर हुआ, प्रत्येक में 256 छिपी हुई इकाइयों के 8 परतें और एक बाद के 128 चैनल रीलू परत के साथ। नेरफ के विपरीत, एक ही एमएलपी का उपयोग दोनों खुरदरे और परिष्कृत नमूनों के लिए प्रश्न के रूप में किया गया था, जिससे समग्र मॉडल का आकार कम हो गया और खुरदरे नेटवर्क आउटपुट को बाद के रेंडरिंग चरण में पुन: उपयोग किया जा सका। लेखकों का अनुमान है कि यह प्रत्येक रे के लिए मॉडल क्वेरी का 25% बचाता है।

1024 रे प्रति बैच को एडम पर नमूनित किया गया, 5×10^4 की शुरुआती सीखने की दर के साथ, 5×10^-5 तक गिर गया। दिखावे एम्बेडिंग को नेरफ इन द वाइल्ड के समान तरीके से संभाला गया था। मिश्रित सटीकता नमूनाकरण (32-बिट फ्लोटिंग पॉइंट से कम सटीकता पर प्रशिक्षण) का उपयोग किया गया था, और एमएलपी की चौड़ाई 2048 छिपी हुई इकाइयों पर तय की गई थी।

परीक्षण और परिणाम

शोधकर्ताओं के परीक्षण में, मेगा-नेरफ ने 500,000 पुनरावृत्तियों के लिए प्रशिक्षित होने के बाद नेरफ, नेरफ++, और डीपव्यू को पार कर लिया। चूंकि मेगा-नेरफ का लक्ष्य परिदृश्य समय-सीमित है, शोधकर्ताओं ने पूर्ववर्ती फ्रेमवर्क को 24-घंटे की सीमा से परे अतिरिक्त समय दिया, और रिपोर्ट की कि मेगा-नेरफ ने उन्हें इन लाभों के बावजूद भी पार किया।

उपयोग किए गए मेट्रिक्स में पीक सिग्नल-टू-शोर रेशियो (पीएसएनआर), वीजीजी संस्करण एलपीआईपीएस, और एसएसआईएम शामिल थे। प्रशिक्षण एक एकल मशीन पर हुआ जिसमें आठ वी100 जीपीयू थे – प्रभावी रूप से, 256GB वीआरएएम और 5120 टेंसर कोर पर।

मेगा-नेरफ प्रयोगों के नमूना परिणाम (कृपया सभी फ्रेमवर्क और डेटासेट पर विस्तारित परिणामों के लिए पेपर देखें) प्लेनोक्ट्री को उल्लेखनीय वोक्सेलाइजेशन का कारण बनता है, जबकि किलोनेरफ कलाकृतियों और आमतौर पर अधिक धुंधले परिणामों का उत्पादन करता है।

परियोजना पृष्ठ https://meganerf.cmusatyalab.org/ पर है, और जारी कोड https://github.com/cmusatyalab/mega-nerf पर है।

21 दिसंबर 2021 को पहली बार प्रकाशित।