न्यू सीजीआई: ब्लॉक-नेर्फ के साथ न्यूरल नेबरहुड्स बनाना

न्यूरल रेडियंस फील्ड्स (नेर्फ) वस्तुओं को न्यूरल नेटवर्क के भीतर पुनः बनाने और अन्वेषण करने की अनुमति देते हैं, केवल कई दृष्टिकोण फोटोग्राफ का उपयोग करके, पारंपरिक सीजीआई तरीकों की जटिलता और व्यय के बिना।

हालांकि, यह प्रक्रिया गणनात्मक रूप से महंगी है, जिसने शुरू में नेर्फ पर्यावरण को टेबलटॉप मॉडल परिदृश्यों तक सीमित कर दिया। फिर भी, नेर्फ को एक समर्पित, यहां तक कि उत्साही अनुसंधान समुदाय द्वारा अपनाया गया है, जिसने पिछले एक वर्ष में बाहरी पुनर्निर्माण को सक्षम बनाया है, साथ ही संपादन योग्य न्यूरल मानव के साथ-साथ कई अन्य नवाचारों को भी।

अब एक नए अनुसंधान पहल, जिसमें गूगल रिसर्च की भागीदारी शामिल है, नेर्फ को अनुकूलित करने पर संभावित कठिन सीमाओं को पहचानता है, और इसके बजाय नेर्फ पर्यावरण को एक साथ जोड़कर मांग पर पड़ोस बनाने पर केंद्रित है, जिसमें कई समन्वित नेर्फ उदाहरण शामिल हैं।

ब्लॉक-नेर्फ नेटवर्क के जुड़े नेर्फ्स से दृश्य। देखें अंत में एम्बेडेड वीडियो, और साथ ही स्रोत लिंक के लिए उच्च-रिज़ॉल्यूशन पूर्ण-लंबाई वाले पूरक वीडियो। स्रोत: https://waymo.com/research/block-nerf/

जुड़े नेर्फ्स के नेटवर्क को प्रभावी ढंग से नेविगेट करना नेर्फ को स्केलेबल और मॉड्यूलर बनाता है, जो नेविगेट करने योग्य पर्यावरण प्रदान करता है जो आवश्यकतानुसार पड़ोस के अतिरिक्त भाग लोड करते हैं, वीडियोगेम्स के संसाधन अनुकूलन तरीकों के समान, जहां कोने के आसपास क्या है वह आमतौर पर तब तक लोड नहीं होता है जब तक यह स्पष्ट नहीं हो जाता कि पर्यावरण की आवश्यकता होगी।

विभिन्न कारकों जैसे मौसम और घंटे को अलग करने के लिए, ब्लॉक-नेर्फ भी ‘अपीयरेंस कोड’ पेश करता है, जो दिन के समय को गतिशील रूप से बदलने की अनुमति देता है:

ब्लॉक-नेर्फ के साथ दिन के समय को बदलना। देखें अंत में एम्बेडेड वीडियो, और साथ ही स्रोत लिंक के लिए उच्च-रिज़ॉल्यूशन पूर्ण-लंबाई वाले पूरक वीडियो। स्रोत: https://waymo.com/research/block-nerf/

नए शोध पत्र से पता चलता है कि नेर्फ अनुकूलन अपनी थर्मल सीमा के करीब पहुंच रहा है, और यह कि भविष्य में वर्चुअल रियलिटी, इंटरएक्टिव स्फीयर और वीएफएक्स कार्य में न्यूरल रेडियंस पर्यावरण की तैनाती संभवतः समानांतर संचालन पर निर्भर करेगी, जिस तरह से मूर का नियम अंततः मल्टी-कोर आर्किटेक्चर, समानांतर अनुकूलन और नए दृष्टिकोणों को कैशिंग में दिया गया था।

पत्र के लेखकों (शीर्षक ब्लॉक-नेर्फ: स्केलेबल लार्ज सीन न्यूरल व्यू सिंथेसिस) ने 2.8 मिलियन छवियों का उपयोग करके सबसे बड़ा न्यूरल दृश्य बनाने का प्रयास किया – सैन फ्रांसिस्को में पड़ोस की एक श्रृंखला।

ब्लॉक-नेर्फ सैन फ्रांसिस्को के ग्रेस कैथेड्रल को नेविगेट करता है। देखें अंत में एम्बेडेड वीडियो, और साथ ही स्रोत लिंक के लिए उच्च-रिज़ॉल्यूशन पूर्ण-लंबाई वाले पूरक वीडियो। स्रोत: https://waymo.com/research/block-nerf/

पत्र के प्रमुख लेखक, यूसी बर्कले का प्रतिनिधित्व करते हैं, मैथ्यू टैन्सिक हैं, जो न्यूरल रेडियंस फील्ड्स के सह-आविष्कारक हैं, जिन्होंने स्वायत्त ड्राइविंग प्रौद्योगिकी विकास कंपनी वेमो में इंटर्न के रूप में काम किया था, जो परियोजना पृष्ठ के मेजबान हैं। यह पहल यूट्यूब पर एक वीडियो अवलोकन भी प्रदान करती है, जो इस लेख के अंत में एम्बेडेड है, साथ ही परियोजना पृष्ठ पर कई समर्थन और पूरक वीडियो उदाहरण।

पत्र के सह-लेखकों में नेर्फ के अन्य मूल निर्माता शामिल हैं, जिनमें बेन मिल्डेनहॉल (गूगल रिसर्च), प्रतुल पी. श्रीनिवासन (गूगल रिसर्च) और जोनाथन टी. बैरन (गूगल रिसर्च) शामिल हैं। अन्य योगदानकर्ता विन्सेंट कैसर, जिनचेन यान, सबीक प्रधान, हेंड्रिक क्रेट्ज़श्मार और विन्सेंट कैसर हैं, सभी वेमो से।

ब्लॉक-नेर्फ मुख्य रूप से स्वायत्त वाहन प्रणालियों के लिए वर्चुअल पर्यावरण के अनुसंधान के रूप में विकसित किया गया था, जिसमें स्व-ड्राइविंग कारें और ड्रोन शामिल थे।

ब्लॉक-नेर्फ ‘एक्टिव’ रेंडर स्पेस के लिए एम्बार्केडेरो मार्ग। देखें अंत में एम्बेडेड वीडियो, और साथ ही स्रोत लिंक के लिए उच्च-रिज़ॉल्यूशन पूर्ण-लंबाई वाले पूरक वीडियो। स्रोत: https://waymo.com/research/block-nerf/

ब्लॉक-नेर्फ में गतिशील रूप से बदलने वाले अन्य कारक लेंस एपर्चर (ऊपर देखें), मौसम और मौसम हैं।

हालांकि, मौसम बदलने से पर्यावरण में संबंधित परिवर्तन हो सकते हैं, जैसे कि पेड़ के पत्ते नहीं होना, जिसके लिए निर्मित डेटासेट से भी अधिक व्यापक इनपुट डेटासेट की आवश्यकता होती है। पत्र में कहा गया है:

‘[पाता] मौसम के अनुसार बदलता है और हवा में चलता है; इसके परिणामस्वरूप पेड़ और पौधों के धुंधले प्रतिनिधित्व होते हैं। इसी तरह, प्रशिक्षण डेटा में समयिक असंगतताएं, जैसे कि निर्माण कार्य, स्वचालित रूप से संभाली नहीं जाती हैं और प्रभावित ब्लॉकों को मैनुअल रूप से पुनः प्रशिक्षित करने की आवश्यकता होती है।’

अपोकलिप्टिक रेंडरिंग

अगर आप अंत में एम्बेडेड वीडियो पर एक नज़र डालें, तो आप ब्लॉक-नेर्फ नेटवर्क के जुड़े नेर्फ्स में एक वॉकिंग डेड-शैली की खालीपन देखेंगे। विभिन्न कारणों से, न केवल सिम्युलेटेड स्टार्टर पर्यावरण प्रदान करने के लिए, रोबोटिक सिस्टम, कारें, पैदल यात्री और अन्य अस्थायी वस्तुओं को जानबूझकर मैट आउट किया गया था, लेकिन इससे कुछ आर्टिफैक्ट्स पीछे रह गए, जैसे कि पार्क की गई कारों के छाया:

मिटाए गए कार की छाया। स्रोत: https://waymo.com/research/block-nerf/

दिन या रात जैसे विभिन्न प्रकाश वातावरण को समायोजित करने के लिए, नेटवर्क को विभिन्न दृष्टिकोणों से संबंधित डेटा की धाराओं को शामिल करने के लिए प्रशिक्षित किया गया है। नीचे दी गई छवि में, हम ब्लॉक-नेर्फ फुटेज के लिए योगदानकर्ता धाराओं को देखते हैं:

एक स्पष्ट रूप से ‘बेक्ड’ ब्लॉक-नेर्फ रेंडर के पीछे मांग पर सुविधाएं, जो उपयोगकर्ता को रात को चालू करने की अनुमति देती हैं। स्रोत: https://waymo.com/research/block-nerf/

पर्यावरण और नैतिक विचार

पिछले कुछ वर्षों में, अनुसंधान प्रस्तुतियों में संभावित नैतिक और पर्यावरण संबंधी परिणामों के बारे में सावधानियां और अस्वीकरण शामिल करना शुरू किया गया है। ब्लॉक-नेर्फ के मामले में, लेखकों ने उल्लेख किया है कि ऊर्जा की आवश्यकताएं उच्च हैं, और bahwa अल्पकालिक और दीर्घकालिक अस्थायी वस्तुओं (जैसे पेड़ों पर पत्ते और निर्माण कार्य) के लिए खाता बनाने से शहरी क्षेत्रों में ‘निगरानी’ में वृद्धि हो सकती है, जिनके न्यूरल मॉडल को अद्यतन रखने की आवश्यकता होती है।

लेखकों का कहना है:

‘यह काम जिस स्तरे पर लागू किया जा रहा है, उसके अनुसार इसकी गणना की मांगें पर्यावरणीय नुकसान का कारण बन सकती हैं यदि गणना के लिए उपयोग की जाने वाली ऊर्जा से कार्बन उत्सर्जन में वृद्धि होती है। जैसा कि पत्र में उल्लेख किया गया है, हम आगे के काम की कल्पना करते हैं, जैसे कि कैशिंग विधियां, जो गणना की मांग को कम कर सकती हैं और इस प्रकार पर्यावरणीय नुकसान को कम कर सकती हैं।’

निगरानी के संबंध में, वे जारी रखते हैं:

‘इस काम के भविष्य के अनुप्रयोग में बड़े पैमाने पर डेटा संग्रह प्रयास शामिल हो सकते हैं, जो आगे की गोपनीयता चिंताओं को बढ़ाते हैं। जबकि सार्वजनिक सड़कों की विस्तृत छवियां पहले से ही गूगल स्ट्रीट व्यू जैसी सेवाओं पर पाई जा सकती हैं, हमारी विधि पर्यावरण की अधिक बार और नियमित रूप से स्कैन करने को बढ़ावा दे सकती है। स्वायत्त वाहन स्थान में कई कंपनियां अपने वाहनों के बेड़े का उपयोग करके नियमित रूप से क्षेत्र स्कैन करती हैं; हालांकि, कुछ केवल लिडार स्कैन का उपयोग कर सकते हैं जो कैमरा छवियों को इकट्ठा करने से कम संवेदनशील हो सकते हैं।’

विधियां और समाधान

व्यक्तिगत नेर्फ पर्यावरण को सिद्धांत रूप में किसी भी आकार में कम किया जा सकता है trước उन्हें ब्लॉक-नेर्फ सरणी में इकट्ठा करने से पहले। यह परिवर्तनशील सामग्री जैसे पेड़ों को शामिल करने और निर्माण कार्यों की पहचान और प्रबंधन के लिए मार्ग प्रदान करता है, जो समय के साथ परिवर्तित हो सकते हैं और अंततः सुसंगत इकाइयों बन सकते हैं।

हालांकि, इस प्रारंभिक अनुसंधान में, विविध नेर्फ ब्लॉक वास्तव में चित्रित पर्यावरण के शहरी ब्लॉक तक सीमित हैं, जो एक दूसरे के साथ 50% ओवरलैप के साथ जुड़े हुए हैं, जो उपयोगकर्ता को नेटवर्क के माध्यम से नेविगेट करते समय सुसंगत संक्रमण सुनिश्चित करता है।

प्रत्येक ब्लॉक एक भौगोलिक फिल्टर द्वारा सीमित है। लेखकों का उल्लेख है कि इस फ्रेमवर्क का यह हिस्सा स्वचालन के लिए खुला है, और, आश्चर्य की बात है, कि उनका कार्यान्वयन गूगल मैप्स के बजाय ओपनस्ट्रीटमैप पर निर्भर करता है।

ब्लॉक-नेर्फ ‘एक्टिव’ रेंडर स्पेस के लिए इंटरसेक्शन रेडियस。 स्रोत: वेमो

ब्लॉक समानांतर में प्रशिक्षित होते हैं, और आवश्यक ब्लॉक मांग पर रेंडर किए जाते हैं। नवाचारी उपस्थिति कोड भी ब्लॉक-सेट के बीच समन्वित होते हैं, यह सुनिश्चित करते हुए कि एक उपयोगकर्ता अप्रत्याशित रूप से विभिन्न मौसम, दिन के समय या यहां तक कि एक अलग मौसम में नहीं जाता है।

ब्लॉक-नेर्फ खंड एक्सपोजर पर सशर्त होते हैं, जो फोटोग्राफिक स्रोत सामग्री में उच्च गतिविधि सीमा (एचडीआर) के समान है। स्रोत: वेमो

प्रकाश और अन्य पर्यावरणीय चर को स्विच करने की क्षमता नेर्फ इन द वाइल्ड (नेर्फ-डब्ल्यू) में पेश किए गए जेनरेटिव लैटेंट ऑप्टिमाइजेशन से उत्पन्न होती है, जो खुद 2019 फेसबुक एआई शोध पत्र जेनरेटिव नेटवर्क के लैटेंट स्पेस का अनुकूलन से विधि को उधार लेता है।

पैनोप्टिक-डीपलैब के लिए 2020 में उत्पन्न एक सेमांटिक सेगमेंटेशन मॉडल का उपयोग अवांछित तत्वों (जैसे लोग और वाहन) को ब्लॉक आउट करने के लिए किया जाता है।

डेटा

आम शहरी डेटासेट जैसे सिटीस्केप्स को ब्लॉक-नेर्फ के लिए आवश्यक विस्तार से काम करने के लिए उपयुक्त नहीं पाया गया, शोधकर्ताओं ने अपना डेटासेट बनाया। छवि डेटा 12 कैमरों से 360-डिग्री दृश्य को कैप्चर करते हुए प्राप्त किया गया था, जिसमें 10 हेर्ट्ज पर फुटेज लिया गया था और स्केलर एक्सपोजर मान था।

सैन फ्रांसिस्को के पड़ोस जिन्हें कवर किया गया था वे अलामो स्क्वायर और मिशन बे थे। अलामो स्क्वायर के लिए, लगभग 960मी x 570मी क्षेत्र को 35 ब्लॉक-नेर्फ उदाहरणों में विभाजित किया गया था, प्रत्येक को 38 से 48 विभिन्न डेटा संग्रह रनों से डेटा पर प्रशिक्षित किया गया था, जिसमें प्रति ब्लॉक 18-28 मिनट का कुल ड्राइव समय था।

प्रत्येक ब्लॉक-नेर्फ के लिए योगदान करने वाली छवियों की संख्या 64,575 से 108,216 के बीच थी, और इस क्षेत्र के लिए प्रतिनिधित्व किए गए ड्राइविंग समय 13.4 घंटे थे, जो 1,330 विभिन्न डेटा संग्रह रनों में फैला हुआ था। इसके परिणामस्वरूप केवल अलामो स्क्वायर के लिए 2,818,745 प्रशिक्षण छवियां हुईं। मिशन बे के लिए डेटा संग्रह के अतिरिक्त विवरण के लिए पत्र देखें।

पहली बार 11 फरवरी 2022 को प्रकाशित।