एप्पल के एचडीआर ऑगमेंटेड रियलिटी एनवायरनमेंट न्यूरल रेंडरिंग के लिए रिफ्लेक्शन को हल कर सकते हैं?

एप्पल का ऑगमेंटेड रियलिटी तकनीक में लंबे समय से निवेश इस साल तेज हो रहा है, जिसमें डेवलपर्स के लिए नए टूल्स शामिल हैं जो वास्तविक दुनिया की वस्तुओं को एआर फेसेट्स में कैप्चर और परिवर्तित करने के लिए हैं, और एक बढ़ती उद्योग की समझ है कि समर्पित एआर चश्मा समर्थन के लिए आ रहा है जो इस रिसर्च को सक्षम बना सकता है।

एप्पल के ऑगमेंटेड रियलिटी प्रयासों पर नए जानकारी के बीच, कंपनी के कंप्यूटर विजन रिसर्च डिवीजन से एक नया पेपर एक तरीका प्रस्तुत करता है जिसमें 360-डिग्री पैनोरमिक हाई डायनामिक रेंज (एचडीआर) छवियों का उपयोग करके ऑगमेंटेड रियलिटी दृश्यों में सुपरइम्पोज्ड वस्तुओं के लिए दृश्य-विशिष्ट प्रतिबिंब और प्रकाश प्रदान किया जा सकता है।

शीर्षक एचडीआर एनवायरनमेंट मैप एस्टीमेशन फॉर रियल-टाइम ऑगमेंटेड रियलिटी, पेपर, एप्पल कंप्यूटर विजन रिसर्च इंजीनियर गोव्री सोमनाथ और सीनियर मशीन लर्निंग मैनेजर डैनियल कुर्ज द्वारा, एक मोबाइल प्रोसेसिंग एनवायरनमेंट में चलने वाले एक कन्वोल्यूशनल न्यूरल नेटवर्क (सीएनएन) के माध्यम से वास्तविक समय में एचडीआर एनवायरनमेंट के गतिशील निर्माण का प्रस्ताव करता है। परिणाम यह है कि प्रतिबिंबित वस्तुएं वास्तविक समय में नए, अनदेखे एनवायरनमेंट को दर्पण कर सकती हैं:

एप्पल के नए एआर ऑब्जेक्ट जेनरेशन वर्कफ्लो में, एक प्रेशर कुकर फोटोग्रामेट्री द्वारा अपने पर्यावरण के साथ इंस्टेंस किया जाता है, जिससे प्रतिबिंबों को आश्वस्त किया जा सकता है जो टेक्सचर में ‘बेक्ड’ नहीं होते हैं। स्रोत: https://docs-assets.developer.apple.com/

विधि, सीवीपीआर 2021 में शुरू की गई, पूरे दृश्य का एक स्नैपशॉट लेती है और एनवमैपनेट सीएनएन का उपयोग करके एक दृश्य रूप से पूर्ण पैनोरमिक एचडीआर छवि का अनुमान लगाता है, जिसे ‘लाइट प्रोब’ के रूप में भी जाना जाता है।

परिणामी मैप मजबूत प्रकाश स्रोतों (उपरोक्त एनिमेशन में अंत में रेखांकित) की पहचान करता है और उन्हें आभासी वस्तुओं को रेंडर करते समय उनके लिए खाता है।

एनवमैपनेट का आर्किटेक्चर, जो सीमित इमेजरी को पूरे दृश्य एचडीआर लाइट प्रोब में प्रोसेस करता है। स्रोत: https://arxiv.org/pdf/2011.10687.pdf

अल्गोरिदम एक आईफोन एक्सएस पर 9 मिलीसेकंड से कम समय में चल सकता है, और वास्तविक समय में प्रतिबिंब-जागरूक वस्तुओं को रेंडर करने में सक्षम है, पिछले और अलग-अलग दृष्टिकोणों की तुलना में 50% कम दिशा त्रुटि के साथ।

लाइट प्रोब्स

एचडीआर लाइटिंग एनवायरनमेंट विजुअल इफेक्ट्स में एक कारक रहा है, जब उच्च डायनामिक रेंज छवियों (1986 में आविष्कृत) ने 1990 के दशक में कंप्यूटर प्रौद्योगिकी में प्रगति के माध्यम से एक उल्लेखनीय बल बनाया। किसी भी व्यक्ति ने पीछे की ओर देखने वाले फुटेज में देखा होगा कि तकनीशियनों ने मिरर्ड बॉल्स को स्टिक्स पर पकड़ रखा है – रेफरेंस इमेज जो दृश्य के लिए सीजीआई तत्वों को पुनर्निर्माण करते समय पर्यावरणीय कारकों के रूप में शामिल की जानी हैं।

स्रोत: https://beforesandafters.com/

हालांकि, क्रोम बॉल्स का उपयोग रिफ्लेक्शन मैपिंग टेक्सचर के लिए 1990 के दशक से पहले ही शुरू हो गया था, 1983 के एसआईजीआरएफ़ पेपर पिरामिडल पैरामेट्रिक्स में, जिसमें एक प्रतिबिंबित सीजीआई रोबोट की स्थिर छवियां थीं जो लगभग एक दशक बाद जेम्स कैमरून की टर्मिनेटर 2: जजमेंट डे के माध्यम से प्रसिद्ध हो गईं।

न्यूरल रेंडरिंग में एचडीआर एनवायरनमेंट?

न्यूरल रेंडरिंग में फोटोरियलिस्टिक वीडियो को बहुत ही पतले इनपुट से उत्पन्न करने की संभावना है, जिसमें क्रूड सेगमेंटेशन मैप्स शामिल हैं।