إعادة إضاءة الحقول الإشعاعية العصبية مع أي خريطة بيئة

أقترح مقال جديد من معهد ماكس بلانك ومعهد ماساتشوستس للتكنولوجيا تقنية لتحقيق فصل حقيقي ل内容 الحقول الإشعاعية العصبية (NeRF) من الإضاءة الموجودة عند جمع البيانات، مما يسمح بخريطة بيئة اد هوك لتبديل الإضاءة完全 في مشهد NeRF:

تطبيق التقنية الجديدة على بيانات حقيقية. من الجدير بالذكر أن الطريقة تعمل حتى على بيانات الأرشيف من هذا النوع، والتي لم تأخذ في الاعتبار خط الأنابيب الجديد عند جمع البيانات. على الرغم من ذلك، يتم الحصول على تحكم إضاءة واقعي ومحدد من قبل المستخدم. مصدر: https://arxiv.org/pdf/2207.13607.pdf

تستخدم النهج الجديد برنامج الرسوم ثلاثية الأبعاد المفتوح المصدر الشهير بليندر لإنشاء “مرحلة إضاءة افتراضية”، حيث يتم تقديم عدة تجارب لسيناريوهات إضاءة ممكنة وتدريبها في النهاية في طبقة خاصة في نموذج NeRF يمكنها استيعاب أي خريطة بيئة يرغب المستخدم في استخدامها لإضاءة المشهد.

صورة لجزء من خط الأنابيب الذي يستخدم بليندر لإنشاء مشاهد مرحلة إضاءة افتراضية للهياكل المستخرجة. الطرق السابقة التي اتبعت نفس الخطوط استخدمت مراحل إضاءة حقيقية لتوفير هذه البيانات، وهو متطلب مرهق للكائنات المنفصلة، ومتطلب مستحيل للمناظر الخارجية. في الجزء العلوي الأيسر من الصورتين اليمين، يمكننا رؤية خرائط البيئة التي تحدد إضاءة المشهد. يمكن إنشاء هذه الخرائط بشكل عشوائي من قبل المستخدم، مما يجعله أقرب إلى مرونة نهج CGI الحديث.

تم اختبار النهج ضد إطار العكسية للمسار في Mitsuba2، وأيضا ضد الأعمال السابقة PhySG، RNR، Neural-PIL وNeRFactor، باستخدام فقط نموذج الإضاءة المباشرة، وحصل على أفضل النتائج:

نتائج التقنية الجديدة، مقارنة بالنهج المماثلة تحت مجموعة متنوعة من دالات الخسارة. يزعم الباحثون أن نهجهم يولد أساليب ذات جودة أعلى، مع تقييم النتائج من خلال نسبة الإشارة إلى الضوضاء القصوى (PSNR)، ومقياس تشابه البنية (SSIM)، ومقياس التشابه المكتسب للصورة (LPIPS) الفعال والمختلف.

ينصّ المقال على ما يلي:

‘تظهر نتائجنا الكمية والنوعية خطوة واضحة إلى الأمام من حيث استعادة معاملات المشهد وكذلك جودة التركيب لنهجنا تحت المشاهد والظروف الإضاءية الجديدة عند مقارنتها بالحالة الحالية للفن.’

يعلن الباحثون عن نيتهم لإطلاق رمز المشروع.

الحاجة إلى قابلية تحرير NeRF

لقد أثبت هذا النوع من الفصل تحديًا ملحوظًا للباحثين في مجال الحقول الإشعاعية العصبية، حيث إن NeRF في الأساس تقنية فوتوغرامتري tínhة قيمة البكسل لآلاف المسارات الممكنة من نقطة نظر، وتعيين قيم RGBD، وتركيب مصفوفة من هذه القيم في تمثيل حجمي. في جوهره، يتم تعريف NeRF بواسطة الإضاءة.

في الواقع، على الرغم من صوره المذهلة واعتمادها الواسع من قبل NVIDIA (NVDA ) ، فإن NeRF متميز بـ “الrigid” – في مصطلحات CGI، “مخبز”. لذلك، ركزت cộng đồng البحث على تحسين قابليتها للتشغيل وقدرتها على التكيف في هذا الصدد خلال الأشهر 12-18 الماضية.

من حيث الأهمية، فإن الرهانات على هذا النوع من الإنجازات عالية، وتشمل إمكانية تحويل صناعة التأثيرات البصرية من نموذج إبداعي وتعاوني يركز على إنشاء الشبكات، والديناميكا الحركية، والتلوين، إلى نموذج مبني على الترندر العكسي، حيث يتم تشغيل خط أنابيب التأثيرات البصرية بواسطة صور حقيقية لأشياء حقيقية (أو حتى، من المفترض، أنماط حقيقية ومحسنة)، بدلاً من تقديرات فنية تقريبية.

فرز العناصر

مع ذلك، منذ أن من الضروري البدء من مكان ما، فقد اعتمد الباحثون في ورقة جديدة نهج CGI كآلية تحكم وانتاج وسطية، وهو نهج شائع الآن نحو الفضاءات الخطية الصلبة للGANs وشبكات NeRF شبه المنفذة.

بصورة فعالة، فإن التحدي الرئيسي هو حساب الإضاءة العالمية (GI، والتي لا تطبق مباشرة في الرندر العصبي) في حساب نقل الإشعاع المسبق الحساب (PRT، الذي يمكن تعديله ليناسب الرندر العصبي)。

GI هو تقنية ترندر CGI قديمة تemodel كيفية انعكاس الضوء على الأسطح وانتقاله إلى أسطح أخرى، ودمج هذه المناطق من الضوء المنعكس في ترندر، من أجل تحقيق واقعية أكبر.

PRT يستخدم كدالة إضاءة وسطية في النهج الجديد، وحقيقة أن هذا هو مكون منفصل وقابل للتحرير هو ما يحقق الفصل.

يتم استعادة الإضاءة الفعلية للمشهد الأصلي كخريطة بيئة في العملية، ويتم استخراج هندسة المشهد نفسها كحقل مسافة موقع (SDF) الذي سوف يوفر في النهاية شبكة تقليدية لبرنامج بليندر للعمل عليها في المرحلة الإضاءية الافتراضية.

نظرة عامة على خط الأنابيب للتقنية الجديدة.

المرحلة الأولى في العملية هي استخراج هندسة المشهد من الصور المتعددة المتاحة من خلال إعادة بناء السطح الضمني.

为了 تطوير حقل نقل الإشعاع العصبي (NRTF، الذي سوف يستوعب بيانات الإضاءة)، استخدم الباحثون مسار ميتسوبا 2 القابل للتفريق.

هذا يسهل من التحسين المشترك لدالة توزيع التشتت ثنائي الاتجاه (BSDF)، وكذلك إنشاء خريطة بيئة أولية.

بعد إنشاء BSDF، يمكن استخدام مسار ميتسوبا في بليندر (انظر الفيديو المضمن أعلاه) لإنشاء مشاهد افتراضية لمرحلة الإضاءة.

然后 يتم تدريب NRTF مع خسارة مشتركة بين التأثيرات المادية الفوتوغرافية والبيانات الاصطناعية، والتي لا يتم تشابكها مع بعضها البعض.

مقارنة مع سلف NeRFactor، على تحديات تركيب المشهد والإضاءة الجديدة.

طريق الإضاءة

متطلبات التدريب لهذه التقنية، على الرغم من أنها أقل من أوقات تدريب NeRF الأصلية، ليست غير महतة. على NVIDIA Quadro RTX 8000 مع 48GB من VRAM، يستغرق التدريب الأولي لتقدير الإضاءة والنسيج 30 دقيقة؛ يستغرق تدريب OLAT (أي تدريب مشاهد المرحلة الإضاءية الافتراضية) 8 ساعات؛ ويستغرق التحسين المشترك النهائي بين البيانات الاصطناعية والبيانات الحقيقية المفصلة 16 ساعة إضافية للوصول إلى الجودة المثالية.

علاوة على ذلك، لا يمكن تشغيل التمثيل العصبي الناتج في الوقت الفعلي، حيث يستغرق، وفقًا للباحثين، “عشرات الثواني لكل إطار”.

يخلص الباحثون إلى ما يلي:

‘تظهر نتائجنا تحسنًا واضحًا على الحالة الحالية للفن، في حين يمكن أن تتضمن الأعمال المستقبلية تحسينًا إضافيًا لزمن التشغيل وتعاونًا في التفكير الهندسي والمادي والإضاءة للمشهد.’

نشر لأول مرة في 28 يوليو 2022.