أدوبي: إعادة إضاءة العالم الحقيقي باستخدام الرسومات العصبية

قام باحثون من أدوبي بإنشاء نظام للرسومات العصبية لمناظر داخلية حقيقية يمكنه التعامل مع إعادة الإضاءة المتقدمة ، ويوفر واجهة زمنية حقيقية ، ويتعامل مع الأسطح اللامعة والانعكاسات – وهو تحد ملحوظ للأساليب الأخرى لتركيب الصور مثل مجالات الإشعاع العصبي (NeRF).

هنا ، تم إعادة بناء مشهد العالم الحقيقي من عدد من الصور الثابتة ، مما يجعل المشهد قابل للتنقل. يمكن إضافة الإضاءة وتغييرها في اللون والنوع ، في حين تبقى الانعكاسات دقيقة ، وتعبر الأسطح اللامعة بشكل صحيح عن تغيير مصادر الإضاءة أو أنماطها. مصدر: https://www.youtube.com/watch?v=d3ma4opFpgM

يسمح النظام الجديد بالتحكم في جوانب الإضاءة لمشهد ثلاثي الأبعاد حقيقي تم التقاطه في مساحة عصبية ، بما في ذلك الظلال والانعكاسات ، بطريقة تشبه برنامج الفوتوشوب.

تسمح الواجهة الرسومية للمستخدم بإضافة (وتعديل) مصدر إضاءة لمشهد حقيقي تم إعادة بناؤه من عدد قليل من الصور ، والتنقل بحرية من خلاله كما لو كان سيناريو CGI ذا شبكة ثلاثية الأبعاد.

المقالة ، التي تم تقديمها إلى ACM Transactions on Graphics ، بعنوان إعادة الإضاءة العصبية الداخلية للعرض الحر من الإستريو المتعدد ، هي تعاون بين أدوبي للأبحاث وباحثين من جامعة كوت دازور.

مصدر: https://arxiv.org/ftp/arxiv/papers/2106/2106.13299.pdf (انقر للعرض الكامل)

كما هو الحال مع مجالات الإشعاع العصبية (NeRF) ، يستخدم النظام التصوير الجوي (في أعلى اليسار) ، حيث يتم استنتاج فهم المشهد من عدد محدود من الصور ، وتم تدريب وجهات النظر “الناقصة” عبر التعلم الآلي حتى يتم الحصول على نموذج كامل ومجرد تمامًا للمشهد للتعريف على الطلب.

تم تدريب النظام بالكامل على بيانات合ية (CGI) ، ولكن النماذج الثلاثية الأبعاد المستخدمة تم التعامل معها بالضبط كما لو كان شخص ما يلتقط عدة صور محدودة لمشهد حقيقي لالتقاط عصبي.

تم الحصول على التمثيل الضمني للمشهد من المواد المصدرية عبر شبكة عصبية تجميعية (CNN) ، وتم تقسيمه إلى طبقات متعددة ، بما في ذلك الانعكاسية والإشعاع المصدر (الاشعاع العالمي / الإضاءة العالمية) والبياض.

هندسة نظام إعادة الإضاءة العصبي لأدوبي. يتم معالجة مجموعة البيانات المتعددة ، وتم توليد هندسة الشبكة الثلاثية الأبعاد من البيانات الإدخالية. عند إضافة مصدر إضاءة جديد ، يتم حساب الإشعاع في الوقت الفعلي ، وتم 合成 العرض المضاءة. (انقر للعرض الكامل)

يجمع الخوارزمية بين جوانب التتبع التقليدي للأشعة (مونتي كارلو) وتركيب الصور القائمة على الصور (IBR ، الرسومات العصبية).

على الرغم من أن الكثير من الأبحاث الحديثة حول مجالات الإشعاع العصبية قد تهتم باستخراج الهندسة الثلاثية الأبعاد من الصور المسطحة ، إلا أن نظام أدوبي هو المرة الأولى التي يتم فيها إظهار إعادة الإضاءة المتقدمة من خلال هذه الطريقة.

يتعامل الخوارزمية أيضًا مع 한 تحدي تقليدي لمجالات الإشعاع العصبية والمناهج المماثلة ، من خلال حساب خريطة انعكاس كاملة ، حيث يتم تعيين كل جزء من الصورة لمادة انعكاسية بنسبة 100%.

خريطة الانعكاس المرآوية تظهر مسارات الإضاءة. (انقر للعرض الكامل)

باستخدام خريطة الانعكاسية هذه ، يمكن خفض الانعكاسية لتكييف مختلف مستويات الانعكاس في أنواع المواد المختلفة مثل الخشب وال金属 والحجارة. كما توفر خريطة الانعكاسية قالبًا كاملاً لتحديد الإضاءة ، والذي يمكن إعادة استخدامه لغرض تعديل الإضاءة المنتشرة.

طبقات أخرى في نظام الرسومات العصبية لأدوبي. (انقر للعرض الكامل)

يتم التقاط المشهد الأولي باستخدام 250-350 صورة RAW ، من التي يتم計算 الشبكة الثلاثية الأبعاد عبر الإستريو المتعدد. يتم تلخيص البيانات في خرائط ميزة الإدخال ثنائية الأبعاد ، ثم إعادة投影ها إلى المشهد الجديد. يتم حساب التغييرات في الإضاءة عن طريق متوسط الطبقات المنتشرة واللامعة للمشهد الملتقط.

تتم توليد طبقة المرآة من خلال حساب مرآة الأشعة السريعة (إحدى القفزات) ، الذي يقدر القيم الأصلية للمصدر ثم القيم الهدف. يتم تخزين الخرائط التي تحتوي على معلومات حول إضاءة المشهد الأصلية في البيانات العصبية ، بشكل مشابه لطريقة تخزين خرائط الإشعاع مع بيانات المشهد التقليدية.

حل انعكاسات الرسومات العصبية

ربما الإنجاز الرئيسي لهذا العمل هو فصل المعلومات الانعكاسية عن الطبقات الأخرى في البيانات. يتم الحفاظ على وقت الحساب منخفضًا عن طريق ضمان أن تكون المشاهد “الانعكاسية” الحية ، مثل المرايا ، محسوبة فقط للمشاهد النشطة ، وليس للمشهد بأكمله.

يزعم الباحثون أن هذا العمل يمثل المرة الأولى التي يتم فيها مطابقة قدرات إعادة الإضاءة مع قدرات التنقل الحر في إطار واحد للمشاهد التي يجب أن تعيد إنتاج الأسطح الانعكاسية بشكل واقعي.

تم التضحية ببعض الجوانب لتحقيق هذه الوظيفة ، ويعترف الباحثون بأن الأساليب السابقة التي تستخدم شبكات أكثر تعقيدًا لكل مشاهدة تظهر تحسينًا في الهندسة للموضوعات الصغيرة. سوف تتضمن الاتجاهات المستقبلية لمقاربة أدوبي استخدام الهندسة لكل مشاهدة لتحسين هذا الجانب.