NeRF: تحدي تحرير محتوى الحقول الإشعاعية العصبية

في وقت سابق من هذا العام ، قام نيفيديا بتطوير أبحاث الحقول الإشعاعية العصبية (NeRF) بشكل ملحوظ مع InstantNeRF ، والذي يبدو أنه قادر على توليد مشاهد عصبية قابلة للاستكشاف في ثوانٍ معدودة – من تقنية ، عندما ظهرت في عام 2020 ، غالبًا ما استغرق الأمر ساعات أو حتى أيام للتدريب.

يوفر InstantNeRF من نيفيديا نتائج مثيرة للإعجاب وسريعة. مصدر: https://www.youtube.com/watch?v=DJ2hcC1orc4

على الرغم من أن هذا النوع من الاستيفاء ينتج مشهدًا ثابتًا ، إلا أن NeRF قادر أيضًا على تصوير الحركة ، والتعديل الأساسي “نسخ ولصق” ، حيث يمكن أن تجمع NeRFs الفردية في مشاهد مركبة أو إدراجها في مشاهد موجودة.

NeRFs متداخلة ، كما هو موضح في البحث الذي أجري في عام 2021 من جامعة شنغهاي تيك وشركة DGene Digital Technology. مصدر: https://www.youtube.com/watch?v=Wp4HfOwFGP4

然而 ، إذا كنت تبحث عن التدخل في NeRF محسوبة وتغيير شيء ما داخلها ( بنفس الطريقة التي يمكنك بها تغيير عناصر في مشهد CGI تقليدي ) ، فإن وتيرة الاهتمام في هذا القطاع أدت إلى Appearance قليلا من الحلول حتى الآن ، ولا شيء يبدأ حتى بمطابقة قدرات تدفقات CGI.

على الرغم من أن تقدير الهندسة ضروري لإنشاء مشهد NeRF ، فإن النتيجة النهائية تتكون من قيم “مغلقة” بشكل جيد. بينما هناك بعض التقدم في تغيير قيم النسيج في NeRF ، فإن الأجسام الفعلية في مشهد NeRF ليست شبكات متعددة الحواف التي يمكن تعديلها ولعبها ، ولكنها أكثر مثل سحب نقطية هشة ومجمدة.

في هذا السيناريو ، فإن شخصًا معروضًا في NeRF هو أساسًا تمثالًا ( أو سلسلة من التماثيل ، في NeRFs الفيديو ) ؛ الظلال التي يلقيها على نفسه وعلى الأجسام الأخرى هي نصوع ، وليست حسابات مرنة تستند إلى مصادر الضوء ؛ وتحرير محتوى NeRF محدود بالاختيارات التي يقوم بها المصور الذي يلتقط الصور المصدر النادرة التي يتم من خلالها توليد NeRF. المعلمات مثل الظلال والوضع لا تزال غير قابلة للتحرير ، في أي معنى إبداعي.

تحرير NeRF

تتعامل أبحاث أكاديمية جديدة بين الصين وبريطانيا مع هذا التحدي من خلال تحرير NeRF ، حيث يتم استخراج شبكات CGI-النمطية من NeRF ، وتشويهها حسب الرغبة من قبل المستخدم ، وتمرير التشويهات من خلال حسابات NeRF العصبية:

تحكم بدمى NeRF مع تحرير NeRF ، حيث يتم تطبيق التشويهات المحسوبة من الفيديو على نقاط مكافئة داخل تمثيل NeRF. مصدر: http://geometrylearning.com/NeRFEditing/

تعتمد الطريقة على تقنية NeuS 2021 الأمريكية / الصينية لإعادة البناء ، والتي تستخرج دالة المسافة الموقعة (SDF ، وهي طريقة قديمة جدًا لتركيب الحجم) قادرة على تعلم الهندسة الممثلة داخل NeRF.

يتحول هذا الكائن SDF إلى قاعدة نحت المستخدم ، مع تقديم قدرات التشويه والتشكيل بواسطة تقنية As-Rigid-As-Possible (ARAP) القديمة.

يسمح ARAP للمستخدمين بتشويه الشبكة SDF المستخرجة ، على الرغم من أن الأساليب الأخرى ، مثل الأساليب القائمة على الهيكل العظمي والقفص (أي NURBs) ، ستعمل جيدًا أيضًا. مصدر: https://arxiv.org/pdf/2205.04978.pdf

مع تطبيق التشويهات ، من الضروري ترجمة هذه المعلومات من متجه إلى مستوى البكسل / RGB الأصلي ل NeRF ، وهو رحلة طويلة قليلا.

تُترجم رؤوس المثلثات للشبكة التي قام المستخدم بتشويهها إلى شبكة رباعية السطوح ، والتي تشكل غلافًا حول الشبكة للمستخدم. يتم استخراج حقل تشويه مكاني منفصل من هذه الشبكة الإضافية ، و最終 يتم الحصول على حقل تشويه مستمر يتوافق مع NeRF يمكن تمريره مرة أخرى إلى بيئة الإشعاع العصبية ، مما يعكس تغييرات وتعديلات المستخدم ، ويؤثر مباشرة على الأشعة المفسرة في NeRF المستهدف.

أجسام مشوهة ومتحركة بواسطة الطريقة الجديدة.

ينص البحث على ما يلي:

‘بعد نقل تشويه السطح إلى الشبكة الرباعية السطوح ، يمكننا الحصول على حقل التشويه المنفصل للفضاء “الفعال”. نحن الآن نستخدم هذه التحويلات المنفصلة لتقوس أشعة الإسقاط. لتوليد صورة لحقل الإشعاع المشوه ، نقوم بإسقاط الأشعة إلى الفضاء الذي يحتوي على الشبكة الرباعية السطوح المشوهة.’

البحث بعنوان تحرير NeRF: تحرير الهندسة للحقول الإشعاعية العصبية ، ويأتي من باحثين في ثلاث جامعات صينية ومؤسسات ، إلى جانب باحث من مدرسة علوم الحاسوب والمعلومات في جامعة كارديف ، وباحثين آخرين من مجموعة Alibaba.

القيود

كما ذكرنا سابقًا ، فإن الهندسة المُحولة لن “تحديث” أي جوانب متعلقة في NeRF التي لم يتم تحريرها ، ولا تعكس العواقب الثانوية للعنصر المشوه ، مثل الظلال. يقدم الباحثون مثالًا حيث تبقى الظلال تحت الإنسان في NeRF غير معدلة ، على الرغم من أن التشويه يجب أن يغير الإضاءة:

من البحث: نرى أن الظل الأفقي على ذراع الشخص يبقى في مكانه حتى عندما يتم تحريك الذراع لأعلى.

التجارب

يشير المؤلفون إلى أن هناك حاليًا لا توجد طرق قابلة للمقارنة للتدخل المباشر في هندسة NeRF. لذلك ، كانت التجارب التي أجريت لأجل البحث أكثر استكشافية من مقارنة.

أثبت الباحثون تحرير NeRF على عدد من مجموعات البيانات العامة ، بما في ذلك شخصيات من Mixamo ، ودمية Lego البُلدوزر والكرسي من تنفيذ NeRF الأصلي الأصلي. كما قاموا بتجربة تمثال حصان حقيقي تم التقاطه من مجموعة بيانات FVS ، وكذلك لقطاتهم الأصلية.

رأس حصان مائل.

لمستقبل العمل ، يعتزم المؤلفون تطوير نظامهم في إطار عمل التعلم الآلي المترجم في الوقت الفعلي (JIT) Jittor.

نشر لأول مرة في 16 مايو 2022.