العرض العصبي: NeRF يخطو في الهواء الطلق

تعاون بين Google Research وجامعة هارفارد طور طريقة جديدة لإنشاء فيديو عصبي بزاوية 360 درجة للمشاهد الكاملة باستخدام حقول الإشعاع العصبية (NeRF). يقترب النهج الجديد من جعل NeRF يُستَخدم بصورة عابرة في أي بيئة، دون أن يقتصر على نماذج الطاولة أو سيناريوهات داخلية مغلقة.

انظر إلى نهاية المقال للحصول على الفيديو الكامل. المصدر: https://www.youtube.com/watch?v=zBSH-k9GbV4

يمكن لـ Mip-NeRF 360 التعامل مع خلفيات ممتدة وأجسام ‘لامتناهية’ مثل السماء، لأنه على عكس معظم الإصدارات السابقة، يضع حدودًا على طريقة تفسير أشعة الضوء، ويخلق حدودًا للانتباه تُبرر أوقات التدريب الطويلة. راجع الفيديو الجديد المرفق المضمن في نهاية هذا المقال للمزيد من الأمثلة، ولمحة موسعة عن العملية.

الورقة الجديدة تحمل العنوان Mip-NeRF 360: Unbounded Anti-Aliased Neural Radiance Fields، ويقودها باحث كبير في Google Research يدعى جون بارون.

لفهم الاختراق، من الضروري أن يكون لديك فهم أساسي لكيفية عمل توليف الصور القائم على حقول الإشعاع العصبية.

ما هو NeRF؟

من الصعب وصف شبكة NeRF على أنها ‘فيديو’، لأنها أقرب إلى بيئة افتراضية ثلاثية الأبعاد مكتملة ولكنها معتمدة على الذكاء الاصطناعي، حيث تُستخدم وجهات نظر متعددة من صور واحدة (بما في ذلك إطارات الفيديو) لتجميع مشهد موجود تقنيًا فقط في الفضاء الكامن لخوارزمية التعلم الآلي – ولكن يمكن استخراج عدد هائل من وجهات النظر والفيديوهات منه حسب الرغبة.

تمثيل لنقاط التقاط الكاميرا المتعددة التي توفر البيانات التي يجمعها NeRF لتكوين مشهد عصبي (الموضح على اليمين).

المعلومات المستخلصة من الصور المساهمة تُدرب إلى مصفوفة تشبه شبكة الفوكسل التقليدية في عمليات CGI، حيث يحصل كل نقطة في الفضاء ثلاثي الأبعاد على قيمة، مما يجعل المشهد قابلًا للتنقل.

مصفوفة فوكسل تقليدية تضع معلومات البكسل (التي عادةً توجد في سياق ثنائي الأبعاد، مثل شبكة بكسلات ملف JPEG) في فضاء ثلاثي الأبعاد. المصدر: https://www.researchgate.net/publication/344488704_Processing_and_analysis_of_airborne_full-waveform_laser_scanning_data_for_the_characterization_of_forest_structure_and_fuel_properties المصدر: ResearchGate

بعد حساب الفراغ البيني بين الصور (إذا لزم الأمر)، يتم تتبع مسار كل بكسل محتمل من كل صورة مساهمة بشكل فعّال باستخدام تقنية تتبع الأشعة وتعيين قيمة لونية، بما في ذلك قيمة شفافية (بدونها ستكون المصفوفة العصبية معتمة تمامًا أو فارغة تمامًا).

مثل شبكات الفوكسل، وعلى عكس فضاء الإحداثيات ثلاثي الأبعاد القائم على CGI، لا وجود لـ ‘الداخل’ لكائن ‘مغلق’ في مصفوفة NeRF. يمكنك فتح مجموعة طبول CGI والنظر داخلها إذا أردت؛ لكن بالنسبة لـ NeRF، ينتهي وجود مجموعة الطبول عندما تكون قيمة الشفافية لسطحها مساوية لـ ‘1’.

نظرة أوسع على البكسل

Mip-NeRF 360 هو امتداد لـ البحث من مارس 2021، الذي قدم بفعالية مضاد التسنين الفعال إلى NeRF دون الحاجة إلى أخذ عينات مفرطة.

تقليديًا، تحسب NeRF مسار بكسل واحد فقط، مما يميل إلى إنتاج ما يُعرف بـ ‘التعرجات’ التي ميزت صيغ الصور المبكرة على الإنترنت، وكذلك أنظمة الألعاب القديمة . تم حل هذه الحواف المتعرجة بطرق مختلفة، عادةً عبر أخذ عينات من البكسلات المجاورة وإيجاد تمثيل متوسط.

نظرًا لأن NeRF التقليدية تأخذ عينات فقط من مسار البكسل الواحد، قدمت Mip-NeRF منطقة التقاط ‘مخروطية’، تشبه شعلة واسعة الشعاع، توفر معلومات كافية عن البكسلات المجاورة لإنتاج مضاد تسنين اقتصادي مع تفاصيل محسنة.

منطقة الالتقاط المخروطية التي يستخدمها Mip-NeRF مقطعة إلى مخاريط مخروطية (الصورة السفلية)، والتي تُصبح أكثر ‘ضبابية’ لإنشاء مساحات غاوسية غامضة يمكن استخدامها لحساب دقة وتسنين البكسل. المصدر: https://www.youtube.com/watch?v=EpH175PY1A0

كان التحسين مقارنةً بتنفيذ NeRF القياسي ملحوظًا:

Mip-NeRF (يمين)، صدر في مارس 2021، يوفر تفاصيل محسنة من خلال خط أنابيب تسنين أكثر شمولًا ولكن اقتصاديًا، بدلاً من مجرد ‘تمويه’ البكسلات لتجنب الحواف المتعرجة. المصدر: https://jonbarron.info/mipnerf/

NeRF غير محدود

ورقة مارس تركت ثلاثة مشاكل دون حل فيما يتعلق باستخدام Mip-NeRF في بيئات غير محدودة قد تشمل أشياء بعيدة جدًا، بما في ذلك السماء. تحل الورقة الجديدة ذلك بتطبيق تشويه بأسلوب Kalman على توزيعات Gaussian في Mip-NeRF.

ثانيًا، المشاهد الكبيرة تتطلب قدرة معالجة أكبر وأوقات تدريب ممتدة، وهو ما تحله Mip-NeRF 360 عن طريق ‘تقطير’ هندسة المشهد باستخدام شبكة متعددة الطبقات (MLP) صغيرة تُسمى ‘اقتراحية’، والتي تُحدّ مسبقًا الهندسة المتوقعة من شبكة NeRF MLP القياسية الكبيرة. هذا يسرّع التدريب بمقدار ثلاثة أضعاف.

أخيرًا، المشاهد الكبيرة تميل إلى جعل تجزئة الهندسة المفسرة غامضة، مما ينتج عنه نوع من العيوب التي قد يكون اللاعبون على دراية بها عندما ‘تمزق’ إخراج اللعبة. تعالج الورقة الجديدة ذلك بإنشاء منظم جديد لفواصل أشعة Mip-NeRF.

على اليمين، نرى عيوبًا غير مرغوب فيها في Mip-NeRF بسبب صعوبة تحديد حدود مشهد كبير كهذا. على اليسار، نرى أن المنظم الجديد قد حسّن المشهد بما يكفي لإزالة هذه الاضطرابات.

للتعرف على المزيد حول الورقة الجديدة، شاهد الفيديو أدناه، وكذلك مقدمة الفيديو من مارس 2021 لـ Mip-NeRF. يمكنك أيضًا معرفة المزيد عن أبحاث NeRF من خلال مراجعة تغطيتنا حتى الآن.

نُشر أصلاً في 25 نوفمبر 2021
21 ديسمبر 2021، 12:25 م – تم استبدال الفيديو الميت. – MA