NeRF: تدريب الطائرات بدون طيار في بيئات الإشعاع العصبي

قام باحثون من جامعة ستانفورد بتصميم طريقة جديدة لتدريب الطائرات بدون طيار على التنقل في بيئات فوتوغرافية حقيقية ودقيقة للغاية، من خلال الاستفادة من الاهتمام الأخير بحقول الإشعاع العصبي (NeRF).

يمكن تدريب الطائرات بدون طيار في بيئات افتراضية تم تخطيطها مباشرة من المواقع الحقيقية، دون الحاجة إلى إعادة بناء المشاهد ثلاثية الأبعاد الخاصة. مصدر: https://mikh3x4.github.io/nerf-navigation/

تتيح هذه الطريقة إمكانية التدريب التفاعلي للطائرات بدون طيار (أو أنواع أخرى من الأجسام) في سيناريوهات افتراضية تضم تلقائيًا معلومات الحجم (لتحديد مسارات التفادي) وتلوينًا مستمدًا مباشرة من الصور الحقيقية (لمساعدة شبكات التعرف على الصور في الطائرات بدون طيار على التدريب بطريقة أكثر واقعية) وإضاءة حقيقية (لضمان تدريب الشبكة على مجموعة متنوعة من السيناريوهات الإضاءية، وتجنب التحسين المفرط أو الأمثلة الأصلية للمشهد).

يمكن للطائرة بدون طيار التنقل في بيئة افتراضية معقدة تم إعادة بناؤها تلقائيًا من صور قليلة. مصدر: https://www.youtube.com/watch?v=5JjWpv9BaaE

NeRF كـ VR/AR

الورقة الجديدة بعنوان التحكم في الروبوتات باستخدام الرؤية فقط في عالم الإشعاع العصبي، وتعتبر сотрудασία بين ثلاثة أقسام في جامعة ستانفورد: هندسة الطيران والفضاء، هندسة ميكانيكية، وعلوم الحاسوب.

تقترح هذه الورقة إطارًا للاستكشاف يزوّد الروبوت ببيئة NeRF مسبقة التدريب، حيث تحدد كثافة الحجم مسارات ممكنة للجهاز. كما يتضمن مرشحًا لتقدير موقع الروبوت داخل البيئة الافتراضية، استنادًا إلى التعرف على الصور من كاميرا RGB المثبتة على متن الطائرة بدون طيار. بذلك، يمكن للطائرة بدون طيار أو الروبوت “تحقيق” رؤية أكثر دقة لما يمكن توقعه في بيئة معينة.

يمكن لمخطط المسار التنقل عبر نموذج NeRF لستون亨ج الذي تم إنشاؤه من خلال التصوير الجوي والفوتوغرافيا إلى بيئة الإشعاع العصبي.

نظرًا لأن بيئة NeRF تحتوي على نمذجة كاملة للتحايل، يمكن للطائرة بدون طيار تعلم حساب العوائق بسهولة أكبر، حيث يمكن للشبكة العصبية خلف NeRF تمثيل العلاقة بين التحايل وطريقة استقبال أنظمة الملاحة القائمة على الرؤية على متن الطائرة بدون طيار. كما يوفر خط أنابيب إنشاء NeRF التلقائي طريقة بسيطة نسبيًا لإنشاء مساحات تدريبية超 الواقعية باستخدام عدد قليل من الصور.

يوفر الإطار التخطيطي المطور لمشروع ستانفورد مسارًا متينًا ومتكاملًا للتنقل القائم على الرؤية فقط.

Nerf ليست (في الواقع) CGI

نظرًا لأن بيئة NeRF عبارة عن مشهد ثلاثي الأبعاد قابل للتنقل، أصبحت هذه التكنولوجيا مُضللة منذ ظهورها في عام 2020، حيث يُعتقد على نطاق واسع أنها طريقة لتحقيق تلقائي لإنشاء الشبكات والtextures، بدلاً من استبدال البيئات ثلاثية الأبعاد المألوفة للمشاهدين من أقسام التأثيرات البصرية في هوليوود وبيئات الواقع المعزز والواقع الافتراضي.

يستخرج NeRF المعلومات الجيومترية والtexture من عدد قليل من وجهات النظر، ويحسب الفرق بين الصور كبيانات حجمية. مصدر: https://www.matthewtancik.com/nerf

في الواقع، بيئة NeRF أكثر مثل “مساحة عرض حية”، حيث يتم الاحتفاظ بمزيج من المعلومات البكسل والإضاءة وتنقلها في شبكة عصبية نشطة ومتواصلة.

التنميط الدلالي

حتى لو كان NeRF يُعتبر “صورة محوسبة生成ية” (CGI)، فإنه يقدم منهجية مختلفة تمامًا، وخط أنابيب تلقائي للغاية. بالإضافة إلى ذلك، يمكن لـNeRF عزل و”تغليف” أجزاء متحركة من المشهد، بحيث يمكن إضافتها أو إزالتها أو تسريعها أو تشغيلها كأجزاء منفصلة في بيئة افتراضية – وهي قدرة تتجاوز الحالة الحالية للتقنيات في تفسير “هوليوود” لما هو CGI.

تقدم wsp من جامعة شنغهاي تكنولوجيا طريقة لتحويل عناصر NeRF المتحركة إلى عناصر قابلة للتحويل في المشهد. مصدر: https://www.youtube.com/watch?v=Wp4HfOwFGP4

سلبًا، هيكل NeRF يشبه “صندوقًا أسودًا”؛ لا يزال من المستحيل استخراج كائن من بيئة NeRF وتنقيله مباشرة باستخدام أدوات التلاعب التقليدية القائمة على الشبكات أو الصور، على الرغم من أن هناك جهودًا بحثية تهدف إلى كسر حاجز ماتريس الشبكة العصبية الحية في بيئات NeRF.