إنشاء بيئات طيران من خلال Neural Search و الإنقاذ مع Mega-NeRF

تطوير طريقة اقتصادية لإنشاء بيئات طيران من خلال Neural Radiance Fields (NeRF) باستخدام لقطات مقدمة من الطائرات بدون طيار.

المقاربة الجديدة، تسمى Mega-NeRF، تحصل على تسريع 40 مرة مقارنة بالمعايير القياسية لتحويل Neural Radiance Fields، بالإضافة إلى تقديم شيء متميز بشكل ملحوظ عن المعايير القياسية.

الورقة الجديدة بعنوان Mega-NeRF: Scalable Construction of Large-Scale NeRFs for Virtual Fly-Throughs، وتأتي من ثلاثة باحثين في جامعة كارنيجي ميلون، أحدهم يمثل شركة Argo AI.

نمذجة景观 NeRF للبحث والإنقاذ

يعتبر المؤلفون أن البحث والإنقاذ (SAR) هو استخدام مثالي للتقنية. عند تقييم景观 البحث والإنقاذ، يتم تقييد الطائرات بدون طيار بقيود النطاق والطاقة، وبالتالي لا يتم الحصول على تغطية مفصلة أو شاملة قبل الحاجة إلى العودة إلى القاعدة.

يعبر المؤلفون عن رؤيتهم لمستقبل يرفع فيه التحليل ثلاثي الأبعاد، مما يسمح للفرق الاستجابة بالتفحص الميداني كما لو كانوا يطيران بطائرة بدون طيار في الوقت الفعلي بتفاصيل بعيدة عن المستوى المتاح مع تقنية Structure-from-Motion (SfM).

تقسيم وتحقيق

للتغلب على هذه المشاكل، قام المؤلفون بإنشاء خوارزمية تجميع هندسي تقسم المهمة إلى وحدات فرعية، وتخلق مصفوفة من NeRFs الفرعية التي يتم تدريبها بشكل متزامن.

عند نقطة العرض، يطبق المؤلفون خوارزمية تصور في الوقت الفعلي التي تتيح التفاعل الكامل دون معالجة مفرطة.

تحسين العمل السابق

تلاحظ الورقة أن الجهود السابقة، بما في ذلك SneRG و PlenOctree و FastNeRF، تعتمد على بعض forme من التخزين المسبق أو المعالجة التي تزيد من الحمل الحاسوبي أو الزمن، مما لا يصلح لإنشاء بيئات افتراضية للبحث والإنقاذ.

التوافق الزمني

مثل PlenOctree، يقوم Mega-NeRF بحساب مسبق لذاكرة لون وشفافية في منطقة التركيز الحالي للمستخدم. ومع ذلك، بدلاً من حساب المسارات كل مرة في المنطقة المحيطة بالمسار المحسوب، يقوم Mega-NeRF “يحفظ” ويعيد استخدام هذه المعلومات من خلال تقسيم الشجرة المحسوبة.

عينة موجهة

بعد العينة الأولية، يقوم Mega-NeRF بتنفيذ جولة ثانية من عينة موجهة بعد تحسين الشجرة الثمانية، من أجل تحسين جودة الصورة.

بيانات وتدريب

تم اختبار Mega-NeRF على مجموعات بيانات مختلفة، بما في ذلك مجموعتين من المجموعات المصنعة من لقطات طائرة بدون طيار على أرض صناعية.

اختبار والنتائج

في اختبارات الباحثين، كان Mega-NeRF قادرًا على الأداء بشكل جيد مقارنة ب NeRF و NeRF++ و DeepView بعد تدريب لمدة 500,000 تكرار عبر المجموعات المذكورة.

المقاييس المستخدمة كانت نسبة الإشارة إلى الضوضاء القصوى (PSNR)، نسخة VGG من LPIPS، و SSIM.

الصفحة الرئيسية للمشروع هي https://meganerf.cmusatyalab.org/، والكود المصدَر هو https://github.com/cmusatyalab/mega-nerf.

نُشر لأول مرة في 21 ديسمبر 2021.