NeRF: تدريب الطائرات بدون طيار في بيئات الإشعاع العصبي

ابتكر باحثون من جامعة ستانفورد طريقة جديدة لتدريب الطائرات بدون طيار على التنقل في البيئات الواقعية والدقيقة للغاية ، من خلال الاستفادة من أحدث التقنيات. سيل من الاهتمام في مجالات الإشعاع العصبي (NeRF).

يمكن تدريب الطائرات بدون طيار في بيئات افتراضية يتم تعيينها مباشرة من مواقع حقيقية ، دون الحاجة إلى إعادة بناء مشهد ثلاثي الأبعاد متخصص. في هذه الصورة من المشروع ، تمت إضافة اضطراب الرياح كعقبة محتملة للطائرة بدون طيار ، ويمكننا أن نرى الطائرة بدون طيار يتم تحويلها مؤقتًا من مسارها وتعويضها في اللحظة الأخيرة لتجنب عقبة محتملة. المصدر: https://mikh3x4.github.io/nerf-navigation/

تقدم الطريقة إمكانية التدريب التفاعلي للطائرات بدون طيار (أو أنواع أخرى من الكائنات) في سيناريوهات افتراضية تتضمن تلقائيًا معلومات الحجم (لحساب تجنب الاصطدام)، والقوام المرسوم مباشرة من الصور الواقعية (للمساعدة في تدريب شبكات التعرف على الصور للطائرات بدون طيار بطريقة أكثر واقعية)، والإضاءة في العالم الحقيقي (لضمان تدريب مجموعة متنوعة من سيناريوهات الإضاءة في الشبكة، وتجنب الإفراط في التجهيز أو الإفراط في التحسين للقطة الأصلية للمشهد).

يتنقل كائن الأريكة في بيئة افتراضية معقدة كان من الصعب جدًا تعيينها باستخدام الالتقاط الهندسي وإعادة التشكيل في تدفقات عمل AR / VR التقليدية ، ولكن تم إعادة إنشائها تلقائيًا في NeRF من عدد محدود من الصور. المصدر: https://www.youtube.com/watch؟

لا تتميز تطبيقات NeRF النموذجية بآليات المسار ، نظرًا لأن معظم مشاريع NeRF في الأشهر الثمانية عشر الماضية قد ركزت على تحديات أخرى ، مثل إعادة إضاءة المشهد, تقديم انعكاس, التركيب و فك التشابك لذلك، يتمثل الابتكار الرئيسي في الورقة البحثية الجديدة في تطبيق بيئة NeRF كمساحة قابلة للتنقل، دون الحاجة إلى معدات مكثفة وإجراءات شاقة لنمذجتها كبيئة ثلاثية الأبعاد تعتمد على التقاط المستشعر وإعادة بناء الصور المُولّدة بالحاسوب.

NeRF كـ VR / AR

الجديد ورقة بعنوان الملاحة الروبوتية ذات الرؤية فقط في عالم الإشعاع العصبي، وهو عبارة عن تعاون بين ثلاثة أقسام في جامعة ستانفورد: الملاحة الجوية والفضائية والهندسة الميكانيكية وعلوم الكمبيوتر.

يقترح هذا العمل إطار عمل للملاحة يُزوّد ​​الروبوت ببيئة NeRF مُدرّبة مُسبقًا، حيث تُحدّد كثافة حجمها المسارات المُمكنة للجهاز. كما يتضمن مُرشّحًا لتقدير موقع الروبوت داخل البيئة الافتراضية، استنادًا إلى قدرة كاميرا RGB المُدمجة على التعرّف على الصور. بهذه الطريقة، يُمكن للطائرة المُسيّرة أو الروبوت "التخيل" بدقة أكبر لما يُمكنه توقع رؤيته في بيئة مُعيّنة.

يتنقل مُحسِّن مسار المشروع عبر نموذج NeRF لستونهنج، الذي وُلد باستخدام التصوير الفوتوغرامتري وتفسير الصور (في هذه الحالة، نماذج الشبكة) في بيئة Neural Radiance. يحسب مُخطِّط المسار عددًا من المسارات المحتملة قبل تحديد المسار الأمثل فوق القوس.

لأن بيئة NeRF تتميز بانسدادات مُصممة بالكامل، يُمكن للطائرة بدون طيار تعلم حساب العوائق بسهولة أكبر، إذ تستطيع الشبكة العصبية التي تُدير NeRF رسم خريطة للعلاقة بين الانسدادات وكيفية إدراك أنظمة الملاحة البصرية المُدمجة في الطائرة للبيئة. يُوفر خط أنابيب توليد NeRF الآلي طريقة سهلة نسبيًا لإنشاء مساحات تدريب فائقة الواقعية باستخدام عدد قليل من الصور.

يعمل إطار إعادة التخطيط عبر الإنترنت الذي تم تطويره لمشروع ستانفورد على تسهيل خط أنابيب ملاحة مرن وقائم تمامًا على الرؤية.

تعد مبادرة ستانفورد من بين أولى المبادرات التي نظرت في إمكانيات استكشاف مساحة NeRF في سياق بيئة نمط VR قابلة للملاحة وغامرة. تعد مجالات الإشعاع العصبي Neural Radiance تقنية ناشئة ، وتخضع حاليًا لجهود أكاديمية متعددة لتحسين متطلبات موارد الحوسبة العالية ، بالإضافة إلى فصل العناصر الملتقطة.

نيرف ليس (حقًا) CGI

نظرًا لأن بيئة NeRF عبارة عن مشهد ثلاثي الأبعاد يمكن التنقل فيه، فقد أصبحت تقنية غير مفهومة منذ ظهورها في عام 3، وغالبًا ما يُنظر إليها على نطاق واسع على أنها طريقة لأتمتة إنشاء الشبكات والقوام، بدلاً من استبدال البيئات ثلاثية الأبعاد المألوفة للمشاهدين من أقسام المؤثرات البصرية في هوليوود والمشاهد الخيالية لبيئات الواقع المعزز والواقع الافتراضي.

يستخرج NeRF معلومات الهندسة والملمس من عدد محدود جدًا من وجهات نظر الصور ، ويحسب الفرق بين الصور كمعلومات حجمية. المصدر: https://www.matthewtancik.com/nerf

في الواقع، تشبه بيئة NeRF إلى حد كبير مساحة عرض "حية"، حيث يتم الاحتفاظ بمزيج من معلومات البكسل والإضاءة والتنقل فيها في شبكة عصبية نشطة وعاملة.

إن مفتاح إمكانات NeRF هو أنها تتطلب فقط عددًا محدودًا من الصور لإعادة إنشاء البيئات، وأن البيئات المولدة تحتوي على جميع المعلومات الضرورية لإعادة البناء بدقة عالية، دون الحاجة إلى خدمات المصممين وفناني الملمس ومتخصصي الإضاءة وجحافل المساهمين الآخرين في CGI "التقليدية".

التجزئة الدلالي

حتى لو كانت تقنية NeRF تُمثل فعليًا "صورًا مُولَّدة بالحاسوب" (CGI)، فإنها تُقدم منهجية مختلفة تمامًا، وخط إنتاج عالي الأتمتة. بالإضافة إلى ذلك، يُمكن لتقنية NeRF عزل وتغليف الأجزاء المتحركة من المشهد، بحيث يُمكن إضافتها وإزالتها وتسريعها، والعمل عمومًا كجوانب منفصلة في بيئة افتراضية - وهي قدرة تتجاوز بكثير أحدث التقنيات في التفسير السينمائي لماهية CGI.

A للاتعاون يقدم مشروع من جامعة شنغهاي للتكنولوجيا، تم إصداره في صيف عام 2021، طريقة لتخصيص عناصر NeRF المتحركة إلى جوانب "قابلة للصق" لمشهد ما. المصدر: https://www.youtube.com/watch؟

من الناحية السلبية، فإن بنية NeRF هي نوع من "الصندوق الأسود"؛ فليس من الممكن حاليًا استخراج كائن من بيئة NeRF والتلاعب به بشكل مباشر باستخدام أدوات تقليدية تعتمد على الشبكة وأدوات تعتمد على الصور، على الرغم من أن عددًا من جهود البحث بدأت في تحقيق اختراقات في تفكيك المصفوفة وراء بيئات العرض المباشر للشبكة العصبية في NeRF.