NeRF: تدريب الطائرات بدون طيار في بيئات الإشعاع العصبية

قام باحثون من جامعة ستانفورد بتصميم طريقة جديدة لتدريب الطائرات بدون طيار على التنقل في بيئات فوتوريалистية ودقيقة للغاية، من خلال الاستفادة من الاهتمام المتزايد مؤخرًا بFields الإشعاع العصبية (NeRF).

يمكن تدريب الطائرات بدون طيار في بيئات افتراضية تم تخطيطها مباشرة من المواقع الحقيقية، دون الحاجة إلى إعادة بناء المشاهد ثلاثية الأبعاد المتخصصة. في هذه الصورة من المشروع، تم إضافة اضطراب الرياح كعقبة محتملة للطائرة بدون طيار، ونرى الطائرة بدون طيار تتحرك لتحاشي العقبة المحتملة. Source: https://mikh3x4.github.io/nerf-navigation/

تقدم الطريقة إمكانية التدريب التفاعلي للطائرات بدون طيار (أو أنواع أخرى من الأجسام) في سيناريوهات افتراضية تضم تلقائيًا معلومات الحجم (لتحديد تجنب الاصطدام)، وتركيب النصوص من الصور الحقيقية (لمساعدة شبكات التعرف على الصور في الطائرات بدون طيار على التدريب بطريقة أكثر واقعية)، والإضاءة الحقيقية (لضمان تدريب مجموعة متنوعة من السيناريوهات الإضاءية في الشبكة، وتجنب التحسين المفرط أو التحسين المفرط للصورة الأصلية للمشهد).

يتحرك كائن الأرائك في بيئة افتراضية معقدة كانت ستكون صعبة للغاية في التخطيط باستخدام التقاط الهندسة وإعادة التلوين في سير عمل AR / VR التقليدية، ولكن تم إعادة إنشاؤها تلقائيًا في NeRF من عدد قليل من الصور. Source: https://www.youtube.com/watch?v=5JjWpv9BaaE

لا تتميز التطبيقات النموذجية لـ NeRF بآليات المسار، منذ أن ركزت معظم مشاريع NeRF في الأشهر الـ 18 الماضية على تحديات أخرى، مثل إعادة إضاءة المشهد، وتحديد الانعكاسات، وتركيب الفيديو، وفصل العناصر المسجلة. لذلك فإن الابتكار الرئيسي للورقة الجديدة هو تنفيذ بيئة NeRF كمساحة قابلة للملاحة، دون المعدات الواسعة والإجراءات المرهقة التي ستكون ضرورية لتمثيلها كبيئة ثلاثية الأبعاد dựa على التقاط الحواس والتركيب CGI.

NeRF كـ VR / AR

الورقة الجديدة بعنوان ملاحة الروبوت بالرؤية فقط في عالم الإشعاع العصبي، وهي تعاون بين ثلاثة أقسام في جامعة ستانفورد: هندسة الطيران والفضاء، والهندسة الميكانيكية، وعلوم الحاسوب.

تقترح العمل إطارًا لتحديد المسار يوفر للروبوت بيئة NeRF مدربة مسبقًا، ويحدد كثافة الحجم مسارات ممكنة للجهاز. كما يتضمن مرشحًا لتقدير موقع الروبوت داخل البيئة الافتراضية، بناءً على التعرف على الصور من كاميرا RGB المثبتة على متن الطائرة. بهذه الطريقة، يمكن للطائرة بدون طيار أو الروبوت “تحقيق” أكثر دقة لما يمكن توقعه في بيئة معينة.

يتحرك مخطط المسار في مشروع Stonehenge الذي تم إنشاؤه من خلال التصوير الجوي والفهم التصويري (في هذه الحالة، من نماذج الشبكة) إلى بيئة الإشعاع العصبي. يحسب مخطط المسار عددًا من المسارات الممكنة قبل تحديد مسار مثالي عبر القوس.

نظرًا لأن بيئة NeRF تتميز بتمثيلات كاملة للغلق، يمكن للطائرة بدون طيار أن تتعلم حساب العوائق بسهولة أكبر، لأن الشبكة العصبية الخلفية لـ NeRF يمكنها تمثيل العلاقة بين العوائق وطريقة تصور أنظمة الملاحة القائمة على الرؤية على متن الطائرة البيئة. يوفر خط أنابيب إنشاء NeRF التلقائي طريقة بسيطة نسبيًا لإنشاء مساحات تدريبية فائقة الواقعية باستخدام عدد قليل من الصور.

يسهل إطار التخطيط المتكرر المطور لمشروع ستانفورد خط أنابيب ملاحة قائم على الرؤية بالكامل ومقاوم للطائرات بدون طيار.

يعد مبادرة ستانفورد واحدة من الأولى التي تضع في الاعتبار إمكانيات استكشاف مساحة NeRF في سياق بيئة VR / AR قابلة للملاحة والغمر. تُعتبر الحقول الإشعاعية العصبية تكنولوجيا ناشئة، وتخضع حاليًا لجهود أكاديمية متعددة لتحسين متطلبات الموارد الحاسوبية العالية، بالإضافة إلى فصل العناصر المسجلة.

NeRF ليس (في الواقع) CGI

نظرًا لأن بيئة NeRF هي مشهد ثلاثي الأبعاد قابل للملاحة، أصبحت تكنولوجيا خاطئة منذ ظهورها في عام 2020، غالبًا ما يُعتقد أنها طريقة لتحقيق أتمتة إنشاء الشبكات والنصوص، بدلاً من استبدال البيئات ثلاثية الأبعاد المألوفة للمشاهدين من أقسام التأثيرات البصرية في هوليوود وبيئات الواقع المعزز والواقع الافتراضي.

يستخرج NeRF معلومات الهندسة والتركيب من عدد قليل من وجهات نظر الصور، ويحسب الفرق بين الصور كبيانات حجمية. Source: https://www.matthewtancik.com/nerf

في الواقع، بيئة NeRF أكثر مثل مساحة عرض حية، حيث يتم الاحتفاظ بمعلومات البكسل والإضاءة وتحديد المسار في شبكة عصبية نشطة ومدمجة.

المفتاح لتقنية NeRF هو أنها لا تتطلب سوى عددًا قليلاً من الصور لتحقيق بيئات، وأن البيئات التي تم إنشاؤها تحتوي على جميع المعلومات اللازمة لإعادة بناء عالية الجودة، دون الحاجة إلى خدمات الموديلات، وفنانو النصوص، ومتخصصي الإضاءة، وجماهير المساهمين الآخرين في “CGI التقليدية”.

التقسيم الدلالي

حتى لو كان NeRF بشكل فعال “صورًا حاسوبية生成ية” (CGI)، فإنه يقدم منهجية مختلفة تمامًا، وخط أنابيب تلقائي للغاية. بالإضافة إلى ذلك، يمكن لـ NeRF عزل وفصل أجزاء متحركة من المشهد، بحيث يمكن إضافتها أو إزالتها، وتسريعها، وعملياتها بشكل عام كأجزاء منفصلة في بيئة افتراضية – وهي قدرة تتجاوز الحالة الحالية للفن في تفسير “هوليوود” لما هي CGI.

تعاون من جامعة شنغهاي تيك، صدر في صيف عام 2021، يوفر طريقة لتحديد عناصر NeRF المتحركة إلى أجزاء قابلة للتحويل في المشهد. Source: https://www.youtube.com/watch?v=Wp4HfOwFGP4

سلبًا، هيكل NeRF هو نوع من “الصندوق الأسود”؛ لا يزال من المستحيل استخراج كائن من بيئة NeRF وتنقيحه مباشرةً بأدوات التلوين التقليدية والقائمة على الصور، على الرغم من أن هناك العديد من الجهود البحثية التي تتمثل في كسر ماتريس خلف بيئات العرض الحية لـ NeRF.

https://www.youtube.com/watch?v=5JjWpv9BaaE