NeRF: Обучение Дронов в Средах Нейронной Радианции

Исследователи из Стэнфордского университета разработали новый метод обучения дронов для навигации в фотореалистичных и высокоточных средах, используя недавний интерес к нейронным радиационным полям (NeRF).

Дроны можно обучать в виртуальных средах, сопоставленных напрямую с реальными местами, без необходимости специализированной 3D-сценической реконструкции. На этом изображении из проекта добавлено нарушение ветра как потенциальное препятствие для дрона, и мы видим, как дрон暂енно отклоняется от своей траектории и компенсирует в последний момент, чтобы избежать потенциального препятствия. Источник: https://mikh3x4.github.io/nerf-navigation/

Этот метод предлагает возможность интерактивного обучения дронов (или других объектов) в виртуальных сценариях, которые автоматически включают объемную информацию (для расчета избегания столкновений), текстурирование, нарисованное напрямую из реальных фотографий (для обучения сетей распознавания изображений дронов более реалистичным образом), и реальное освещение (для обеспечения разнообразия освещения в сценариях, избегая переобучения или переоптимизации исходного снимка сцены).

Объект-кровать проходит через сложную виртуальную среду, которая была бы очень трудна для сопоставления с помощью геометрического захвата и перетекстурирования в традиционных AR/VR-потоках, но была автоматически воссоздана в NeRF из ограниченного числа фотографий. Источник: https://www.youtube.com/watch?v=5JjWpv9BaaE

Типичные реализации NeRF не включают механизмы траектории, поскольку большинство проектов NeRF за последние 18 месяцев были сосредоточены на других проблемах, таких как перерисовка сцены, рендеринг отражений, композитинг и распутывание захваченных элементов. Поэтому основным нововведением новой статьи является реализация среды NeRF как навигируемого пространства, без обширного оборудования и трудоемких процедур, которые были бы необходимы для моделирования его как 3D-среды на основе захвата датчиков и реконструкции CGI.

NeRF как VR/AR

Новая статья называется Навигация робота только по видимости в мире нейронной радианции, и является сотрудничеством между тремя отделами Стэнфордского университета: Аэронавтики и Астронавтики, Механической Инженерии и Компьютерных Наук.

Работа предлагает навигационную структуру, которая предоставляет роботу предварительно обученную среду NeRF, объемная плотность которой ограничивает возможные пути для устройства. Она также включает фильтр для оценки местоположения робота внутри виртуальной среды на основе распознавания изображений камеры робота. Таким образом, дрон или робот может более точно “галлюцинировать”, что он может ожидать увидеть в данной среде.

Оптимизатор траектории проекта проходит через модель Стоунхенджа, сгенерированную с помощью фотограмметрии и интерпретации изображений (в данном случае, моделей сетки) в среду нейронной радианции. Планировщик траектории рассчитывает несколько возможных путей, прежде чем установить оптимальную траекторию над аркой.

Поскольку среда NeRF имеет полностью смоделированные осложнения, дрон может более легко рассчитать препятствия, поскольку нейронная сеть за NeRF может сопоставить связь между осложнениями и тем, как системы навигации дрона на основе видимости воспринимают среду. Автоматизированный конвейер генерации NeRF предлагает относительно простой метод создания гиперреалистичных тренировочных пространств всего с несколькими фотографиями.

Онлайн-рамка повторного планирования, разработанная для проекта Стэнфорда, обеспечивает устойчивый и полностью основанный на видимости конвейер навигации.

Инициатива Стэнфорда является одной из первых, которая рассматривает возможности исследования пространства NeRF в контексте навигируемой и погружающей среды VR-стиля. Нейронные радиационные поля являются развивающейся технологией, и в настоящее время подвергаются множественным академическим усилиям для оптимизации их высоких требований к вычислительным ресурсам, а также для распутывания захваченных элементов.

NeRF не является (по-настоящему) CGI

Поскольку среда NeRF является навигируемой 3D-сценой, она стала неправильно понятой технологией с момента ее появления в 2020 году, часто воспринимаемой как метод автоматизации создания сеток и текстур, а не замены 3D-сред, знакомых зрителям из отделов визуальных эффектов Голливуда и фантастических сцен сред реальности и виртуальной реальности.

NeRF извлекает геометрическую и текстурную информацию из ограниченного числа точек зрения изображений, рассчитывая разницу между изображениями как объемную информацию. Источник: https://www.matthewtancik.com/nerf

На самом деле, среда NeRF более похожа на “живое” пространство рендеринга, где объединение пиксельной и световой информации сохраняется и навигируется в активной и работающей нейронной сети.

Ключ к потенциалу NeRF заключается в том, что для реконструкции среды требуется только ограниченное число изображений, и что сгенерированные среды содержат всю необходимую информацию для высококачественной реконструкции, без необходимости в услугах модельеров, текстурных художников, специалистов по освещению и других участников “традиционного” CGI.

Семантическая Сегментация

Даже если NeRF фактически представляет собой “Компьютерную Генерацию Изображений” (CGI), он предлагает совершенно другую методологию и высокоавтоматизированный конвейер. Кроме того, NeRF может изолировать и “запечатать” движущиеся части сцены, чтобы они могли быть добавлены, удалены, ускорены и обобщенно работать как отдельные аспекты в виртуальной среде – возможность, которая далеко превосходит текущее состояние дел в “голливудском” толковании того, что такое CGI.

Сотрудничество из Шанхайского Технологического Университета, выпущенное летом 2021 года, предлагает метод индивидуализации движущихся элементов NeRF в “вставляемые” аспекты сцены. Источник: https://www.youtube.com/watch?v=Wp4HfOwFGP4

Отрицательно, архитектура NeRF является немного “черным ящиком”; в настоящее время невозможно извлечь объект из среды NeRF и直接 манипулировать им с помощью традиционных инструментов на основе сеток и изображений, хотя некоторые исследовательские усилия начинают делать прорывы в дешифровке матрицы за нейронной сетью среды NeRF.