NeRF: обучение дронов в среде Neural Radiance

Исследователи из Стэнфордского университета разработали новый способ обучения дронов навигации по фотореалистичным и высокоточным средам, используя недавние достижения. лавина интереса в полях нейронного излучения (NeRF).

Дроны можно обучать в виртуальной среде, нанесенной на карту непосредственно из реальных мест, без необходимости специальной реконструкции 3D-сцены. На этом изображении из проекта в качестве потенциального препятствия для дрона добавлено возмущение ветра, и мы можем видеть, как дрон на мгновение отклоняется от своей траектории и компенсирует это в последний момент, чтобы избежать потенциального препятствия. Источник: https://mikh3x4.github.io/nerf-navigation/

Этот метод предлагает возможность интерактивного обучения дронов (или других типов объектов) в виртуальных сценариях, которые автоматически включают объемную информацию (для расчета предотвращения столкновений), текстурирование, нарисованное непосредственно с реальных фотографий (чтобы помочь обучать сети распознавания изображений дронов в более реалистичная мода) и реальное освещение (чтобы обеспечить обучение различных сценариев освещения в сети, избегая чрезмерной подгонки или чрезмерной оптимизации исходного снимка сцены).

Объект-кушетка перемещается по сложной виртуальной среде, которую было бы очень сложно отобразить с помощью захвата геометрии и ретекстурирования в традиционных рабочих процессах AR/VR, но которая была автоматически воссоздана в NeRF из ограниченного количества фотографий. Источник: https://www.youtube.com/watch?v=5JjWpv9BaaE

Типичные реализации NeRF не имеют механизмов траектории, поскольку большинство проектов NeRF за последние 18 месяцев были сосредоточены на других задачах, таких как переосвещение сцены, рендеринг отражения, композитинга и распутывание захваченных элементов. Таким образом, основное новшество новой статьи состоит в том, чтобы реализовать среду NeRF как навигационное пространство без обширного оборудования и трудоемких процедур, которые были бы необходимы для ее моделирования в виде трехмерной среды на основе захвата данных с датчиков и реконструкции компьютерной графики.

NeRF как VR/AR

Новый бумаги называется Навигация роботов только с помощью зрения в мире нейронного излучения, и является результатом сотрудничества трех факультетов Стэнфорда: аэронавтики и астронавтики, машиностроения и компьютерных наук.

В работе предлагается навигационный фреймворк, обеспечивающий робота предварительно обученной средой NeRF, объемная плотность которой ограничивает возможные пути для устройства. Он также включает фильтр для оценки того, где находится робот в виртуальной среде, на основе распознавания изображений встроенной RGB-камеры робота. Таким образом, дрон или робот может более точно «галлюцинировать» то, что он может ожидать увидеть в данной среде.

Оптимизатор траектории проекта перемещается по модели Стоунхенджа NeRF, созданной с помощью фотограмметрии и интерпретации изображений (в данном случае моделей сетки), в среду Neural Radiance. Планировщик траектории вычисляет количество возможных путей, прежде чем установить оптимальную траекторию над аркой.

Поскольку среда NeRF включает полностью смоделированные окклюзии, дрон может научиться вычислять препятствия более легко, поскольку нейронная сеть, лежащая в основе NeRF, может отображать взаимосвязь между окклюзиями и тем, как бортовые навигационные системы дрона на основе зрения воспринимают окружающую среду. Автоматизированный конвейер генерации NeRF предлагает относительно простой метод создания гиперреальных тренировочных пространств всего с несколькими фотографиями.

Платформа онлайн-перепланировки, разработанная для Стэнфордского проекта, обеспечивает гибкую и полностью основанную на концепции навигацию.

Инициатива Стэнфорда является одной из первых, рассматривающих возможности исследования пространства NeRF в контексте ориентированной и иммерсивной среды в стиле виртуальной реальности. Поля Neural Radiance — это новая технология, и в настоящее время в ней предпринимаются многочисленные академические усилия по оптимизации высоких требований к вычислительным ресурсам, а также по распутыванию захваченных элементов.

Nerf не (на самом деле) компьютерная графика

Поскольку среда NeRF представляет собой трехмерную сцену с навигацией, с момента ее появления в 3 году она стала неправильно понятой технологией, часто широко воспринимаемой как метод автоматизации создания сеток и текстур, а не как замена трехмерных сред, знакомых зрителям из голливудских отделов визуальных эффектов. фантастические сцены дополненной реальности и среды виртуальной реальности.

NeRF извлекает информацию о геометрии и текстуре из очень ограниченного числа точек обзора изображения, вычисляя разницу между изображениями как объемную информацию. Источник: https://www.matthewtancik.com/nerf

На самом деле среда NeRF больше похожа на «живое» пространство рендеринга, где объединение информации о пикселях и освещении сохраняется и перемещается в активной и работающей нейронной сети.

Ключ к потенциалу NeRF заключается в том, что для воссоздания окружения требуется лишь ограниченное количество изображений, а сгенерированное окружение содержит всю необходимую информацию для высокоточной реконструкции без необходимости в услугах моделистов, художников по текстурам, освещения. специалисты и множество других участников «традиционной» компьютерной графики.

Семантическая сегментация

Даже если NeRF фактически представляет собой «компьютерные изображения» (CGI), он предлагает совершенно другую методологию и высокоавтоматизированный конвейер. Кроме того, NeRF может изолировать и «инкапсулировать» движущиеся части сцены, чтобы их можно было добавлять, удалять, ускорять и, как правило, они работали как отдельные аспекты в виртуальной среде — возможность, которая выходит далеко за рамки текущего состояния. искусство в «голливудской» интерпретации компьютерной графики.

A сотрудничество от Шанхайского технологического университета, выпущенный летом 2021 года, предлагает метод разделения движущихся элементов NeRF на «вставляемые» грани сцены. Источник: https://www.youtube.com/watch?v=Wp4HfOwFGP4.

С другой стороны, архитектура NeRF — это что-то вроде «черного ящика»; в настоящее время невозможно извлечь объект из среды NeRF и напрямую манипулировать им с помощью традиционных инструментов на основе сетки и изображений, хотя ряд исследовательских усилий начинают делать прорывы в деконструкции матрицы, лежащей в основе среды живого рендеринга нейронной сети NeRF.