NeRF: обучение дронов в среде Neural Radiance

Исследователи из Стэнфордского университета разработали новый способ обучения дронов навигации по фотореалистичным и высокоточным средам, используя недавние достижения. лавина интереса в полях нейронного излучения (NeRF).

Дроны можно обучать в виртуальной среде, нанесенной на карту непосредственно из реальных мест, без необходимости специальной реконструкции 3D-сцены. На этом изображении из проекта в качестве потенциального препятствия для дрона добавлено возмущение ветра, и мы можем видеть, как дрон на мгновение отклоняется от своей траектории и компенсирует это в последний момент, чтобы избежать потенциального препятствия. Источник: https://mikh3x4.github.io/nerf-navigation/

Метод предоставляет возможность интерактивного обучения дронов (или других типов объектов) в виртуальных сценариях, которые автоматически включают информацию об объеме (для расчета предотвращения столкновений), текстурирование, взятое непосредственно из реальных фотографий (для более реалистичного обучения сетей распознавания изображений дронов) и реальное освещение (для обеспечения обучения сети различным сценариям освещения, избегая чрезмерной подгонки или оптимизации по отношению к исходному снимку сцены).

Объект-кушетка перемещается по сложной виртуальной среде, которую было бы очень сложно отобразить с помощью захвата геометрии и ретекстурирования в традиционных рабочих процессах AR/VR, но которая была автоматически воссоздана в NeRF из ограниченного количества фотографий. Источник: https://www.youtube.com/watch?v=5JjWpv9BaaE

Типичные реализации NeRF не имеют механизмов траектории, поскольку большинство проектов NeRF за последние 18 месяцев были сосредоточены на других задачах, таких как переосвещение сцены, рендеринг отражения, композитинга и распутывание захваченных элементов. Таким образом, основное нововведение новой статьи заключается в реализации среды NeRF как пространства с возможностью навигации, без дорогостоящего оборудования и трудоемких процедур, необходимых для ее моделирования в виде трехмерной среды на основе захвата данных с датчиков и компьютерной графики (CGI).

NeRF как VR/AR

Новый статье называется Навигация роботов только с помощью зрения в мире нейронного излучения, и является результатом сотрудничества трех факультетов Стэнфорда: аэронавтики и астронавтики, машиностроения и компьютерных наук.

В работе предлагается навигационная платформа, предоставляющая роботу предварительно обученную среду NeRF, плотность объёма которой определяет возможные пути движения устройства. Она также включает фильтр для оценки местоположения робота в виртуальной среде на основе распознавания изображений с бортовой RGB-камеры робота. Таким образом, дрон или робот может более точно «галлюцинировать» то, что он ожидает увидеть в данной среде.

Оптимизатор траектории проекта использует модель Стоунхенджа NeRF, созданную с помощью фотограмметрии и интерпретации изображений (в данном случае сетчатых моделей), в среде Neural Radiance. Планировщик траектории рассчитывает несколько возможных путей, прежде чем установить оптимальную траекторию над аркой.

Поскольку среда NeRF включает полностью смоделированные окклюзии, дрону проще научиться рассчитывать препятствия, поскольку нейронная сеть, лежащая в основе NeRF, может отображать взаимосвязь между окклюзиями и тем, как бортовые навигационные системы дрона, основанные на визуальном восприятии, воспринимают окружающую среду. Автоматизированный конвейер генерации NeRF предлагает относительно простой метод создания гиперреалистичных учебных пространств с использованием всего нескольких фотографий.

Платформа онлайн-перепланировки, разработанная для Стэнфордского проекта, обеспечивает гибкую и полностью основанную на концепции навигацию.

Инициатива Стэнфорда является одной из первых, рассматривающих возможности исследования пространства NeRF в контексте ориентированной и иммерсивной среды в стиле виртуальной реальности. Поля Neural Radiance — это новая технология, и в настоящее время в ней предпринимаются многочисленные академические усилия по оптимизации высоких требований к вычислительным ресурсам, а также по распутыванию захваченных элементов.

Nerf не (на самом деле) компьютерная графика

Поскольку среда NeRF представляет собой управляемую трехмерную сцену, с момента ее появления в 3 году она стала неправильно понятой технологией и часто воспринимается как метод автоматизации создания сеток и текстур, а не как замена трехмерным средам, знакомым зрителям по голливудским отделам визуальных эффектов и фантастическим сценам дополненной и виртуальной реальности.

NeRF извлекает информацию о геометрии и текстуре из очень ограниченного числа точек обзора изображения, вычисляя разницу между изображениями как объемную информацию. Источник: https://www.matthewtancik.com/nerf

По сути, среда NeRF больше похожа на «живое» пространство рендеринга, где объединение пиксельной и световой информации сохраняется и управляется в активной и работающей нейронной сети.

Ключ к потенциалу NeRF заключается в том, что для воссоздания окружения ему требуется лишь ограниченное количество изображений, а также в том, что сгенерированное окружение содержит всю необходимую информацию для высокоточной реконструкции без необходимости привлечения услуг моделлеров, художников по текстурам, специалистов по освещению и множества других участников «традиционной» CGI-графики.

Семантическая сегментация

Даже если NeRF фактически представляет собой «компьютерно-генерируемую графику» (CGI), она предлагает совершенно иную методологию и высокоавтоматизированный процесс. Кроме того, NeRF может изолировать и «инкапсулировать» движущиеся части сцены, чтобы их можно было добавлять, удалять, ускорять и, в целом, использовать как отдельные элементы в виртуальной среде — возможности, которые значительно превосходят современные возможности голливудской интерпретации CGI.

A сотрудничества от Шанхайского технологического университета, выпущенная летом 2021 года, предлагает метод индивидуализации движущихся элементов NeRF в «вставляемые» грани для сцены. Источник: https://www.youtube.com/watch?v=Wp4HfOwFGP4.

Отрицательным моментом является то, что архитектура NeRF представляет собой своего рода «черный ящик»: в настоящее время невозможно извлечь объект из среды NeRF и напрямую манипулировать им с помощью традиционных инструментов на основе сеток и изображений, хотя ряд исследовательских проектов начинают приносить прорывы в деконструкции матрицы, лежащей в основе сред нейросетевого рендеринга NeRF в реальном времени.