Взгляд Anderson
Новая CGI: Создание нейронных кварталов с помощью Block-NeRF

Ключевые моментыBlock-NeRF объединяет отдельные экземпляры NeRF в масштабируемые навигационные районы…
Показать больше
- Block-NeRF объединяет отдельные экземпляры NeRF в масштабируемые навигационные районы, загружаемые по мере необходимости.
- Коды внешнего вида в Block-NeRF позволяют динамически изменять такие параметры, как время суток, без повторного обучения всей сцены.
- В проекте использовано 2,8 миллиона изображений от Waymo для создания крупнейшей нейронной сцены кварталов Сан-Франциско.
Нейронные поля излучения (NeRF) позволяют воссоздавать и исследовать объекты внутри нейронных сетей, используя только множественные фотографии с разных точек зрения в качестве входных данных, без сложности и расходов традиционных методов CGI.
Однако этот процесс является вычислительно дорогим, что изначально ограничивало среды NeRF сценариями настольных моделей. Тем не менее, NeRF был принят преданным своему делу, даже лихорадочно активным исследовательским сообществом, которое за последний год сделало возможной реконструкцию внешних сцен, а также редактируемые нейронные модели людей, помимо многих других инноваций.
Теперь новая исследовательская инициатива, в которую входят участники Google Research, признает возможные жесткие ограничения на оптимизацию NeRF и вместо этого концентрируется на соединении сред NeRF для создания кварталов по требованию, состоящих из нескольких координированных экземпляров NeRF.

Точка зрения из сети Block-NeRF из связанных NeRF. См. встроенное видео в конце статьи, а также исходную ссылку для высококачественных полноформатных дополнительных видео. Источник: https://waymo.com/research/block-nerf/
Навигация по сети связанных NeRF эффективно делает NeRF масштабируемым и модульным, обеспечивая навигируемые среды, которые загружают дополнительные части квартала по мере необходимости, подобно методам оптимизации ресурсов в видеоиграх, где то, что находится за углом, редко загружается до тех пор, пока не станет ясно, что среда будет нужна.
В крупной кампании по разъединению отдельных аспектов, таких как погода и час, Block-NeRF также вводит “кодировки внешнего вида”, что позволяет динамически изменять время суток:


Изменение времени суток с помощью Block-NeRF. См. встроенное видео в конце статьи, а также исходную ссылку для высококачественных полноформатных дополнительных видео. Источник: https://waymo.com/research/block-nerf/
Новая статья предполагает, что оптимизация NeRF приближается к своему собственному термическому пределу, и что будущие развертывания сред нейронных полей излучения в виртуальной реальности, других типах интерактивных сфер и VFX-работе, скорее всего, будут зависеть от параллельных операций, подобно тому, как закон Мура в конечном итоге уступил место многоядерным архитектурам, параллельным оптимизациям и новым подходам к кэшированию.
Авторы статьи (названной Block-NeRF: Масштабируемый нейронный синтез видов больших сцен) использовали 2,8 миллиона изображений для создания крупнейшей нейронной сцены, когда-либо предпринимаемой – серии кварталов в Сан-Франциско.

Block-NeRF проходит по собору Грейс в Сан-Франциско. См. встроенное видео в конце статьи, а также исходную ссылку для высококачественных полноформатных дополнительных видео. Источник: https://waymo.com/research/block-nerf/
Ведущий автор статьи, представляющий UC Berkeley, – Мэтью Танчик, соизобретатель нейронных полей излучения, который выполнил эту работу во время стажировки в компании Waymo, разрабатывающей технологию автономного вождения, а также размещающей страницы проекта. Эта инициатива также предлагает видеообзор на YouTube, встроенный в конце этой статьи, а также многочисленные поддерживающие и дополнительные видео примеры на странице проекта.
Статья написана в соавторстве с несколькими другими создателями NeRF, включая Бена Милденхолла (Google Research), Пратула П. Шринивасана (Google Research) и Джонатана Т. Баррона (Google Research). Другими участниками являются Винсент Кассер, Синчен Ян, Сабик Прадхан, Хенрик Кретцшмар, все из Waymo.
Block-NeRF был разработан в основном как исследование виртуальных сред для автономных транспортных систем, включая самоходные автомобили и беспилотники.

Дорога Эмбаркадеро с точки зрения 180 градусов в Block-NeRF. См. встроенное видео в конце статьи, а также исходную ссылку для высококачественных полноформатных дополнительных видео. Источник: https://waymo.com/research/block-nerf/
Другие факторы, которые можно динамически изменять в Block-NeRF, – это экспозиция объектива (см. изображение выше), погода и сезоны.
Однако изменение сезона может привести к связанным изменениям в окружающей среде, таким как деревья без листьев, что требует еще более обширного набора входных данных, чем был сконструирован для Block-NeRF. В статье говорится:
‘[Листья] меняются сезонно и движутся на ветру; это приводит к размытым представлениям деревьев и растений. Аналогично, временные несоответствия в обучающих данных, такие как строительные работы, не обрабатываются автоматически и требуют ручного переобучения затронутых блоков.’
Апокалиптическая визуализация
Если вы посмотрите на видео, встроенное в конце, вы заметите пустоту в стиле Ходячих мертвецов в сетевой среде Block-NeRF. По различным причинам, не в последнюю очередь для предоставления симулированной стартовой среды для робототехнических систем, автомобили, пешеходы и другие временные объекты были намеренно удалены из исходного материала, но это оставило некоторые артефакты, такие как тени “удаленных” припаркованных транспортных средств:

Фантомная тень удаленной машины. Источник: https://waymo.com/research/block-nerf/
Чтобы обеспечить ряд световых сред, таких как день или ночь, сети были обучены включать дезентанглированные потоки данных, связанных с каждым желаемым состоянием. На изображении ниже мы видим вкладывающиеся потоки для кадров Block-NeRF шоссе днем и ночью:

Доступные по требованию компоненты кажущегося предварительно рассчитанным рендера Block-NeRF, позволяющие пользователю включить ночь по мере необходимости. Источник: https://waymo.com/research/block-nerf/
Экологические и этические соображения
За последние несколько лет исследовательские работы начали включать оговорки и предупреждения относительно возможных этических и экологических последствий предложенной работы. В случае Block-NeRF авторы отмечают, что энергетические требования высоки, и что учет краткосрочных и долгосрочных временных объектов (таких как листья на деревьях и строительные работы соответственно) потребует регулярного повторного сканирования исходных данных, что приведет к увеличению “наблюдения” в городских районах, чьи нейронные модели необходимо поддерживать в актуальном состоянии.
Авторы заявляют:
‘В зависимости от масштаба, на котором применяется эта работа, ее вычислительные требования могут вызвать или усугубить экологический ущерб, если энергия, используемая для вычислений, приводит к увеличению выбросов углекислого газа. Как упоминалось в статье, мы предвидим дальнейшую работу, такую как методы кэширования, которые могли бы уменьшить вычислительные требования и, таким образом, смягчить экологический ущерб.’
Что касается наблюдения, они продолжают:
‘Будущие применения этой работы могут включать еще более крупные усилия по сбору данных, что вызывает дальнейшие проблемы с конфиденциальностью. Хотя подробные изображения общественных дорог уже можно найти на сервисах, таких как Google Street View, наша методология может способствовать повторным и более регулярным сканированиям окружающей среды. Некоторые компании в области автономного вождения также известны тем, что выполняют регулярные сканирования территории с помощью своего флота транспортных средств; однако некоторые могут использовать только сканирование LiDAR, которое может быть менее чувствительным с точки зрения конфиденциальности, чем сбор изображений с камер.’
Методы и решения
Отдельные среды NeRF теоретически можно уменьшить до любого размера перед сборкой в массив Block-NeRF. Это открывает путь к включению содержимого, которое определенно подвержено изменению, такого как деревья, и к идентификации и управлению строительными работами, которые могут сохраняться во времени в течение даже лет повторного сбора данных, но, вероятно, будут развиваться и в конечном итоге станут стабильными частями среды.
Однако в этом первоначальном исследовательском выходе отдельные блоки NeRF ограничены фактическими городскими кварталами каждой изображенной среды, сшитыми вместе, с перекрытием 50%, обеспечивающим последовательный переход от одного блока к другому, когда пользователь перемещается по сети.
Каждый блок ограничен географическим фильтром. Авторы отмечают, что эта часть системы открыта для автоматизации, и, удивительно, что их реализация опирается на OpenStreetMap, а не на Google Maps.

Радиус пересечения для ‘активного’ пространства рендеринга Block-NeRF. Источник: Waymo
Блоки обучаются параллельно, с необходимыми блоками, отображаемыми по требованию. Инновационные коды внешнего вида также оркестрируются среди набора блоков, гарантируя, что один не перемещается неожиданно в разную погоду, время суток или даже сезон.

Сегменты Block-NeRF обусловлены экспозицией аналогично High Dynamic Range (HDR) в фотографическом исходном материале. Источник: Waymo
Возможность переключения освещения и других переменных окружающей среды получена из генеративных латентных оптимизаций, введенных в NeRF в дикой природе (NeRF-W), который сам получил этот метод из исследовательской работы Facebook AI 2019 года Оптимизация латентного пространства генеративных сетей.
Модель семантической сегментации, созданная для Panoptic-DeepLab в 2020 году, используется для блокирования нежелательных элементов (таких как люди и транспортные средства)
Данные
Установив, что общие городские наборы данных, такие как CityScapes, не подходят для такой интенсивной детальной работы, как Block-NeRF, исследователи создали собственный набор данных. Данные изображений были получены из 12 камер, охватывающих 360-градусный вид, с кадрами, снятыми с частотой 10 Гц и скалярным значением экспозиции.

Кварталы Сан-Франциско, охваченные этой работой, – это Аламо-Сквер и Мишн-Бей. Для захватов Аламо-Сквер была покрыта площадь примерно 960м x 570м, разделенная на 35 экземпляров Block-NeRF, каждый из которых был обучен на данных от 38 до 48 различных поездок для сбора данных, с общим временем вождения от 18 до 28 минут.
Количество изображений, вносящих вклад в каждый Block-NeRF, варьировалось от 64 575 до 108 216, и общее время вождения, представленное для этой области, составило 13,4 часа за 1 330 различных поездок для сбора данных. Это привело к 2 818 745 обучающим изображениям только для Аламо-Сквер. См. статью для дополнительных подробностей о сборе данных для Мишн-Бей.
Опубликовано впервые 11 февраля 2022 года.












