Новий CGI: Створення Нейронних Сусідств З Block-NeRF

Нейронні поля радіанції (NeRF) дозволяють створювати та досліджувати об’єкти всередині нейронних мереж, використовуючи лише фотографії з декількох точок зору, без складності та витрат традиційних методів CGI.

Однак, процес є обчислювально дорогим, що спочатку обмежувало середовища NeRF до моделей столу. Тим не менш, NeRF був прийнятий присвяченою, навіть френетичною дослідницькою спільнотою, яка за останній рік забезпечила зовнішні реконструкції, а також редагування нейронних людей, окрім багатьох інших інновацій.

Тепер нова дослідницька ініціатива, яка включає участь Google Research, визнає можливі жорсткі обмеження на оптимізацію NeRF, і зосереджується натомість на шитті разом середовищ NeRF для створення на вимогу сусідств, що складаються з декількох координованих екземплярів NeRF.

Вигляд з мережі Block-NeRF з пов’язаними NeRF. Дивіться вкладений відео в кінці статті, а також джерельне посилання для високоякісних повноекранних додаткових відео. Джерело: https://waymo.com/research/block-nerf/

Навігація по мережі пов’язаних NeRF ефективно робить NeRF масштабованим і модульним, забезпечуючи навігаційні середовища, які завантажують додаткові частини сусідства по мірі необхідності, подібно до методів оптимізації ресурсів відеоігор, де те, що знаходиться за межами екрана, рідко завантажується до тих пір, поки не стане зрозуміло, що середовище буде потрібне.

У великому русі для розрізнення окремих аспектів, таких як погода та година, Block-NeRF також вводить “коди появи”, що робить можливим динамічне зміну часу доби:

Зміна часу доби з Block-NeRF. Дивіться вкладений відео в кінці статті, а також джерельне посилання для високоякісних повноекранних додаткових відео. Джерело: https://waymo.com/research/block-nerf/

Нова робота припускає, що оптимізація NeRF наближається до свого власного термічного обмеження, і що майбутні розгортання нейронних середовищ радіанції у віртуальній реальності, інших типах інтерактивних сфер та робототехніці, ймовірно, залежатимуть від паралельних операцій, подібно до того, як закон Мура в кінцевому підсумку поступився місцем багатоядерним архітектурам, паралельним оптимізаціям та новим підходам до кешування.

Автори роботи (під назвою Block-NeRF: Масштабована великомасштабна нейронна синтеза виду) використали 2,8 мільйона зображень для створення найбільшої нейронної сцени, яку коли-небудь намагалися створити – серії сусідств у Сан-Франциско.

Block-NeRF навігає через собор Грейс у Сан-Франциско. Дивіться вкладений відео в кінці статті, а також джерельне посилання для високоякісних повноекранних додаткових відео. Джерело: https://waymo.com/research/block-nerf/

Ведучий автор роботи, який представляє Університет Каліфорнії у Берклі, Метью Танчик, співавтор нейронних полів радіанції, виконав цю роботу під час стажування в компанії Waymo, яка приймає сторінку проекту. Ініціатива також пропонує відео-огляд на YouTube, вкладений у кінці цієї статті, а також багато підтримуючих та додаткових відео-прикладів на сторінці проекту.

Робота написана спільно з іншими авторами NeRF, включаючи Бена Мілденхолла (Google Research), Пратула П. Шринівасана (Google Research) та Джонатана Т. Баррона (Google Research). Інші учасники – Вінсент Кассер, Сінчен Ян, Сабік Прадхан, Генрік Кретцшмар та Вінсент Кассер, всі з Waymo.

Block-NeRF був розроблений в основному як дослідження віртуальних середовищ для автономних транспортних систем, включаючи самоходні автомобілі та дрони.

Дорога Ембаркадеро з точки зору 180 градусів у Block-NeRF. Дивіться вкладений відео в кінці статті, а також джерельне посилання для високоякісних повноекранних додаткових відео. Джерело: https://waymo.com/research/block-nerf/

Інші фактори, які можна динамічно змінити в Block-NeRF, включають діафрагму об’єктива (див. вище зображення), погоду та сезони.

Однак, зміна сезону може спричинити пов’язані зміни в середовищі, такі як дерева без листя, що вимагає ще більш обширного набору даних, ніж був створений для Block-NeRF. Робота зазначає:

‘[Листя] змінюються сезонно та рухаються на вітрі; це призводить до розмитих представлень дерев та рослин. Подібно, тимчасові несумісності у навчальних даних, таких як будівельні роботи, не обробляються автоматично та вимагають ручного повторного навчання постраждалих блоків.’

Апокаліптичне Відтворення

Якщо ви глянуть на відео, вкладене в кінці, ви помітите Ходячі мерці-стиль пустоти мережі Block-NeRF. З різних причин, не в останню чергу для забезпечення симульованого стартового середовища для робототехнічних систем, автомобілів, пішоходів та інших тимчасових об’єктів були навмисно видалені з джерельного матеріалу, але це залишило деякі артефакти, такі як тінь видалених припаркованих транспортних засобів:

Фантомна тінь видаленого автомобіля. Джерело: https://waymo.com/research/block-nerf/

Для забезпечення різноманітних освітніх середовищ, таких як день чи ніч, мережі були навчені включати роз’єднані потоки даних, пов’язаних з кожним бажаним станом. На зображенні нижче ми бачимо внескові потоки для кадрів Block-NeRF шосе вдень та вночі:

На вимогу фасети за явно ‘запечатаним’ рендером Block-NeRF, що дозволяє користувачеві включити ніч, якщо це потрібно. Джерело: https://waymo.com/research/block-nerf/

Екологічні та Етичні Уваги

За останні кілька років дослідження почали включати застереження та дисклеймери щодо можливих екологічних та етичних наслідків запропонованої роботи. У випадку Block-NeRF автори зазначають, що енергетичні вимоги високі, і що облік короткочасних та довгочасних тимчасових об’єктів (таких як листя на деревах та будівельні роботи відповідно) вимагатиме регулярного повторного сканування джерельних даних, що призведе до збільшення “нагляду” в міських районах, чиї нейронні моделі потрібно підтримувати в актуальному стані.

Автори зазначають:

‘В залежності від масштабу, на якому застосовується ця робота, її обчислювальні вимоги можуть привести до або погіршити екологічну шкоду, якщо енергія, використана для обчислень, призведе до збільшення викидів парникових газів. Як зазначено в роботі, ми передбачаємо подальшу роботу, таку як методи кешування, які можуть зменшити обчислювальні вимоги та тим самим пом’якшити екологічну шкоду.’

Відносно нагляду вони продовжують:

‘Майбутні застосування цієї роботи можуть включати ще більші зусилля з збору даних, що підвищує додаткові проблеми конфіденційності. Хоча детальні зображення громадських доріг вже можна знайти на сервісах, таких як Google Street View, наш метод міг би сприяти повторним та регулярним скануванням середовища. Деякі компанії в сфері автономних транспортних засобів також відомі тим, що проводять регулярні сканування території за допомогою свого флоту транспортних засобів; однак деякі з них можуть використовувати лише сканування LiDAR, які можуть бути менш чутливими, ніж збір даних з камер.’

Методи та Рішення

Індивідуальні середовища NeRF можна масштабувати вниз, в теорії, до будь-якого розміру перед складанням в масив Block-NeRF. Це відкриває шлях до гранульної включення контенту, який явно підлягає зміні, такого як дерева, та до ідентифікації та управління будівельними роботами, які можуть тривати протягом років повторного захоплення, але, ймовірно, еволюціонують та в кінцевому підсумку стають консолідованими сутностями.

Однак у цій першій дослідницькій роботі окремі блоки NeRF обмежені фактичними містськими кварталами кожного зображеного середовища, зшитими разом з 50% нахлестом, що забезпечує послідовний перехід від одного блоку до іншого під час навігації користувачем мережею.

Кожен блок обмежений географічним фільтром. Автори зазначають, що ця частина каркаса відкрита для автоматизації, і, дивно, що їхня реалізація покладається на OpenStreetMap, а не на Google Maps.

Радіус перехрестя для активного простору рендерингу Block-NeRF. Джерело: Waymo

Блоки тренуються паралельно, з необхідними блоками, відображеними на вимогу. Інноваційні коди появи також оркеструються серед набору блоків, забезпечуючи, що один не потрапляє несподівано в різні погодні умови, час доби або навіть сезон.

Сегменти Block-NeRF умовно пов’язані з експозицією аналогічно до високої динамічної діапазону (HDR) у фотографічному джерельному матеріалі. Джерело: Waymo

Спроможність перемикатися між освітленням та іншими змінними середовища походить від генеративної оптимізації латентного простору, введеної в NeRF у дикій природі (NeRF-W), яка сама походить метод з дослідження 2019 року Facebook AI Оптимізація латентного простору генеративних мереж.

Модель семантичної сегментації, створена для Panoptic-DeepLab у 2020 році, використовується для видалення нежаданих елементів (таких як люди та транспортні засоби)

Дані

Виявивши, що загальні міські набори даних, такі як CityScapes, не підходять для такої інтенсивної детальної роботи, як Block-NeRF, дослідники створили свій власний набір даних. Дані зображень були захоплені з 12 камер, що охоплюють 360-градусний вигляд, з кадрами, знятіми з частотою 10 Гц та скалярним значенням експозиції.

Сан-Францисько сусідства, охоплені роботою, були Аламо-Сквер та МіSSION-Бей. Для захоплення Аламо-Сквера була охоплена площа приблизно 960м х 570м, розділена на 35 екземплярів Block-NeRF, кожний з яких тренувався на даних з 38 до 48 різних запусків збору даних, з загальним часом руху від 18 до 28 хвилин.

Кількість внескових зображень для кожного Block-NeRF коливалася від 64 575 до 108 216, а загальний час руху, представлений для цієї області, становив 13,4 години по 1 330 різних запусків збору даних. Це призвело до 2 818 745 навчальних зображень лише для Аламо-Сквера. Дивіться роботу для додаткових деталей про збір даних для МіSSION-Бей.

Перша публікація 11 лютого 2022 року.