Погляд Anderson

Нове CGI: створення нейронних моделей районів за допомогою Block-NeRF

Martin Anderson
Додайте Unite.AI до бажаних джерел у Google
Ключові моментиBlock-NeRF зшиває окремі екземпляри NeRF у масштабовані райони для навігації, які…
Показати більше
  • Block-NeRF зшиває окремі екземпляри NeRF у масштабовані райони для навігації, які завантажуються за потреби.
  • Коди зовнішнього вигляду в Block-NeRF дозволяють динамічні зміни, як-от час доби, без повторного навчання всієї сцени.
  • У проєкті використано 2,8 мільйона зображень від Waymo для створення найбільшої нейронної сцени кварталів Сан-Франциско.

Нейронні поля випромінювання (NeRF) дозволяють створювати та досліджувати об’єкти всередині нейронних мереж, використовуючи лише фотографії з декількох точок зору, без складності та витрат традиційних методів CGI.

Однак, процес є обчислювально дорогим, що спочатку обмежувало середовища NeRF до настільних моделей. Тим не менш, NeRF був прийнятий відданою, навіть гарячково активною дослідницькою спільнотою, яка за останній рік забезпечила реконструкції зовнішніх сцен, а також редаговані нейронні моделі людей, окрім багатьох інших інновацій.

Тепер нова дослідницька ініціатива, яка включає участь Google Research, визнає можливі жорсткі обмеження на оптимізацію NeRF, і зосереджується натомість на з’єднанні середовищ NeRF для створення на вимогу районів, що складаються з декількох координованих екземплярів NeRF.

Вигляд з мережі Block-NeRF з пов'язаними NeRF. Дивіться вбудоване відео в кінці статті, а також джерельне посилання для високоякісних повнометражних додаткових відео. Джерело: https://waymo.com/research/block-nerf/

Вигляд з мережі Block-NeRF з пов’язаними NeRF. Дивіться вбудоване відео в кінці статті, а також джерельне посилання для високоякісних повнометражних додаткових відео. Джерело: https://waymo.com/research/block-nerf/

Навігація по мережі пов’язаних NeRF ефективно робить NeRF масштабованим і модульним, забезпечуючи навігаційні середовища, які завантажують додаткові частини району по мірі необхідності, подібно до методів оптимізації ресурсів відеоігор, де те, що знаходиться за межами екрана, рідко завантажується до тих пір, поки не стане зрозуміло, що середовище буде потрібне.

У межах масштабних зусиль для розрізнення окремих аспектів, таких як погода та година, Block-NeRF також вводить “коди зовнішнього вигляду”, що робить можливим динамічну зміну часу доби:

Зміна часу доби з Block-NeRF. Дивіться вбудоване відео в кінці статті, а також джерельне посилання для високоякісних повнометражних додаткових відео. Джерело: https://waymo.com/research/block-nerf/

Зміна часу доби з Block-NeRF. Дивіться вбудоване відео в кінці статті, а також джерельне посилання для високоякісних повнометражних додаткових відео. Джерело: https://waymo.com/research/block-nerf/

Нова робота припускає, що оптимізація NeRF наближається до свого власного термічного обмеження, і що майбутні розгортання нейронних середовищ випромінювання у віртуальній реальності, інших типах інтерактивних сфер та роботі з візуальними ефектами (VFX), ймовірно, залежатимуть від паралельних операцій, подібно до того, як закон Мура в кінцевому підсумку поступився місцем багатоядерним архітектурам, паралельним оптимізаціям та новим підходам до кешування.

Автори роботи (під назвою Block-NeRF: Масштабований нейронний синтез виглядів великих сцен) використали 2,8 мільйона зображень для створення найбільшої нейронної сцени, яку коли-небудь намагалися створити – серії районів у Сан-Франциско.

Block-NeRF навігає через собор Грейс у Сан-Франциско. Дивіться вбудоване відео в кінці статті, а також джерельне посилання для високоякісних повнометражних додаткових відео. Джерело: https://waymo.com/research/block-nerf/

Block-NeRF навігає через собор Грейс у Сан-Франциско. Дивіться вбудоване відео в кінці статті, а також джерельне посилання для високоякісних повнометражних додаткових відео. Джерело: https://waymo.com/research/block-nerf/

Головний автор роботи, який представляє Університет Каліфорнії у Берклі, Метью Танчик, співвинахідник нейронних полів випромінювання, виконав цю роботу під час стажування в компанії Waymo, яка розробляє технології автономного водіння та розміщує сторінку проекту. Ініціатива також пропонує відео-огляд на YouTube, вкладений у кінці цієї статті, а також багато підтримуючих та додаткових відео-прикладів на сторінці проекту.

Робота написана спільно з іншими авторами NeRF, включаючи Бена Мілденхолла (Google Research), Пратула П. Шринівасана (Google Research) та Джонатана Т. Баррона (Google Research). Інші учасники – Вінсент Кассер, Сінчен Ян, Сабік Прадхан, Генрік Кретцшмар, всі з Waymo.

Block-NeRF був розроблений в основному як дослідження віртуальних середовищ для автономних транспортних систем, включаючи безпілотні автомобілі та дрони.

Дорога Ембаркадеро з точки зору 180 градусів у Block-NeRF. Дивіться вбудоване відео в кінці статті, а також джерельне посилання для високоякісних повнометражних додаткових відео. Джерело: https://waymo.com/research/block-nerf/

Дорога Ембаркадеро з точки зору 180 градусів у Block-NeRF. Дивіться вбудоване відео в кінці статті, а також джерельне посилання для високоякісних повнометражних додаткових відео. Джерело: https://waymo.com/research/block-nerf/

Інші фактори, які можна динамічно змінити в Block-NeRF, включають експозицію об’єктива (див. вище зображення), погоду та сезони.

Однак, зміна сезону може спричинити пов’язані зміни в середовищі, такі як дерева без листя, що вимагає ще більш обширного набору даних, ніж був створений для Block-NeRF. Робота зазначає:

‘[Листя] змінюється сезонно та рухається на вітрі; це призводить до розмитих представлень дерев та рослин. Подібно, тимчасові несумісності у навчальних даних, таких як будівельні роботи, не обробляються автоматично та вимагають ручного повторного навчання постраждалих блоків.’

Апокаліптичне Відтворення

Якщо ви поглянете на відео, вкладене в кінці, ви помітите Ходячі мерці-стиль пустоти мережі Block-NeRF. З різних причин, не в останню чергу для забезпечення симульованого стартового середовища для робототехнічних систем, автомобілі, пішоходи та інші тимчасові об’єкти були навмисно видалені з джерельного матеріалу, але це залишило деякі артефакти, такі як тінь видалених припаркованих транспортних засобів:

Фантомна тінь видаленого автомобіля. Джерело: https://waymo.com/research/block-nerf/

Фантомна тінь видаленого автомобіля. Джерело: https://waymo.com/research/block-nerf/

Для забезпечення різноманітних середовищ освітлення, таких як день чи ніч, мережі були навчені включати роз’єднані потоки даних, пов’язаних з кожним бажаним станом. На зображенні нижче ми бачимо внескові потоки для кадрів Block-NeRF шосе вдень та вночі:

Доступні на вимогу складові за, здавалося б, 'попередньо обчисленим' рендером Block-NeRF, що дозволяє користувачеві включити ніч, якщо це потрібно. Джерело: https://waymo.com/research/block-nerf/

Доступні на вимогу складові за, здавалося б, ‘попередньо обчисленим’ рендером Block-NeRF, що дозволяє користувачеві включити ніч, якщо це потрібно. Джерело: https://waymo.com/research/block-nerf/

Екологічні та етичні міркування

За останні кілька років дослідження почали включати застереження та дисклеймери щодо можливих екологічних та етичних наслідків запропонованої роботи. У випадку Block-NeRF автори зазначають, що енергетичні вимоги високі, і що облік короткочасних та довгочасних тимчасових об’єктів (таких як листя на деревах та будівельні роботи відповідно) вимагатиме регулярного повторного сканування джерельних даних, що призведе до збільшення “нагляду” в міських районах, чиї нейронні моделі потрібно підтримувати в актуальному стані.

Автори зазначають:

‘В залежності від масштабу, на якому застосовується ця робота, її обчислювальні вимоги можуть спричинити або посилити екологічну шкоду, якщо енергія, використана для обчислень, призведе до збільшення викидів вуглецю. Як зазначено в роботі, ми передбачаємо подальшу роботу, таку як методи кешування, які можуть зменшити обчислювальні вимоги та тим самим пом’якшити екологічну шкоду.’

Відносно нагляду вони продовжують:

‘Майбутні застосування цієї роботи можуть включати ще більші зусилля з збору даних, що підвищує додаткові проблеми конфіденційності. Хоча детальні зображення громадських доріг вже можна знайти на сервісах, таких як Google Street View, наш метод міг би сприяти повторним та регулярним скануванням середовища. Деякі компанії в сфері автономних транспортних засобів також відомі тим, що проводять регулярні сканування території за допомогою свого флоту транспортних засобів; однак деякі з них можуть використовувати лише сканування LiDAR, які можуть бути менш чутливими з погляду конфіденційності, ніж збір зображень з камер.’

Методи та Рішення

Індивідуальні середовища NeRF можна масштабувати вниз, в теорії, до будь-якого розміру перед складанням в масив Block-NeRF. Це відкриває шлях до деталізованого включення контенту, який явно підлягає зміні, такого як дерева, та до ідентифікації та управління будівельними роботами, які можуть тривати протягом років повторного збору даних, але, ймовірно, еволюціонують та в кінцевому підсумку стають стабільними частинами середовища.

Однак у цій першій дослідницькій роботі окремі блоки NeRF обмежені фактичними міськими кварталами кожного зображеного середовища, зшитими разом з 50% нахлестом, що забезпечує послідовний перехід від одного блоку до іншого під час навігації користувачем мережею.

Кожен блок обмежений географічним фільтром. Автори зазначають, що ця частина каркаса відкрита для автоматизації, і, дивно, що їхня реалізація покладається на OpenStreetMap, а не на Google Maps.

Радіус перехрестя для активного простору рендерингу Block-NeRF. Джерело: Waymo

Радіус перехрестя для активного простору рендерингу Block-NeRF. Джерело: Waymo

Блоки тренуються паралельно, з необхідними блоками, відображеними на вимогу. Інноваційні коди зовнішнього вигляду також оркеструються серед набору блоків, забезпечуючи, що один не потрапляє несподівано в різні погодні умови, час доби або навіть сезон.

Сегменти Block-NeRF умовно пов'язані з експозицією аналогічно до високого динамічного діапазону (HDR) у фотографічному джерельному матеріалі. Джерело: Waymo

Сегменти Block-NeRF умовно пов’язані з експозицією аналогічно до високого динамічного діапазону (HDR) у фотографічному джерельному матеріалі. Джерело: Waymo

Спроможність перемикатися між освітленням та іншими змінними середовища походить від генеративної оптимізації латентного простору, введеної в NeRF у дикій природі (NeRF-W), яка, своєю чергою, запозичує метод із дослідження 2019 року Facebook AI Оптимізація латентного простору генеративних мереж.

Модель семантичної сегментації, створена для Panoptic-DeepLab у 2020 році, використовується для видалення нежаданих елементів (таких як люди та транспортні засоби)

Дані

Виявивши, що загальні міські набори даних, такі як CityScapes, не підходять для такої інтенсивної детальної роботи, як Block-NeRF, дослідники створили свій власний набір даних. Дані зображень були захоплені з 12 камер, що охоплюють 360-градусний вигляд, з кадрами, знятими з частотою 10 Гц та скалярним значенням експозиції.

Районами Сан-Франциско, охопленими роботою, були Аламо-Сквер та Мішн-Бей. Для захоплення Аламо-Сквера була охоплена площа приблизно 960м х 570м, розділена на 35 екземплярів Block-NeRF, кожний з яких тренувався на даних з 38 до 48 різних запусків збору даних, з загальним часом руху від 18 до 28 хвилин.

Кількість внескових зображень для кожного Block-NeRF коливалася від 64 575 до 108 216, а загальний час руху, представлений для цієї області, становив 13,4 години по 1 330 різних запусків збору даних. Це призвело до 2 818 745 навчальних зображень лише для Аламо-Сквера. Дивіться роботу для додаткових деталей про збір даних для Мішн-Бей.

 

Перша публікація 11 лютого 2022 року.

Martin Anderson

Автор у галузі машинного навчання, фахівець у сфері синтезу зображень людей. Колишній керівник дослідницького контенту в Metaphysic.ai, до його злиття з Brahma.ai, що належить DNEG.
Веб‑сайт: martinanderson.ai
Контакт: martin@martinanderson.ai