Нова CGI: створення нейронних околиць за допомогою Block-NeRF

Нейронні поля випромінювання (NeRF) дозволяють відтворювати та досліджувати об’єкти в нейронних мережах, використовуючи лише фотографії з кількох точок зору як вхідні дані, без складності та витрат традиційних методів CGI.

Однак цей процес дорогий з точки зору обчислень, що спочатку обмежувало середовище NeRF настільна модель сценарії. Тим не менш, NeRF було прийнято відданою, навіть несамовитою дослідницькою спільнотою, яка за останній рік можлива зовнішня реконструкція а також редаговані нейронні люди, окрім багатьох інших нововведень.

Тепер нова дослідницька ініціатива, яка включає участь Google Research, визнає можливі жорсткі обмеження на оптимізацію NeRF і натомість зосереджується на об’єднанні середовищ NeRF для створення околиць на вимогу, що складаються з кількох узгоджених екземплярів NeRF.

Точка зору з мережі Block-NeRF пов’язаних NeRF. Перегляньте вбудоване відео в кінці статті, а також посилання на джерело для повнометражних додаткових відео високої роздільної здатності. Джерело: https://waymo.com/research/block-nerf/

Навігація мережею пов’язаних NeRF ефективно робить NeRF масштабованим і модульним, забезпечуючи навігаційне середовище, яке завантажує додаткові частини сусідства, коли вони потрібні, подібно до методів оптимізації ресурсів у відеоіграх, де те, що є за рогом, рідко завантажується до тих пір, поки стає зрозуміло, що середовище буде потрібно.

У великій поїздці до розплутати окремі аспекти, такі як погода та година, Block-NeRF також вводить «коди зовнішнього вигляду», що дозволяє динамічно змінювати час доби:

Зміна часу доби за допомогою Block-NeRF. Перегляньте вбудоване відео в кінці статті, а також посилання на джерело для повнометражних додаткових відео високої роздільної здатності. Джерело: https://waymo.com/research/block-nerf/

Нова стаття припускає, що оптимізація NeRF наближається до власної термічної межі, і що майбутнє розгортання середовищ нейронного випромінювання у віртуальній реальності, інших типів інтерактивних сфер і роботи з VFX, ймовірно, залежатиме від паралельних операцій, подібних до того, як це зробив Мур. Закон зрештою поступився місцем багатоядерним архітектурам, паралельній оптимізації та новим підходам до кешування.

Автори роботи папір (під назвою Block-NeRF: масштабований нейронний синтез великої сцени) використав 2.8 мільйона зображень, щоб створити найбільшу нейронну сцену, яку коли-небудь намагалися створити – серію районів у Сан-Франциско.

Block-NeRF здійснює навігацію в соборі Грейс у Сан-Франциско. Перегляньте вбудоване відео в кінці статті, а також посилання на джерело для повнометражних додаткових відео високої роздільної здатності. Джерело: https://waymo.com/research/block-nerf/

Провідним автором статті, який представляє UC Berkley, є Метью Танчік співвинахідник нейронних полів випромінювання, який стажувався в компанії Waymo, яка займається розробкою технологій автономного водіння Сторінка проекту. Ініціатива також пропонує відеоогляд на YouTube, вбудований у кінці цієї статті, окрім багатьох допоміжних і додаткових відеоприкладів на сторінці проекту.

Співавторами статті є кілька інших авторів NeRF, зокрема Бен Мілденхолл (Google Research), Пратул П. Срінівасан (Google Research) і Джонатан Т. Баррон (Google Research). Інші учасники: Вінсент Кассер, Сінчен Ян, Сабік Прадхан, Хенрік Крецшмар і Вінсент Кассер, усі з Waymo.

Block-NeRF було розроблено в основному як дослідження віртуальних середовищ для автономних транспортних систем, включаючи безпілотні автомобілі та дрони.

Проїжджа частина Embarcadero з огляду на 180 градусів у Block-NeRF. Перегляньте вбудоване відео в кінці статті, а також посилання на джерело для повнометражних додаткових відео високої роздільної здатності. Джерело: https://waymo.com/research/block-nerf/

Інші фактори, які можна динамічно змінювати в Block-NeRF, це діафрагма об’єктива (див. зображення вище), погода та пори року.

Однак зміна пори року може спричинити відповідні зміни в навколишньому середовищі, наприклад дерева без листя, для чого потрібен ще більший набір вхідних даних, ніж був створений для Block-NeRF. У документі зазначено:

«[Листя] змінюється по сезонах і рухається за вітром; це призводить до розмитих зображень дерев і рослин. Подібним чином тимчасові невідповідності в даних навчання, наприклад, будівельні роботи, не обробляються автоматично і вимагають ручного перенавчання відповідних блоків».

Апокаліптична візуалізація

Якщо ви подивитеся на відео, вбудоване в кінці, ви помітите a Walking Deadрозрідженість у стилі мережевого середовища Block-NeRF. З різних причин, не в останню чергу для того, щоб створити імітацію стартового середовища для роботизованих систем, автомобілі, пішоходи та інші тимчасові об’єкти були навмисно видалені з вихідного матеріалу, але це залишило деякі артефакти, такі як тіні «стертих» припаркованих транспортних засобів. :

Фантомна тінь стертої машини. Джерело: https://waymo.com/research/block-nerf/

Для адаптації до різних умов освітлення, таких як день і ніч, мережі були навчені включати розрізнені потоки даних, що стосуються кожної бажаної умови. На зображенні нижче ми бачимо додаткові потоки для запису Block-NeRF шосе вдень і вночі:

Фасети на вимогу, що стоять за очевидно «запеченим» рендером Block-NeRF, що дозволяє користувачеві вмикати ніч за потреби. Джерело: https://waymo.com/research/block-nerf/

Екологічні та етичні міркування

Протягом останніх кількох років дослідження почали містити застереження та застереження щодо можливих етичних та екологічних наслідків запропонованої роботи. У випадку Block-NeRF автори відзначають, що потреби в енергії є високими, і що облік короткочасних і довгострокових перехідних об’єктів (таких як листя на деревах і будівельні роботи відповідно) вимагатиме регулярного повторного сканування вихідні дані, що призводить до посиленого «спостереження» в міських районах, чиї нейронні моделі потрібно постійно оновлювати.

Автори стверджують:

«Залежно від масштабу, у якому використовується ця робота, її вимоги до обчислень можуть призвести до або посилити шкоду навколишньому середовищу, якщо енергія, яка використовується для обчислень, призведе до збільшення викидів вуглецю. Як зазначено в документі, ми передбачаємо подальшу роботу, таку як методи кешування, які могли б зменшити вимоги до обчислень і таким чином зменшити шкоду навколишньому середовищу».

Щодо стеження продовжують:

«Майбутнє застосування цієї роботи може призвести до ще більших зусиль зі збору даних, що викликає додаткові проблеми щодо конфіденційності. Хоча детальні зображення доріг загального користування вже можна знайти в таких службах, як Google Street View, наша методологія може сприяти повторним і більш регулярним скануванням навколишнього середовища. Кілька компаній, що займаються автономним транспортним засобом, також відомі тим, що проводять регулярне сканування території, використовуючи свій парк транспортних засобів; однак деякі можуть використовувати лише сканування LiDAR, яке може бути менш чутливим, ніж збір зображень з камери».

Методи та рішення

Теоретично окремі середовища NeRF можна зменшити до будь-якого розміру, перш ніж зібрати їх у масив Block-NeRF. Це відкриває шлях до детального включення вмісту, який, безперечно, може змінюватися, як-от дерева, а також до ідентифікації та управління будівельними роботами, які можуть зберігатися протягом навіть років повторного захоплення, але, ймовірно, розвиватимуться та зрештою стають послідовними сутностями.

Однак у цьому початковому дослідженні окремі блоки NeRF обмежуються фактичними міськими кварталами кожного зображеного середовища, з’єднаними разом, з 50% перекриттям, що забезпечує послідовний перехід від одного блоку до іншого під час навігації користувача мережею.

Кожен блок обмежений географічним фільтром. Автори відзначають, що ця частина фреймворку відкрита для автоматизації, і, як не дивно, їх реалізація покладається на OpenStreetMap, а не на Google Maps.

Радіус перетину для «активного» простору візуалізації Block-NeRF. джерело: Веймо

Блоки навчаються паралельно, а необхідні блоки рендеряться на вимогу. Інноваційні коди зовнішнього вигляду також скомпоновані серед набору блоків, гарантуючи, що ви не потрапите несподівано в іншу погоду, час доби чи навіть іншу пору року.

Сегменти Block-NeRF обумовлені експозицією аналогічно високому динамічному діапазону (HDR) у вихідному фотоматеріалі. джерело: Веймо

Можливість перемикати освітлення та інші змінні навколишнього середовища є похідною від Generative Latent Optimizations, представленої в NeRF в дикій природі (NeRF-W), яка сама взяла цей метод із штучного інтелекту Facebook 2019 року дипломну роботу Оптимізація латентного простору генеративних мереж.

Модель семантичної сегментації виникла для Panoptic-DeepLab у 2020 році використовується для блокування небажаних елементів (таких як люди та транспортні засоби)

дані

Виявлення загальних міських наборів даних, таких як Міські пейзажі не підходили для такої інтенсивної детальної роботи, яку передбачає Block-NeRF, дослідники створили власний набір даних. Дані зображення були отримані з 12 камер, що охоплювали огляд 360 градусів, з кадрами, зробленими з частотою 10 Гц зі скалярним значенням експозиції.

Охоплені райони Сан-Франциско були Alamo Square і Mission Bay. Для захоплення площі Аламо було охоплено територію розміром приблизно 960 м x 570 м, розділену на 35 екземплярів Block-NeRF, кожен з яких навчався на даних від 38 до 48 різних прогонів збору даних із загальним часом руху 18-28 хвилин.

Кількість наданих зображень для кожного Block-NeRF коливалася від 64,575 108,216 до 13.4 1,330, а загальний час водіння, представлений для цієї області, становив 2,818,745 години за XNUMX різних прогонів збору даних. Це призвело до XNUMX XNUMX XNUMX навчальних зображень лише для площі Аламо. Перегляньте документ для отримання додаткової інформації про збір даних для Mission Bay.

Вперше опубліковано 11 лютого 2022 р.