Nowy CGI: Tworzenie Neuralowych Sąsiedztw Z Block-NeRF

Pola promieniowania neuronowych (NeRF) pozwalają na odtworzenie i eksplorację obiektów wewnątrz sieci neuronowych przy użyciu tylko zdjęć z wielu punktów widzenia jako danych wejściowych, bez skomplikowania i wydatków tradycyjnych metod CGI.

Jednak proces ten jest obciążony komputacyjnie, co początkowo ograniczało środowiska NeRF do modeli stołowych. Niemniej jednak, NeRF został przyjęty przez poświęconą, wręcz sfrustrowaną społeczność badawczą, która w ciągu ostatniego roku umożliwiła rekonstrukcje zewnętrzne oraz edytowalne neurony ludzkie, a także wiele innych innowacji.

Teraz nowa inicjatywa badawcza, w której uczestniczy Google Research, rozpoznaje możliwe granice optymalizacji NeRF i koncentruje się zamiast tego na łączeniu środowisk NeRF w celu tworzenia na żądanie sąsiedztw składających się z wielu współpracujących instancji NeRF.

Widok z sieci Block-NeRF połączonych NeRF. Zobacz osadzony film na końcu artykułu, a także link do źródła do wysokiej jakości pełnometrażowych filmów uzupełniających. Źródło: https://waymo.com/research/block-nerf/

Nawigacja w sieci połączonych NeRF efektywnie sprawia, że NeRF staje się skalowalny i modułowy, zapewniając środowiska nawigacyjne, które ładują dodatkowe części sąsiedztwa w miarę potrzeby, w sposób podobny do metod optymalizacji zasobów w grach wideo, gdzie to, co jest za rogiem, jest rzadko ładowane, dopóki nie stanie się jasne, że środowisko będzie potrzebne.

W ramach dużego wysiłku, aby rozłączyć oddzielne aspekty, takie jak pogoda i godzina, Block-NeRF również wprowadza “kody wyglądu”, umożliwiając dynamiczną zmianę czasu dnia:

Zmiana czasu dnia z Block-NeRF. Zobacz osadzony film na końcu artykułu, a także link do źródła do wysokiej jakości pełnometrażowych filmów uzupełniających. Źródło: https://waymo.com/research/block-nerf/

Nowy artykuł sugeruje, że optymalizacja NeRF zbliża się do własnego limitu termicznego, i że przyszłe wdrożenia środowisk promieniowania neuronowego w rzeczywistości wirtualnej, innych typach interaktywnych sfer i pracy VFX, prawdopodobnie będą zależały od operacji równoległych, podobnie jak to, jak Prawo Moore’a ostatecznie ustąpiło miejsca architekturze wielordzeniowej, optymalizacji równoległych i nowym podejściom do buforowania.

Autorzy artykułu ( zatytułowanego Block-NeRF: Scalable Large Scene Neural View Synthesis) użyli 2,8 miliona obrazów, aby stworzyć największe kiedykolwiek podejmowane środowisko neuronowe – serię sąsiedztw w San Francisco.

Block-NeRF nawiguje przez katedrę Grace w San Francisco. Zobacz osadzony film na końcu artykułu, a także link do źródła do wysokiej jakości pełnometrażowych filmów uzupełniających. Źródło: https://waymo.com/research/block-nerf/

Prowadzący autor artykułu, reprezentujący UC Berkley, jest Matthew Tancik, współwynalazca pól promieniowania neuronowych, który podjął tę pracę jako stażysta w firmie Waymo, gospodarza strony projektu. Inicjatywa ta oferuje również przegląd wideo na YouTube, osadzony na końcu tego artykułu, a także wiele wspierających i uzupełniających przykładów wideo na stronie projektu.

Artykuł jest współautorem przez kilku innych twórców NeRF, w tym Ben Mildenhall (Google Research), Pratul P. Srinivasan (Google Research) i Jonathan T. Barron (Google Research). Pozostali współpracownicy to Vincent Casser, Xinchen Yan, Sabeek Pradhan, Henrik Kretzschmar i Vincent Casser, wszyscy z Waymo.

Block-NeRF został opracowany głównie jako badanie środowisk wirtualnych dla systemów pojazdów autonomicznych, w tym samochodów i dronów.

Droga Embarcadero z punktu widzenia 180 stopni w Block-NeRF. Zobacz osadzony film na końcu artykułu, a także link do źródła do wysokiej jakości pełnometrażowych filmów uzupełniających. Źródło: https://waymo.com/research/block-nerf/

Inne czynniki, które mogą być dynamicznie zmieniane w Block-NeRF, to przysłona obiektywu (zobacz powyższe zdjęcie), pogoda i pory roku.

Jednak zmiana pory roku może powodować powiązane zmiany w środowisku, takie jak drzewa bez liści, co wymaga jeszcze bardziej obszernego zestawu danych wejściowych niż ten, który został zbudowany dla Block-NeRF. Artykuł stwierdza:

‘[Liście] zmieniają się sezonowo i poruszają się na wietrze; w wyniku tego powstają rozmyte przedstawienia drzew i roślin. Podobnie, niezgodności czasowe w danych szkoleniowych, takie jak prace budowlane, nie są automatycznie obsługiwane i wymagają ręcznego przeszkolenia dotkniętych bloków.’

Apokaliptyczne Renderowanie

Jeśli spojrza się na film osadzony na końcu, zauważy się Walking Dead-style pustość w sieci Block-NeRF. Z różnych powodów, nie tylko aby zapewnić symulowane środowisko startowe dla systemów robotycznych, samochodów, pieszych i innych obiektów przejściowych zostały celowo usunięte z materiału źródłowego, ale pozostawiło to pewne artefakty, takie jak cienie “usuniętych” zaparkowanych pojazdów:

Fantomowy cień usuniętego samochodu. Źródło: https://waymo.com/research/block-nerf/

Aby uwzględnić różne środowiska oświetleniowe, takie jak dzień lub noc, sieci zostały przeszkolone w celu uwzględnienia rozłączonych strumieni danych dotyczących każdej pożądanej warunki. Na poniższym obrazie widać przyczyniające się strumienie dla Block-NeRF nagrania z autostrady w dzień i w nocy:

Wymagane strumienie za pozornie ‘upieczonym’ renderowaniem Block-NeRF, umożliwiającym użytkownikowi włączenie nocy w razie potrzeby. Źródło: https://waymo.com/research/block-nerf/

Środowiskowe i Etyczne Rozważania

W ciągu ostatnich kilku lat, zgłoszenia badawcze zaczęły zawierać zastrzeżenia i ostrzeżenia dotyczące możliwych skutków etycznych i środowiskowych proponowanej pracy. W przypadku Block-NeRF, autorzy zauważają, że wymagania energetyczne są wysokie, i że uwzględnienie krótkoterminowych i długoterminowych obiektów przejściowych (takich jak liście na drzewach i prace budowlane, odpowiednio) wymagałoby regularnego ponownego skanowania danych źródłowych, prowadząc do zwiększonej “inwigilacji” w obszarach miejskich, których modele neuronowe muszą być utrzymane w aktualności.

Autorzy stwierdzają:

‘W zależności od skali, na jakiej jest stosowana ta praca, jej wymagania obliczeniowe mogą prowadzić do lub pogorszyć szkody środowiskowe, jeśli energia użyta do obliczeń prowadzi do zwiększonych emisji dwutlenku węgla. Jak wspomniano w artykule, przewidujemy dalsze prace, takie jak metody buforowania, które mogą zmniejszyć wymagania obliczeniowe i tym samym złagodzić szkody środowiskowe.’

W odniesieniu do inwigilacji kontynuują:

‘Przyszłe zastosowania tej pracy mogą wymagać jeszcze większych wysiłków zbierania danych, co podnosi dalsze obawy dotyczące prywatności. Chociaż szczegółowe obrazy dróg publicznych można już znaleźć w usługach takich jak Google Street View, nasza metoda mogłaby promować częstsze i regularniejsze skanowanie środowiska. Niektóre firmy w branży pojazdów autonomicznych są również znane z tego, że wykonują regularne skanowanie obszaru przy użyciu floty pojazdów; jednak niektóre z nich mogą wykorzystywać tylko skanowanie LiDAR, które może być mniej wrażliwe niż zbieranie obrazów z kamery.’

Metody i Rozwiązania

Poszczególne środowiska NeRF mogą być skalowane w dół, teoretycznie, do dowolnego rozmiaru przed zmontowaniem w tablicę Block-NeRF. Otwiera to drogę do szczegółowego uwzględnienia treści, które są podatne na zmiany, takie jak drzewa, oraz do identyfikacji i zarządzania pracami budowlanymi, które mogą trwać przez lata, ale są prawdopodobnie zmieniającymi się i stających się spójnymi jednostkami.

Jednak w tym pierwszym badaniu, dyskretne bloki NeRF są ograniczone do rzeczywistych bloków miasta każdego przedstawionego środowiska, zszywanych razem, z 50% nachodzeniem się, zapewniającym spójne przejście z jednego bloku do następnego, gdy użytkownik nawiguje siecią.

Każdy blok jest ograniczony filtrem geograficznym. Autorzy zauważają, że ta część ramy jest otwarta na automatyzację, i, co zaskakujące, że ich implementacja opiera się na OpenStreetMap zamiast Google Maps.

Promień skrzyżowania dla aktywnego renderowania Block-NeRF. Źródło: Waymo

Bloki są szkolone równolegle, z wymaganymi blokami renderowanymi na żądanie. Innowacyjne kody wyglądu są również prowadzone wśród zestawu bloków, zapewniając, że nie podróżuje się nieoczekiwanie do różnej pogody, czasu dnia czy nawet pory roku.

Segmenty Block-NeRF są warunkowane ekspozycją w sposób analogiczny do High Dynamic Range (HDR) w materiałach źródłowych fotograficznych. Źródło: Waymo

Możliwość przełączania oświetlenia i innych zmiennych środowiskowych pochodzi z optymalizacji latentnych wprowadzonych w NeRF in the Wild (NeRF-W), które z kolei wywodzą tę metodę z badań Facebook AI z 2019 roku Optimizing the Latent Space of Generative Networks.

Model segmentacji semantycznej pochodzący z Panoptic-DeepLab z 2020 roku jest używany do wykluczenia niepożądanych elementów (takich jak ludzie i pojazdy)

Dane

Stwierdzono, że powszechne zbiory danych miejskich, takie jak CityScapes, nie były odpowiednie do tak intensywnych prac, jak Block-NeRF. Badacze stworzyli więc własny zbiór danych. Dane obrazowe zostały pobrane z 12 kamer obejmujących widok 360 stopni, z nagraniami wykonanymi z częstotliwością 10 Hz i wartością ekspozycji skalarną.

Części San Francisco, które zostały objęte, to Alamo Square i Mission Bay. Dla Alamo Square, obszar o wymiarach około 960m x 570m został pokryty, podzielony na 35 instancji Block-NeRF, z których każda została przeszkolona na danych z 38 do 48 różnych badań, z czasem jazdy od 18 do 28 minut.

Liczba obrazów przyczyniających się do każdego Block-NeRF wahała się od 64 575 do 108 216, a całkowity czas jazdy reprezentowany dla tego obszaru wyniósł 13,4 godziny w 1 330 różnych przejazdach. To dało 2 818 745 obrazów szkoleniowych tylko dla Alamo Square. Zobacz artykuł, aby uzyskać dodatkowe informacje o zbiorze danych dla Mission Bay.

Pierwotnie opublikowane 11 lutego 2022.