Nová CGI: Vytvoření neuronových sousedství pomocí Block-NeRF

Neuronové radiance fields (NeRF) umožňují rekonstruovat a prozkoumat objekty uvnitř neuronových sítí pomocí pouze víceúhlových fotografií jako vstupu, bez složitosti a nákladů tradičních metod CGI.

Avšak proces je výpočetně náročný, což inicialně omezilo NeRF prostředí na modelové scénáře. Přestože NeRF byl přijat vědeckou komunitou, která za poslední rok umožnila vnější rekonstrukce i editovatelné neuronové lidi, kromě mnoha dalších inovací.

Nyní nová výzkumná iniciativa, která zahrnuje účast Google Research, rozpoznává možné tvrdé limity na optimalizaci NeRF a soustředí se místo toho na šití NeRF prostředí, aby vytvořila na vyžádání sousedství skládající se z více koordinovaných NeRF instancí.

Pohled z Block-NeRF sítě propojených NeRF. Viz vložené video na konci článku a také zdroj odkazu pro vysoké rozlišení plné délky doplňkových videí. Zdroj: https://waymo.com/research/block-nerf/

Procházení sítě propojených NeRF efektivní činí NeRF škálovatelným a modulárním, poskytujícím procházené prostředí, která načítají další části sousedství, jak jsou potřeba, způsobem podobným metodám optimalizace zdrojů ve videohrách, kde co je za rohem je zřídka načteno, dokud není jasné, že prostředí bude potřeba.

V rámci velkého úsilí rozlišit samostatné aspekty, jako je počasí a hodina, Block-NeRF také zavádí ‘vzhledové kódy’, umožňující dynamicky měnit čas dne:

Změna času dne pomocí Block-NeRF. Viz vložené video na konci článku a také zdroj odkazu pro vysoké rozlišení plné délky doplňkových videí. Zdroj: https://waymo.com/research/block-nerf/

Nová práce naznačuje, že optimalizace NeRF se blíží svým vlastním tepelným limitům a že budoucí nasazení neuronových radiance prostředí ve virtuální realitě, jiných typech interaktivních sfér a VFX práci, budou pravděpodobně záviset na paralelních operacích, podobně jako to, jak Mooreův zákon nakonec vedl k multi-jádrovým architekturám, paralelním optimalizacím a novým přístupům ke cache.

Autorům práce (nazvané Block-NeRF: Škálovatelná velká scéna neuronové syntézy pohledu) použili 2,8 milionu obrazů k vytvoření největší neuronové scény, která byla dosud pokusu – série sousedství v San Francisku.

Block-NeRF prochází katedrálou Grace v San Francisku. Viz vložené video na konci článku a také zdroj odkazu pro vysoké rozlišení plné délky doplňkových videí. Zdroj: https://waymo.com/research/block-nerf/

Vedoucí autor práce, zastupující UC Berkley, je Matthew Tancik, spoluobjevitel Neuronových radiance fields, který provedl práci během stáže v autonomní jízdě technologické vývojové společnosti Waymo, hostující projektové stránky. Iniciativa také nabízí video přehled na YouTube, vložený na konci tohoto článku, kromě mnoha podpůrných a doplňkových video příkladů na projektové stránce.

Práce je spoluautorem několika dalších NeRF původců, včetně Ben Mildenhall (Google Research), Pratul P. Srinivasan (Google Research) a Jonathan T. Barron (Google Research). Další přispěvatelé jsou Vincent Casser, Xinchen Yan, Sabeek Pradhan, Henrik Kretzschmar a Vincent Casser, všichni z Waymo.

Block-NeRF byl vyvinut primárně jako výzkum do virtuálních prostředí pro autonomní vozidla systémy, včetně samořízených aut a dronů.

Silnice Embarcadero z 180stupňového pohledu v Block-NeRF. Viz vložené video na konci článku a také zdroj odkazu pro vysoké rozlišení plné délky doplňkových videí. Zdroj: https://waymo.com/research/block-nerf/

Jiné faktory, které lze dynamicky měnit v Block-NeRF, jsou clona objektivu (viz obrázek výše), počasí a roční období.

Avšak změna ročního období může způsobit související změny v prostředí, jako je absence listů na stromech, což vyžaduje ještě rozsáhlejší vstupní dataset, než byl vytvořen pro Block-NeRF. Práce uvádí:

‘[Listnaté stromy] mění se sezónně a pohybují se ve větru; to vede k rozmazaným reprezentacím stromů a rostlin. Podobně, temporální nesrovnalosti ve výcvikových datech, jako je stavební práce, nejsou automaticky zpracovány a vyžadují ruční přeškolování postižených bloků.’

Apokalyptické vykreslování

Pokud se podíváte na video vložené na konci, všimnete si Walking Dead-stylu prázdnoty ve sítích Block-NeRF. Z různých důvodů, nejméně pro poskytnutí simulovaného startovacího prostředí pro robotické systémy, auta, chodce a další přechodné objekty byly úmyslně vymazány ze zdrojového materiálu, ale to zanechalo některé artefakty, jako jsou stíny vymazaných zaparkovaných vozidel:

Fantomový stín vymazaného auta. Zdroj: https://waymo.com/research/block-nerf/

Pro přizpůsobení se různým osvětlovacím podmínkám, jako je den nebo noc, sítě byly trénovány k začlenění oddělených proudů dat souvisejících s každou požadovanou podmínkou. Na obrázku níže vidíme přispívající proudy pro Block-NeRF záběry dálnice za dne a noci:

Požadované proudy za zdánlivě ‘upečeným’ Block-NeRF renderem, umožňující uživateli přepnout na noc podle potřeby. Zdroj: https://waymo.com/research/block-nerf/

Environmentální a etické úvahy

V posledních letech výzkumné příspěvky začaly zahrnovat varování a prohlášení týkající se možných environmentálních a etických dopadů navrhované práce. V případě Block-NeRF autoři poznamenávají, že energetické nároky jsou vysoké a že zohlednění krátkodobých a dlouhodobých přechodných objektů (jako jsou listy na stromech a stavební práce) by vyžadovalo pravidelné opětovné skenování zdrojových dat, vedoucí k zvýšenému ‘dohledu’ v městských oblastech, jejichž neuronové modely potřebují být udržovány aktuální.

Autoři uvádějí:

‘V závislosti na měřítku, na kterém je tato práce aplikována, mohou její výpočetní nároky vést k environmentálnímu poškození, pokud energie použité pro výpočet povede ke zvýšeným emisím skleníkových plynů. Jak je uvedeno v práci, předvídáme další práci, jako jsou metody cache, které by mohly snížit výpočetní nároky a tím zmírnit environmentální poškození.’

Ohledně dohledu pokračují:

‘Budoucí aplikace této práce mohou zahrnovat ještě větší úsilí o sběr dat, což vyvolává další obavy o ochranu soukromí. Zatímco podrobné snímky veřejných cest lze již nalézt na službách, jako je Google Street View, naše metodika by mohla podporovat opakované a častější skenování prostředí. Některé společnosti v oblasti autonomních vozidel jsou také známé tím, že pravidelně skenují oblasti pomocí svých vozidel; nicméně některé z nich mohou využívat pouze LiDAR skenování, které může být méně citlivé než sběr kamerových snímků.’

Metody a řešení

Jednotlivé NeRF prostředí lze teoreticky zmenšit na libovolnou velikost před tím, než jsou sestaveny do Block-NeRF pole. To otevírá cestu k zahrnutí obsahu, který je určitě podroben změnám, jako jsou stromy, a k identifikaci a správě stavebních prací, které mohou trvat v čase i roky re-kapture, ale jsou pravděpodobně vyvinout a nakonec se stanou konzistentními entitami.

Avšak v této počáteční výzkumné práci jsou diskrétní NeRF bloky omezeny na skutečné městské bloky každého zobrazeného prostředí, sešitého s 50% překryvem, zajišťujícím konzistentní přechod z jednoho bloku na další, jak uživatel prochází sítí.

Každý blok je omezen geografickým filtrem. Autoři poznamenávají, že tato část rámce je otevřena automatizaci a, překvapivě, že jejich implementace spoléhá na OpenStreetMap spíše než na Google Maps.

Průsečíkový poloměr pro ‘aktivní’ renderovací prostor Block-NeRF. Zdroj: Waymo

Bloky jsou trénovány paralelně, s potřebnými bloky vykreslenými na vyžádání. Inovativní vzhledové kódy jsou také orchestrovány mezi blokovou sadou, zajišťující, že jeden necestuje neočekávaně do různých počasí, času dne nebo dokonce jiného ročního období.

Block-NeRF segmenty jsou podmíněny expozicí způsobem analogickým k High Dynamic Range (HDR) ve fotografickém zdrojovém materiálu. Zdroj: Waymo

Schopnost přepnout osvětlení a další environmentální proměnné je odvozena z Generative Latent Optimizations zavedených v NeRF v divočině (NeRF-W), které samy odvozují metodu z výzkumné práce Facebook AI z roku 2019 Optimizing the Latent Space of Generative Networks.

Sémantický segmentační model původně vytvořený pro Panoptic-DeepLab v roce 2020 je použit k vyloučení nežádoucích prvků (jako jsou lidé a vozidla)

Data

Zjištění, že běžné městské datové sady, jako je CityScapes, nebyly vhodné pro tak intenzivní detailní práci, jakou je Block-NeRF, výzkumníci vytvořili svou vlastní datovou sadu. Obrázky byly pořízeny z 12 kamer pokrývajících 360stupňový pohled, s záběry pořízenými při 10 Hz se skalární expozicí.

Sanfranciská sousedství pokrytá byla Alamo Square a Mission Bay. Pro Alamo Square byly snímky pořízeny z oblasti přibližně 960 m x 570 m, rozdělené do 35 instancí Block-NeRF, každá trénovaná na datech z 38 na 48 různých běhů sběru dat, s celkovým časem jízdy 18-28 minut.

Počet přispívajících snímků pro každý Block-NeRF se pohyboval mezi 64 575 a 108 216, a celkový čas jízdy reprezentovaný pro tuto oblast byl 13,4 hodiny přes 1 330 různých běhů sběru dat. To vedlo k 2 818 745 trénovacím snímkům pouze pro Alamo Square. Viz článek pro další podrobnosti o sběru dat pro Mission Bay.

Poprvé publikováno 11. února 2022.