Andersonův úhel

Nová CGI: tvorba neuronových modelů čtvrtí pomocí Block-NeRF

Martin Anderson
Přidejte Unite.AI mezi své preferované zdroje na Google
Klíčové bodyBlock-NeRF spojuje samostatné instance NeRF do škálovatelných procházetelných čtvrtí…
Zobrazit více
  • Block-NeRF spojuje samostatné instance NeRF do škálovatelných procházetelných čtvrtí načítaných na vyžádání.
  • Kódy vzhledu v Block-NeRF umožňují dynamické změny, jako je denní doba, bez nutnosti přetrénování celé scény.
  • Projekt použil 2,8 milionu snímků z Waymo k vytvoření největší neuronové scény bloků San Francisca.

Neuronová pole zářivosti (NeRF) umožňují rekonstruovat a prozkoumat objekty uvnitř neuronových sítí pomocí pouze víceúhlových fotografií jako vstupu, bez složitosti a nákladů tradičních metod CGI.

Avšak proces je výpočetně náročný, což zpočátku omezilo NeRF prostředí na stolních modelů. Přesto NeRF přijala oddaná, až horečně aktivní výzkumná komunita, která za poslední rok umožnila rekonstrukce venkovních scén i upravitelné neuronové modely lidí, kromě mnoha dalších inovací.

Nyní nová výzkumná iniciativa, která zahrnuje účast Google Research, rozpoznává možné tvrdé limity na optimalizaci NeRF a soustředí se místo toho na spojování prostředí NeRF, aby vytvořila na vyžádání sousedství skládající se z více koordinovaných NeRF instancí.

 Pohled z Block-NeRF sítě propojených NeRF. Viz vložené video na konci článku a také zdroj odkazu pro vysoké rozlišení plné délky doplňkových videí. Zdroj: https://waymo.com/research/block-nerf/

Pohled z Block-NeRF sítě propojených NeRF. Viz vložené video na konci článku a také zdroj odkazu pro vysoké rozlišení plné délky doplňkových videí. Zdroj: https://waymo.com/research/block-nerf/

Procházení sítě propojených NeRF účinně činí NeRF škálovatelným a modulárním a poskytuje průchozí prostředí, která načítají další části sousedství, jak jsou potřeba, způsobem podobným metodám optimalizace zdrojů ve videohrách, kde co je za rohem je zřídka načteno, dokud není jasné, že prostředí bude potřeba.

V rámci velkého úsilí rozlišit samostatné aspekty, jako je počasí a hodina, Block-NeRF také zavádí ‘vzhledové kódy’, umožňující dynamicky měnit čas dne:

Změna času dne pomocí Block-NeRF. Viz vložené video na konci článku a také zdroj odkazu pro vysoké rozlišení plné délky doplňkových videí. Zdroj: https://waymo.com/research/block-nerf/

Změna času dne pomocí Block-NeRF. Viz vložené video na konci článku a také zdroj odkazu pro vysoké rozlišení plné délky doplňkových videí. Zdroj: https://waymo.com/research/block-nerf/

Nová práce naznačuje, že optimalizace NeRF se blíží svým vlastním tepelným limitům a že budoucí nasazení prostředí neuronových polí zářivosti ve virtuální realitě, jiných typech interaktivních sfér a VFX práci, budou pravděpodobně záviset na paralelních operacích, podobně jako to, jak Mooreův zákon nakonec ustoupil vícejádrovým architekturám, paralelním optimalizacím a novým přístupům ke cache.

Autoři práce (nazvané Block-NeRF: Škálovatelná velká scéna neuronové syntézy pohledu) použili 2,8 milionu obrazů k vytvoření největší neuronové scény, o jakou se dosud někdo pokusil – série sousedství v San Francisku.

Block-NeRF prochází katedrálou Grace v San Francisku. Viz vložené video na konci článku a také zdroj odkazu pro vysoké rozlišení plné délky doplňkových videí. Zdroj: https://waymo.com/research/block-nerf/

Block-NeRF prochází katedrálou Grace v San Francisku. Viz vložené video na konci článku a také zdroj odkazu pro vysoké rozlišení plné délky doplňkových videí. Zdroj: https://waymo.com/research/block-nerf/

Vedoucí autor práce, zastupující UC Berkeley, je Matthew Tancik, spoluvynálezce neuronových polí zářivosti, který provedl práci během stáže ve společnosti Waymo, která vyvíjí technologie autonomní jízdy a provozuje projektové stránky. Iniciativa také nabízí video přehled na YouTube, vložený na konci tohoto článku, kromě mnoha podpůrných a doplňkových video příkladů na projektové stránce.

Na práci se jako spoluautoři podílelo několik dalších tvůrců NeRF, včetně Ben Mildenhall (Google Research), Pratul P. Srinivasan (Google Research) a Jonathan T. Barron (Google Research). Další přispěvatelé jsou Vincent Casser, Xinchen Yan, Sabeek Pradhan, Henrik Kretzschmar, všichni z Waymo.

Block-NeRF byl vyvinut primárně jako výzkum virtuálních prostředí pro systémy autonomních vozidel, včetně samořízených aut a dronů.

Silnice Embarcadero z 180stupňového pohledu v Block-NeRF. Viz vložené video na konci článku a také zdroj odkazu pro vysoké rozlišení plné délky doplňkových videí. Zdroj: https://waymo.com/research/block-nerf/

Silnice Embarcadero z 180stupňového pohledu v Block-NeRF. Viz vložené video na konci článku a také zdroj odkazu pro vysoké rozlišení plné délky doplňkových videí. Zdroj: https://waymo.com/research/block-nerf/

Jiné faktory, které lze dynamicky měnit v Block-NeRF, jsou expozice objektivu (viz obrázek výše), počasí a roční období.

Avšak změna ročního období může způsobit související změny v prostředí, jako je absence listů na stromech, což vyžaduje ještě rozsáhlejší vstupní dataset, než byl vytvořen pro Block-NeRF. Práce uvádí:

‘[Listoví] se mění podle ročního období a pohybují se ve větru; to vede k rozmazaným reprezentacím stromů a rostlin. Podobně, temporální nesrovnalosti ve výcvikových datech, jako je stavební práce, nejsou automaticky zpracovány a vyžadují ruční přeškolování postižených bloků.’

Apokalyptické vykreslování

Pokud se podíváte na video vložené na konci, všimnete si Walking Dead-stylu prázdnoty ve sítích Block-NeRF. Z různých důvodů, mimo jiné kvůli poskytnutí simulovaného počátečního prostředí robotickým systémům, byly automobily, chodci a další přechodné objekty úmyslně vymazány ze zdrojového materiálu, ale to zanechalo některé artefakty, jako jsou stíny vymazaných zaparkovaných vozidel:

Fantomový stín vymazaného auta. Zdroj: https://waymo.com/research/block-nerf/

Fantomový stín vymazaného auta. Zdroj: https://waymo.com/research/block-nerf/

Pro přizpůsobení se různým osvětlovacím podmínkám, jako je den nebo noc, sítě byly trénovány k začlenění oddělených proudů dat souvisejících s každou požadovanou podmínkou. Na obrázku níže vidíme přispívající proudy pro Block-NeRF záběry dálnice za dne a noci:

Požadované proudy za zdánlivě 'předpočítaným' Block-NeRF renderem, umožňující uživateli přepnout na noc podle potřeby. Zdroj: https://waymo.com/research/block-nerf/

Požadované proudy za zdánlivě ‘předpočítaným’ Block-NeRF renderem, umožňující uživateli přepnout na noc podle potřeby. Zdroj: https://waymo.com/research/block-nerf/

Environmentální a etické úvahy

V posledních letech výzkumné příspěvky začaly zahrnovat varování a prohlášení týkající se možných environmentálních a etických dopadů navrhované práce. V případě Block-NeRF autoři poznamenávají, že energetické nároky jsou vysoké a že zohlednění krátkodobých a dlouhodobých přechodných objektů (jako jsou listy na stromech a stavební práce) by vyžadovalo pravidelné opětovné skenování zdrojových dat, vedoucí k zvýšenému ‘dohledu’ v městských oblastech, jejichž neuronové modely potřebují být udržovány aktuální.

Autoři uvádějí:

‘V závislosti na měřítku, na kterém je tato práce aplikována, mohou její výpočetní nároky způsobit nebo zhoršit škody na životním prostředí, pokud energie použitá k výpočtům povede ke zvýšeným emisím uhlíku. Jak je uvedeno v práci, předvídáme další práci, jako jsou metody cache, které by mohly snížit výpočetní nároky a tím zmírnit environmentální poškození.’

Ohledně dohledu pokračují:

‘Budoucí aplikace této práce mohou zahrnovat ještě větší úsilí o sběr dat, což vyvolává další obavy o ochranu soukromí. Zatímco podrobné snímky veřejných cest lze již nalézt na službách, jako je Google Street View, naše metodika by mohla podporovat opakované a častější skenování prostředí. Některé společnosti v oblasti autonomních vozidel jsou také známé tím, že pravidelně skenují oblasti pomocí svých vozidel; nicméně některé z nich mohou využívat pouze LiDAR skenování, které může být méně citlivé z hlediska soukromí než sběr kamerových snímků.’

Metody a řešení

Jednotlivé NeRF prostředí lze teoreticky zmenšit na libovolnou velikost před tím, než jsou sestaveny do Block-NeRF pole. To otevírá cestu k zahrnutí obsahu, který je určitě podroben změnám, jako jsou stromy, a k identifikaci a správě stavebních prací, které mohou trvat v čase i roky opakovaného snímání, ale pravděpodobně se budou vyvíjet a nakonec se stanou stabilními součástmi prostředí.

Avšak v této počáteční výzkumné práci jsou diskrétní NeRF bloky omezeny na skutečné městské domovní bloky každého zobrazeného prostředí, sešitého s 50% překryvem, zajišťujícím konzistentní přechod z jednoho bloku na další, jak uživatel prochází sítí.

Každý blok je omezen geografickým filtrem. Autoři poznamenávají, že tato část rámce je otevřena automatizaci a, překvapivě, že jejich implementace spoléhá na OpenStreetMap spíše než na Google Maps.

Průsečíkový poloměr pro 'aktivní' renderovací prostor Block-NeRF. Zdroj: Waymo

Průsečíkový poloměr pro ‘aktivní’ renderovací prostor Block-NeRF. Zdroj: Waymo

Bloky jsou trénovány paralelně, s potřebnými bloky vykreslenými na vyžádání. Inovativní vzhledové kódy jsou také orchestrovány mezi blokovou sadou, zajišťující, že jeden necestuje neočekávaně do různých počasí, času dne nebo dokonce jiného ročního období.

Block-NeRF segmenty jsou podmíněny expozicí způsobem analogickým k High Dynamic Range (HDR) ve fotografickém zdrojovém materiálu. Zdroj: Waymo

Block-NeRF segmenty jsou podmíněny expozicí způsobem analogickým k High Dynamic Range (HDR) ve fotografickém zdrojovém materiálu. Zdroj: Waymo

Schopnost přepnout osvětlení a další environmentální proměnné je odvozena z generativních optimalizací latentního prostoru zavedených v NeRF v divočině (NeRF-W), které samy odvozují metodu z výzkumné práce Facebook AI z roku 2019 Optimizing the Latent Space of Generative Networks.

Sémantický segmentační model původně vytvořený pro Panoptic-DeepLab v roce 2020 je použit k vyloučení nežádoucích prvků (jako jsou lidé a vozidla)

Data

Poté, co zjistili, že běžné městské datové sady, jako je CityScapes, nebyly vhodné pro tak intenzivní detailní práci, jakou je Block-NeRF, výzkumníci vytvořili svou vlastní datovou sadu. Obrázky byly pořízeny z 12 kamer pokrývajících 360stupňový pohled, s záběry pořízenými při 10 Hz se skalární expozicí.

Sanfranciská sousedství pokrytá byla Alamo Square a Mission Bay. Pro Alamo Square byly snímky pořízeny z oblasti přibližně 960 m x 570 m, rozdělené do 35 instancí Block-NeRF, každá trénovaná na datech z 38 až 48 různých průjezdů sběru dat, s celkovým časem jízdy 18-28 minut.

Počet přispívajících snímků pro každý Block-NeRF se pohyboval mezi 64 575 a 108 216, a celkový čas jízdy reprezentovaný pro tuto oblast byl 13,4 hodiny přes 1 330 různých běhů sběru dat. To vedlo k 2 818 745 trénovacím snímkům pouze pro Alamo Square. Viz článek pro další podrobnosti o sběru dat pro Mission Bay.

 

Poprvé publikováno 11. února 2022.

Spisovatel v oblasti strojového učení, odborník na syntézu lidských obrazů. Bývalý vedoucí výzkumného obsahu ve společnosti Metaphysic.ai, až do jejího sloučení do Brahma.ai společnosti DNEG.
Webová stránka: martinanderson.ai
Kontakt: martin@martinanderson.ai