Nové CGI: Vytváranie neurónových susedstiev pomocou Block-NeRF

Neurónové radiačné polia (NeRF) umožňujú opätovné vytváranie a skúmanie objektov v neurónových sieťach s použitím iba fotografií z viacerých hľadísk ako vstupu, bez zložitosti a nákladov na tradičné metódy CGI.

Tento proces je však výpočtovo nákladný, čo spočiatku obmedzovalo prostredia NeRF stolový model scenárov. Napriek tomu bol NeRF prijatý špecializovanou, dokonca šialenou výskumnou komunitou, ktorá za posledný rok prijala umožnili vonkajšie rekonštrukcie rovnako ako upraviteľných nervových ľudí, okrem mnohých ďalších inovácií.

Teraz nová výskumná iniciatíva, ktorá zahŕňa účasť Google Research, rozpoznáva možné tvrdé limity optimalizácie NeRF a namiesto toho sa sústreďuje na spojenie prostredí NeRF s cieľom vytvoriť susedstvá na vyžiadanie obsahujúce viacero koordinovaných inštancií NeRF.

Pohľad zo siete Block-NeRF prepojených NeRF. Pozrite si vložené video na konci článku a tiež odkaz na zdroj pre doplnkové videá v plnej dĺžke vo vysokom rozlíšení. Zdroj: https://waymo.com/research/block-nerf/

Navigácia v sieti prepojených NeRF efektívne robí NeRF škálovateľným a modulárnym a poskytuje navigovateľné prostredia, ktoré podľa potreby načítajú ďalšie časti okolia, podobným spôsobom ako metódy optimalizácie zdrojov vo videohrách, kde sa to, čo je za rohom, načítava len zriedka, kým je jasné, že prostredie bude potrebné.

Pri hlavnej ceste do rozmotať oddelené aspekty, ako je počasie a hodina, Block-NeRF tiež zavádza „kódy vzhľadu“, čo umožňuje dynamicky meniť čas dňa:

Zmena denného času pomocou Block-NeRF. Pozrite si vložené video na konci článku a tiež odkaz na zdroj pre doplnkové videá v plnej dĺžke vo vysokom rozlíšení. Zdroj: https://waymo.com/research/block-nerf/

Nový článok naznačuje, že optimalizácia NeRF sa blíži k svojmu vlastnému tepelnému limitu a že budúce nasadzovanie prostredí neurónového žiarenia vo virtuálnej realite, iných typov interaktívnych gúľ a práce VFX bude pravdepodobne závisieť od paralelných operácií, podobne ako Moore's. Zákon nakoniec ustúpil viacjadrovým architektúram, paralelným optimalizáciám a novým prístupom ku cachovaniu.

Autori papier (oprávnený Block-NeRF: Škálovateľná syntéza neurálneho zobrazenia veľkej scény) použil 2.8 milióna obrázkov na vytvorenie najväčšej neurónovej scény, o akú sa kedy pokúsili – série štvrtí v San Franciscu.

Block-NeRF naviguje katedrálu Grace v San Franciscu. Pozrite si vložené video na konci článku a tiež odkaz na zdroj pre doplnkové videá v plnej dĺžke vo vysokom rozlíšení. Zdroj: https://waymo.com/research/block-nerf/

Hlavným autorom článku, ktorý zastupuje UC Berkley, je Matthew Tancik spoluvynálezca polí Neural Radiance Fields, ktorý túto prácu vykonával ako stážista v spoločnosti Waymo, ktorá sa zaoberá vývojom technológií autonómneho riadenia, hostiteľom Stránka projektu. Iniciatíva okrem mnohých podporných a doplňujúcich príkladov videí na stránke projektu ponúka aj prehľad videí na YouTube, ktorý je vložený na konci tohto článku.

Tento článok je spoluautorom niekoľkých ďalších autorov NeRF, vrátane Bena Mildenhalla (Google Research), Pratul P. Srinivasan (Google Research) a Jonathana T. Barrona (Google Research). Ďalšími prispievateľmi sú Vincent Casser, Xinchen Yan, Sabeek Pradhan, Henrik Kretzschmar a Vincent Casser, všetci z Waymo.

Block-NeRF bol vyvinutý predovšetkým ako výskum virtuálnych prostredí pre systémy autonómnych vozidiel, vrátane samoriadiacich áut a dronov.

Vozovka Embarcadero zo 180-stupňového pohľadu v Block-NeRF. Pozrite si vložené video na konci článku a tiež odkaz na zdroj pre doplnkové videá v plnej dĺžke vo vysokom rozlíšení. Zdroj: https://waymo.com/research/block-nerf/

Ďalšie faktory, ktoré možno v Block-NeRF dynamicky meniť, sú clona objektívu (pozri obrázok vyššie), počasie a ročné obdobia.

Zmena ročného obdobia však môže spôsobiť súvisiace zmeny v prostredí, ako sú stromy bez listov, čo si vyžaduje ešte rozsiahlejší súbor vstupných údajov, než aký bol skonštruovaný pre Block-NeRF. V papieri sa uvádza:

„[Olistenie] sa mení sezónne a pohybuje sa vo vetre; výsledkom je rozmazané zobrazenie stromov a rastlín. Podobne časové nezrovnalosti v údajoch o školení, ako sú stavebné práce, nie sú automaticky riešené a vyžadujú si manuálne preškolenie dotknutých blokov.“

Apokalyptické vykresľovanie

Ak sa pozriete na video vložené na konci, všimnete si a Walking Dead-štýlová riedkosť voči sieťovému prostrediu Block-NeRF. Z rôznych dôvodov, v neposlednom rade kvôli poskytnutiu simulovaného štartovacieho prostredia pre robotické systémy, boli autá, chodci a iné prechodné objekty zámerne vymazané zo zdrojového materiálu, ale zanechali za sebou niektoré artefakty, ako napríklad tiene „vymazaných“ zaparkovaných vozidiel. :

Fantómový tieň vymazaného auta. Zdroj: https://waymo.com/research/block-nerf/

Na prispôsobenie sa rôznym svetelným prostrediam, ako je deň alebo noc, boli siete trénované tak, aby zahŕňali rozpojené toky údajov týkajúce sa každého požadovaného stavu. Na obrázku nižšie vidíme toky, ktoré prispievajú k záznamu diaľnice Block-NeRF vo dne aj v noci:

Fazety na požiadanie za zjavne „pečeným“ vykreslením Block-NeRF, ktoré používateľovi umožňujú zapnúť v noci podľa potreby. Zdroj: https://waymo.com/research/block-nerf/

Environmentálne a etické hľadiská

Počas niekoľkých posledných rokov začali výskumné príspevky zahŕňať výhrady a odmietnutia zodpovednosti týkajúce sa možných etických a environmentálnych dôsledkov navrhovanej práce. V prípade Block-NeRF autori poznamenávajú, že energetické požiadavky sú vysoké a že zohľadnenie krátkodobých a dlhodobých prechodných objektov (ako sú listy na stromoch a stavebné práce) by si vyžadovalo pravidelné opätovné skenovanie zdrojové údaje, čo vedie k zvýšenému „dozoru“ v mestských oblastiach, ktorých neurálne modely je potrebné aktualizovať.

Autori uvádzajú:

„V závislosti od rozsahu, v akom sa táto práca uplatňuje, môžu jej výpočtové nároky viesť alebo zhoršiť poškodenie životného prostredia, ak energia používaná na výpočty vedie k zvýšeným emisiám uhlíka. Ako je uvedené v článku, predpokladáme ďalšiu prácu, ako sú metódy ukladania do vyrovnávacej pamäte, ktoré by mohli znížiť nároky na výpočtovú techniku ​​a tak zmierniť škody na životnom prostredí.

Pokiaľ ide o dohľad, pokračujú:

„Budúce aplikácie tejto práce si môžu vyžadovať ešte väčšie úsilie pri zbere údajov, čo vyvoláva ďalšie obavy o súkromie. Zatiaľ čo podrobné snímky verejných ciest už možno nájsť v službách ako Google Street View, naša metodika by mohla podporiť opakované a pravidelnejšie skenovanie prostredia. O niekoľkých spoločnostiach v priestore autonómnych vozidiel je tiež známe, že vykonávajú pravidelné skenovanie oblasti pomocou svojho vozového parku; niektoré však môžu využívať iba skeny LiDAR, ktoré môžu byť menej citlivé ako zhromažďovanie snímok z fotoaparátu.“

Metódy a riešenia

Jednotlivé prostredia NeRF je možné pred zostavením do poľa Block-NeRF zmenšiť teoreticky na ľubovoľnú veľkosť. To otvára cestu ku granulárnemu zahrnutiu obsahu, ktorý určite podlieha zmenám, ako sú stromy, a k identifikácii a riadeniu stavebných prác, ktoré môžu pretrvávať aj roky po opätovnom zachytení, ale je pravdepodobné, že sa budú vyvíjať a sa nakoniec stanú konzistentnými entitami.

Avšak v tomto počiatočnom výskumnom výlete sú samostatné bloky NeRF obmedzené na skutočné mestské bloky každého znázorneného prostredia, spojené dohromady s 50% prekrytím, ktoré zaisťuje konzistentný prechod z jedného bloku do druhého, keď používateľ prechádza sieťou.

Každý blok je obmedzený geografickým filtrom. Autori poznamenávajú, že táto časť rámca je otvorená automatizácii a prekvapivo sa ich implementácia spolieha skôr na OpenStreetMap ako na Google Maps.

Polomer priesečníka pre „aktívny“ priestor vykreslenia Block-NeRF. zdroj: Waymo

Bloky sa trénujú paralelne, pričom potrebné bloky sa vykresľujú na požiadanie. Inovatívne kódy vzhľadu sú tiež usporiadané medzi súpravou blokov, čo zaisťuje, že človek neočakávane necestuje do iného počasia, dennej doby alebo dokonca iného ročného obdobia.

Segmenty Block-NeRF sú podmienené expozíciou spôsobom analogickým k vysokému dynamickému rozsahu (HDR) vo fotografickom zdrojovom materiáli. zdroj: Waymo

Schopnosť prepínať osvetlenie a iné premenné prostredia je odvodená od generatívnych latentných optimalizácií zavedených v r NeRF vo voľnej prírode (NeRF-W), ktorá sama odvodila metódu od AI Facebooku z roku 2019 výzkumná práca Optimalizácia latentného priestoru generatívnych sietí.

Sémantický segmentačný model vznikol pre Panoptic-DeepLab v roku 2020 sa používa na blokovanie nežiaducich prvkov (ako sú ľudia a vozidlá)

dátum

Zistenie, že bežné mestské datasety ako napr CityScapes neboli vhodné na takú intenzívnu detailnú prácu, akú prináša Block-NeRF, vedci vytvorili vlastný súbor údajov. Obrazové údaje boli zachytené z 12 kamier, ktoré zahŕňali 360-stupňový pohľad, pričom zábery boli nasnímané pri 10 Hz so skalárnou hodnotou expozície.

Pokryté štvrte San Francisca boli Alamo Square a Mission Bay. Pre zachytávanie Alamo Square bola pokrytá oblasť s rozmermi približne 960 m x 570 m, rozdelená do 35 inštancií Block-NeRF, z ktorých každá bola trénovaná na údajoch z 38 až 48 rôznych cyklov zberu údajov s celkovým časom jazdy 18-28 minút.

Počet prispievajúcich obrázkov pre každý Block-NeRF sa pohyboval medzi 64,575 108,216 až 13.4 1,330 a celkový čas jazdy reprezentovaný pre túto oblasť bol 2,818,745 hodiny v rámci XNUMX XNUMX rôznych cyklov zberu údajov. Výsledkom bolo XNUMX XNUMX XNUMX tréningových obrázkov len pre námestie Alamo. Ďalšie podrobnosti o zbere údajov pre Mission Bay nájdete v dokumente.

Prvýkrát uverejnené 11. februára 2022.