Uusi CGI: Neuraalialueiden luominen Block-NeRF:llä

Neuraaliset säteilykentät (NeRF) mahdollistaa objektien uudelleenluomisen ja tutkimisen hermoverkoissa käyttämällä vain useita näkökulmakuvia syötteenä ilman perinteisten CGI-menetelmien monimutkaisuutta ja kustannuksia.

Prosessi on kuitenkin laskennallisesti kallis, mikä alun perin rajoitti NeRF-ympäristöt pöytämalli skenaarioita. Siitä huolimatta NeRF on ottanut käyttöön omistautunut, jopa kiihkeä tutkimusyhteisö, joka on viime vuoden aikana mahdollistaneet ulkoremontit sekä muokattavat hermo-ihmiset, monien muiden innovaatioiden lisäksi.

Nyt uusi tutkimushanke, joka sisältää Google Researchin osallistumisen, tunnistaa mahdolliset kovat rajat NeRF:n optimoinnille ja keskittyy sen sijaan yhdistämään NeRF-ympäristöjä, jotta voidaan luoda on-demand -alueita, jotka sisältävät useita koordinoituja NeRF-instansseja.

Näkökulma linkitettyjen NeRF-verkkojen Block-NeRF-verkosta. Katso upotettu video artikkelin lopussa ja myös lähdelinkki korkearesoluutioisiin täysimittaisiin lisävideoihin. Lähde: https://waymo.com/research/block-nerf/

Navigointi linkitettyjen NeRF-verkossa tekee NeRF:stä tehokkaasti skaalautuvan ja modulaarisen tarjoamalla navigoitavia ympäristöjä, jotka lataavat ylimääräisiä osia naapurustosta tarpeen mukaan samalla tavalla kuin videopelien resurssien optimointimenetelmät, joissa kulman takana olevaa ladataan harvoin ennen kuin niitä tarvitaan. käy selväksi, että ympäristöä tarvitaan.

Suurella ajomatkalla irrottaa erilliset näkökohdat, kuten sää ja kellonaika, Block-NeRF ottaa käyttöön myös "ulkonäkökoodit", jotka mahdollistavat vuorokaudenajan dynaamisen muuttamisen:

Kellonajan muuttaminen Block-NeRF:llä. Katso upotettu video artikkelin lopussa ja myös lähdelinkki korkearesoluutioisiin täysimittaisiin lisävideoihin. Lähde: https://waymo.com/research/block-nerf/

Uudessa artikkelissa ehdotetaan, että NeRF-optimointi lähestyy omaa lämpörajaansa ja että neuraalisäteilyympäristöjen tuleva käyttöönotto virtuaalitodellisuudessa, muun tyyppisissä interaktiivisissa sfääreissä ja VFX-työssä riippuu todennäköisesti rinnakkaisista toiminnoista, kuten Mooren tapa. Laki väistyi lopulta moniytimisille arkkitehtuureille, rinnakkaisille optimoinneille ja uusille lähestymistavoille välimuistiin.

Tekijät ovat paperi (oikeutettu Block-NeRF: Skaalautuva Large Scene Neural View Synthesis) käytti 2.8 miljoonaa kuvaa luodakseen suurimman koskaan yritetyn hermoston – sarjan kaupunginosia San Franciscossa.

Block-NeRF navigoi San Franciscon Gracen katedraalissa. Katso upotettu video artikkelin lopussa ja myös lähdelinkki korkearesoluutioisiin täysimittaisiin lisävideoihin. Lähde: https://waymo.com/research/block-nerf/

Lehden johtava kirjoittaja, joka edustaa UC Berkleyä, on Matthew Tancik hermosäteilykenttien toinen keksijä, joka ryhtyi työhön harjoittelijana autonomisen ajoteknologian kehitysyhtiö Waymossa, isäntänä Hankkeen sivu. Aloite tarjoaa myös videokatsauksen YouTubessa, upotettuna tämän artikkelin loppuun, sekä monia tukevia ja täydentäviä videoesimerkkejä projektin sivulla.

Paperin ovat kirjoittaneet useat muut NeRF-alustajat, mukaan lukien Ben Mildenhall (Google Research), Pratul P. Srinivasan (Google Research) ja Jonathan T. Barron (Google Research). Muut osallistujat ovat Vincent Casser, Xinchen Yan, Sabeek Pradhan, Henrik Kretzschmar ja Vincent Casser, kaikki Waymosta.

Block-NeRF kehitettiin ensisijaisesti virtuaaliympäristöjen tutkimukseksi autonomisille ajoneuvojärjestelmille, mukaan lukien itseohjautuvat autot ja droonit.

Embarcaderon tie 180 asteen näkökulmasta Block-NeRF:ssä. Katso upotettu video artikkelin lopussa ja myös lähdelinkki korkearesoluutioisiin täysimittaisiin lisävideoihin. Lähde: https://waymo.com/research/block-nerf/

Muita tekijöitä, joita voidaan muuttaa dynaamisesti Block-NeRF:ssä, ovat objektiivin aukko (katso kuva yllä), sää ja vuodenajat.

Vuodenajan vaihtuminen voi kuitenkin aiheuttaa ympäristöön liittyviä muutoksia, kuten lehtiä sisältämättömiä puita, mikä vaatii vielä laajemman syöttöaineiston kuin Block-NeRF:lle rakennettiin. Lehdessä sanotaan:

'[Lehde] vaihtelee vuodenaikojen mukaan ja liikkuu tuulessa; tämä johtaa puiden ja kasvien epäselviin esityksiin. Vastaavasti ajallisia epäjohdonmukaisuuksia harjoitustiedoissa, kuten rakennustyöt, ei käsitellä automaattisesti, ja ne edellyttävät kyseisten lohkojen manuaalista uudelleenkoulutusta.

Apokalyptinen renderöinti

Jos katsot loppuun upotettua videota, huomaat a Walking Dead-tyylinen harvalukuisuus verkotettuun Block-NeRF-ympäristöön. Eri syistä, ei vähiten simuloidun käynnistysympäristön tarjoamiseksi robottijärjestelmille, autoja, jalankulkijoita ja muita ohimeneviä esineitä on tarkoituksella mattapintainen lähdemateriaalista, mutta tämä on jättänyt taakseen joitain esineitä, kuten "pyyhkittyjen" pysäköityjen ajoneuvojen varjot. :

Poistetun auton haamuvarjo. Lähde: https://waymo.com/research/block-nerf/

Jotta verkkoja voidaan mukauttaa erilaisiin valaistusympäristöihin, kuten päivä tai yö, verkot on koulutettu sisällyttämään erillisiä tietovirtoja, jotka liittyvät kuhunkin haluttuun tilaan. Alla olevassa kuvassa näemme Block-NeRF-materiaalin streamit moottoritiestä päivällä ja yöllä:

Ilmeisesti "paistetun" Block-NeRF-renderöinnin takana olevat on-demand-puolet, joiden avulla käyttäjä voi kytkeä yön päälle tarpeen mukaan. Lähde: https://waymo.com/research/block-nerf/

Ympäristö- ja eettiset näkökohdat

Muutaman viime vuoden aikana tutkimukset ovat alkaneet sisältää varoituksia ja vastuuvapauslausekkeita ehdotetun työn mahdollisista eettisistä ja ympäristövaikutuksista. Block-NeRF:n tapauksessa kirjoittajat huomauttavat, että energiavaatimukset ovat korkeat ja että lyhytaikaisten ja pitkäaikaisten ohimenevien kohteiden (kuten puiden lehtien ja rakennustöiden) huomioon ottaminen vaatisi säännöllistä uudelleenskannausta. lähdetiedot, mikä lisää "seurantaa" kaupunkialueilla, joiden hermomallit on pidettävä ajan tasalla.

Kirjoittajat toteavat:

"Riippuen siitä, missä mittakaavassa tätä työtä sovelletaan, sen laskentavaatimukset voivat johtaa ympäristövahinkoihin tai pahentaa niitä, jos laskemiseen käytetty energia johtaa lisääntyneisiin hiilidioksidipäästöihin. Kuten julkaisussa mainittiin, ennakoimme lisätyötä, kuten välimuistimenetelmiä, jotka voivat vähentää laskentavaatimuksia ja siten lieventää ympäristövahinkoja.

Mitä tulee valvontaan, he jatkavat:

"Tämän työn tulevat sovellukset saattavat edellyttää vielä suurempia tiedonkeruupyrkimyksiä, mikä herättää lisää tietosuojaongelmia. Vaikka yksityiskohtaisia ​​kuvia yleisistä teistä löytyy jo palveluista, kuten Google Street View, menetelmämme voisi edistää toistuvia ja säännöllisempiä ympäristön skannauksia. Useiden autonomisten ajoneuvotilojen yritysten tiedetään myös suorittavan säännöllisiä alueskannauksia ajoneuvokannastaan; Jotkut saattavat kuitenkin käyttää vain LiDAR-skannauksia, jotka voivat olla vähemmän herkkiä kuin kamerakuvien kerääminen.

Menetelmät ja ratkaisut

Yksittäiset NeRF-ympäristöt voidaan teoriassa pienentää mihin tahansa kokoon ennen kuin ne kootaan Block-NeRF-ryhmäksi. Tämä avaa tien ehdottomasti muuttuvan sisällön, kuten puiden, sisällyttämiseen ja rakennustöiden tunnistamiseen ja hallintaan, mikä saattaa säilyä ajan mittaan jopa vuosien ajan uudelleentalpauksen aikana, mutta todennäköisesti kehittyy ja lopulta muuttuvat yhtenäisiksi kokonaisuuksiksi.

Tässä alkuperäisessä tutkimusmatkassa erilliset NeRF-korttelit rajoittuvat kuitenkin kunkin kuvatun ympäristön varsinaisiin kaupunkikortteihin, jotka on ommeltu yhteen 50 %:n päällekkäisyydellä, mikä varmistaa johdonmukaisen siirtymisen korttelista toiseen käyttäjän navigoiessa verkossa.

Jokaista lohkoa rajoittaa maantieteellinen suodatin. Kirjoittajat huomauttavat, että tämä osa viitekehyksestä on avoin automatisoinnille, ja yllättäen niiden toteutus perustuu OpenStreetMapiin Google Mapsiin.

Block-NeRF 'aktiivisen' renderöintitilan leikkaussäde. Lähde: Waymo

Lohkoja opetetaan rinnakkain ja tarvittavat lohkot renderöidään pyynnöstä. Myös innovatiiviset ulkoasukoodit on organisoitu lohkosarjaan, mikä varmistaa, että ei matkusta yllättäen eri säähän, vuorokaudenaikaan tai jopa eri vuodenaikaan.

Block-NeRF-segmentit säädellään valotuksella tavalla, joka on analoginen valokuvalähdemateriaalin HDR:n (High Dynamic Range) kanssa. Lähde: Waymo

Mahdollisuus vaihtaa valaistusta ja muita ympäristömuuttujia on johdettu vuonna XNUMX esitellyistä generatiivisista piilevistä optimoinneista. Nerf luonnossa (NeRF-W), joka itse johti menetelmän 2019 Facebook AI: sta tutkimus paperi Generatiivisten verkkojen piilevän tilan optimointi.

Semanttinen segmentointimalli syntyi Panoptic-DeepLab vuonna 2020 käytetään estämään ei-toivotut elementit (kuten ihmiset ja ajoneuvot)

Päiväys

Löytää, että yleiset kaupunkitietojoukot, kuten Kaupunkimaisemat eivät sovellu niin intensiiviseen yksityiskohtatyöskentelyyn kuin Block-NeRF edellyttää, tutkijat muodostivat oman aineistonsa. Kuvatiedot otettiin 12 kamerasta, jotka sisälsivät 360 asteen näkymän, ja materiaalit otettiin 10 Hz:llä skalaarivalotusarvolla.

San Franciscon kaupunginosat olivat Alamo Square ja Mission Bay. Alamo Square -kaappauksia varten katettiin noin 960 m x 570 m suuruinen alue, joka oli jaettu 35 Block-NeRF-instanssiin, joista jokainen oli koulutettu dataan 38–48 eri tiedonkeruujaksosta, joiden kokonaisajoaika oli 18–28 minuuttia.

Kuhunkin Block-NeRF:iin vaikuttavien kuvien määrä oli välillä 64,575 108,216–13.4 1,330, ja tällä alueella edustettuna kokonaisajoaika oli 2,818,745 tuntia XNUMX XNUMX eri tiedonkeruuajon aikana. Tuloksena oli XNUMX XNUMX XNUMX harjoituskuvaa vain Alamo-aukiolle. Katso paperista lisätietoja Mission Bayn tiedonkeruusta.

Julkaistu ensimmäisen kerran 11.