Uusi CGI: Luomalla Neuraalisia Naapureita Block-NeRF:llä

Neuraaliset säteilykentät (NeRF) mahdollistavat objektien rekonstruoimisen ja tutkimisen neuroverkkojen sisällä käyttämällä useita näkökulmia valokuvia syötteenä, ilman perinteisten CGI-menetelmien monimutkaisuutta ja kustannuksia.

Kuitenkin prosessi on laskennallisesti kallista, mikä aluksi rajoitti NeRF-ympäristöjä pöytämallin skenaarioihin. Huolimatta siitä, NeRF on omaksuttu omistautuneessa, jopa frenetiikissä tutkimusyhteisössä, joka on viimeisen vuoden aikana mahdollistanut ulkoisten rekonstruktioita sekä muokattavia neuronaalisia ihmisiä, lisäksi monia muita innovaatioita.

Nyt uusi tutkimushanke, johon osallistuu Google Research, tunnustaa mahdolliset kovat rajat NeRF:n optimoinnissa, ja keskittyy sen sijaan NeRF-ympäristöjen yhdistämiseen luomaan tarvittaessa naapureita, jotka koostuvat useista koordinoituista NeRF-istansseista.

Näkökulma Block-NeRF-verkosta kytketyistä NeRF:istä. Katso upotettu video artikkelin lopussa, ja myös lähde-linkki korkearesoluutioisille täyspitkille täydentäville videoille. Lähde: https://waymo.com/research/block-nerf/

Verkoston kytkettyjen NeRF:ien navigointi tekee NeRF:istä skaalautuvia ja modulaarisia, tarjoamalla navigoituja ympäristöjä, jotka lataavat lisää naapuruston osia tarpeen mukaan, tapaan, joka muistuttaa videopelien resurssien optimointimenetelmiä, joissa se, mitä on kulman takana, ladataan harvoin, ennen kuin on selvää, että ympäristöä tarvitaan.

Merkitsevässä pyrkimyksessä erottaa erillisiä aspekteja, kuten sää ja tunti, Block-NeRF esittelee myös “ulkoasukoodit”, jotka mahdollistavat dynaamisen ajan muuttamisen:

Ajan muuttaminen Block-NeRF:llä. Katso upotettu video artikkelin lopussa, ja myös lähde-linkki korkearesoluutioisille täyspitkille täydentäville videoille. Lähde: https://waymo.com/research/block-nerf/

Uusi tutkimusartikkeli ehdottaa, että NeRF:n optimointi lähestyy omaa termistä rajaansa, ja että tulevat neural radiance -ympäristöjen käyttöönotot virtuaalitodellisuudessa, muiden interaktiivisten sfäärien ja VFX-työssä, ovat todennäköisesti riippuvaisia rinnakkaisista operaatioista, samalla tavalla kuin Mooren laki lopulta antoi tilaa moniydinten arkkitehtuureille, rinnakkaisille optimoinneille ja uusille lähestymistavoille välimuistin hallintaan.

Artikkelin kirjoittajat (joiden artikkeli on otsikoitu Block-NeRF: Scalable Large Scene Neural View Synthesis)) käyttivät 2,8 miljoonaa kuvaa luomaan suurimman koskaan yritetyn neuronaalisen kohtauksen – sarjan naapureita San Franciscossa.

Block-NeRF navigoi San Franciscon Grace Cathedralin kautta. Katso upotettu video artikkelin lopussa, ja myös lähde-linkki korkearesoluutioisille täyspitkille täydentäville videoille. Lähde: https://waymo.com/research/block-nerf/

Artikkelin pääkirjoittaja, joka edustaa UC Berkeleyä, on Matthew Tancik, Neuraalisten säteilykenttien keksijä, joka teki työn ollessaan harjoittelijana autonomisen ajoteknologian kehitysyhtiö Waymossa, joka isännöi hankkeen sivua. Hanke tarjoaa myös videoesittelyn YouTubessa, joka on upotettu artikkelin loppuun, lisäksi monia tukivideoita ja täydentäviä videoita hankesivulla.

Artikkeli on kirjoitettu useiden muiden NeRF:in alkuperäisten kehittäjien kanssa, mukaan lukien Ben Mildenhall (Google Research), Pratul P. Srinivasan (Google Research) ja Jonathan T. Barron (Google Research). Muut avustajat ovat Vincent Casser, Xinchen Yan, Sabeek Pradhan, Henrik Kretzschmar ja Vincent Casser, kaikki Waymosta.

Block-NeRF kehitettiin pääasiassa tutkimukseksi virtuaalisista ympäristöistä autonomisille ajoneuvojärjestelmille, mukaan lukien itseajavat autot ja lennokit.

Embarcaderon maantie 180 asteen näkökulmasta Block-NeRF:ssä. Katso upotettu video artikkelin lopussa, ja myös lähde-linkki korkearesoluutioisille täyspitkille täydentäville videoille. Lähde: https://waymo.com/research/block-nerf/

Muita tekijöitä, jotka voidaan dynaamisesti muuttaa Block-NeRF:ssä, ovat linssin aukko (katso yllä oleva kuva), sää ja vuodenaikaiset vaihtelut.

Kuitenkin vuodenajan muuttaminen voi aiheuttaa muutoksia ympäristössä, kuten puita ilman lehtiä, mikä vaatii laajemman syötedatan kuin mitä Block-NeRF:lle rakennettiin. Artikkeli toteaa:

‘[Lehtien] muutokset vuodenaikaisesti ja liikkuvat tuulessa; tämä johtaa sumeisiin edustuksiin puita ja kasveja. Samoin, aikaiset epäjohdonmukaisuudet koulutusaineistossa, kuten rakennustyöt, eivät käsitellä automaattisesti ja vaativat manuaalista uudelleenkoulutusta vaikuttaville osille.’

Apokalyptinen Renderöinti

Jos katsot videota artikkelin lopussa, huomaat Walking Dead-tyylisen niukkuuden verkkoympäristössä. Monista syistä, ei vähiten simuloituun aloitusympäristöön robotiikka- ja ajoneuvosysteemeille, jalankulkijoille ja muille väliaikaisille objekteille poistettiin tarkoituksella alkuperäisaineistosta, mutta tämä on jättänyt jälkeensä joitakin artefakteja, kuten “poistettujen” pysäköityjen ajoneuvojen varjoja:

Haamuvanha “poistetun” auton varjo. Lähde: https://waymo.com/research/block-nerf/

Jotta voidaan mukautua erilaisiin valaistusympäristöihin, kuten päivä ja yö, verkot on koulutettu sisällyttämään eriytettyjä tietovirtoja, jotka liittyvät kunkin toivottuun tilaan. Alla olevassa kuvassa näemme Block-NeRF-kuvauksen avainvirrat maantien päivä- ja yöaikana:

Tarvittavat avainvirrat näennäisesti “paistetussa” Block-NeRF-renderöinnissä, joka mahdollistaa käyttäjän valita yön, kun se vaaditaan. Lähde: https://waymo.com/research/block-nerf/

Ympäristölliset ja Eettiset Huomioonotot

Viime vuosina tutkimusjulkaisuissa on alettu sisällyttää varoituksia ja huomautuksia mahdollisista eettisistä ja ympäristöllisistä seurauksista ehdotetusta työstä. Block-NeRF:n tapauksessa kirjoittajat toteavat, että energianvaatimukset ovat suuret, ja että lyhytaikaisen ja pitkäaikaisen väliaikaisen olion (kuten lehtien ja rakennustyön) huomioon ottaminen vaatisi säännöllistä uudelleen skannausta alkuperäisaineistosta, mikä johtaisi “valvontaan” kaupunkialueilla, joiden neuronaaliset mallit on pidettävä ajan tasalla.

Kirjoittajat toteavat:

‘Riippuen siitä, mihin mittakaavaan tämä työ sovelletaan, sen laskennalliset vaatimukset voivat johtaa tai pahentaa ympäristövahinkoa, jos laskennan energiankulutus johtaa kasvihuonekaasupäästöjen lisääntymiseen. Kuten mainitaan artikkelissa, ennustamme tulevaa työtä, kuten välimuistimenetelmiä, jotka voivat vähentää laskennan vaatimuksia ja siten lieventää ympäristövahinkoa.’

Valvontaa koskien he jatkavat:

‘Tämän työn tulevat sovellukset saattavat vaatia vielä suurempia tietojen keruuyrityksiä, mikä herättää lisää yksityisyyden huolia. Vaikka yksityiskohtaiset kuvat julkisista teistä voidaan jo löytää palveluista kuten Google Street View, our metodimme voivat edistää toistuvampaa ja säännöllisempää skannausta ympäristöstä. Joitakin yrityksiä autonomisessa ajoneuvotoimialassa tiedetään myös suorittavan säännöllisiä alueiden skannauksia ajoneuvoverkollaan; kuitenkin jotkut voivat käyttää ainoastaan LiDAR-skannauksia, jotka voivat olla herkempiä kuin kamerakuvien kerääminen.’

Menetelmät ja Ratkaisut

Yksittäiset NeRF-ympäristöt voidaan teoriassa skaalata alas mihin tahansa koosta ennen niiden kokoamista Block-NeRF-matriisiin. Tämä avaa tien granulaarisen sisällön mukaan ottamiseen, joka on varmasti muutoksen alainen, kuten puita, ja rakennustyön tunnistamiseen ja hallintaan, jotka voivat kestää jopa useita vuosia uudelleenkaappaamisen ajan, mutta ovat todennäköisesti kehittyvät ja lopulta muodostuvat yhdenmukaisiksi entiteeteiksi.

Kuitenkin tässä alkuvaiheen tutkimuksessa erilliset NeRF-lohkot ovat rajoitettu itse kaupunkilohkoihin, joita esitetään, ja ne on kytketty toisiinsa 50%:n päällekkäisyyden varmistamiseksi tasaisesta siirtymisestä yhdestä lohkosta toiseen, kun käyttäjä navigoi verkossa.

Kunkin lohkon rajoittaa maantieteellinen suodatin. Kirjoittajat toteavat, että tämä osa kehyksestä on avoin automaatioon, ja yllättäen, heidän toteutuksensa perustuu OpenStreetMapiin eikä Google Mapsiin.

Block-NeRF ‘aktiivisen’ renderöintitilan leikkausalue. Lähde: Waymo

Lohkot koulutetaan rinnakkain, ja tarvittavat lohkot renderöidään tarpeen mukaan. Innovatiiviset ulkoasukoodit ovat myös orkesteroituna lohkkojoukon kesken, varmistamalla, ettei yllättäen joutuisi erilaisiin sääoloihin, vuorokaudenaikaan tai jopa eri vuodenaikaan.

Block-NeRF-segmentit on ehditettu altistukselle tavalla, joka vastaa High Dynamic Range (HDR) valokuvauksessa. Lähde: Waymo

Valaistuksen ja muiden ympäristömuuttujien vaihtaminen perustuu generatiivisen latentin optimointiin, joka esiteltiin NeRF in the Wild (NeRF-W) -tutkimuksessa, joka puolestaan perustui Facebook AI:n tutkimusartikkeliin Optimizing the Latent Space of Generative Networks vuodelta 2019.

Semanttinen segmentointimalli, joka on peräisin Panoptic-DeepLab:sta vuodelta 2020, käytetään poistamaan ei-toivottuja elementtejä (kuten ihmisiä ja ajoneuvoja)

Data

Toteuttaessaan, että yleiset kaupunkidatasaamiset, kuten CityScapes, eivät olleet sovellettavissa Block-NeRF:n kaltaiseen yksityiskohtaiseen työhön, tutkijat loivat oman datasaamisen. Kuvadata kerättiin 12 kamerasta, jotka kattoivat 360 asteen näkökulman, ja kuvamateriaalia otettiin 10 Hz:n taajuudella skalaarisella altistusarvolla.

San Franciscon naapureista, joita tutkittiin, olivat Alamo Square ja Mission Bay. Alamo Squaren osalta noin 960m x 570m:n alue jaettiin 35 Block-NeRF-ekземпляriin, joista kunkin koulutusaineisto koostui 38-48 eri datankeruukerrasta, ja yhteensä 18-28 minuutin ajon aikana. Kunkin Block-NeRF:n avainkuvien määrä vaihteli 64 575:stä 108 216:een, ja yhteensä 13,4 tuntia kestäneiden 1 330 eri datankeruukerran aikana kerättiin 2 818 745 koulutuskuvausta vain Alamo Squarelle. Katso artikkeli lisätietoja datankeruusta Mission Baylle.

Julkaistu ensimmäisen kerran 11. helmikuuta 2022.