Andersonin kulma

Uusi CGI: neuraalisten kaupunginosien luominen Block-NeRF:llä

Martin Anderson
Lisää Unite.AI suosikkilähteisiisi Google-palvelussa
Keskeiset kohdatBlock-NeRF yhdistää erilliset NeRF-instanssit skaalautuviksi navigoitaviksi…
Näytä lisää
  • Block-NeRF yhdistää erilliset NeRF-instanssit skaalautuviksi navigoitaviksi naapurustoiksi, jotka ladataan tarpeen mukaan.
  • Block-NeRF:n ulkonäkökoodit mahdollistavat dynaamiset muutokset, kuten vuorokaudenajan, ilman koko kohtauksen uudelleenkoulutusta.
  • Projektissa käytettiin 2,8 miljoonaa kuvaa Waymosta luomaan suurin neuroverkko-kohtaus San Franciscon kortteleista.

Neuraaliset säteilykentät (NeRF) mahdollistavat objektien rekonstruoimisen ja tutkimisen neuroverkkojen sisällä käyttämällä useista kuvakulmista otettuja valokuvia syötteenä, ilman perinteisten CGI-menetelmien monimutkaisuutta ja kustannuksia.

Kuitenkin prosessi on laskennallisesti kallis, mikä aluksi rajoitti NeRF-ympäristöjä pöytämallin skenaarioihin. Huolimatta siitä, NeRF on omaksuttu omistautuneessa, jopa kiihkeässä tutkimusyhteisössä, joka on viimeisen vuoden aikana mahdollistanut ulkoympäristöjen rekonstruoinnin sekä muokattavia neuronaalisia ihmisiä, lisäksi monia muita innovaatioita.

Nyt uusi tutkimushanke, johon osallistuu Google Research, tunnustaa mahdolliset kovat rajat NeRF:n optimoinnissa, ja keskittyy sen sijaan NeRF-ympäristöjen yhdistämiseen luomaan tarvittaessa kaupunginosia, jotka koostuvat useista koordinoituista NeRF-instansseista.

Näkökulma Block-NeRF-verkosta kytketyistä NeRF:istä. Katso upotettu video artikkelin lopussa, ja myös lähde-linkki korkearesoluutioisille täyspitkille täydentäville videoille. Lähde: https://waymo.com/research/block-nerf/

Näkökulma Block-NeRF-verkosta kytketyistä NeRF:istä. Katso upotettu video artikkelin lopussa, ja myös lähde-linkki korkearesoluutioisille täyspitkille täydentäville videoille. Lähde: https://waymo.com/research/block-nerf/

Verkoston kytkettyjen NeRF:ien navigointi tekee NeRF:istä skaalautuvia ja modulaarisia, tarjoamalla navigoitavia ympäristöjä, jotka lataavat lisää naapuruston osia tarpeen mukaan, tapaan, joka muistuttaa videopelien resurssien optimointimenetelmiä, joissa se, mitä on kulman takana, ladataan harvoin, ennen kuin on selvää, että ympäristöä tarvitaan.

Merkitsevässä pyrkimyksessä erottaa erillisiä aspekteja, kuten sää ja vuorokaudenaika, Block-NeRF esittelee myös “ulkoasukoodit”, jotka mahdollistavat vuorokaudenajan muuttamisen dynaamisesti:

Vuorokaudenajan muuttaminen Block-NeRF:llä. Katso upotettu video artikkelin lopussa, ja myös lähde-linkki korkearesoluutioisille täyspitkille täydentäville videoille. Lähde: https://waymo.com/research/block-nerf/

Vuorokaudenajan muuttaminen Block-NeRF:llä. Katso upotettu video artikkelin lopussa, ja myös lähde-linkki korkearesoluutioisille täyspitkille täydentäville videoille. Lähde: https://waymo.com/research/block-nerf/

Uusi tutkimusartikkeli ehdottaa, että NeRF:n optimointi lähestyy omaa termistä rajaansa, ja että tulevat neural radiance -ympäristöjen käyttöönotot virtuaalitodellisuudessa, muiden interaktiivisten sfäärien ja VFX-työssä, ovat todennäköisesti riippuvaisia rinnakkaisista operaatioista, samalla tavalla kuin Mooren laki lopulta antoi tilaa moniydinten arkkitehtuureille, rinnakkaisille optimoinneille ja uusille lähestymistavoille välimuistin hallintaan.

Tutkimusartikkelin kirjoittajat (joiden artikkeli on otsikoitu Block-NeRF: Scalable Large Scene Neural View Synthesis)) käyttivät 2,8 miljoonaa kuvaa luomaan suurimman koskaan yritetyn neuronaalisen kohtauksen – joukon kaupunginosia San Franciscossa.

Block-NeRF navigoi San Franciscon Grace Cathedralin kautta. Katso upotettu video artikkelin lopussa, ja myös lähde-linkki korkearesoluutioisille täyspitkille täydentäville videoille. Lähde: https://waymo.com/research/block-nerf/

Block-NeRF navigoi San Franciscon Grace Cathedralin kautta. Katso upotettu video artikkelin lopussa, ja myös lähde-linkki korkearesoluutioisille täyspitkille täydentäville videoille. Lähde: https://waymo.com/research/block-nerf/

Artikkelin pääkirjoittaja, joka edustaa UC Berkeleyä, on Matthew Tancik, yksi neuraalisten säteilykenttien kehittäjistä, joka teki työn ollessaan harjoittelijana autonomisen ajoteknologian kehitysyhtiö Waymossa, joka isännöi hankkeen sivua. Hanke tarjoaa myös videoesittelyn YouTubessa, joka on upotettu artikkelin loppuun, lisäksi monia tukivideoita ja täydentäviä videoita hankesivulla.

Artikkeli on kirjoitettu useiden muiden NeRF:in alkuperäisten kehittäjien kanssa, mukaan lukien Ben Mildenhall (Google Research), Pratul P. Srinivasan (Google Research) ja Jonathan T. Barron (Google Research). Muut avustajat ovat Vincent Casser, Xinchen Yan, Sabeek Pradhan ja Henrik Kretzschmar, kaikki Waymosta.

Block-NeRF kehitettiin pääasiassa tutkimukseksi virtuaalisista ympäristöistä autonomisille ajoneuvojärjestelmille, mukaan lukien itseajavat autot ja lennokit.

Embarcaderon maantie 180 asteen näkökulmasta Block-NeRF:ssä. Katso upotettu video artikkelin lopussa, ja myös lähde-linkki korkearesoluutioisille täyspitkille täydentäville videoille. Lähde: https://waymo.com/research/block-nerf/

Embarcaderon maantie 180 asteen näkökulmasta Block-NeRF:ssä. Katso upotettu video artikkelin lopussa, ja myös lähde-linkki korkearesoluutioisille täyspitkille täydentäville videoille. Lähde: https://waymo.com/research/block-nerf/

Muita tekijöitä, jotka voidaan dynaamisesti muuttaa Block-NeRF:ssä, ovat linssin aukko (katso yllä oleva kuva), sää ja vuodenaikaiset vaihtelut.

Kuitenkin vuodenajan muuttaminen voi aiheuttaa muutoksia ympäristössä, kuten puita ilman lehtiä, mikä vaatii laajemman syötedatan kuin mitä Block-NeRF:lle rakennettiin. Artikkeli toteaa:

‘[Lehvästö] muuttuu vuodenaikojen mukaan ja liikkuu tuulessa, minkä vuoksi puiden ja kasvien esitykset sumentuvat. Myöskään koulutusaineiston ajallisia epäjohdonmukaisuuksia, kuten rakennustöitä, ei käsitellä automaattisesti, vaan kyseiset lohkot on koulutettava uudelleen manuaalisesti.’

Apokalyptinen Renderöinti

Jos katsot videota artikkelin lopussa, huomaat Walking Dead-tyylisen niukkuuden verkkoympäristössä. Monista syistä, erityisesti robottijärjestelmille tarkoitetun simuloidun lähtöympäristön luomiseksi, autot, jalankulkijat ja muut tilapäiset kohteet poistettiin tarkoituksella lähdeaineistosta, mutta tämä on jättänyt jälkeensä joitakin artefakteja, kuten “poistettujen” pysäköityjen ajoneuvojen varjoja:

Poistetun auton jäljelle jäänyt haamuvarjo. Lähde: https://waymo.com/research/block-nerf/

Poistetun auton jäljelle jäänyt haamuvarjo. Lähde: https://waymo.com/research/block-nerf/

Jotta voidaan mukautua erilaisiin valaistusympäristöihin, kuten päivä ja yö, verkot on koulutettu sisällyttämään eriytettyjä tietovirtoja, jotka liittyvät kunkin toivottuun tilaan. Alla olevassa kuvassa näemme Block-NeRF-kuvauksen avainvirrat maantien päivä- ja yöaikana:

Tarvittaessa käytettävät osatekijät näennäisesti valmiiksi lasketun Block-NeRF-renderöinnin taustalla mahdollistavat yövalaistuksen valitsemisen. Lähde: https://waymo.com/research/block-nerf/

Tarvittaessa käytettävät osatekijät näennäisesti valmiiksi lasketun Block-NeRF-renderöinnin taustalla mahdollistavat yövalaistuksen valitsemisen. Lähde: https://waymo.com/research/block-nerf/

Ympäristölliset ja Eettiset Huomioonotot

Viime vuosina tutkimusjulkaisuissa on alettu sisällyttää varoituksia ja huomautuksia mahdollisista eettisistä ja ympäristöllisistä seurauksista ehdotetusta työstä. Block-NeRF:n tapauksessa kirjoittajat toteavat, että energianvaatimukset ovat suuret, ja että lyhytaikaisen ja pitkäaikaisen väliaikaisen olion (kuten lehtien ja rakennustyön) huomioon ottaminen vaatisi säännöllistä uudelleen skannausta alkuperäisaineistosta, mikä johtaisi “valvontaan” kaupunkialueilla, joiden neuronaaliset mallit on pidettävä ajan tasalla.

Kirjoittajat toteavat:

‘Riippuen siitä, mihin mittakaavaan tämä työ sovelletaan, sen laskennalliset vaatimukset voivat johtaa tai pahentaa ympäristövahinkoa, jos laskennan energiankulutus johtaa kasvihuonekaasupäästöjen lisääntymiseen. Kuten mainitaan artikkelissa, ennustamme tulevaa työtä, kuten välimuistimenetelmiä, jotka voivat vähentää laskennan vaatimuksia ja siten lieventää ympäristövahinkoa.’

Valvontaa koskien he jatkavat:

‘Tämän työn tulevat sovellukset saattavat vaatia vielä suurempia tietojen keruuyrityksiä, mikä herättää lisää yksityisyyden huolia. Vaikka yksityiskohtaiset kuvat julkisista teistä voidaan jo löytää palveluista kuten Google Street View, menetelmämme voivat edistää toistuvampaa ja säännöllisempää skannausta ympäristöstä. Joitakin yrityksiä autonomisessa ajoneuvotoimialassa tiedetään myös suorittavan säännöllisiä alueiden skannauksia ajoneuvoverkollaan; kuitenkin jotkut voivat käyttää ainoastaan LiDAR-skannauksia, jotka voivat olla yksityisyyden kannalta vähemmän arkaluonteisia kuin kamerakuvien kerääminen.’

Menetelmät ja Ratkaisut

Yksittäiset NeRF-ympäristöt voidaan teoriassa skaalata alas mihin tahansa kokoon ennen niiden kokoamista Block-NeRF-matriisiin. Tämä avaa tien granulaarisen sisällön mukaan ottamiseen, joka on varmasti muutoksen alainen, kuten puita, ja rakennustyön tunnistamiseen ja hallintaan, jotka voivat kestää jopa useita vuosia uudelleenkaappaamisen ajan, mutta ovat todennäköisesti kehittyvät ja lopulta muodostuvat yhdenmukaisiksi entiteeteiksi.

Kuitenkin tässä alkuvaiheen tutkimuksessa erilliset NeRF-lohkot ovat rajoitettu itse kaupunkilohkoihin, joita esitetään, ja ne on kytketty toisiinsa 50%:n päällekkäisyyden varmistamiseksi tasaisesta siirtymisestä yhdestä lohkosta toiseen, kun käyttäjä navigoi verkossa.

Kutakin lohkoa rajoittaa maantieteellinen suodatin. Kirjoittajat toteavat, että tämä osa kehyksestä on avoin automaatioon, ja yllättäen, heidän toteutuksensa perustuu OpenStreetMapiin eikä Google Mapsiin.

Block-NeRF 'aktiivisen' renderöintitilan leikkausalue. Lähde: Waymo

Block-NeRF ‘aktiivisen’ renderöintitilan leikkausalue. Lähde: Waymo

Lohkot koulutetaan rinnakkain, ja tarvittavat lohkot renderöidään tarpeen mukaan. Innovatiiviset ulkoasukoodit ovat myös orkesteroituna lohkkojoukon kesken, varmistamalla, ettei yllättäen joutuisi erilaisiin sääoloihin, vuorokaudenaikaan tai jopa eri vuodenaikaan.

Block-NeRF-segmentit on ehdollistettu valotuksen mukaan tavalla, joka vastaa High Dynamic Range (HDR) valokuvauksessa. Lähde: Waymo

Block-NeRF-segmentit on ehdollistettu valotuksen mukaan tavalla, joka vastaa High Dynamic Range (HDR) valokuvauksessa. Lähde: Waymo

Valaistuksen ja muiden ympäristömuuttujien vaihtaminen perustuu generatiivisen latentin optimointiin, joka esiteltiin NeRF in the Wild (NeRF-W) -tutkimuksessa, joka puolestaan perustui Facebook AI:n tutkimusartikkeliin Optimizing the Latent Space of Generative Networks vuodelta 2019.

Semanttinen segmentointimalli, joka on peräisin Panoptic-DeepLab:sta vuodelta 2020, käytetään poistamaan ei-toivottuja elementtejä (kuten ihmisiä ja ajoneuvoja)

Data

Toteuttaessaan, että yleiset kaupunkiaineistot, kuten CityScapes, eivät olleet sovellettavissa Block-NeRF:n kaltaiseen yksityiskohtaiseen työhön, tutkijat loivat oman aineiston. Kuvadata kerättiin 12 kamerasta, jotka kattoivat 360 asteen näkökulman, ja kuvamateriaalia otettiin 10 Hz:n taajuudella skalaarisella valotusarvolla.

Tutkitut San Franciscon kaupunginosat olivat Alamo Square ja Mission Bay. Alamo Squaren osalta noin 960m x 570m:n alue jaettiin 35 Block-NeRF-instanssiin, joista kunkin koulutusaineisto koostui 38-48 eri datankeruukerrasta, ja yhteensä 18-28 minuutin ajon aikana. Kunkin Block-NeRF:n avainkuvien määrä vaihteli 64 575:stä 108 216:een, ja yhteensä 13,4 tuntia kestäneiden 1 330 eri datankeruukerran aikana kerättiin 2 818 745 koulutuskuvaa vain Alamo Squarelle. Katso artikkeli lisätietoja datankeruusta Mission Baylle.

 

Julkaistu ensimmäisen kerran 11. helmikuuta 2022.

Kirjoittaja koneoppimisen parissa, ihmisiä esittävien kuvien synteesin asiantuntija. Entinen tutkimussisällön johtaja Metaphysic.ai:ssa, kunnes se sulautui DNEG:n Brahma.ai:hin.
Verkkosivu: martinanderson.ai
Yhteystiedot: martin@martinanderson.ai