CGI Anyar: Nyieun Neural Neighborhoods Jeung Block-NeRF

Widang Radiance Neural (NeRF) ngawenangkeun objék dijieun deui jeung digali di jero jaringan saraf ngagunakeun ukur sababaraha poto sudut pandang salaku input, tanpa pajeulitna jeung expense métode CGI tradisional.

Tapi, prosésna mahal sacara komputasi, anu mimitina dugi ka lingkungan NeRF modél tabletop skenario. Sanajan kitu, NeRF geus diadopsi ku dedicated, komunitas panalungtikan frantic, nu geus leuwih taun ka tukang. diaktipkeun reconstructions exterior sakumaha ogé manusa neural editable, sagigireun loba inovasi séjén.

Ayeuna inisiatif panalungtikan anyar, nu ngawengku partisipasi Google Panalungtikan, ngakuan wates teuas mungkin dina optimalisasi NeRF, sarta concentrates gantina dina jahit babarengan lingkungan NeRF pikeun nyieun neighborhoods on-demand diwangun ku sababaraha instansi NeRF ngagabung.

Sudut pandang tina jaringan Block-NeRF tina NeRF numbu. Tingali pidéo anu disematkeun dina tungtung tulisan, sareng ogé sumber tautan pikeun pidéo tambahan panjangna resolusi luhur. Sumber: https://waymo.com/research/block-nerf/

Napigasi jaringan NeRFs numbu sacara efektif ngajadikeun NeRF scalable sareng modular, nyayogikeun lingkungan anu tiasa dilayari anu ngamuat bagian-bagian tambahan tina lingkungan sakumaha anu diperyogikeun, dina cara anu sami sareng metode optimasi sumberdaya videogames, dimana naon waé anu aya di sudut jarang dimuat dugi ka janten jelas yén lingkungan bakal diperlukeun.

Dina drive utama pikeun ngabongkar facets misah kayaning cuaca jeung jam, Block-NeRF ogé ngenalkeun 'kode penampilan', sahingga mungkin pikeun dinamis ngarobah waktu beurang:

Ngarobah waktu beurang jeung Block-NeRF. Tingali pidéo anu disematkeun dina tungtung tulisan, sareng ogé sumber tautan pikeun pidéo tambahan panjangna resolusi luhur. Sumber: https://waymo.com/research/block-nerf/

Makalah anyar nunjukkeun yén optimasi NeRF ngadeukeutan wates termal sorangan, sareng yén panyebaran lingkungan sinar saraf kahareup dina kanyataan maya, jinis spheres interaktif sanés, sareng karya VFX, sigana gumantung kana operasi paralel, sami sareng cara Moore. Hukum ahirna masihan jalan ka arsitéktur multi-inti, optimasi paralel sareng pendekatan anyar pikeun cache.

Nu nulis di keretas (judulna Block-NeRF: Scalable Adegan Besar Neural View Synthesis) dipaké 2.8 juta gambar pikeun nyieun pamandangan saraf panggedena kungsi diusahakeun - runtuyan neighborhoods di San Fransisco.

Blok-NeRF napigasi katedral Grace San Fransisco. Tingali pidéo anu disematkeun dina tungtung tulisan, sareng ogé sumber tautan pikeun pidéo tambahan panjangna resolusi luhur. Sumber: https://waymo.com/research/block-nerf/

Panulis kalungguhan dina kertas, ngalambangkeun UC Berkley, nyaeta Matthew Tancik, éta co-inventor Neural Radiance Widang, Anu undertook karya bari intern di parusahaan ngembangkeun téhnologi nyetir otonom Waymo, host tina halaman proyék. Inisiatif ogé nawiskeun tinjauan pidéo di YouTube, dipasang dina tungtung tulisan ieu, sagigireun seueur conto pidéo anu ngadukung sareng tambahan dina halaman proyék.

Makalah ieu dikarang ku sababaraha pamula NeRF anu sanés, kalebet Ben Mildenhall (Google Research), Pratul P. Srinivasan (Google Research), sareng Jonathan T. Barron (Google Research). Kontributor séjén nyaéta Vincent Casser, Xinchen Yan, Sabeek Pradhan, Henrik Kretzschmar sareng Vincent Casser, sadayana ti Waymo.

Block-NeRF dikembangkeun utamina salaku panalungtikan kana lingkungan maya pikeun sistem kendaraan otonom, kalebet mobil sareng drone.

Jalan raya Embarcadero tina sudut pandang 180 derajat di Block-NeRF. Tingali pidéo anu disematkeun dina tungtung tulisan, sareng ogé sumber tautan pikeun pidéo tambahan panjangna resolusi luhur. Sumber: https://waymo.com/research/block-nerf/

Faktor séjén anu tiasa dirobih sacara dinamis dina Blok-NeRF nyaéta aperture lensa (tingali gambar di luhur), cuaca sareng musim.

Sanajan kitu, ngarobah usum bisa ngabalukarkeun parobahan patali dina lingkungan, kayaning tatangkalan tanpa daun, nu merlukeun data input malah leuwih éksténsif ti diwangun pikeun Block-NeRF. Tulisan nyatakeun:

'[Foliage] robah seasonally sarta ngalir dina angin; hasilna ieu ngagambarkeun kabur tatangkalan jeung tutuwuhan. Nya kitu, inconsistencies temporal dina data latihan, kayaning pagawean konstruksi, teu otomatis diatur sarta merlukeun latihan ulang manual tina blok kapangaruhan.'

Rendering Apocalyptic

Upami anjeun ningali pidéo anu dipasang dina tungtung, anjeun bakal perhatikeun a Anu paéh leumpang-gaya sparseness ka lingkungan Blok-NeRF networked. Pikeun sagala rupa alesan, teu saeutik nyadiakeun lingkungan starter simulated pikeun sistem robotic, mobil, pedestrians, sarta objék fana séjén anu ngahaja matted kaluar tina bahan sumber, tapi ieu geus ninggalkeun sababaraha artefak balik, kayaning kalangkang 'dihapus' kandaraan diparkir. :

Kalangkang phantom tina mobil erased. Sumber: https://waymo.com/research/block-nerf/

Pikeun nampung sauntuyan lingkungan pencahyaan sapertos beurang atanapi wengi, jaringan parantos dilatih pikeun ngalebetkeun aliran data anu teu aya hubunganana sareng unggal kaayaan anu dipikahoyong. Dina gambar di handap ieu, urang ningali aliran kontribusi pikeun gambar Block-NeRF jalan raya siang sareng wengi:

The on-demand facets balik hiji tétéla 'dipanggang' Block-NeRF render, ngamungkinkeun pamaké pikeun pindah dina peuting sakumaha diperlukeun. Sumber: https://waymo.com/research/block-nerf/

Pertimbangan Lingkungan sareng Etika

Ngaliwatan sababaraha taun ka tukang, kiriman panalungtikan geus mimiti ngawengku caveats na disclaimers ngeunaan kamungkinan ramifications etika jeung lingkungan tina karya diusulkeun. Dina kasus Block-NeRF, pangarang dicatet yén sarat énergi anu luhur, sarta yén akuntansi pikeun jangka pondok jeung jangka panjang objék fana (saperti daun dina tangkal jeung karya konstruksi, masing-masing) bakal merlukeun re-scanning rutin. data sumber, ngarah kana ngaronjat 'panjagaan' di perkotaan nu model saraf kudu terus diropéa.

Panulis nyatakeun:

'Gumantung kana skala karya ieu keur dilarapkeun di, tungtutan komputasi na bisa ngakibatkeun atawa worsen karuksakan lingkungan lamun énérgi dipaké pikeun ngitung ngakibatkeun ngaronjat émisi karbon. Sakumaha anu disebatkeun dina makalah, urang ngarepkeun padamelan salajengna, sapertos metode cache, anu tiasa ngirangan tungtutan komputasi sahingga ngirangan karusakan lingkungan.'

Ngeunaan panjagaan, aranjeunna neraskeun:

'Aplikasi kahareup karya ieu bisa merlukeun usaha ngumpulkeun data malah leuwih badag, nu raises masalah privasi salajengna. Nalika gambaran lengkep ngeunaan jalan umum parantos tiasa dipendakan dina jasa sapertos Google Street View, metodologi kami tiasa ngamajukeun scan lingkungan anu diulang-ulang sareng langkung teratur. Sababaraha pausahaan di rohangan kandaraan otonom ogé dipikawanoh pikeun ngalakukeun scan wewengkon biasa ngagunakeun armada maranéhanana kandaraan; kumaha oge, sababaraha ngan ukur tiasa ngagunakeun panyeken LiDAR anu tiasa kirang sénsitip tibatan ngumpulkeun gambar kaméra.'

Métode jeung Solusi

Lingkungan NeRF individu tiasa diturunkeun, dina tiori, kana ukuran naon waé sateuacan dirakit kana susunan Blok-NeRF. Ieu muka jalan ka citakan granular eusi nu pasti bisa robah, kayaning tatangkalan, jeung ka idéntifikasi jeung manajemén karya konstruksi, nu bisa persist dina jangka waktu nu leuwih taun komo deui candak, tapi kamungkinan pikeun mekar jeung ahirna jadi éntitas konsisten.

Sanajan kitu, dina outing panalungtikan awal ieu, blok NeRF diskrit dugi ka blok kota sabenerna unggal lingkungan digambarkeun, stitched babarengan, kalawan tumpang tindihna 50% mastikeun transisi konsisten ti hiji blok ka hareup salaku pamaké navigates jaringan.

Unggal blok dibatesan ku saringan geografis. Panulis nyatakeun yén bagian tina kerangka ieu kabuka pikeun otomatisasi, sareng, heran, yén palaksanaanna ngandelkeun OpenStreetMap tinimbang Google Maps.

Radius simpang pikeun spasi ngajadikeun Blok-NeRF 'aktif'. sumber: Waymo

Blok dilatih sacara paralel, kalayan blok anu diperyogikeun dipasihkeun upami diperyogikeun. Kodeu penampilan inovatif ogé diatur diantara blok-set, mastikeun yén hiji teu ngarambat disangka kana cuaca béda, waktos poe, atawa malah usum béda.

Bagéan Block-NeRF dikondisikeun dina paparan dina cara anu sami sareng High Dynamic Range (HDR) dina bahan sumber fotografik. sumber: Waymo

Kamampuhan pikeun ngalihkeun cahaya sareng variabel lingkungan anu sanés diturunkeun tina Generative Latent Optimizations anu diwanohkeun dina NeRF di alam liar (NeRF-W), anu sorangan diturunkeun metode tina 2019 Facebook AI kertas panalungtikan Ngaoptimalkeun Spasi Latén tina Jaringan Generatif.

A model segmentation semantik asalna pikeun Panoptic-DeepLab dina 2020 dianggo pikeun meungpeuk elemen anu teu dihoyongkeun (sapertos jalma sareng kendaraan)

data

Pananjung yén datasets urban umum kayaning CityScapes Éta henteu cocog pikeun detil-karya intensif sapertos Block-NeRF, para panalungtik nyiptakeun set data sorangan. Data gambar dicandak tina 12 kaméra anu ngawengku pintonan 360-derajat, kalayan footage dicandak dina 10 Hz kalayan nilai paparan skalar.

Lingkungan San Fransisco katutupan nyaéta Alamo Square sareng Mission Bay. Pikeun ngarebut Alamo Square, wewengkon kira 960m x 570m ieu katutupan, dibagi kana 35 instansi Blok-NeRF, unggal dilatih dina data tina 38 ka 48 pendataan béda ngalir, kalawan total waktu drive 18-28 menit.

Jumlah gambar contributing pikeun tiap Blok-NeRF lumpat antara 64,575 ka 108,216, jeung sakabéh waktos nyetir digambarkeun pikeun wewengkon ieu 13.4 jam sakuliah 1,330 béda pendataan ngalir. Ieu nyababkeun 2,818,745 gambar latihan ngan pikeun Alamo Square. Tempo kertas pikeun detil tambahan dina pendataan pikeun Misi Bay.

Mimiti diterbitkeun 11 Pébruari 2022.