Andersons vinkel
Den nye CGI-en: Å lage nevrale modeller av nabolag med Block-NeRF

Viktige punkterBlock-NeRF 将独立的 NeRF 实例拼接成可按需加载的可扩展可导航街区。
Vis mer
- Block-NeRF 将独立的 NeRF 实例拼接成可按需加载的可扩展可导航街区。
- Block-NeRF 中的外观编码允许在不重新训练整个场景的情况下实现动态变化,例如一天中的不同时间。
- 该项目使用了来自 Waymo 的 280 万张图像,创建了旧金山街区最大的神经场景。
Nevrale strålingsfelt (NeRF) gjør det mulig å gjenskape og utforske objekter inne i neurale nettverk ved hjelp av flere fotografier tatt fra ulike vinkler, uten den kompleksiteten og kostnadene forbundet med tradisjonelle CGI-metoder.
Likevel er prosessen beregningskrevende, noe som opprinnelig begrenset NeRF-miljøer til modellscenarier på bordet. Likevel har NeRF blitt tatt i bruk av et dedikert, ja, til og med frenetisk forskningsmiljø, som over det siste året har gjort det mulig å gjenskape utendørsområder samt redigerbare nevrale modeller av mennesker, samt mange andre innovasjoner.
Nå er det igangsatt et nytt forskningsinitiativ, som inkluderer deltakelse fra Google Research, som erkjenner de mulige grensene for å optimalisere NeRF, og i stedet fokuserer på å sy sammen NeRF-miljøer for å skape på forespørsel nabolag bestående av flere koordinerte NeRF-eksemplarer.

Visning fra et Block-NeRF-nettverk av sammenkoblede NeRF-er. Se innebygd video på slutten av artikkelen, og også kilde-link for høyoppløselige, fulle lengde supplerende videoer. Kilde: https://waymo.com/research/block-nerf/
Navigering i nettverket av sammenkoblede NeRF-er gjør NeRF skalerbart og modulært, og gir navigerbare miljøer som laster inn ekstra deler av nabolaget etter behov, på en måte som ligner ressursoptimeringsmetodene i videospill, hvor det som er rundt hjørnet sjelden lastes inn før det blir klart at miljøet kommer til å være nødvendig.
Som del av en omfattende innsats for å skille separate aspekter som vær og tid, innfører Block-NeRF også ‘utseendekoder’, som gjør det mulig å dynamisk endre tid på dagen:


Endring av tid på dagen med Block-NeRF. Se innebygd video på slutten av artikkelen, og også kilde-link for høyoppløselige, fulle lengde supplerende videoer. Kilde: https://waymo.com/research/block-nerf/
Den nye artikkelen foreslår at NeRF-optimalisering nærmer seg sin egen termiske grense, og at fremtidige utviklinger av nevrale strålingsfelt i virtuell virkelighet, andre typer interaktive sfærer og VFX-arbeid, sannsynligvis kommer til å avhenge av parallell drift, på samme måte som Moores lov til slutt ga plass til multi-kjerne-arkitekturer, parallell optimering og nye tilnærminger til caching.
Forfatterne av artikkelen (med tittelen Block-NeRF: Skalerbart, stort scenarie, neuralt synssyntese) brukte 2,8 millioner bilder for å skape det største neurale scenariet noensinne forsøkt – en serie nabolag i San Francisco.

Block-NeRF navigerer i San Franciscos Grace Cathedral. Se innebygd video på slutten av artikkelen, og også kilde-link for høyoppløselige, fulle lengde supplerende videoer. Kilde: https://waymo.com/research/block-nerf/
Hovedforfatteren på artikkelen, som representerer UC Berkeley, er Matthew Tancik, med-oppfinneren av nevrale strålingsfelt, som utførte arbeidet som praktikant i Waymo, et selskap som utvikler teknologi for autonom kjøring, som er vert for prosjektsiden. Initiativet tilbyr også en videooversikt på YouTube, innebygd på slutten av denne artikkelen, samt mange støttende og supplerende videoeksempler på prosjektsiden.
Artikkelen er skrevet sammen med flere andre NeRF-oppfinnere, inkludert Ben Mildenhall (Google Research), Pratul P. Srinivasan (Google Research) og Jonathan T. Barron (Google Research). De andre bidragsyterne er Vincent Casser, Xinchen Yan, Sabeek Pradhan, Henrik Kretzschmar, alle fra Waymo.
Block-NeRF ble utviklet hovedsakelig som forskning på virtuelle miljøer for autonome kjøretøysystemer, inkludert selvkjørende biler og droner.

Embarcadero-veien fra en 180-graders visningsvinkel i Block-NeRF. Se innebygd video på slutten av artikkelen, og også kilde-link for høyoppløselige, fulle lengde supplerende videoer. Kilde: https://waymo.com/research/block-nerf/
Andre faktorer som kan endres dynamisk i Block-NeRF er blant annet eksponering (se bildet ovenfor), vær og årstider.
Men å endre årstid kan føre til relaterte endringer i miljøet, som for eksempel trær uten blader, noe som krever et enda mer omfattende inndatasett enn det som ble konstruert for Block-NeRF. Artikkelen slår fast:
‘[Løvverk] endrer seg sesongmessig og beveger seg i vinden; dette resulterer i uklare representasjoner av trær og planter. Liknende, tidsmessige inkonsistenser i treningsdataene, som for eksempel byggearbeid, blir ikke automatisk håndtert og krever manuell om-trening av de berørte blokkene.’
Apokalyptisk rendering
Hvis du ser på videoen som er innebygd på slutten, vil du merke en Walking Dead-lignende sparsomhet i det nettverksbaserte Block-NeRF-miljøet. Av ulike årsaker, ikke minst for å gi et simulert startmiljø for robotsystemer, ble biler, fotgjengere og andre midlertidige objekter bevisst fjernet fra kildematerialet, men dette har etterlatt noen artefakter, som skyggene av “slettede” parkerte kjøretøy:

Fantomskyggen av et slettet kjøretøy. Kilde: https://waymo.com/research/block-nerf/
For å kunne håndtere en rekke lysmiljøer, som for eksempel dag eller natt, er nettverkene trenet for å inkorporere skilte datastrømmer relatert til hver ønsket betingelse. I bildet under ser vi de bidragende strømmene for Block-NeRF-gjengivelse av en motorvei om dagen og om natten:

Komponentene som er tilgjengelige på forespørsel bak en tilsynelatende ‘forhåndsberegnet’ Block-NeRF-gjengivelse, som lar en bruker slå på natten etter behov. Kilde: https://waymo.com/research/block-nerf/
Miljømessige og etiske overveielser
Over de siste årene har forskningsinnlegg begynt å inkludere forbehold og advarsler om mulige etiske og miljømessige konsekvenser av det foreslåtte arbeidet. I tilfelle Block-NeRF påpeker forfatterne at energikravene er høye, og at det å regne med kortvarige og langvarige midlertidige objekter (som for eksempel blader på trær og byggearbeid) ville kreve jevnlig ny skanning av kildedataene, noe som ville føre til økt “overvåking” i byområder som trenger å oppdatere deres neurale modeller.
Forfatterne slår fast:
‘Avhengig av skalaen dette arbeidet utføres på, kan beregningskravene føre til eller forverre miljøskader hvis energien brukt til beregningsarbeid fører til økte karbonutslipp. Som nevnt i artikkelen, forutser vi videre arbeid, som for eksempel caching-metoder, som kunne redusere beregningskravene og dermed mildne miljøskadene.’
Med hensyn til overvåking fortsetter de:
‘Fremtidige anvendelser av dette arbeidet kan omfatte enda større datainnsamling, noe som øker privatlivsproblemer. Mens detaljerte bilder av offentlige veier allerede kan finnes på tjenester som Google Street View, kan vår metode fremme gjentatte og mer regelmessige scanninger av miljøet. Flere selskaper i det autonome kjøretøysområdet er også kjent for å utføre regelmessige områdeskanninger ved hjelp av sine flåter av kjøretøy; likevel kan noen bare bruke LiDAR-scanninger, som kan være mindre følsomme med hensyn til personvern enn innsamling av kamerabilder.’
Metoder og løsninger
De enkelte NeRF-miljøene kan skaleres ned til enhver størrelse før de samles inn i en Block-NeRF-matrise. Dette åpner veien for den granulære inklusjonen av innhold som definitivt er underlagt endring, som for eksempel trær, og for identifisering og håndtering av byggearbeid, som kan vedvare over tid, selv over flere år med gjen-innsamling, men som sannsynligvis vil utvikle seg og til slutt bli stabile deler av miljøet.
Likevel, i denne første forskningsutgaven, er diskrete NeRF-blokker begrenset til de faktiske byblokkene i hvert avbildet miljø, sydd sammen med en 50% overlapping som sikrer konsistent overgang fra en blokk til den neste når brukeren navigerer i nettverket.
Hver blokk er begrenset av et geografisk filter. Forfatterne påpeker at denne delen av rammeverket er åpen for automatisering, og, overraskende, at deres implementering avhenger av OpenStreetMap i stedet for Google Maps.

Krysningsradiusen for et Block-NeRF ‘aktivt’ render-rom. Kilde: Waymo
Blokkene trenes i parallell, med nødvendige blokker rendret på forespørsel. De innovative utseendekodene er også orkestrert blant blokksettet, og sikrer at en ikke reiser uventet inn i forskjellig vær, tid på dagen eller til og med en annen årstid.

Block-NeRF-segmenter er betinget av eksponering på en måte analog til High Dynamic Range (HDR) i fotografisk kilde-materiale. Kilde: Waymo
Evnen til å skifte lys og andre miljøvariable er avledet fra de generative latente optimaliseringer som ble introdusert i NeRF i villmarken (NeRF-W), som selv avledet metoden fra Facebook AI-forskningsartikkelen fra 2019 Optimizing the Latent Space of Generative Networks.
En semantisk segmenteringsmodell som opprinnelig ble utviklet for Panoptic-DeepLab i 2020, brukes til å blokkere uønskede elementer (som for eksempel mennesker og kjøretøy)
Data
Etter å ha funnet ut at vanlige by-datasett som CityScapes ikke var egnet for så intensivt detaljarbeid som Block-NeRF omfatter, opprettet forskerne sitt eget datasett. Bilde-data ble fanget fra 12 kameraer som omfattet en 360-graders visning, med opptak tatt med en hastighet på 10 Hz og en skalar eksponeringsverdi.

San Francisco-nabolagene som ble dekket, var Alamo Square og Mission Bay. For Alamo Square-oppfanget, ble et område på omtrent 960m x 570m dekket, delt inn i 35 Block-NeRF-eksemplarer, hver trenet på data fra 38 til 48 forskjellige datainnsamlingskjøringer, med en total kjøretid på 18-28 minutter.
Antallet bidragende bilder for hver Block-NeRF varierte fra 64 575 til 108 216, og den totale kjøretiden representert for dette området var 13,4 timer over 1 330 forskjellige datainnsamlingskjøringer. Dette resulterte i 2 818 745 treningsbilder bare for Alamo Square. Se artikkelen for flere detaljer om datainnsamlingen for Mission Bay.
Først publisert 11. februar 2022.












