De Nieuwe CGI: Het Creëren van Neurale Buurten met Block-NeRF

Neurale Stralingsvelden (NeRF) maken het mogelijk om objecten te recreëren en te verkennen binnen neurale netwerken met behulp van meerdere foto’s vanuit verschillende gezichtspunten als invoer, zonder de complexiteit en kosten van traditionele CGI-methoden.

Het proces is echter computationeel duur, wat aanvankelijk de NeRF-omgevingen beperkte tot tafelmodel-scenario’s. Desondanks is NeRF geadopteerd door een toegewijde, zelfs wanhopige onderzoekscommunity, die in het afgelopen jaar buitenreconstructies heeft mogelijk gemaakt, evenals bewerkbare neurale mensen, naast vele andere innovaties.

Nu is er een nieuw onderzoeksinitiatief, waaraan Google Research deelneemt, dat de mogelijke harde limieten op het optimaliseren van NeRF erkent en zich in plaats daarvan richt op het samenstellen van NeRF-omgevingen om op aanvraag buurten te creëren die bestaan uit meerdere gecoördineerde NeRF-exemplaren.

Gezichtspunt van een Block-NeRF-netwerk van gekoppelde NeRF’s. Zie de ingesloten video aan het einde van het artikel en ook de bronlink voor hoge-resolutie, volledige, aanvullende video’s. Bron: https://waymo.com/research/block-nerf/

Door het netwerk van gekoppelde NeRF’s effectief te navigeren, wordt NeRF schaalbaar en modulair, waardoor navigeerbare omgevingen ontstaan die extra delen van de buurt laden wanneer dat nodig is, op een manier die vergelijkbaar is met de resource-optimalisatiemethoden van videogames, waarbij wat er om de hoek zit zelden wordt geladen totdat het duidelijk wordt dat de omgeving nodig is.

In een grote inspanning om te ontwarren afzonderlijke facetten zoals het weer en het uur, introduceert Block-NeRF ook ‘uitstralingcodes’, waardoor het mogelijk wordt om de tijd van dag dynamisch te veranderen:

Verandering van de tijd van dag met Block-NeRF. Zie de ingesloten video aan het einde van het artikel en ook de bronlink voor hoge-resolutie, volledige, aanvullende video’s. Bron: https://waymo.com/research/block-nerf/

Het nieuwe artikel suggereert dat NeRF-optimalisatie zijn eigen thermische limiet nadert en dat toekomstige implementaties van neurale stralingsomgevingen in virtuele realiteit, andere soorten interactieve sferen en VFX-werk, waarschijnlijk afhankelijk zullen zijn van parallelle operaties, vergelijkbaar met de manier waarop Moore’s Law uiteindelijk plaatsmaakte voor multi-core-architecturen, parallelle optimalisaties en nieuwe benaderingen van caching.

De auteurs van het artikel (getiteld Block-NeRF: Scalable Large Scene Neural View Synthesis) gebruikten 2,8 miljoen afbeeldingen om de grootste neurale scène ooit te creëren – een reeks buurten in San Francisco.

Block-NeRF navigeert door de Grace Cathedral in San Francisco. Zie de ingesloten video aan het einde van het artikel en ook de bronlink voor hoge-resolutie, volledige, aanvullende video’s. Bron: https://waymo.com/research/block-nerf/

De hoofdauteur van het artikel, Matthew Tancik, vertegenwoordigt UC Berkley en is de co-uitvinder van Neurale Stralingsvelden, die dit werk deed tijdens een stage bij Waymo, de projectpagina. Het initiatief biedt ook een video-overzicht op YouTube, ingesloten aan het einde van dit artikel, evenals veel ondersteunende en aanvullende video-examples op de projectpagina.

Het artikel is mede ondertekend door andere NeRF-originele auteurs, waaronder Ben Mildenhall (Google Research), Pratul P. Srinivasan (Google Research) en Jonathan T. Barron (Google Research). De andere bijdragers zijn Vincent Casser, Xinchen Yan, Sabeek Pradhan, Henrik Kretzschmar en Vincent Casser, allemaal van Waymo.

Block-NeRF is voornamelijk ontwikkeld als onderzoek naar virtuele omgevingen voor autonome voertuigsystemen, waaronder zelfrijdende auto’s en drones.

De Embarcadero-weg vanuit een 180-graad gezichtspunt in Block-NeRF. Zie de ingesloten video aan het einde van het artikel en ook de bronlink voor hoge-resolutie, volledige, aanvullende video’s. Bron: https://waymo.com/research/block-nerf/

Andere factoren die dynamisch kunnen worden gewijzigd in Block-NeRF zijn lensdiafragma (zie bovenstaande afbeelding), weer en seizoenen.

Echter, het wijzigen van het seizoen kan leiden tot verwante veranderingen in de omgeving, zoals bomen zonder bladeren, wat een nog uitgebreidere invoergegevensset vereist dan die welke is opgebouwd voor Block-NeRF. Het artikel vermeldt:

‘[Bladeren] veranderen seizoensgebonden en bewegen in de wind; dit resulteert in vage voorstellingen van bomen en planten. Vergelijkbare tijdelijke inconsistenties in de trainingsgegevens, zoals bouwwerkzaamheden, worden niet automatisch afgehandeld en vereisen handmatige opnieuw trainen van de betreffende blokken.’

Apocalyptische Rendering

Als je naar de video kijkt die aan het einde van het artikel is ingesloten, zie je een Walking Dead-achtige leegte in de genetwerkte Block-NeRF-omgeving. Om verschillende redenen, niet in de laatste plaats om een gesimuleerde starteromgeving te bieden voor robotische systemen, auto’s, voetgangers en andere tijdelijke objecten zijn expres uit de bronmateriaal verwijderd, maar dit heeft enkele artefacten achtergelaten, zoals de schaduwen van ‘gewiste’ geparkeerde voertuigen:

De spookachtige schaduw van een gewiste auto. Bron: https://waymo.com/research/block-nerf/

Om een reeks lichtomgevingen te accommoderen, zoals dag of nacht, zijn de netwerken getraind om ontkoppelde gegevensstromen te incorporeren die betrekking hebben op elke gewenste conditie. In de onderstaande afbeelding zien we de bijdrage van de Block-NeRF-beelden van een snelweg overdag en ‘s nachts:

De op aanvraag beschikbare facetten achter een ogenschijnlijk ‘gebakken’ Block-NeRF-render, waardoor een gebruiker de nacht kan inschakelen wanneer nodig. Bron: https://waymo.com/research/block-nerf/

Milieutechnische en Ethische Overwegingen

In de afgelopen jaren zijn onderzoeksartikelen gaan inbegrepen met voorbehouden en disclaimer betreffende mogelijke milieutechnische en ethische gevolgen van het voorgestelde werk. In het geval van Block-NeRF merken de auteurs op dat de energievraag hoog is en dat het account houden voor korte- en langetermijntransiënte objecten (zoals bladeren op bomen en bouwwerkzaamheden) zou vereisen dat de brondata regelmatig opnieuw worden gescand, wat zou leiden tot verhoogde ‘surveillance’ in stedelijke gebieden waarvan de neurale modellen moeten worden bijgewerkt.

De auteurs vermelden:

‘Afhankelijk van de schaal waarop dit werk wordt toegepast, kunnen de compute-eisen ertoe leiden of verergeren van milieuschade als de energie die wordt gebruikt voor compute leidt tot verhoogde koolstofemissies. Zoals vermeld in het artikel, voorzien we verder werk, zoals caching-methoden, die de compute-eisen kunnen verlagen en zo de milieuschade kunnen mitigeren.’

Met betrekking tot surveillance gaan ze verder:

‘Toekomstige toepassingen van dit werk kunnen nog grotere gegevensverzamelingen met zich meebrengen, wat verdere privacybezorgdheden oproept. Terwijl gedetailleerde beelden van openbare wegen al te vinden zijn op diensten zoals Google Street View, kan onze methodologie herhaalde en regelmatigere scannen van de omgeving bevorderen. Verschillende bedrijven in de autonome voertuigruimte zijn ook bekend met het uitvoeren van regelmatige gebiedsscans met hun vloot van voertuigen; echter gebruiken sommige alleen LiDAR-scans, die minder gevoelig kunnen zijn dan het verzamelen van camera-beelden.’

Methoden en Oplossingen

De afzonderlijke NeRF-omgevingen kunnen in theorie worden geschaald naar elke grootte voordat ze worden samengesteld tot een Block-NeRF-array. Dit opent de weg naar de granulaire inclusie van inhoud die zeker onderhevig is aan verandering, zoals bomen, en naar de identificatie en het beheer van bouwwerkzaamheden, die mogelijk in de loop van de tijd over meerdere jaren van heropname consistent worden, maar waarschijnlijk zullen evolueren en uiteindelijk consistent worden.

Echter, in deze eerste onderzoeksuiting zijn discrete NeRF-blokken beperkt tot de feitelijke stadblokken van elke weergegeven omgeving, samengesteld met een overlap van 50% om een consistente overgang van het ene blok naar het andere te garanderen wanneer de gebruiker het netwerk navigeert.

Elk blok is beperkt door een geografisch filter. De auteurs merken op dat dit deel van het kader openstaat voor automatisering en, verrassend genoeg, dat hun implementatie afhankelijk is van OpenStreetMap in plaats van Google Maps.

De kruisingsradius voor een Block-NeRF ‘actieve’ render ruimte. Bron: Waymo

Blokken worden in parallel getraind, met benodigde blokken die op aanvraag worden weergegeven. De innovatieve verschijningscodes worden ook gecoördineerd tussen de blokken, waardoor wordt voorkomen dat men onverwacht in verschillend weer, tijd van dag of zelfs een ander seizoen terechtkomt.

Block-NeRF-segmenten worden voorwaardelijk gemaakt voor blootstelling op een manier die analoog is aan High Dynamic Range (HDR) in fotografische bronmateriaal. Bron: Waymo

De mogelijkheid om licht en andere omgevingsvariabelen te schakelen is afgeleid van de Generatieve Latente Optimalisaties die zijn geïntroduceerd in NeRF in the Wild (NeRF-W), die op zijn beurt de methode ontleende aan het onderzoeksartikel van Facebook AI uit 2019 Optimizing the Latent Space of Generative Networks.

Een semantisch segmentatiemodel dat oorspronkelijk is gemaakt voor Panoptic-DeepLab in 2020, wordt gebruikt om ongewenste elementen (zoals mensen en voertuigen) uit te schakelen.

Gegevens

Het bleek dat gemeenschappelijke stedelijke datasets zoals CityScapes niet geschikt waren voor dergelijk intensief detailwerk als Block-NeRF, waardoor de onderzoekers hun eigen dataset moesten creëren. Beeldgegevens werden verzameld met 12 camera’s die een 360-graadweergave omvatten, met beelden genomen bij 10 Hz met een scalaire blootstellingwaarde.

De San Francisco-buurten die werden gedekt waren Alamo Square en Mission Bay. Voor de Alamo Square-opnames werd een gebied van ongeveer 960m x 570m gedekt, verdeeld in 35 Block-NeRF-exemplaren, elk getraind op gegevens van 38 tot 48 verschillende gegevensverzamelingen, met een totale rijtijd van 18-28 minuten.

Het aantal bijdragebeelden voor elk Block-NeRF varieerde van 64.575 tot 108.216, en de totale rijtijd die werd weergegeven voor dit gebied was 13,4 uur over 1.330 verschillende gegevensverzamelingen. Dit resulteerde in 2.818.745 trainingsbeelden voor Alamo Square alleen. Zie het artikel voor aanvullende details over de gegevensverzameling voor Mission Bay.

Publicatie op 11 februari 2022.