Neuraal renderen: NeRF maakt een wandeling in de frisse lucht

Een samenwerking tussen Google Research en Harvard University heeft een nieuwe methode ontwikkeld om 360-graden neurale video’s van complete scènes te maken met behulp van Neural Radiance Fields (NeRF). De innovatieve aanpak brengt NeRF een stap dichter bij het casual abstract gebruik in elke omgeving, zonder beperkt te zijn tot tafelmodellen of gesloten interieurscenario’s.

Zie het einde van het artikel voor de volledige video. Bron: https://www.youtube.com/watch?v=YStDS2-Ln1s

Mip-NeRF 360 kan omgaan met uitgebreide achtergronden en ‘oneindige’ objecten zoals de lucht, omdat het, in tegenstelling tot de meeste voorgaande iteraties, grenzen stelt aan de manier waarop lichtstralen worden geïnterpreteerd en grenzen van aandacht creëert die anderszins lange trainings­tijden rationaliseren. Zie de nieuwe bijgevoegde video die is ingebed aan het einde van dit artikel voor meer voorbeelden en een uitgebreid inzicht in het proces.

Het nieuwe artikel heeft als titel Mip-NeRF 360: Onbegrensde anti-gealiasde neurale stralingsvelden en wordt geleid door Senior Staff Research Scientist bij Google Research Jon Barron.

Om de doorbraak te begrijpen, is het noodzakelijk om een basisbegrip te hebben van hoe neurale stralingsveld-gebaseerde beeldsynthese werkt.

Wat is NeRF?

Het is problematisch om een NeRF-netwerk te beschrijven in termen van een ‘video’, omdat het dichter bij een volledig 3D-gerealiseerd maar AI-gebaseerd virtueel milieu ligt, waarin meerdere gezichtspunten van enkele foto’s (inclusief videoframes) worden gebruikt om een scène samen te stellen die technisch alleen bestaat in de latentie-ruimte van een machine learning-algoritme – maar waaruit een buitengewoon aantal gezichtspunten en video’s kan worden geëxtraheerd naar believen.

Een afbeelding van de meerdere camera-opnamepunten die de gegevens leveren die NeRF samenstelt tot een neurale scène (rechts).

Informatie die is afgeleid van de bijdragende foto’s wordt getraind in een matrix die lijkt op een traditionele voxelgrid in CGI-workflows, in die zin dat elk punt in 3D-ruimte een waarde krijgt, waardoor de scène navigeerbaar wordt.

Een traditionele voxelmatrix plaatst pixelinformatie (die normaal gesproken bestaat in een 2D-context, zoals het pixelpatroon van een JPEG-bestand) in een driedimensionale ruimte. Bron: ResearchGate

Nadat de interstitiële ruimte tussen foto’s is berekend (indien nodig), wordt de baan van elk mogelijke pixel van elke bijdragende foto effectief ‘ray-getraceerd’ en een kleurwaarde toegewezen, inclusief een transparantiewaarde (zonder welke de neurale matrix volledig ondoorzichtig of volledig leeg zou zijn).

Net als voxelgrids en in tegenstelling tot CGI-gebaseerde 3D-coördinatieruimte, heeft de ‘interieur’ van een ‘gesloten’ object geen bestaan in een NeRF-matrix. U kunt een CGI-drumkit opensplijten en naar binnen kijken, als u dat wilt; maar voor zover NeRF betreft, eindigt het bestaan van de drumkit wanneer de opaciteitswaarde van het oppervlak ‘1’ is.

Een bredere kijk op een pixel

Mip-NeRF 360 is een uitbreiding van onderzoek uit maart 2021, dat effectief efficiënte anti-aliasing introduceerde bij NeRF zonder uitputtende supersampling.

NeRF berekent traditioneel slechts één pixelpad, wat geneigd is om het soort ‘jaggies’ te produceren dat karakteristiek was voor vroege internetbeeldformaten, evenals eerder gamesystemen. Deze gescheurde randen werden opgelost door verschillende methoden, meestal door aangrenzende pixels te bemonsteren en een gemiddelde weergave te vinden.

Omdat traditionele NeRF alleen dat ene pixelpad bemonstert, introduceerde Mip-NeRF een ‘conische’ opvanggebied, zoals een breedstraalige zaklamp, dat voldoende informatie over aangrenzende pixels biedt om economische anti-aliasing met verbeterde details te produceren.

De conische kegelvormige opvang die Mip-NeRF gebruikt, wordt in conische kegels (onder) gesneden, die verder worden ‘verschoven’ om een vage gaussische ruimte te representeren die kan worden gebruikt om de nauwkeurigheid en aliasing van een pixel te berekenen. Bron: https://www.youtube.com/watch?v=EpH175PY1A0

De verbetering ten opzichte van een standaard NeRF-implementatie was opmerkelijk:

Mip-NeRF (rechts), uitgebracht in maart 2021, biedt verbeterde details door een meer omvattende maar economische anti-aliasingpijplijn, in plaats van alleen ‘vervagen’ van pixels om gescheurde randen te voorkomen. Bron: https://jonbarron.info/mipnerf/

NeRF Onbegrensd

Het artikel uit maart liet drie problemen onopgelost met betrekking tot het gebruik van Mip-NeRF in onbegrensde omgevingen die mogelijk verre objecten, inclusief luchten, kunnen bevatten. Het nieuwe artikel lost dit op door een Kalman-achtige warp toe te passen op de Mip-NeRF-Gaussians.

Ten tweede, grotere scènes vereisen meer verwerkingskracht en langere trainings­tijden, wat Mip-NeRF 360 oplost door de scènegrafiek te ‘distilleren’ met een kleine ‘voorstel’ multi-laagsperceptron (MLP), die de grafiek voorspelt door een grote standaard NeRF-MLP. Dit versnelt de training met een factor van drie.

Ten slotte, grotere scènes hebben de neiging om de discretisatie van de geïnterpreteerde grafiek ambigu te maken, wat resulteert in het soort artefacten dat gamers mogelijk kennen wanneer de game-uitvoer ‘scheurt’. Het nieuwe artikel lost dit op door een nieuwe regularisator voor Mip-NeRF-stralenintervallen te creëren.

Aan de rechterkant zien we ongewenste artefacten in Mip-NeRF vanwege de moeilijkheid om zo’n grote scène te begrenzen. Aan de linkerkant zien we dat de nieuwe regularisator de scène voldoende heeft geoptimaliseerd om deze storingen te verwijderen.

Om meer te weten te komen over het nieuwe artikel, bekijk de video hieronder en ook de video-introductie van maart 2021 tot Mip-NeRF. U kunt ook meer te weten komen over NeRF-onderzoek door onze berichtgeving tot nu toe te bekijken.

Oorspronkelijk gepubliceerd op 25 november 2021
21 december 2021, 12:25 – Vervangen van dode video. – MA