Neuralt Rendering: NeRF tager en tur i den friske luft

Et samarbejde mellem Google Research og Harvard University har udviklet en ny metode til at oprette 360-graders neurale video af komplette scener ved hjælp af Neural Radiance Fields (NeRF). Den nye tilgang bringer NeRF et skridt nærmere til casual abstrakt brug i enhver omgang, uden at være begrænset til bordmodeller eller lukkede indendørs scenarier.

Se slutningen af artiklen for fuld video. Kilde: https://www.youtube.com/watch?v=YStDS2-Ln1s

Mip-NeRF 360 kan håndtere udvidede baggrunde og ‘ubegrænsede’ objekter som himlen, fordi den, i modsætning til de fleste tidligere iterationer, sætter grænser for, hvordan lysstråler fortolkes, og skaber grænser for opmærksomhed, der rationaliserer ellers lange træningstider. Se den nye ledsagende video, der er indlejret i slutningen af denne artikel, for flere eksempler og en udvidet indsigt i processen.

Den nye artikel har titlen Mip-NeRF 360: Unbounded Anti-Aliased Neural Radiance Fields og er ledet af Senior Staff Research Scientist ved Google Research Jon Barron.

For at forstå gennembruddet er det nødvendigt at have en grundlæggende forståelse af, hvordan neurale radiance-felt-baseret billedsynthesis fungerer.

Hvad er NeRF?

Det er problematisk at beskrive et NeRF-netværk i termer af en ‘video’, da det er nærmere en fuldt 3D-realiseret, men AI-baseret virtuel omgang, hvor multiple synspunkter fra enkeltfotos (herunder video-frames) bruges til at sy sammen en scene, der teknisk set kun eksisterer i den latente rum af en maskinelæringsalgoritme – men fra hvilken en ekstraordinær mængde synspunkter og videoer kan udtrækkes efter behov.

En afbildning af de multiple kamerafangningspunkter, der leverer data, som NeRF samler til en neural scene (afbildet til højre).

Informationerne, der er afledt fra de bidragende fotos, trænes ind i en matrix, der ligner en traditionel voxelgrid i CGI-workflows, således at hver punkt i 3D-rummet ender med en værdi, hvilket gør scenen navigabel.

En traditionel voxel-matrix placerer pixelinformation (der normalt findes i en 2D-kontekst, såsom pixelgridet i en JPEG-fil) i et tredimensionalt rum. Kilde: ResearchGate

Efter at have beregnet det interstitielle rum mellem fotos (hvis nødvendigt), føres hver mulig pixels vej i hver bidragende foto effektivt ‘ray-traced’ og tildelt en farvværdi, herunder en transparensværdi (uden hvilken den neurale matrix ville være helt uigennemsigtig eller helt tom).

Ligesom voxelgrids og til forskel fra CGI-baseret 3D-koordinatrum, har ‘interiøret’ i en ‘lukket’ genstand ingen eksistens i en NeRF-matrix. Du kan åbne en CGI-trommesæt og kigge indenfor, hvis du vil; men så langt NeRF er bekymret, ophører eksistensen af trommesættet, når overfladens uigennemsigtighedsværdi er ‘1’.

En bredere synsvinkel på en pixel

Mip-NeRF 360 er en udvidelse af forskning fra marts 2021, der effektivt introducerede effektiv anti-aliasing til NeRF uden udtømmende supersampling.

NeRF beregner traditionelt kun en enkelt pixels vej, hvilket er tilbøjelig til at producere den type ‘jaggies’, der karakteriserede tidlige internetbilledformater, såvel som tidligere spillesystemer. Disse kanter blev løst ved forskellige metoder, normalt ved at prøve adjacent pixels og finde en gennemsnitlig repræsentation.

Fordi traditionel NeRF kun sampler en enkelt pixels vej, introducerede Mip-NeRF en ‘conisk’fangsområde, som en bredstrålet lommelygte, der giver nok information om adjacent pixels til at producere økonomisk anti-aliasing med forbedret detalje.

Den coniske keglefangsområde, som Mip-NeRF bruger, er skåret op i coniske frustum (nederste billede), der yderligere ‘blurrer’ for at repræsentere en vag Gaussian-rum, der kan bruges til at beregne pixlens nøjagtighed og aliasing. Kilde: https://www.youtube.com/watch?v=EpH175PY1A0

Forbedringen over en standard NeRF-implementation var bemærkelsesværdig:

Mip-NeRF (højre), udgivet i marts 2021, giver forbedret detalje gennem en mere omfattende, men økonomisk anti-aliasing-pipeline, snarere end blot at ‘blurre’ pixels for at undgå kanter. Kilde: https://jonbarron.info/mipnerf/

NeRF Ubegrænset

Marts-artiklen efterlod tre problemer uløste i forhold til brug af Mip-NeRF i ubegrænsede omgivelser, der kan omfatte meget fjerntliggende objekter, herunder himlen. Den nye artikel løser dette ved at anvende en Kalman-lignende warp til Mip-NeRF-Gaussian.

For det andet kræver større scener større proceskraft og forlængede træningstider, hvilket Mip-NeRF 360 løser ved at ‘destillere’ scenens geometri med en lille ‘forslag’ multi-lag perceptron (MLP), der forudbinder geometrien, der forudses af en stor standard NeRF-MLP. Dette accelererer træningstiden med en faktor på tre.

For det tredje har større scener tendens til at gøre diskretiseringen af den fortolkede geometri tvetydig, hvilket resulterer i den type artefakter, som gamere måske er bekendt med, når spiloutput ‘rives’. Den nye artikel løser dette ved at skabe en ny regularisator for Mip-NeRF-ray-intervaller.

Til højre ser vi uønskede artefakter i Mip-NeRF på grund af vanskeligheden ved at afgrænse sådanne store scener. Til venstre ser vi, at den nye regularisator har optimeret scenen tilstrækkeligt til at fjerne disse forstyrrelser.

For at få mere at vide om den nye artikel, se videoen nedenfor, og også marts 2021-video-introduktionen til Mip-NeRF. Du kan også få mere at vide om NeRF-forskning ved at se vores dækning indtil nu.

Udgivet oprindeligt den 25. november 2021
21. december 2021, 12:25 – Erstattet død video. – MA