Neural Rendering: NeRF tager en gåtur i den friske luft

Et samarbejde mellem Google Research og Harvard University har udviklet en ny metode til at skabe 360-graders neurale video af komplette scener ved hjælp af Neural Radiance Fields (NeRF). Den nye tilgang bringer NeRF et skridt tættere på uformel abstrakt brug i ethvert miljø, uden at være begrænset til bordtopmodeller eller lukkede indendørsscenarier.

Se slutningen af artiklen for den fulde video. Kilde: https://www.youtube.com/watch?v=zBSH-k9GbV4

Mip-NeRF 360 kan håndtere udvidede baggrunde og ‘uendelige’ objekter som himlen, fordi den, i modsætning til de fleste tidligere iterationer, sætter begrænsninger på, hvordan lysstråler fortolkes, og skaber opmærksomhedsområder, der forkorter ellers lange træningstider. Se den nye medfølgende video, der er indlejret i slutningen af denne artikel, for flere eksempler og en udvidet indsigt i processen.

Det nye papir har titlen Mip-NeRF 360: Unbounded Anti-Aliased Neural Radiance Fields og ledes af Senior Staff Research Scientist hos Google Research, Jon Barron.

For at forstå gennembruddet er det nødvendigt at have en grundlæggende forståelse af, hvordan billedsyntese baseret på neurale strålingsfelter fungerer.

Hvad er NeRF?

Det er problematisk at beskrive et NeRF-netværk som en ‘video’, da det snarere svarer til et fuldt 3D-realiseret men AI-baseret virtuelt miljø, hvor flere synsvinkler fra enkelte fotos (inklusive videoframes) bruges til at sammenføje en scene, der teknisk kun eksisterer i den latente rum af en maskinlæringsalgoritme – men som derfra kan udtrækkes et ekstraordinært antal synsvinkler og videoer efter ønske.

En fremstilling af de flere kameraoptagelsespunkter, der leverer data, som NeRF samler til en neural scene (vist til højre).

Information udledt fra de bidragende fotos trænes ind i en matrix, der ligner en traditionel voxel-gitter i CGI-arbejdsgange, idet hvert punkt i 3D-rummet får en værdi, hvilket gør scenen navigerbar.

En traditionel voxel-matrix placerer pixelinformation (som normalt findes i en 2D-kontekst, såsom pixelgitteret i en JPEG-fil) i et tredimensionelt rum. Kilde: ResearchGate

Efter beregning af det mellemliggende rum mellem fotos (om nødvendigt) bliver banen for hver mulig pixel fra hvert bidragende foto effektivt ‘ray-traced’ og tildelt en farveværdi, inklusive en gennemsigtighedsværdi (uden hvilken den neurale matrix ville være helt ugennemsigtig eller helt tom).

Ligesom voxel-gitre, og i modsætning til CGI-baseret 3D-koordinatrum, har ‘interiøret’ af et ‘lukket’ objekt ingen eksistens i en NeRF-matrix. Du kan åbne et CGI-trommesæt og kigge indeni, hvis du vil; men for NeRF ophører eksistensen af trommesættet, når opacitetværdien af dets overflade er ‘1’.

Et bredere syn på en pixel

Mip-NeRF 360 er en udvidelse af forskning fra marts 2021, som effektivt introducerede effektiv anti-aliasing til NeRF uden udtømmende supersampling.

NeRF beregner traditionelt kun én pixelbane, hvilket har tendens til at producere den slags ‘jaggies’, som kendetegnede tidlige internetbilledformater, såvel som tidligere spilsystemer. Disse takkede kanter blev løst ved forskellige metoder, som typisk involverer sampling af nabopixels og beregning af en gennemsnitsrepræsentation.

Fordi traditionel NeRF kun sampler den ene pixelbane, introducerede Mip-NeRF et ‘konisk’ opsamlingsområde, som en bredstråle-tænde, der giver tilstrækkelig information om nabopixels til at producere økonomisk anti-aliasing med forbedret detaljegrad.

Det koniske opsamlingsområde, som Mip-NeRF bruger, er opdelt i koniske træk (nedre billede), som yderligere ‘bløres’ for at skabe diffuse Gaussian-rum, der kan bruges til at beregne nøjagtigheden og aliasing af en pixel. Kilde: https://www.youtube.com/watch?v=EpH175PY1A0

Forbedringen i forhold til en standard NeRF-implementering var bemærkelsesværdig:

Mip-NeRF (højre), udgivet i marts 2021, giver forbedret detalje gennem en mere omfattende men økonomisk aliasing-pipeline, i stedet for blot at ‘bløre’ pixels for at undgå takkede kanter. Kilde: https://jonbarron.info/mipnerf/

NeRF ubundet

Marts-papiret efterlod tre problemer uløste i forhold til brug af Mip-NeRF i ubundne miljøer, som kan omfatte meget fjerne objekter, herunder himmel. Det nye papir løser dette ved at anvende en Kalman-inspireret warp på Mip-NeRF Gaussians.

For det andet kræver større scener større behandlingskraft og længere træningstider, hvilket Mip-NeRF 360 løser ved at ‘destillere’ scenens geometri med en lille ‘forslags’-multi-layer perceptron (MLP), som forudgrænser geometrien forudsagt af en stor standard NeRF MLP. Dette øger træningshastigheden med en faktor på tre.

Endelig har større scener en tendens til at gøre diskretiseringen af den fortolkede geometri tvetydig, hvilket resulterer i den slags artefakter, som gamere kan genkende, når spiloutput ‘revner’. Det nye papir adresserer dette ved at skabe en ny regularisator for Mip-NeRF stråleintervaller.

Til højre ser vi uønskede artefakter i Mip-NeRF på grund af vanskeligheden ved at afgrænse så en stor scene. Til venstre ser vi, at den nye regularisator har optimeret scenen tilstrækkeligt til at fjerne disse forstyrrelser.

For at finde ud af mere om det nye papir, se videoen nedenfor, samt marts 2021 videointroduktion til Mip-NeRF. Du kan også finde ud af mere om NeRF-forskning ved at se vores dækning indtil nu.

Oprindeligt offentliggjort 25. november 2021
21. december 2021, 12:25pm – Udskiftet død video. – MA