NeRF: Udfordringen ved at redigere indholdet af neurale lysfelter

Tidligere på året fremskred NVIDIA forskningen i neurale lysfelter (NeRF) betydeligt med InstantNeRF, der åbenbart kan generere gennemgangsbare neurale scener på få sekunder – fra en teknik, der, da den opstod i 2020, ofte tog timer eller endda dage at træne.

NVIDIA’s InstantNeRF giver imponerende og hurtige resultater. Kilde: https://www.youtube.com/watch?v=DJ2hcC1orc4

Selvom denne type interpolation producerer en statisk scene, er NeRF også i stand til at afbildninger af bevægelse, og grundlæggende ‘kopier-og-lim’-redigering, hvor enkeltstående NeRF’er enten kan samles i sammensatte scener eller indføjes i eksisterende scener.

Indlejrede NeRF’er, der blev præsenteret i 2021-forskningen fra Shanghai Tech University og DGene Digital Technology. Kilde: https://www.youtube.com/watch?v=Wp4HfOwFGP4

Men hvis du ønsker at gribe ind i en beregnet NeRF og faktisk ændre noget, der sker inden i den (på samme måde, som du kan ændre elementer i en traditionel CGI-scene), har den hurtige udvikling i sektoren kun ført til meget få løsninger indtil nu, og ingen, der blot nærmer sig de muligheder, som CGI-arbejdsgange har.

Selvom geometriestimation er afgørende for at oprette en NeRF-scene, består det endelige resultat af ret “låste” værdier. Selvom der sker nogen fremgang i at ændre teksturværdier i NeRF, er de faktiske objekter i en NeRF-scene ikke parametriske net, der kan redigeres og leges med, men mere ligner skrøbelige og frosne punktskyer.

I denne situation er en renderet person i en NeRF essentielt en statue (eller en række statuer i video-NeRF’er); skyggerne, de kaster på sig selv og andre objekter, er teksturer, snarere end fleksible beregninger baseret på lyskilder; og redigeringen af NeRF-indhold er begrænset til de valg, der er truffet af fotografen, der tager de sparsomme kildebilleder, som NeRF’en genereres fra. Parametre som skygger og holdning forbliver ikke-redigerbare i nogen kreativ forstand.

NeRF-Redigering

En ny akademisk forskningssamarbejde mellem Kina og Storbritannien løser denne udfordring med NeRF-Redigering, hvor proxy-CGI-lignende net er udtrukket fra en NeRF, deformeret efter behag af brugeren, og deformationerne overført tilbage til NeRF’ens neurale beregninger;

NeRF-dukke med NeRF-redigering, da deformationerne beregnet fra film er anvendt på tilsvarende punkter inden i en NeRF-repræsentation. Kilde: http://geometrylearning.com/NeRFEditing/

Metoden tilpasser NeuS-teknikken fra 2021, der udtrækker en Signed Distance Function (SDF, en langt ældre metode til volumetrisk rekonstruktion), der kan lære geometrien, der er repræsenteret inden i NeRF’en.

Dette SDF-objekt bliver brugerens skulpturbasis, med forvridnings- og formningsmuligheder leveret af den værdsatte As-Rigid-As-Possible (ARAP)-teknik.

ARAP giver brugeren mulighed for at deformere det udtrukne SDF-net, selvom andre metoder, såsom skeletbaserede og burbaserede tilgange (f.eks. NURBs), også ville fungere godt. Kilde: https://arxiv.org/pdf/2205.04978.pdf

Med deformationerne anvendt, er det nødvendigt at oversætte denne information fra vektor til RGB/pixel-niveau, der er naturligt for NeRF, hvilket er en lidt længere rejse.

De triangulære vertexer i nettet, som brugeren har deformeret, oversættes først til et tetraedrisk net, der danner en hud omkring bruger-nettet. En rummeligt diskret deformation felt udtrækkes fra dette ekstra net, og endelig opnås et NeRF-venligt kontinuerligt deformation felt, der kan overføres tilbage til det neurale lysfelt, hvilket reflekterer brugerens ændringer og redigeringer og påvirker direkte de fortolkede stråler i mål-NeRF’en.

Objekter, der er deformeret og animeret med den nye metode.

Artiklen siger:

‘Efter at have overført overflade-deformationen til det tetraedriske net, kan vi opnå det diskrete deformation felt for “effektivt rum”. Vi anvender herefter disse diskrete transformationer til at bøje strålerne. For at generere et billede af det deformede lysfelt, kaster vi stråler til rummet, der indeholder det deformede tetraedriske net.’

Artiklen er titlen NeRF-Redigering: Geometrisk Redigering af Neurale Lysfelter og kommer fra forskere på tre kinesiske universiteter og institutioner samt en forsker fra School of Computer Science & Informatics på Cardiff University og to andre forskere fra Alibaba Group.

Begrænsninger

Som nævnt tidligere, vil transformeret geometri ikke “opdatere” nogen relaterede aspekter i NeRF, der ikke er redigeret, eller reflektere sekundære konsekvenser af den deformede enhed, såsom skygger. Forskerne giver et eksempel, hvor under-skygger på en menneskefigur i en NeRF forbliver uændrede, selvom deformationen burde ændre belysningen:

Fra artiklen: Vi ser, at den vandrette skygge på figurens arm forbliver på plads, selv om armen flyttes opad.

Eksperimenter

Forfatterne bemærker, at der i øjeblikket ikke findes sammenlignelige metoder for direkte indgriben i NeRF-geometri. Derfor var eksperimenterne, der blev udført i forbindelse med forskningen, mere eksploratoriske end sammenlignende.

Forskerne demonstrerede NeRF-Redigering på en række offentlige datasæt, herunder karakterer fra Mixamo og den nu ikoniske Lego-bulldozer og stol fra den oprindelige NeRF-implementering. De eksperimenterede også på en rigtigt fanget hestestatue fra FVS-datasættet, såvel som deres egne originale optagelser.

En hests hoved, der er vrider.

Til fremtidig arbejde har forfatterne til hensigt at udvikle deres system i det just-in-time (JIT)-kompileret maskinelæring-rammearbejde Jittor.

Offentliggjort første gang 16. maj 2022.