NeRF: Izziv urejanja vsebine polj nevralnega sevanja

V začetku tega leta je NVIDIA napredovala Neural Radiance Fields (NeRF) raziskave predvsem z InstantNeRF, ki je očitno zmožna ustvariti raziskovalne nevronske prizore v samo nekaj sekundah – s tehniko, ki, ko pojavile leta 2020 so za usposabljanje pogosto potrebovali ure ali celo dneve.

NVIDIA InstantNeRF zagotavlja impresivne in hitre rezultate. Vir: https://www.youtube.com/watch?v=DJ2hcC1orc4

Čeprav ta vrsta interpolacije ustvari statično sceno, je NeRF tudi sposoben ki prikazuje gibanjein osnovnega urejanja »kopiraj in prilepi«, kjer je mogoče posamezne NeRF-je združiti v sestavljene scene or vstavi v obstoječe prizore.

Ugnezdeni NeRF-ji, predstavljeni v raziskavi Shanghai Tech University in DGene Digital Technology iz leta 2021. Vir: https://www.youtube.com/watch?v=Wp4HfOwFGP4

Vendar, če želite posredovati v izračunanem NeRF in dejansko spremeniti nekaj, kar se dogaja v njem (na enak način lahko spremenite elemente v tradicionalni sceni CGI), je hiter tempo sektorskega zanimanja povzročil zelo Nekaj Rešitve do danes in nobena, ki bi se sploh začela ujemati z zmogljivostmi delovnih tokov CGI.

Čeprav je ocena geometrije bistvena za ustvarjanje scene NeRF, je končni rezultat sestavljen iz dokaj "zaklenjenih" vrednosti. Medtem ko obstaja nekaj napredka ker so usmerjeni v spreminjanje vrednosti teksture v NeRF, dejanski predmeti v sceni NeRF niso parametrične mreže, ki bi jih lahko urejali in se z njimi igrali, ampak so bolj podobni krhkim in zamrznjenim oblakom točk.

V tem scenariju je upodobljena oseba v NeRF v bistvu kip (ali vrsta kipov v video NeRF); sence, ki jih mečejo nase in druge predmete, so teksture, ne pa prilagodljivi izračuni na podlagi virov svetlobe; in možnost urejanja vsebine NeRF je omejena na odločitve fotografa, ki posname redke izvorne fotografije, iz katerih je ustvarjen NeRF. Parametrov, kot so sence in poza, v nobenem ustvarjalnem smislu ni mogoče urejati.

Urejanje NeRF

Novo akademsko raziskovalno sodelovanje med Kitajsko in Združenim kraljestvom obravnava ta izziv z Urejanje NeRF, kjer so proxy mreže v slogu CGI ekstrahirane iz NeRF, jih uporabnik poljubno deformira in deformacije prenesejo nazaj v nevronske izračune NeRF:

Lutkovarstvo NeRF z montažo NeRF, saj se deformacije, izračunane iz posnetkov, uporabijo za enakovredne točke znotraj predstavitve NeRF. Vir: http://geometrylearning.com/NeRFEditing/

Metoda prilagaja NeuS 2021 ZDA/Kitajska rekonstruktivna tehnika, ki ekstrahira a Funkcija razdalje s predznakom (SDF, veliko starejša metoda volumetrične rekonstrukcije), ki se lahko nauči geometrije, predstavljene znotraj NeRF.

Ta objekt SDF postane uporabnikova osnova za kiparjenje, z zmožnostmi upogibanja in oblikovanja, ki jih zagotavlja častitljivi As-Rigid-As-Possible (ARAP) tehnika.

ARAP omogoča uporabnikom, da deformirajo ekstrahirano mrežo SDF, čeprav bi dobro delovale tudi druge metode, kot so pristopi, ki temeljijo na skeletu in kletki (tj. NURB). Vir: https://arxiv.org/pdf/2205.04978.pdf

Z uporabljenimi deformacijami je treba te informacije prevesti iz vektorja na raven RGB/pikslov, ki je izvorna za NeRF, kar je nekoliko daljša pot.

Trikotna oglišča mreže, ki jih je uporabnik deformiral, se najprej prevedejo v tetraedrično mrežo, ki tvori kožo okoli uporabniške mreže. Iz te dodatne mreže se ekstrahira prostorsko diskretno deformacijsko polje in končno se pridobi NeRF prijazno neprekinjeno deformacijsko polje, ki se lahko prenese nazaj v okolje nevronskega sevanja, ki odraža uporabnikove spremembe in urejanja ter neposredno vpliva na interpretirane žarke v tarči NeRF.

Objekti, deformirani in animirani z novo metodo.

Članek navaja:

„Po prenosu površinske deformacije na tetraedrično mrežo lahko dobimo diskretno deformacijsko polje »efektivnega prostora«. Zdaj uporabljamo te diskretne transformacije za ukrivljanje litskih žarkov. Da ustvarimo sliko deformiranega polja sevanja, vržemo žarke v prostor, ki vsebuje deformirano tetraedrično mrežo.'

O papirja je naslovljen Urejanje NeRF: Urejanje geometrije nevronskih sevalnih polj, prihaja pa od raziskovalcev s treh kitajskih univerz in institucij, skupaj z raziskovalcem s šole za računalništvo in informatiko na Univerzi v Cardiffu in še dvema raziskovalcema iz skupine Alibaba.

Omejitve

Kot smo že omenili, transformirana geometrija ne bo 'posodobila' nobenih povezanih vidikov v NeRF, ki niso bili urejeni, niti ne bo odražala sekundarnih posledic deformiranega elementa, kot so sence. Raziskovalci podajajo primer, kjer podsence na človeški figuri v NeRF ostanejo nespremenjene, čeprav bi morala deformacija spremeniti osvetlitev:

Iz papirja: vidimo, da vodoravna senca na roki figure ostane na mestu tudi, ko se roka premakne navzgor.

Poskusi

Avtorji ugotavljajo, da trenutno ni primerljivih metod za neposreden poseg v geometrijo NeRF. Zato so bili poskusi, izvedeni za raziskavo, bolj raziskovalni kot primerjalni.

Raziskovalci so prikazali NeRF-Editing na številnih javnih naborih podatkov, vključno z liki iz Mixamo ter zdaj ikoničnim Lego buldožerjem in stolom iz originalnega NeRF. Izvajanje. Eksperimentirali so tudi na pravem ujetem kipu konja iz Nabor podatkov FVS, pa tudi lastne izvirne posnetke.

Konjska glava nagnjena.

Za prihodnje delo nameravajo avtorji razviti svoj sistem v pravočasno prevedenem ogrodju strojnega učenja Jittor.

Prvič objavljeno 16. maja 2022.