NeRF: Neuraalsete kiirgusväljade sisu redigeerimise väljakutse

Selle aasta alguses on NVIDIA täiustatud närvikiirguse väljad (NeRF) uurige eriti koos InstantNeRF, mis ilmselt suudab luua uuritavaid närvistseene vaid sekunditega – tehnikaga, mis tekkinud 2020. aastal kulus treenimiseks sageli tunde või isegi päevi.

NVIDIA InstantNeRF pakub muljetavaldavaid ja kiireid tulemusi. Allikas: https://www.youtube.com/watch?v=DJ2hcC1orc4

Kuigi selline interpolatsioon tekitab staatilise stseeni, on ka NeRF võimeline liikumist kujutav, ja põhiline "kopeeri ja kleebi" redigeerimine, kus üksikuid NeRF-e saab koondada liitstseenid or sisestatud olemasolevatesse stseenedesse.

Pesastatud NeRF-id, mida tutvustasid 2021. aasta Shanghai tehnikaülikooli ja DGene Digital Technology uuringud. Allikas: https://www.youtube.com/watch?v=Wp4HfOwFGP4

Kui aga soovite sekkuda arvutatud NeRF-i ja tegelikult midagi selles toimuvat muuta (samamoodi saate muuta elemente traditsioonilises CGI-stseenis), on sektori huvi kiire tempo esile kerkinud. väga vähe lahendused tänaseni ja mitte ükski, mis isegi ei vastaks CGI töövoogude võimalustele.

Kuigi geomeetria hindamine on NeRF-stseeni loomiseks hädavajalik, koosneb lõpptulemus üsna lukustatud väärtustest. Kuigi on olemas teatud edusamme NeRF-i tekstuuriväärtuste muutmise suunas ei ole NeRF-stseeni tegelikud objektid parameetrilised võrgud, mida saab redigeerida ja millega mängida, vaid pigem haprad ja külmunud punktipilved.

Selle stsenaariumi korral on NeRF-is renderdatud inimene sisuliselt kuju (või kujude seeria, video NeRF-ides); varjud, mida nad heidavad endale ja teistele objektidele, on pigem tekstuurid, mitte valgusallikatel põhinevad paindlikud arvutused; ja NeRF-i sisu redigeeritavus on piiratud fotograafi valikutega, kes teeb hõredad lähtefotod, millest NeRF genereeritakse. Parameetrid, nagu varjud ja poos, ei ole üheski loomingulises mõttes redigeeritavad.

NeRF-toimetamine

Hiina ja Ühendkuningriigi vaheline uus akadeemiline teaduskoostöö tegeleb selle väljakutsega NeRF-toimetamine, kus NeRF-ist eraldatakse puhverserveri CGI-stiilis võrgud, mida kasutaja omal soovil deformeerib ja deformatsioonid suunatakse tagasi NeRF-i närviarvutustesse:

NeRF-i nukukunst NeRF-i redigeerimisega, kuna kaadrite põhjal arvutatud deformatsioonid rakendatakse samaväärsetele punktidele NeRF-i esituses. Allikas: http://geometrylearning.com/NeRFEditing/

Meetod kohandab NeuS 2021 USA/Hiina rekonstruktiivtehnika, mis ekstraheerib a Signeeritud kaugusfunktsioon (SDF, palju vanem mahulise rekonstrueerimise meetod), mis suudab õppida NeRF-i sees kujutatud geomeetriat.

Sellest SDF-objektist saab kasutaja skulptuuride alus, mille koolutamis- ja vormimisvõimalusi pakub auväärne As-Rigid-As-Possible (ARAABIA) tehnikat.

ARAP võimaldab kasutajatel ekstraheeritud SDF-võrku deformeerida, kuigi hästi toimiksid ka muud meetodid, näiteks luustikupõhised ja puuripõhised lähenemisviisid (st NURB-id). Allikas: https://arxiv.org/pdf/2205.04978.pdf

Rakendatud deformatsioonidega on vaja tõlkida see teave vektorist RGB / piksli tasemele, mis on NeRF-i loomulik, mis on veidi pikem teekond.

Kasutaja poolt deformeeritud võrgu kolmnurksed tipud teisendatakse esmalt tetraeedriliseks võrguks, mis moodustab kasutajavõrgu ümber naha. Sellest täiendavast võrgust eraldatakse ruumiline diskreetne deformatsiooniväli ja lõpuks saadakse NeRF-sõbralik pidev deformatsiooniväli, mida saab suunata tagasi närvikiirguse keskkonda, peegeldades kasutaja muudatusi ja muudatusi ning mõjutades otseselt sihtmärgi tõlgendatud kiiri. NeRF.

Uue meetodi abil deformeeritud ja animeeritud objektid.

Dokumendis öeldakse:

"Pärast pinna deformatsiooni ülekandmist tetraeedrilisele võrgule saame "efektiivse ruumi" diskreetse deformatsioonivälja. Nüüd kasutame neid diskreetseid teisendusi valukiirte painutamiseks. Deformeerunud kiirgusvälja kujutise loomiseks heidame kiiri ruumi, mis sisaldab deformeerunud tetraeedrilist võrku.

. paber on pealkirjaga NeRF-redigeerimine: närvikiirguse väljade geomeetriline redigeerimineja pärineb teadlastelt kolmest Hiina ülikoolist ja institutsioonist koos Cardiffi ülikooli arvutiteaduse ja informaatika kooli teadlasega ning veel kahe Alibaba grupi teadlasega.

Piirangud

Nagu varem mainitud, ei "värskenda" teisendatud geomeetria ühtegi seotud aspekti NeRF-is, mida pole redigeeritud, ega kajasta deformeerunud elemendi sekundaarseid tagajärgi, näiteks varje. Teadlased toovad näite, kus NeRF-i inimfiguuri alumised varjud jäävad muutumatuks, kuigi deformatsioon peaks valgustust muutma:

Paberilt: näeme, et figuuri käe horisontaalne vari jääb paigale isegi siis, kui käsi liigutatakse ülespoole.

Katsed

Autorid märgivad, et praegu puuduvad võrreldavad meetodid otseseks sekkumiseks NeRF-i geomeetriasse. Seetõttu olid uurimistöö jaoks tehtud katsed pigem uurimuslikud kui võrdlevad.

Teadlased demonstreerisid NeRF-i redigeerimist paljudel avalikel andmekogumitel, sealhulgas Mixamo tegelaskujudel ning nüüdseks ikoonilisel Lego buldooseril ja toolil algsest NeRF-ist. täitmine. Nad katsetasid ka tõelise püütud hobusekujuga FVS andmestik, samuti nende endi originaaljäädvustused.

Hobuse pea viltu.

Edasise töö jaoks kavatsevad autorid arendada oma süsteemi just-in-time (JIT) koostatud masinõppe raamistikus Jittor.

Esmakordselt avaldatud 16. mail 2022.