NeRF: Haaste Neuraalisten Valonvaihtoalueiden Sisällön Muokkaamisessa

Tämän vuoden alussa NVIDIA kehitti Neuraalisten Valonvaihtoalueiden (NeRF) tutkimusta merkittävästi esittelemällä InstantNeRF:n, joka näyttää pystyvän generoimaan tutkittavia neuroradiance-kohtauksia vain muutamassa sekunnissa – tekniikasta, joka vuonna 2020 ilmestyessään usein vaati tunteja tai jopa päiviä koulutukseen.

NVIDIA:n InstantNeRF tarjoaa vaikuttavat ja nopeat tulokset. Source: https://www.youtube.com/watch?v=DJ2hcC1orc4

Vaikka tämänkaltaiset interpoloinnit tuottavat staattisen kohtauksen, NeRF pystyy myös kuvaamaan liikettä ja perustavaa ‘kopioi ja liitä’ -muokkausta, jossa yksittäisiä NeRF:ejä voidaan joko yhdistää koostekohtauksiin tai lisätä olemassaoleviin kohtauksiin.

Rakenteiset NeRF:t, jotka esiteltiin Shanghain teknillisen yliopiston ja DGene Digital Technologyn tutkimuksessa vuonna 2021. Source: https://www.youtube.com/watch?v=Wp4HfOwFGP4

Kuitenkin, jos haluat puuttua laskettuun NeRF:ään ja muuttaa jotain, mitä siinä tapahtuu (samalla tavoin kuin voit muuttaa elementtejä perinteisessä CGI-kohtauksessa), alan nopea kehitys on tähän mennessä tuottanut vain muutamia ratkaisuja, eikä yhtään, joka vastaisi CGI-työvirran ominaisuuksia.

Vaikka geometrian arvio on olennainen osa NeRF-kohtauksen luomisessa, lopputulos koostuu melko “lukittuista” arvoista. Vaikka on tehty jonkin verran edistystä tekstuuriarvojen muuttamisessa NeRF:ssä, NeRF-kohtauksen oikeat objektit eivät ole parametrinen verkko, joita voidaan muokata ja leikkiä, vaan enemmän hauraita ja jäätyneitä piste-pilviä.

Tässä skenaariossa NeRF:ssä renderöity henkilö on käytännössä patsas (tai sarja patsaita videoneRF:ssä); varjot, jotka he heittävät itseensä ja muihin objekteihin, ovat tekstuureja eivätkä joustavia laskelmia valonlähteiden perusteella; ja NeRF-sisällön muokkaus on rajoitettu valokuvaajan tekemiin valintoihin, joka ottaa harvat lähdemateriaalikuvat, joista NeRF generoidaan. Parametrit, kuten varjot ja asento, ovat muokkaamattomia millään luovalla tavalla.

NeRF-Muokkaus

Uusi akateeminen tutkimusyhteistyö Kiinan ja Yhdistyneen kuningaskunnan välillä ottaa haasteen vastaan NeRF-Muokkaamisella, jossa proxy-CGI-tyyliset verkkomallit extrahoidaan NeRF:stä, muokataan halutulla tavalla käyttäjän toimesta, ja muokkaukset välitetään takaisin NeRF:n neuroradiance-laskelmiin:

NeRF-nukkeja NeRF-muokkaamisella, kun muokkaukset lasketaan kuvamateriaalista ja sovelletaan vastaaviin pisteisiin NeRF-esityksessä. Source: http://geometrylearning.com/NeRFEditing/

Menetelmä soveltaa NeuS:in 2021 US/Kiina -rekonstruktio-tekniikkaa, joka extrahoi allekirjoitetun etäisyysfunktion (SDF, paljon vanhemman volumetrinen rekonstruktio-menetelmän), joka pystyy oppimaan NeRF:ssä edustetun geometrian.

Tämä SDF-objekti tulee käyttäjän veistospohjaksi, ja taivutus- ja muokkausominaisuudet tarjoaa vanha As-Rigid-As-Possible (ARAP) -tekniikka.

ARAP sallii käyttäjän muokata extrahoidun SDF-verkkomallia, vaikka muut menetelmät, kuten luurangopohjaiset ja häkkipohjaiset lähestymistavat (esim. NURBs), toimisivat myös hyvin. Source: https://arxiv.org/pdf/2205.04978.pdf

Kun muokkaukset on sovellettu, on tarpeen kääntää tämä tieto vektorista NeRF:iin luontaiseen RGB/pikselitasoon, mikä on hieman pidempi matka.

Käyttäjän muokkaaman verkkomallin kolmiulotteiset kohdistuspisteet käännetään ensin tetraedrimalliin, joka muodostaa ihon käyttäjän verkkomallin ympärille. Paikkatilainen diskreetti muodonmuutoskenttä extrahoidaan tästä lisämallista, ja lopulta NeRF-yhteensopiva jatkuva muodonmuutoskenttä saadaan, joka voidaan välittää takaisin neuroradiance-ympäristöön, heijastaen käyttäjän tekemiä muutoksia ja muokkauksia, ja vaikuttaa suoraan tulkittuihin säteisiin kohde-NeRF:ssä.

Objektien muokkaus ja animaatio uudella menetelmällä.

Artikkelissa sanotaan:

‘Muodonmuutoksen siirtämisestä tetraedrimalliin voimme saada “vaikuttavan avaruuden” diskreetin muodonmuutoskentän. Käytämme nyt näitä diskreettejä muodonmuutoksia säteiden taivuttamiseen. Jotta voimme generoida kuvan muokatusta valonvaihtoalueesta, heittämme säteitä avaruuteen, joka sisältää muokatun tetraedrimallin.’

Artikkeli on otsikoitu NeRF-Muokkaus: Neuraalisten Valonvaihtoalueiden Geometrian Muokkaus, ja se on peräisin tutkijoilta kolmesta Kiinan yliopistosta ja instituutista, yhdessä tutkijan Cardiffin yliopiston tietojenkäsittelytieteen ja informaatiotieteen koulusta ja kahdelta tutkijalta Alibaba Groupista.

Rajoitukset

Kuten mainittiin aiemmin, muokatun geometrian ei “päivitetä” mitään NeRF:iin liittyviä aspekteja, jotka eivät ole muokattu, eikä heijasta toissijaisia seurauksia muokatusta elementistä, kuten varjoja. Tutkijat esittävät esimerkin, jossa ihmisfiguurin alivarjot NeRF:ssä säilyvät muuttumattomina, vaikka muokkaus pitäisi muuttaa valaistusta:

Artikkelista: huomataan, että hahmon käsivarren vaakasuora varjo säilyy paikallaan, vaikka käsivarsi siirretään ylöspäin.

Kokeet

Kirjoittajat toteavat, että tällä hetkellä ei ole vertailukelpoisia menetelmiä NeRF-geometrian suoraan muokkaamiseksi. Siksi tutkimuksessa tehtyjä kokeita ei voitu verrata muihin menetelmiin, vaan ne olivat enemmän tutkimuksellisia.

Tutkijat osoittivat NeRF-Muokkausta useilla julkisilla tietokannoilla, mukaan lukien hahmot Mixamosta ja lego-bulldozer sekä tuoli alkuperäisestä NeRF-toteutuksesta. He kokeilivat myös oikeasti kuvattua hevospatsasta FVS-tietokannasta sekä omia alkuperäisiä kuvauksiaan.

Hevosen pää kallistettuna.

Tulevaisuuden työhön tutkijat aikovat kehittää järjestelmäänsä just-in-time (JIT) -käännetyssä koneoppimisen kehyksessä Jittor.

Julkaistu ensimmäisen kerran 16. toukokuuta 2022.