NeRF: Haasteena Neural Radiance Fields -sisällön muokkaus

Tänä vuonna NVIDIA kehitti merkittävästi Neural Radiance Fields (NeRF) -tutkimusta, erityisesti InstantNeRF:in avulla, joka näyttää pystyvän luomaan tutkittavia neurosisältöjä vain muutamassa sekunnissa – menetelmästä, joka vuonna 2020 ilmestyessään usein vaati tunteja tai jopa päiviä koulutukseen.

NVIDIA:n InstantNeRF tarjoaa vaikuttavia ja nopeita tuloksia. Lähde: https://www.youtube.com/watch?v=DJ2hcC1orc4

Vaikka tämäntyyppinen interpolointi tuottaa staattisen kohtauksen, NeRF pystyy myös kuvaamaan liikettä ja perustavaa ‘leikkaa ja liimaa’ -muokkausta, jossa yksittäisiä NeRF:ejä voidaan joko yhdistää komposiittikohtauksiin tai lisätä olemassaoleviin kohtauksiin.

Pinottuja NeRF:ejä, jotka esiteltiin Shanghain teknillisen yliopiston ja DGene Digital Technologyn tutkimuksessa vuonna 2021. Lähde: https://www.youtube.com/watch?v=Wp4HfOwFGP4

Kuitenkin, jos haluat puuttua laskettuun NeRF:ään ja muuttaa jotain siinä tapahtuvaa (samalla tavoin kuin voit muuttaa elementtejä perinteisessä CGI-kohtauksessa), nopea kiinnostuksen kasvu on tuonut vain muutamia ratkaisuja tähän mennessä, eikä yhtään, joka edes lähestyisi CGI-työvirran ominaisuuksia.

Vaikka geometrian arvio on olennainen osa NeRF-kohtauksen luomisessa, lopputulos koostuu melko ‘lukittuista’ arvoista. Vaikka tekstuuriarvojen muuttamiseen NeRF:ssä tehdään jonkinlaista edistystä, NeRF-kohtauksen oikeat objektit eivät ole parametrinen verkkomesh, jota voidaan muokata ja leikkiä, vaan enemmän kuin hauras ja jäädytetty pisteiden pilvi.

Tässä skenaariossa NeRF:ssä renderoitu henkilö on käytännössä patsas (tai sarja patsaita, video-NeRF:issä); varjot, jotka he heittävät itsensä ja muihin objekteihin, ovat tekstuureja eikä joustavia laskelmia valonlähteiden perusteella; ja NeRF-sisällön muokkaus on rajoitettu valokuvaajan tekemiin valintoihin, joka ottaa harvat lähdevalokuvat, joista NeRF generoidaan. Parametrit, kuten varjot ja asento, ovat muokkaamattomia millään luovalla tavalla.

NeRF-muokkaus

Uusi akateeminen tutkimusyhteistyö Kiinan ja Yhdistyneen kuningaskunnan välillä vastaa tähän haasteeseen NeRF-muokkaus:lla, jossa välitöntä CGI-tyyppistä mesh:ää eristetään NeRF:stä, jota käyttäjä muokkaa haluamallaan tavalla, ja muokkaukset välitetään takaisin NeRF:n neuroradianssilaskelmiin;

NeRF:nukkeenohjaus NeRF-muokkauksella, kun muokkaukset, jotka lasketaan kuvamateriaalista, sovelletaan vastaaviin pisteisiin NeRF-esityksessä. Lähde: http://geometrylearning.com/NeRFEditing/

Menetelmä soveltaa NeuS:n vuoden 2021 US/Kiinan rekonstruktioTekniikkaa, joka eristää Signeerauksen etäisyyden funktion (SDF, paljon vanhempi volumetrinen rekonstruktio), joka pystyy oppimaan NeRF:ssä edustetun geometrian.

Tämä SDF-objekti tulee käyttäjän veistosperustaksi, ja venerable As-Rigid-As-Possible (ARAP) -tekniikka tarjoaa taivutus- ja muokkausominaisuudet.

ARAP sallii käyttäjän muokata eristettyä SDF-mesh:ia, vaikka muita menetelmiä, kuten luurankopohjaisia ja häkkipohjaisia lähestymistapoja (esim. NURBs), voisi myös toimia hyvin. Lähde: https://arxiv.org/pdf/2205.04978.pdf

Kun muokkaukset on sovellettu, on tarpeen kääntää tämä tieto vektoreista RGB/pikselitasolle, joka on NeRF:lle ominaista, mikä on hieman pidempi matka.

Käyttäjän muokkaaman meshin kolmiulotteiset särmät käännetään ensin tetraedrimeksi, joka muodostaa ihon käyttäjän meshin ympärille. Paikkatilasta eristetään spatiaalinen diskreetti muodonmuutoskenttä, ja lopulta saadaan NeRF-yhteensopiva jatkuva muodonmuutoskenttä, joka voidaan välittää takaisin neuroradianssilaskelmiin, heijastaen käyttäjän tekemiä muutoksia ja muokkauksia, ja vaikuttaa suoraan tulkittuihin säteisiin kohde-NeRF:issä.

Objektit, jotka on muokattu ja animoitu uudella menetelmällä.

Artikkeli toteaa:

‘Muodonmuutoksen siirtämisestä tetraedrimeen voimme saada “tehokkaan avaruuden” diskreetin muodonmuutoskentän. Käytämme nyt näitä diskreettejä muodonmuutoksia kaarteiden taivuttamiseen. Jotta voimme luoda kuvan muokatusta säteilykentästä, heittämme säteitä avaruuteen, joka sisältää muokatun tetraedrimegin.’

Artikkeli on otsikoitu NeRF-muokkaus: NeRF:in geometrian muokkaus, ja se on peräisin tutkijoilta kolmesta Kiinan yliopistosta ja laitoksista, yhdessä tutkijan Cardiffin yliopiston tietojenkäsittely- ja informaatiotieteiden koulusta, ja kaksi tutkijaa Alibaba Groupista.

Rajoitukset

Kuten mainittiin aiemmin, muokattu geometria ei ‘päivitä’ mitään NeRF:issä olevia liittyviä aspekteja, jotka eivät ole muokattu, eikä heijasta toissijaisia seurauksia muokatusta alueesta, kuten varjoja. Tutkijat esittävät esimerkin, jossa ihmisfiguurin alivarjot NeRF:issä säilyvät muuttumattomina, vaikka muokkaus pitäisi muuttaa valaistusta:

Artikkelista: Käydään ilmi, että hahmon käsivarren vaakasuora varjo säilyy paikallaan, vaikka käsivarti siirretään ylöspäin.

Kokeet

Kirjoittajat toteavat, että tällä hetkellä ei ole vertailukelpoisia menetelmiä NeRF-geometrian suoraan puuttumiseen. Siksi tutkimuksessa suoritetut kokeet olivat enemmän tutkimuksellisia kuin vertailukelpoisia.

Tutkijat osoittivat NeRF-muokkausta useilla julkisilla tietokannoilla, mukaan lukien hahmot Mixamosta ja Lego-bulldozer ja tuoli alkuperäisestä NeRF-toteutuksesta. He kokeilivat myös oikeasti tallennettua hevospatsasta FVS-tietokannasta, sekä omia alkuperäisiä tallenteitaan.

Hevosen pää kallistettuna.

Tulevaisuuden työhön kirjoittajat aikovat kehittää järjestelmäänsä just-in-time (JIT) -käännetyssä koneoppimisen kehyksessä Jittor.

Julkaistu ensimmäisen kerran 16. toukokuuta 2022.