NeRF: Facebookin tutkimusryhmä kehittää sekoitetun staattisen ja dynaamisen video-synteesin

Virginia Polytechnic Institute and State Universityn ja Facebookin yhteistyö on ratkaissut yhden tärkeimmistä haasteista NeRF-videosynteesissä: vapaan staattisen ja dynaamisen kuvan ja videon sekoittamisen Neural Radiance Fields (NeRF) -tuloksiin.

Järjestelmä voi luoda navigoituja kohtauksia, joissa on sekä dynaamisia video-elementtejä että staattisia ympäristöjä, jotka on tallennettu paikan päällä, mutta eroteltu hallittaviin osiin virtuaalisessa ympäristössä:

Lisäksi se saavuttaa tämän yhdestä näkökulmasta, ilman monikamerajärjestelmän tarvetta, joka voi sitoa aloitteita studioympäristöön.

Tutkimusartikkeli, jonka otsikko on Dynamic View Synthesis from Dynamic Monocular Video, ei ole ensimmäinen, joka on kehittänyt monokulaarisen NeRF-työnkulun, mutta näyttää olevan ensimmäinen, joka kouluttaa samanaikaisesti aikariippuvaisen ja aikariippumattoman mallin samasta syötteestä ja luo kehyksen, joka sallii liikkuvaan videoon olemassaolon “esikarttetussa” NeRF-paikassa, samalla tavalla kuin virtuaaliset ympäristöt, jotka usein kattavat näyttelijöitä suuren budjetin SF-elokuvissa.

Beyond D-NeRF

Tutkijat ovat joutuneet käytännössä luomaan Dynamic NeRF:n (D-NeRF) kaltaisen joustavuuden vain yhdestä näkökulmasta, ilman useiden kameroiden moninaisuutta, jota D-NeRF käyttää. Tämän ratkaisemiseksi he ennustivat eteen- ja taaksepäin suuntautuvan kohtauksen virran ja käyttivät tätä tietoa kehittääkseen aikariippuvan säteilykentän, joka on temporaalisesti yhdenmukainen.

Vain yhden näkökulman kanssa oli tarpeen käyttää 2D-optista virtausten analyysiä saadakseen 3D-pisteet viitekehyksissä. Laskettu 3D-piste syötetään sitten virtuaalikameraan jotta voidaan perustaa “kohtauksen virtaus”, joka vastaa laskettua optista virtausta arvioituun optiseen virtaukseen.

Koulutusajan dynaamiset ja staattiset elementit sovitetään täydelliseen malliin erillisenä osina.

Sisällyttämällä syvyysjärjestyksen menetyslaskelma ja soveltamalla D-NeRF:iin tiukkaa sääntelyä kohtauksen virtausennusteen ongelmaa lievennetään merkittävästi.

Vaikka tutkimuksella on paljon tarjottavaa NeRF-laskelmien sääntelyssä ja parantaa merkittävästi yhden näkökulman tulosten tutkimisen joustavuutta ja helppoutta, yhtä merkittävää on uusi dynaamisten ja staattisten NeRF-elementtien erottelu ja uudelleen yhdistäminen.

Riippumatta yksistä kamerasta, tällainen järjestelmä ei voi toistaa monikamerajärjestelmien panopticon-näkymää, mutta se voi mennä minne tahansa, ilman kuorma-auton tarvetta.

NeRF – Staattinen vai video?

Äskettäin tarkastelimme jotain vaikuttavaa uutta NeRF-tutkimusta Kiinasta, joka pystyy erottamaan elementtejä dynaamisessa NeRF-kohtauksessa, joka on tallennettu 16 kameralla.

ST-NeRF (yllä) sallii katsojan uudelleen sijoittaa erillisiä elementtejä tallennetussa kohtauksessa ja jopa muuttaa niiden kokoa, muuttaa toistoaikaa, jäädyttää ne tai ajaa ne taaksepäin. Lisäksi ST-NeRF sallii käyttäjän “selata” minkä tahansa osan 180 asteen kaarta, jota 16 kameralla on tallennettu.

Kuitenkin ST-NeRF-tutkimuksen tutkimusartikkeli myöntää lopussa, että aika on aina kulkeva jossakin suunnassa tämän järjestelmän alaisuudessa, ja että on vaikea muuttaa valaistusta ja soveltaa vaikutuksia ympäristöihin, jotka ovat itse asiassa videoita, eikä “staattisesti kartoitettuja” NeRF-ympäristöjä, jotka itsessään eivät sisällä liikkuvia osia eivätkä tarvitse tallennusta videona.

Hyvin muokattavat staattiset NeRF-ympäristöt

Staattinen Neural Radiance Field -kohtaus, joka on nyt erillinen liikkuva video-segmenteistä, on helpompi käsitellä ja täydentää monin tavoin, mukaan lukien uudelleen valaistus, kuten NeRV (Neural Reflectance and Visibility Fields for Relighting and View Synthesis) on ehdottanut tänä vuonna, joka tarjoaa alkuvaiheen valaistuksen ja/tai teksturoinnin muuttamiseksi NeRF-ympäristössä tai kohteessa:

Valaistuksen muuttaminen NeRF-kohteessa NeRV:llä. Lähde: https://www.youtube.com/watch?v=4XyDdvhhjVo

Teksturoinnin muuttaminen NeRV:ssä, myös fotorealistiset spekulaariset vaikutukset. Koska kuvien joukon perusta on staattinen, on helpompi prosessoida ja täydentää NeRF-osaa tällä tavoin kuin kattaa vaikutus videon kehysjen sarjaan, mikä tekee alkuvaiheen esikäsittelyn ja lopullisen koulutuksen kevyemmäksi ja helpommaksi.