NeRF: Facebookin yhteistyöhön osallistunut kehittää sekoitetun staattisen/dynaamisen videon synteesin

Yhteistyö Virginia Polytechnic Institute and State Universityn ja Facebookin välillä on ratkaissut yhden NeRF-videosynteesin suurimmista haasteista: vapaan staattisen ja dynaamisen kuvan ja videon yhdistämisen Neural Radiance Fields (NeRF) -tuloksiin.

Järjestelmä voi luoda navigoituja kohtauksia, jotka sisältävät sekä dynaamisia videoelementtejä että staattisia ympäristöjä, jotka on tallennettu paikan päällä, mutta erotettu erillisiin virtuaalisen ympäristön säädettäviin osiin:

https://www.youtube.com/watch?v=j8CUzIR0f8M

Lisäksi se saavuttaa tämän yhdestä näkökulmasta, ilman monikameramatriisin tarvetta, joka voi sitoa aloitteita studioympäristöön.

Artikkeli, jonka otsikko on Dynamic View Synthesis from Dynamic Monocular Video, ei ole ensimmäinen, joka on kehittänyt monokulaarisen NeRF -työnkulun, mutta näyttää olevan ensimmäinen, joka kouluttaa samanaikaisesti aikariippuvan ja aikariippumattoman mallin samasta syötteestä ja luo kehyksen, joka sallii liikkuvaan videoon olemassaolon “esikartatun” NeRF-paikassa, samankaltaisessa virtuaalisessa ympäristössä, jota usein käytetään suuren budjetin SF-elokuvissa.

Beyond D-NeRF

Tutkijoiden on täytynyt käytännössä luoda Dynamic NeRF (D-NeRF) -järjestelmän monipuolisuus yhdestä näkökulmasta, ilman monikameramatriisia, jonka D-NeRF käyttää. Tämän ratkaisemiseksi he ennustivat eteen- ja taaksepäin kulkevan kohtauksen virran ja käyttivät tätä tietoa luodakseen aikariippuvan säteilyn kentän.

Vain yhden näkökulman kanssa oli tarpeen käyttää 2D-optista virtausta 3D-pisteiden saamiseksi viitekehyksissä. Laskettu 3D-piste syötetään takaisin virtuaalikameraan kohtauksen virran määrittämiseksi, joka vastaa laskettua optista virtausta.

Koulutusajassa dynaamiset ja staattiset elementit yhdistetään täydelliseen malliin erillisiin osiin.

Sisällyttämällä syvyyden järjestyksen menetys ja soveltamalla D-NeRF:ssä tiukkaa sääntelyä kohtauksen virran ennustamiseen, liikkeen epäselvyyden ongelmaa lievennetään merkittävästi.

Vaikka tutkimuksella on paljon tarjottavaa NeRF-laskelmien sääntelystä ja parantaa merkittävästi yhden näkökulman tulosten tutkimisen joustavuutta ja helppoutta, yhtä merkittävää on dynaamisten ja staattisten NeRF-elementtien uudenlainen erottelu ja uudelleenyhdistäminen.

Riippumatta yksittäisestä kamerasta, järjestelmä ei voi toistaa monikameramatriisin panopticon-näkymää, mutta se voi mennä minne tahansa ja ilman kuorma-autoa.

NeRF – Staattinen vai video?

Äskettäin tarkastelimme jotain vaikuttavaa uutta NeRF-tutkimusta Kiinasta, joka pystyy erottamaan elementtejä dynaamisessa NeRF-kohtauksessa, joka on tallennettu 16 kameralla.

ST-NeRF (yllä) sallii katsojan uudelleen sijoittaa erillisiä elementtejä tallennettuun kohtaukseen ja jopa muuttaa niiden kokoa, muuttaa niiden toistoaikaa, jäädyttää ne tai ajaa ne taaksepäin. Lisäksi ST-NeRF sallii käyttäjän “selata” minkä tahansa osan 180 asteen kaarista, joka on tallennettu 16 kameralla.

Kuitenkin ST-NeRF artikkelin tutkijat myöntävät lopussa, että aika on aina kulkeva jossakin suunnassa tämän järjestelmän alla, ja että on vaikea muuttaa valaistusta ja soveltaa efektejä ympäristöihin, jotka ovat itse asiassa video, eikä “staattisesti kartoitettuja” NeRF-ympäristöjä, jotka itsessään eivät sisällä liikkuvia osia eivätkä tarvitse tallennusta videona.

Korkeasti muokattavat staattiset NeRF-ympäristöt

Staattinen Neural Radiance Field -kohtaus, josta on eristetty liikkuva videosegmentti, on helpompi käsitellä ja täydentää useilla tavoilla, mukaan lukien uudelleenvalaistus, kuten NeRV (Neural Reflectance and Visibility Fields for Relighting and View Synthesis) on ehdottanut tänä vuonna, joka tarjoaa aloitteen valaistuksen ja/tai teksturoinnin muuttamiseen NeRF-ympäristössä tai kohteessa:

Relighting a NeRF object with NeRV. Source: https://www.youtube.com/watch?v=4XyDdvhhjVo

Retexturing in NeRV, even including photorealistic specular effects. Since the basis of the array of images is static, it is easier to process and augment a NeRF facet in this way than to encompass the effect across a range of video frames, making initial pre-processing and eventual training lighter and easier.