ST-NeRF: Koostaminen ja editointi videon synteesiin

Kiinalainen tutkimuskonsortio on kehittänyt tekniikoita, joilla voidaan tuoda editointi- ja koostamisominaisuudet yhteen viime vuoden kuumimpiin kuuluvaan kuvansynteesitutkimuksen alaan – Neuraalisiin säteilykenttiin (NeRF). Järjestelmä on nimeltään ST-NeRF (Spatio-Temporaalinen Koherentti Neuraalinen Säteilykenttä).

Mitä näyttää fyysisen kameran panoraamalta kuvassa alla, on itse asiassa vain käyttäjän “selailu” näkökulmista videomateriaalissa, joka on olemassa 4D-avaruudessa. Kuvan näkökulma ei ole lukittu henkilöiden esityksen suorittamiseen, joiden liikkeet voidaan tarkastella miltä tahansa osalta 180 asteen säteeltä.

Jokainen facet videossa on erillisesti tallennettu elementti, joka on koostettu yhtenäiseksi kohteeksi, jota voidaan dynaamisesti tutkia.