NeRF: Facebook Co-Research Ontwikkelt Gemengde Statische/Dynamische Video Synthese

Een samenwerking tussen de Virginia Polytechnic Institute and State University en Facebook heeft een van de belangrijkste uitdagingen in NeRF-video-synthese opgelost: het vrijelijk mengen van statische en dynamische beelden en video’s in Neural Radiance Fields (NeRF)-uitvoer.

Het systeem kan navigeerbare scènes genereren die zowel dynamische video-elementen als statische omgevingen bevatten, elk opgenomen op locatie, maar gescheiden in controleerbare facetten van een virtuele omgeving:

Verder bereikt het dit vanuit een enkel gezichtspunt, zonder de noodzaak voor het soort multi-camera-array dat initiatieven zoals deze aan een studio-omgeving kan binden.

Het artikel, getiteld Dynamic View Synthesis from Dynamic Monocular Video, is niet de eerste die een monocular NeRF-workflow ontwikkelt, maar lijkt de eerste te zijn die tegelijkertijd een tijd-variërend en een tijd-statisch model van dezelfde invoer traint en een kader ontwikkelt dat het mogelijk maakt om bewegingsvideo te laten bestaan binnen een ‘vooraf in kaart gebrachte’ NeRF-locatie, vergelijkbaar met het soort virtuele omgevingen dat vaak acteurs in hoogbudget-SF-uitstapjes omvat.

Beyond D-NeRF

De onderzoekers hebben de flexibiliteit van Dynamic NeRF (D-NeRF) moeten herscheppen met slechts één gezichtspunt, en niet de veelvoud van camera’s die D-NeRF gebruikt. Om dit op te lossen, hebben ze de voorwaartse en achterwaartse scène-stroom voorspeld en deze informatie gebruikt om een vervormde stralingsveld te ontwikkelen dat tijd-consistent is.

Met slechts één POV, was het noodzakelijk om 2D-optische stroomanalyse te gebruiken om 3D-punten in referentiekaders te verkrijgen. Het berekende 3D-punt wordt vervolgens teruggevoerd in de virtuele camera om een ‘scène-stroom’ te vestigen die de berekende optische stroom met de geschatte optische stroom overeenkomt.

Tijdens de training worden dynamische elementen en statische elementen verzoend in een volledig model als afzonderlijk toegankelijke facetten.

Door een berekening van diepte-orde-verlies op te nemen en het model en een strikte regularisatie van scène-stroomvoorspelling in D-NeRF toe te passen, wordt het probleem van bewegingsonscherpte sterk geminimaliseerd.

Hoewel het onderzoek veel te bieden heeft op het gebied van het regulariseren van NeRF-berekeningen en de behendigheid en faciliteit van verkenning voor uitvoer vanuit een enkel POV aanzienlijk verbetert, is van minstens even groot belang de novale scheiding en herintegratie van dynamische en statische NeRF-elementen.

Door te vertrouwen op een enkele camera, kan een dergelijk systeem de panopticon-weergave van multi-camera-array NeRF-opstellingen niet repliceren, maar het kan overal naartoe gaan, en zonder een truck.

NeRF – Statisch Of Video?

Onlangs hebben we gekeken naar enkele indrukwekkende nieuwe NeRF-onderzoeken uit China die in staat zijn om elementen in een dynamische NeRF-scène te scheiden, opgenomen met 16 camera’s.

ST-NeRF (hierboven) laat de kijker toe om geïndividualiseerde elementen in een opgenomen scène te herpositioneren en zelfs om ze te herschalen, de afspeelsnelheid te veranderen, ze te bevriezen of omgekeerd af te spelen. Bovendien laat ST-NeRF de gebruiker toe om door elk deel van de 180-graden-boog die door de 16 camera’s is opgenomen te ‘scrollen’.

Echter, de onderzoekers van het ST-NeRF-artikel geven in hun conclusie toe dat de tijd altijd in een of andere richting loopt onder dit systeem, en dat het moeilijk is om de verlichting te veranderen en effecten toe te passen op omgevingen die eigenlijk video’s zijn, in plaats van ‘statisch in kaart gebrachte’ NeRF-omgevingen die zelf geen bewegende componenten bevatten en niet als video hoeven te worden opgenomen.

Hoog Bewerkbare Statische NeRF-Omgevingen

Een statische Neural Radiance Field-scène, nu geïsoleerd van alle bewegingsvideo-segmenten, is gemakkelijker te behandelen en te verrijken op verschillende manieren, waaronder het veranderen van de verlichting, zoals eerder dit jaar voorgesteld door NeRV (Neural Reflectance and Visibility Fields for Relighting and View Synthesis), die een eerste stap biedt in het veranderen van de verlichting en/of de textuur van een NeRF-omgeving of object:

Relighting a NeRF object with NeRV. Source: https://www.youtube.com/watch?v=4XyDdvhhjVo

Retexturing in NeRV, even including photorealistic specular effects. Since the basis of the array of images is static, it is easier to process and augment a NeRF facet in this way than to encompass the effect across a range of video frames, making initial pre-processing and eventual training lighter and easier.