NeRF: Cercetarea Facebook Co-Research Dezvoltă o Sinteză de Video Static/Dinamic Mixtă

O colaborare între Virginia Polytechnic Institute și State University și Facebook a rezolvat una dintre principalele provocări în sinteza video NeRF: amestecarea liberă a imaginilor statice și dinamice și a videourilor în câmpurile de radianță neurală (NeRF) de ieșire.

Sistemul poate genera scene navigabile care prezintă atât elemente de video dinamice, cât și medii statice, fiecare înregistrată pe loc, dar separate în faceti controlabile ale unui mediu virtual:

În plus, realizează acest lucru dintr-un singur punct de vedere, fără a necesita un ansamblu de camere multiple care pot lega inițiative de acest fel de un mediu de studio.

Articolul paper, intitulat Sinteză de vedere dinamică din videoclipuri monocular dinamice, nu este primul care dezvoltă un flux de lucru NeRF monocular, dar pare a fi primul care antrenează simultan un model cu variație în timp și un model static din același intrare și care generează un cadru care permite ca videoclipurile cu mișcare să existe în interiorul unui loc NeRF “pre-hartat”, similar cu tipul de medii virtuale care înconjoară adesea actori în producții SF cu buget mare.

Dincolo de D-NeRF

Cercetătorii au trebuit să recreeze practic versatilitatea NeRF dinamic (D-NeRF) cu doar un singur punct de vedere, și nu cu multiplicitatea de camere pe care o utilizează D-NeRF. Pentru a rezolva acest lucru, ei au prezis fluxul de scenă înainte și înapoi și au utilizat aceste informații pentru a dezvolta un câmp de radianță deformat care este temporal consistent.

Având doar un punct de vedere, a fost necesar să se utilizeze analiza fluxului optic 2D pentru a obține puncte 3D în cadre de referință. Punctul 3D calculat este apoi reintrodus în camera virtuală pentru a stabili un “flux de scenă” care corelează fluxul optic calculat cu fluxul optic estimat.

La momentul antrenării, elementele dinamice și statice sunt reconciliate într-un model complet ca faceti accesibile separat.

Prin includerea unei calcule a pierderii de ordine de adâncime și aplicarea unei regularizări riguroase a predicției fluxului de scenă în D-NeRF, problema blur-ului de mișcare este mult atenuată.

Deși cercetarea are mult de oferit în ceea ce privește regularizarea calculului NeRF și îmbunătățește considerabil agilitatea și facilitățile de explorare pentru ieșirile dintr-un singur punct de vedere, de cel puțin aceeași importanță este separarea și reintegrarea inovatoare a elementelor NeRF statice și dinamice.

Încredințându-se unui singur aparat de fotografiat, un astfel de sistem nu poate replica vedere panoramică a unui ansamblu de camere multiple NeRF, dar poate merge oriunde, și fără un camion.

NeRF – Static sau Video?

Recent am examinat unele cercetări impresionante NeRF noi din China care pot separa elemente într-o scenă NeRF dinamică capturată cu 16 camere.

ST-NeRF (mai sus) permite spectatorului să repoziționeze elemente individualizate într-o scenă capturată și chiar să le redimensioneze, să schimbe rata de redare, să le înghețe sau să le ruleze în sens invers. În plus, ST-NeRF permite utilizatorului să “deruleze” prin orice parte a arcului de 180 de grade capturat de cele 16 camere.

Cu toate acestea, cercetătorii articolului ST-NeRF admit în încheiere că timpul este întotdeauna în curs într-un anumit mod sub acest sistem, și că este dificil să se schimbe iluminarea și să se aplice efecte asupra mediilor care sunt de fapt video, și nu “mediu NeRF static”, care în sine nu conține componente mobile și nu trebuie să fie capturat ca video.

Medii NeRF Statice Foarte Editabile

O scenă NeRF statică, acum izolată de orice segmente de video în mișcare, este mai ușor de tratat și de augmentat în mai multe moduri, inclusiv reluarea, așa cum a fost propus mai devreme acest an de NeRV (Neural Reflectance and Visibility Fields for Relighting and View Synthesis), care oferă un prim pas în schimbarea iluminării și/sau a texturii unui mediu sau obiect NeRF:

Reluarea unui obiect NeRF cu NeRV. Sursă: https://www.youtube.com/watch?v=4XyDdvhhjVo

Texturarea în NeRV, inclusiv efecte speculare fotorealistice. Deoarece baza matricei de imagini este statică, este mai ușor să se proceseze și să se augmenteze o fațetă NeRF în acest mod decât să se cuprindă efectul de-a lungul unei game de cadre video, făcând prelucrarea inițială și antrenamentul ulterioară mai ușoare.