NeRF: Facebook Co-Research Dezvoltă Sinteză de Videoclip Mixt Static/Dynamic

O colaborare între Virginia Polytechnic Institute și State University și Facebook a rezolvat una dintre principalele provocări în sinteza de videoclip NeRF: amestecarea liberă a imaginilor statice și dinamice și a videoclipurilor în câmpurile de radianță neurale (NeRF) de ieșire.

Sistemul poate genera scene navigabile care prezintă atât elemente de videoclip dinamic, cât și medii statice, fiecare înregistrate pe loc, dar separate în aspecte controlabile ale unui mediu virtual:

https://www.youtube.com/watch?v=j8CUzIR0f8M

Mai mult, realizează acest lucru dintr-un singur punct de vedere, fără a necesita un fel de matrice de camere multiple care poate lega inițiative de acest fel de un mediu de studio.

Articolul paper, intitulat Sinteză de vedere dinamică din videoclip monocular dinamic, nu este primul care dezvoltă un flux de lucru NeRF monocular, dar pare a fi primul care antrenează simultan un model cu variație în timp și un model static din același intrare și care generează un cadru care permite videoclipului cu mișcare să existe într-un loc NeRF “pre-hartat”, similar cu felul de medii virtuale care înconjoară adesea actori în ieșiri SF cu buget ridicat.

Dincolo de D-NeRF

Cercetătorii au trebuit să recreeze practic versatilitatea NeRF dinamic (D-NeRF) cu doar un singur punct de vedere, și nu o multiplicitate de camere pe care D-NeRF le utilizează. Pentru a rezolva acest lucru, ei au prezis fluxul de scenă înainte și înapoi și au utilizat aceste informații pentru a dezvolta un câmp de radianță deformat care este temporal consistent.

Cu doar un punct de vedere, a fost necesar să se utilizeze analiza fluxului optic 2D pentru a obține puncte 3D în cadre de referință. Punctul 3D calculat este apoi reintrodus în camera virtuală pentru a stabili un “flux de scenă” care se potrivește cu fluxul optic calculat și cu fluxul optic estimat.

La momentul antrenării, elementele dinamice și statice sunt reconciliate într-un model complet ca aspecte separate accesibile.

Prin includerea unei calcule a pierderii de ordine de adâncime, modelul și aplicarea unei regularizări riguroase a prezicerii fluxului de scenă în D-NeRF, problema blurului de mișcare este mult atenuată.

Deși cercetarea are multe de oferit în ceea ce privește regularizarea calculului NeRF și îmbunătățește considerabil flexibilitatea și facilitățile de explorare pentru ieșirile de la un singur punct de vedere, de cel puțin aceeași importanță este separarea și reintegrarea noilor elemente NeRF dinamice și statice.

Depinzând de o singură cameră, un astfel de sistem nu poate replica vedere panoramică a matricei de camere multiple NeRF, dar poate merge oriunde, și fără un camion.

NeRF – Static sau Videoclip?

Recent am examinat unele cercetări impresionante noi NeRF din China care pot separa elemente într-o scenă NeRF dinamică capturată cu 16 camere.

ST-NeRF (mai sus) permite spectatorului să repoziționeze elemente individualizate într-o scenă capturată și chiar să le redimensioneze, să schimbe rata de redare, să le înghețe sau să le ruleze în sens invers. În plus, ST-NeRF permite utilizatorului să “deruleze” prin orice parte a arcului de 180 de grade capturat de cele 16 camere.

Cu toate acestea, cercetătorii articolului paper ST-NeRF recunosc în încheiere că timpul este întotdeauna în desfășurare într-un anumit fel sub acest sistem, și că este dificil să se schimbe iluminarea și să se aplice efecte asupra mediilor care sunt de fapt videoclipuri, și nu “mediile statice hărțuite” NeRF, care în ele însele nu conțin componente mobile și nu trebuie să fie capturate ca videoclip.

Medii NeRF Statice cu Editare Avansată

O scenă NeRF statică, acum izolată de orice segmente de videoclip cu mișcare, este mai ușor de tratat și de augmentat în numeroase moduri, inclusiv reluminarea, așa cum a fost propus mai devreme acest an de NeRV (Câmpuri Neurale de Reflexie și Vizibilitate pentru Reluminare și Sinteză de Vedere), care oferă un prim pas în schimbarea iluminării și/sau texturii unei medii sau obiect NeRF:

Reluminarea unui obiect NeRF cu NeRV. Sursă: https://www.youtube.com/watch?v=4XyDdvhhjVo

Retexturarea în NeRV, inclusiv efecte speculare fotorealiste. Deoarece baza matricei de imagini este statică, este mai ușor să se prelucreze și să se augmenteze un aspect NeRF în acest fel decât să se cuprindă efectul pe o serie de cadre de videoclip, făcând prelucrarea inițială și antrenamentul ulterioară mai ușoare.