NeRF: Facebook Co-Research Develops Mixed Static/Dynamic Video Synthesis

Facebook와 Virginia Polytechnic Institute and State University 간의 협력은 NeRF 비디오 합성의 주요課題 중 하나인 자유롭게 정적 및 동적 이미지 및 비디오를 Neural Radiance Fields (NeRF) 출력에서 혼합하는 것을 해결했습니다.

이 시스템은 동적 비디오 요소와 정적 환경을 모두 갖춘 탐색 가능한 장면을 생성할 수 있으며, 각 요소는 위치에서 기록되지만 가상 환경의 제어 가능한 측면으로 분리됩니다.

https://www.youtube.com/watch?v=j8CUzIR0f8M

さらに, 이것은 다중 카메라 배열이 필요한 스튜디오 환경에 묶여있는 것과 같은 초기화가 필요 없는 단일 관점에서 달성됩니다.

논문은 Dynamic Monocular Video에서 동적 뷰 합성이라는 제목으로, 단일 카메라 NeRF 워크플로우를 개발한 최초의 논문은 아니지만, 동일한 입력에서 시간에 따라 변하는 모델과 시간에 따라 정적인 모델을 동시에 학습하고, ‘pre-mapped’ NeRF 로컬에서 모션 비디오를 생성할 수 있는 프레임워크를 제공하는 것으로 보입니다. 이는 높은 예산의 SF 아웃팅에서 종종 배우를 포함하는 가상 환경과 유사합니다.

Beyond D-NeRF

연구자들은 본질적으로 Dynamic NeRF (D-NeRF)의 다중 카메라를 사용하는 대신 단일 관점에서 다중 카메라를 사용하여 동일한 유연성을 재창조해야 했습니다. 이를 해결하기 위해, họ는 전방 및 후방 장면 흐름을 예측하고 이 정보를 사용하여 시간적으로 일관된 왜곡된 방사 필드를 개발했습니다.

단일 관점만으로는 3D 점을 참조 프레임에서 얻기 위해 2D 광학 흐름 분석을 사용해야 했습니다. 계산된 3D 점은 가상 카메라에 다시 피드백되어 계산된 광학 흐름과 추정된 광학 흐름을 일치시키는 ‘장면 흐름’을 설정합니다.

훈련 시간에, 동적 요소와 정적 요소는 별도로 액세스할 수 있는 측면으로 전체 모델과 일치됩니다.

깊이 순서 손실 계산을 모델에 포함하고 D-NeRF에서 장면 흐름 예측의 엄격한 정규화를 적용함으로써, 모션 블러 문제가 크게 완화됩니다.

연구는 NeRF 계산을 정규화하는 데 많은 것을 제공하며, 단일 관점에서 출력에 대한 탐색의 유연성과 편의성을 크게 개선합니다. 동적 및 정적 NeRF 요소의 새로운 분리 및 재 통합도 주목할 만합니다.

단일 카메라를 사용하는 시스템은 다중 카메라 배열 NeRF 설정의 파노프티콘 뷰를 복제할 수 없습니다. 그러나 트럭 없이 어디로든 갈 수 있습니다.

NeRF – 정적 또는 비디오?

최근에 우리는 16개의 카메라로 캡처된 동적 NeRF 장면의 요소를 분리할 수 있는 중국의 인상적인 새로운 NeRF 연구를 살펴보았습니다.

ST-NeRF (위)는 캡처된 장면의 개별 요소를 재배치하고, 크기를 조정하고, 재생 속도를 변경하거나, 역방향으로 재생하거나,甚至 ‘스크롤’할 수 있습니다. 또한, ST-NeRF는 16개의 카메라로 캡처된 180도 아크의任意 부분을 ‘스크롤’할 수 있습니다.

그러나 ST-NeRF 논문의 연구자들은 시스템에서 시간은 항상 어떤 방향으로든 실행되고, 비디오가 아닌 ‘정적으로 매핑된’ NeRF 환경을 변경하고 효과를 적용하는 것이 어렵다고 인정합니다.

고도로 편집 가능한 정적 NeRF 환경

정적 Neural Radiance Field 장면은 이제 모션 비디오 세그먼트에서 분리되며, 초기에 제안된 NeRV (Neural Reflectance and Visibility Fields for Relighting and View Synthesis)와 같이 다양한 방식으로 처리 및 보강할 수 있습니다.

NeRV로 NeRF 개체의 재조명. 출처: https://www.youtube.com/watch?v=4XyDdvhhjVo

NeRV에서 재텍스처링, 심지어 사진적 실사적인 스펙큘러 효과도 포함.