NeRF: 페이스북 공동 연구 개발 混合 정적/동적 비디오 합성

버지니아 폴리테크닉 연구소와 페이스북의 공동 연구는 NeRF 비디오 합성의 주요課題 중 하나를 해결했습니다. 즉, 정적 및 동적 이미지와 비디오를 자유롭게 혼합하여 Neural Radiance Fields (NeRF) 출력에서 사용할 수 있습니다.

이 시스템은 동적 비디오 요소와 정적 환경을 모두 포함하는 네비게이션 가능한 장면을 생성할 수 있으며, 각 요소는 별도로 녹화되었지만 가상 환경의 컨트롤 가능한 요소로 분리됩니다.

또한, 이 시스템은 다중 카메라 배열이 아닌 단일 시점에서 이를 달성할 수 있으며, 스튜디오 환경에 구속되는 것을 피할 수 있습니다.

연구 논문은 동적 모노큘러 비디오에서 동적 뷰 합성이라고 제목이 붙여졌으며, 최초의 모노큘러 NeRF 워크플로우는 아니지만, 동일한 입력에서 시간 변동 및 시간 정적 모델을 동시에 학습하고, 동적 비디오가 ‘프리맵’된 NeRF 로케이션 내에서 존재할 수 있는 프레임워크를 생성하는 최초의 연구입니다.

Beyond D-NeRF

연구자들은 본질적으로 다중 카메라를 사용하는 Dynamic NeRF (D-NeRF)의 유연성을 단일 시점에서 재현해야 했습니다. 이를 해결하기 위해, 전방 및 후방 장면 흐름을 예측하고, 이를 사용하여 시간적으로 일관된 왜곡된 방사 필드를 개발했습니다.

단일 시점만 사용하면, 2D 광학 흐름 분석을 사용하여 참조 프레임의 3D 점을 얻어야 했습니다. 계산된 3D 점은 가상 카메라에 다시 피드백되어, 계산된 광학 흐름과 추정된 광학 흐름을 일치시키는 ‘장면 흐름’을 설정했습니다.

학습 시간에, 동적 요소와 정적 요소는 별도로 접근 가능한 요소로 전체 모델에 조화됩니다.

깊이 순서 손실 계산을 포함하고, D-NeRF에서 장면 흐름 예측의 엄격한 정규화를 적용함으로써, 동적 블러의 문제가 크게 완화됩니다.

이 연구는 NeRF 계산의 정규화에 많은 것을 제공하며, 단일 시점에서 출력을 탐색하는 유연성과 편의성을 크게 개선합니다. 동적 및 정적 NeRF 요소의 새로운 분리 및 재결합도 주목할 만합니다.

단일 카메라를 사용하는 시스템은 다중 카메라 배열 NeRF 설정의 파노프티콘 뷰를 복제할 수 없지만, 어디로든 갈 수 있으며, 트럭 없이도 가능합니다.

NeRF – Static Or Video?

최근에 우리는 16개의 카메라로 동적 NeRF 장면을 캡처하여 요소를 분리할 수 있는 중국의 인상적인 새로운 NeRF 연구를 살펴보았습니다.

ST-NeRF (위)는 뷰어가 캡처된 장면의 개별 요소를 재배치하고, 크기를 조정하고, 재생 속도를 변경하거나, 동결하거나, 반대로 실행할 수 있습니다. 또한, ST-NeRF를 사용하면 16개의 카메라가 캡처한 180도 아크의任意 부분을 ‘스크롤’할 수 있습니다.

그러나, ST-NeRF 연구 논문의 저자들은 이 시스템에서 시간이 항상 어떤 방향으로든 실행되고 있으며, 비디오가 아닌 ‘정적으로 맵’된 NeRF 환경을 변경하는 것이 어려울 수 있으며, 이러한 환경은 실제 비디오가 아닌 정적 요소만을 포함한다는 것을 인정합니다.

Highly Editable Static NeRF Environments

정적 Neural Radiance Field 장면은 이제 동적 비디오 세그먼트에서 분리되었으며, 여러 가지 방법으로 처리 및 보강할 수 있습니다. 예를 들어, NeRV (Neural Reflectance and Visibility Fields for Relighting and View Synthesis)를 사용하여 초기 단계에서 조명을 변경하거나 텍스처링을 적용할 수 있습니다.

NeRV를 사용하여 NeRF 객체의 조명을 변경 출처: https://www.youtube.com/watch?v=4XyDdvhhjVo

NeRV를 사용하여 텍스처링, 심지어 광학적 효과까지 출처: https://www.youtube.com/watch?v=4XyDdvhhjVo

into Korean