NeRFocus: Neural Radiance Fields에 경량 포커스 제어를 가져오다

중국의 새로운 연구는 Neural Radiance Fields(NeRF)에 대한 깊이 필드 효과에 대한 저렴한 제어를 달성하는 방법을 제공하며, 사용자는 포커스를 조정하고 렌더링 공간에서 가상 렌즈의 구성을 동적으로 변경할 수 있다.

이 기술은 NeRFocus라는 제목으로, 새로운 ‘thin lens imaging’ 접근 방식을 포커스 traversal에 구현하며, 전용 깊이 필드 데이터셋의 필요성을 없애는 확률적 훈련 전략인 P-training을 혁신적으로 도입하여, 포커스_enabled 훈련 워크플로우를 단순화한다.

이 논문은 NeRFocus: Neural Radiance Field for 3D Synthetic Defocus라는 제목으로, 베이징 대학의 深圳 대학원과 深圳의 펭청 연구소의 4명의 연구자에 의해 작성되었다.

NeRF의 Foveated Locus of Attention에 대한 접근

NeRF가 가상 및 증강 현실의 유효한 구동 기술로 자리 잡기 위해서는, 사용자의 시선 주변에 렌더링 자원을 집중시키는リア리스틱한 foveated rendering을 허용하는 경량 방법이 필요하다. 이는 전체 시각적 공간에 걸쳐 저해상도에서 비례적으로 배포되는 것보다 사용자의 시선 주변에 렌더링 자원을 집중시킨다.

2021년 논문 Foveated Neural Radiance Fields for Real-Time and Egocentric Virtual Reality에서 NeRF의 새로운 foveated rendering 方案의 attention locus를 볼 수 있다. 출처: https://arxiv.org/pdf/2103.16365.pdf

미래의 Egocentric NeRF 배포에서 필수적인 부분은 시스템이 인간의 눈이 스스로 포커스를 전환하는 능력을 반영하는 것이다. 즉, 후퇴하는 관점의 평면에서 포커스를 전환하는 능력이다(위의 첫 번째 이미지 참조).

이 포커스의 그라데이션은 또한 장면의 규모를 나타내는 지각적 지표이다. 헬리콥터가 도시 위를 비행하는 경치는 포커스 필드가 없을 것이다. 왜냐하면 전체 장면이 시야의 가장 바깥쪽 포커스 능력 범위를 넘어서기 때문이다. 반면에 미니어처 또는 ‘근거리’ 장면을 조사하는 경우에는 포커스 랙킹이 가능할 뿐만 아니라, 현실성을 위해 기본적으로 狭い 깊이 필드를 포함해야 한다.

아래는 논문의 해당 저자가 제공한 NeRFocus의 초기 능력을 보여주는 비디오이다:

제한된 초점 평면을 넘어서

포커스 제어의 필요성을 인식하고, 최근 몇 년 동안 여러 NeRF 프로젝트가 이를 제공했지만, 지금까지 모든 시도는 본질적으로 일종의 우회 또는 주목할만한 후처리 루틴을 포함한다. 이는 궁극적으로 구상된 NeRF 기술의 실시간 환경에 기여할 가능성이 낮다.

신경 렌더링 프레임워크에서 합성 포커스 제어는 과거 5-6년 동안 다양한 방법으로 시도되었다. 예를 들어, 전경과 배경 데이터를 분할하는 세그멘테이션 네트워크를 사용하여 배경을 일반적으로 불선명하게 하는 방법이 있다. 이는 단순한 2평면 포커스 효과에 대한 일반적인 해결책이다.

논문 ‘Automatic Portrait Segmentation for Image Stylization’에서, 단순한 애니메이션 스타일의 포커스 평면 분리 출처: https://jiaya.me/papers/portrait_eg16.pdf

다중 평면 표현은 이 패러다임에 몇 개의 가상 ‘애니메이션 셀’을 추가한다. 예를 들어, 깊이 추정을 사용하여 장면을 구분되는 포커스 평면의 그라데이션으로 나누고, 깊이 의존적 커널을 사용하여 블러를 합성한다.

또한, 잠재적인 AR/VR 환경과 관련하여, 스테레오 카메라 설정의 두 시점 간의 이격은 깊이 프록시로 사용될 수 있다. 이는 2015년 Google Research에서 제안한 방법이다.

Google 주도 논문 ‘Fast Bilateral-Space Stereo for Synthetic Defocus’에서, 두 시점 간의 차이가 블러를 촉진할 수 있는 깊이 맵을 제공한다. 그러나 이 접근 방식은 위에서 설명한 상황에서 불신실하다. 출처

이러한 접근 방식은 일반적으로 edge artifact를 보여준다. 왜냐하면 두 개의 구분되는 포커스 구를 연속적인 포커스 그라데이션으로 나타내려고 시도하기 때문이다.

2021년 RawNeRF 이니셔티브는 High Dynamic Range(HDR) 기능을 제공했으며, 저조도 상황에 대한 더 나은 제어와 인상적인 포커스 랙킹 능력을 제공했다.

RawNeRF는 아름답게 포커스 랙킹을 하지만(이 경우에는 비현실적인 포커스 평면으로 인해), 높은 컴퓨팅 비용이 발생한다. 출처: https://bmild.github.io/rawnerf/

그러나 RawNeRF는 훈련된 NeRF의 다중 평면 표현을 위한 부담적인 사전 계산을 필요로 하며, 이는 NeRF의 경량 또는 낮은 대기 시간 구현에 쉽게 적용될 수 없는 워크플로우를 결과로 한다.

가상 렌즈 모델링

NeRF 자체는 핀홀 카메라 모델에 기반하며, 이는 기본 CGI 장면과 유사한 방식으로 전체 장면을 선명하게 렌더링한다(깊이 필드에 기반한 후처리 효과 또는 효과를 적용하기 전에).

NeRFocus는 가상 ‘thin lens'(렌즈가 없는 개구가 아닌)를 생성하며, 각 들어오는 픽셀의 빔 경로를 계산하고 직접 렌더링하여, 표준 이미지 캡처 프로세스를 반대로 작동시킨다. 이는 렌즈 설계의屈折 특성이 이미 영향을 미친 후에 작동하는 것과는 반대로 작동한다.

이 모델은 frustum(위의 이미지에 표시된 가장 큰 원의 영향 범위) 내에서 콘텐츠 렌더링을 위한 다양한 가능성을 소개한다.

이 더广い 가능성의 범위에서 각 다층 퍼셉트론(MLP)의 올바른 색상과 밀도를 계산하는 것은 추가적인 작업이다. 이는 이전에 높은 수의 DSLR 이미지에 감독 학습을 적용하여 해결되었으며, 이는 추가적인 데이터셋과 확률적 훈련 워크플로우의 생성을 포함한다. 이는 본질적으로 필요할 수 있거나 없을 수 있는 여러 계산된 자원을 준비하고 저장하는 수고로운 작업이다.

NeRFocus는 이 문제를 해결하기 위해 P-training을 사용하며, 여기서 훈련 데이터셋은 기본 블러 연산에 기반하여 생성된다. 따라서 모델은 블러 연산이 내재된 상태로 형성되며, 탐색 가능하다.

개구 직경을 0으로 설정하고, 미리 정의된 확률을 사용하여 랜덤으로 블러 커널을 선택한다. 얻어진 직경은 각 복합 кон의 직경을 확대하는 데 사용되며, MLP가 frustum(위의 이미지에 표시된 각 픽셀의 변환 영역의 최대 범위)의 방사선과 밀도를 정확하게 예측하도록 한다

새로운 논문의 저자들은 NeRFocus가 RawNeRF의 HDR 기반 접근 방식과 호환될 수 있으며, 이는 특정 도전적인 섹션(예: 초점이 없는 고광도 반사 등)의 렌더링에 도움이 될 수 있다고 관찰한다. 또한, 30년 이상 동안 CGI 워크플로우를 도전한 많은 컴퓨팅 집약적인 효과에 도움이 될 수 있다.

이 프로세스는 이전 접근 방식(예: 핵심 NeRF 및 Mip-NeRF)과 비교하여 추가적인 시간 및/또는 매개변수 요구 사항을 필요로 하지 않으며, NeRF의 중심 방법론에 대한 일반적인 확장으로 적용될 수 있다.

최초로 2022년 3월 12일에 게시되었습니다.