NeRFocus: 신경 광휘장에 가벼운 초점 제어 제공

중국의 새로운 연구는 Neural Radiance Fields에 대한 피사계 심도 효과에 대한 저렴한 제어를 달성하는 방법을 제공합니다.NeRF), 최종 사용자가 렌더링 공간에서 초점을 맞추고 가상 렌즈의 구성을 동적으로 변경할 수 있습니다.

라는 제목의 네르포커스, 이 기술은 초점 통과에 대한 새로운 '얇은 렌즈 이미징' 접근 방식을 구현하고 혁신합니다. P-트레이닝, 전용 피사계 심도 데이터 세트의 필요성을 없애고 포커스 지원 교육 워크플로를 단순화하는 확률적 교육 전략입니다.

XNUMXD덴탈의 종이 제목이 NeRFocus: 3D 합성 디포커스를 위한 신경 광휘장, 베이징 대학 심천 대학원과 광동성 정부 지원 기관인 심천 펑쳉 연구소의 연구원 XNUMX명에서 나왔습니다.

NeRF에서 Foveated Locus of Attention 다루기

NeRF가 가상 및 증강 현실을 위한 유효한 구동 기술로 자리를 잡으려면 현실감 있는 가벼운 방법이 필요할 것입니다. 환상적인 렌더링, 대부분의 렌더링 리소스는 사용 가능한 전체 시각적 공간에 걸쳐 낮은 해상도로 무차별적으로 분산되지 않고 사용자의 시선 주위에 축적됩니다.

2021년 논문 Foveated Neural Radiance Fields for Real-Time and Egocentric Virtual Reality에서 우리는 NeRF를 위한 새로운 포비티드 렌더링 체계에서 주의 위치를 ​​봅니다. 출처 : https://arxiv.org/pdf/2103.16365.pdf

자기 중심적인 NeRF의 미래 배치의 진위 여부의 필수 부분은 후퇴하는 원근면에서 초점을 전환하는 인간의 눈 자체 능력을 반영하는 시스템의 능력일 것입니다(위의 첫 번째 이미지 참조).

이 초점 기울기는 장면의 규모에 대한 지각 지표이기도 합니다. 도시 상공을 비행하는 헬리콥터의 시야는 전체 장면이 시청자의 가장 바깥쪽 초점 용량을 넘어 존재하기 때문에 탐색 가능한 초점 필드가 없을 것입니다. 현실감을 위해 기본적으로 좁은 피사계 심도를 포함해야 합니다.

아래는 논문의 해당 저자가 제공한 NeRFocus의 초기 기능을 보여주는 비디오입니다.

제한된 초점면 너머

포커스 제어에 대한 요구 사항을 인식하고 최근 몇 년 동안 많은 NeRF 프로젝트에서 이를 제공했지만 현재까지의 모든 시도는 사실상 일종의 손재주 해결 방법이거나 주목할만한 후 처리 루틴을 수반합니다. Neural Radiance Fields 기술을 위해 궁극적으로 예상되는 실시간 환경에 기여할 것 같지 않습니다.

신경 렌더링 프레임워크의 합성 초점 제어는 지난 5~6년 동안 다양한 방법으로 시도되었습니다. 공통 솔루션 간단한 XNUMX면 초점 효과를 위해.

'Automatic Portrait Segmentation for Image Stylization' 논문에서 일상적인 애니메이션 스타일의 초점면 분리. 출처: https://jiaya.me/papers/portrait_eg16.pdf

다중 평면 표현은 이 패러다임에 몇 가지 가상 '애니메이션 셀'을 추가합니다. 예를 들어 깊이 추정을 사용하여 장면을 고르지 못하지만 별개의 초점 평면의 관리 가능한 그라데이션으로 자른 다음 깊이 종속 커널을 조정하여 블러 합성.

또한 잠재적인 AR/VR 환경과 매우 관련성이 높기 때문에 스테레오 카메라 설정의 두 관점 사이의 차이는 2015년 Google Research에서 제안한 방법인 깊이 프록시로 활용할 수 있습니다.

Google이 주도한 논문 Fast Bilateral-Space Stereo for Synthetic Defocus에서 두 시점의 차이는 블러링을 용이하게 할 수 있는 깊이 맵을 제공합니다. 그러나 이 접근 방식은 사진이 35-50mm(SLR 표준) 렌즈로 선명하게 촬영되지만 배경의 극단적인 디포커싱은 200mm를 초과하는 렌즈에서만 발생할 수 있는 위의 상황에서 사실이 아닙니다. 보통의 인간 크기 환경에서 좁은 피사계 심도를 생성하는 고도로 제한된 초점면. 원천

이러한 특성의 접근 방식은 두 개의 뚜렷하고 가장자리가 제한된 초점 영역을 연속적인 초점 구배로 표현하려고 시도하기 때문에 가장자리 아티팩트를 나타내는 경향이 있습니다.

2021에 원시NeRF 이니셔티브는 HDR(High Dynamic Range) 기능을 제공하여 저조도 상황에 대한 제어력을 높이고 초점을 맞출 수 있는 인상적인 용량을 제공했습니다.

RawNeRF 랙은 아름답게 초점을 맞추지만(이 경우 비현실적인 초점면으로 인해 실제가 아닌 경우) 컴퓨팅 비용이 많이 듭니다. 출처: https://bmild.github.io/rawnerf/

그러나 RawNeRF는 훈련된 NeRF의 다중 평면 표현을 위해 부담스러운 사전 계산이 필요하므로 NeRF의 더 가볍거나 지연 시간이 짧은 구현에 쉽게 적응할 수 없는 워크플로우가 발생합니다.

가상 렌즈 모델링

NeRF 자체는 기본 CGI 장면과 유사한 방식으로 전체 장면을 선명하게 렌더링하는 핀홀 이미징 모델에 입각합니다(피사계 심도를 기반으로 블러를 후처리 또는 고유 효과로 렌더링하는 다양한 접근 방식 이전).

NeRFocus는 들어오는 각 픽셀의 빔 경로를 계산하고 직접 렌더링하는 가상의 '얇은 렌즈'('무유리' 조리개가 아님)를 생성하여 작동하는 표준 이미지 캡처 프로세스를 효과적으로 반전시킵니다. 사후 렌즈 설계의 굴절 특성에 의해 이미 영향을 받은 광 입력에 대해.

이 모델은 절두체(위 이미지에 묘사된 가장 큰 영향력 원) 내부에 콘텐츠 렌더링을 위한 다양한 가능성을 도입합니다.

이 더 넓은 범위의 가능성에서 각 다층 퍼셉트론(MLP)의 올바른 색상과 밀도를 계산하는 것은 추가 작업입니다. 이것은 전에 해결 많은 수의 DLSR 이미지에 지도 교육을 적용하여 확률론적 교육 워크플로우를 위한 추가 데이터 세트 생성을 수반합니다. 이는 필요할 수도 있고 필요하지 않을 수도 있는 여러 가능한 컴퓨팅 리소스의 힘든 준비 및 저장을 효과적으로 포함합니다.

NeRFocus는 다음을 통해 이를 극복합니다. P-트레이닝, 기본 흐림 작업을 기반으로 교육 데이터 세트가 생성됩니다. 따라서 모델은 기본적이고 탐색 가능한 흐림 작업으로 구성됩니다.

Aperture diameter는 교육 ​​중에 XNUMX으로 설정되며 미리 정의된 확률은 흐림 커널을 무작위로 선택하는 데 사용됩니다. 이렇게 얻은 직경은 각 합성 원뿔의 직경을 확장하는 데 사용되어 MLP가 절두체(각 픽셀의 최대 변환 영역을 나타내는 위 이미지의 넓은 원)의 광도와 밀도를 정확하게 예측할 수 있도록 합니다.

새 논문의 저자는 NeRFocus가 RawNeRF의 HDR 기반 접근 방식과 잠재적으로 호환 가능하며, 이는 디포커스된 반사 하이라이트와 같은 특정 까다로운 섹션의 렌더링에 잠재적으로 도움이 될 수 있으며, XNUMX년 이상 CGI 워크플로우에 도전했습니다.

이 프로세스는 코어 NeRF 및 밉-NeRF (그리고 아마도 밉-NeRF 360, 비록 이것이 논문에서 다루어지지는 않았지만) 신경 방사 필드의 중심 방법론에 대한 일반적인 확장으로 적용할 수 있습니다.

12년 2022월 XNUMX일에 처음 게시되었습니다.