NeRFocus: 네이럴 라디언스 필드에 경량 포커스 제어를 가져오다

중국에서 나온 새로운 연구는 네이럴 라디언스 필드(NeRF)에 대한 심도 효과의 합리적인 제어를 달성하는 방법을 제공하며, 이는 사용자가 초점을 조정하고 렌더링 공간에서 가상 렌즈의 구성이 동적으로 변경되도록 허용한다.

NeRFocus라는 이 기술은 새로운 ‘얇은 렌즈 이미징’ 접근 방식을 초점 통과에 구현하며, 전용 심도 필드 데이터셋의 필요성을 없애고 포커스 가능 트레이닝 워크플로우를 단순화하는 새로운 ‘P-트레이닝’이라는 확률적 트레이닝 전략을 도입한다.

이 논문은 NeRFocus: 3D 합성 디포커스를 위한 네이럴 라디언스 필드라고 제목이 붙여져 있으며, 베이징 대학의 深圳 대학원과深圳의 펭청 연구소의 4명의 연구자에 의해 작성되었다.

NeRF에서 주의 집중점을 해결하는 방법

NeRF가 가상 및 증강 현실에서 유효한 기술로 자리 잡기 위해서는 사용자의 시선 주변에 렌더링 리소스를 집중시키는 현실적인 포베이티드 렌더링을 허용하는 경량 방법이 필요하다. 이는 전체 시각적 공간에 걸쳐 낮은 해상도로 무차별적으로 분산되는 대신 사용자의 시선 주변에 렌더링 리소스를 집중시킨다.

2021년 논문에서 네이럴 라디언스 필드의 새로운 포베이티드 렌더링 방식에서 주의 집중점을 볼 수 있다. 출처: https://arxiv.org/pdf/2103.16365.pdf

미래의 NeRF 배포에서 진정성의 중요한 부분은 시스템이 시야의 평면을 따라 초점을 전환하는 인간의 눈의 능력을 반영하는 것이다.

이 초점의 그라데이션은 또한 장면의 규모를 나타내는 인식 지표이다. 헬리콥터가 도시 위를 비행하는 경치는 탐색 가능한 초점 필드가 없을 것이다. 왜냐하면 전체 장면이 시야의 외곽 초점 능력 밖에 있기 때문이다. 반면에 미니어처 또는 ‘근거리’ 장면의 검토는 не仅 ‘포커스 랙킹’을 허용할 뿐만 아니라 현실을 위해 기본적으로 狭い 심도 필드를 포함해야 한다.

아래는 논문의 저자로부터 제공된 NeRFocus의 초기 기능을 보여주는 비디오이다.

제한된 초점 평면을 넘어서

초점 제어의 필요성을 인식하고, 최근 몇 년 동안 많은 NeRF 프로젝트가 이를 제공했지만, 지금까지 모든 시도는 본질적으로 어떤 종류의 속임수 또는 실제로 비현실적인 포스트 프로세싱 루틴을 포함한다. 이는 궁극적으로 NeRF 기술을 위한 실제 환경에 기여할 가능성이 낮다.

신경 렌더링 프레임워크에서 합성 초점 제어는 다양한 방법으로 시도되었다. 예를 들어, 전경과 배경 데이터를 구분하기 위한 세그먼트 네트워크를 사용하여 전경과 배경을 구분하고 전경을 제외한 배경을 제거하는 것이다. 이것은 두 평면 초점 효과를 위한 일반적인 해결책이다.

이미지 스타일라이제이션을 위한 자동 포트레이트 세그먼테이션에서 평면 초점의 구분이다. 출처: https://jiaya.me/papers/portrait_eg16.pdf

다중 평면 표현은 몇 개의 가상 ‘애니메이션 셀’을 추가하여 장면을 구분된 초점 평면의 그라데이션으로 나눈다. 그리고 깊이 추정을 사용하여 장면을 구분된 초점 평면으로 나누고, 깊이 의존 커널을 사용하여 블러를 합성한다.

또한, 잠재적으로 AR/VR 환경과 관련된 점에서, 스테레오 카메라 설정의 두 시점 사이의 불일치는 깊이 프록시로 사용될 수 있다. 이것은 2015년에 Google Research에서 제안한 방법이다.

Google 주도 논문에서 두 시점 사이의 차이를 사용하여 블러를 위한 깊이 맵을 제공한다. 출처

이러한 접근 방식은 일반적으로 에지 아티팩트를 나타낸다. 왜냐하면 두 개의 구별된 초점 평면을 연속적인 초점 그라데이션으로 나타내려 시도하기 때문이다.

2021년에 RawNeRF는 고동적 범위(HDR) 기능을 제공했으며, 낮은 조도 상황에 대한 더 나은 제어와 인상적인 포커스 랙킹 능력을 제공했다.

RawNeRF는 아름답게 포커스 랙킹을 하지만, 비현실적인 초점 평면으로 인해 높은 컴퓨팅 비용이 발생한다. 출처: https://bmild.github.io/rawnerf/

그러나 RawNeRF는 다중 평면 표현을 위한 사전 계산을 필요로 하며, 이는 NeRF의 경량 또는 저지연 구현에 쉽게 적용될 수 없는 워크플로우가 된다.

가상 렌즈 모델링

NeRF 자체는 핀홀 이미징 모델에 기반하며, 이는 기본적으로 CGI 장면과 유사한 방식으로 전체 장면을 선명하게 렌더링한다(디포커스를 렌더링하는 다양한 접근 방식 이전에).

NeRFocus는 가상 ‘얇은 렌즈'(렌즈가 없는 개구가 아닌)를 생성하며, 이는 각 들어오는 픽셀의 빔 경로를 계산하고 직접 렌더링하여, 표준 이미지 캡처 프로세스를 효과적으로 반전시킨다. 이는 렌즈 디자인의屈折 특성에 의해 이미 영향을 받은 빛 입력에 대해事後적으로 작동한다.

이 모델은 프러스텀(위의 이미지에 표시된 가장 큰 원형 影響 범위) 내에서 콘텐츠 렌더링을 위한 다양한 가능성을 소개한다.

이 더 넓은 가능성 범위에서 각 다층 퍼셉트론(MLP)의 올바른 색상과 밀도를 계산하는 것은 추가적인 작업이다. 이것은 이전에 높은 수의 DSLR 이미지에 대한 감독 학습을 적용하여 해결되었다. 이는 추가적인 데이터셋을 생성하고 확률적 트레이닝 워크플로우를 포함하는 것으로, 이는 노동 집약적이며 필요할 수도 있고 필요하지도 않을 수 있는 계산된 리소스의 준비와 저장을 포함한다.

NeRFocus는 기본적인 블러 연산에 기반한 트레이닝 데이터셋을 생성하는 ‘P-트레이닝’을 통해 이를 극복한다. 따라서 모델은 블러 연산이 내재된 상태에서 형성된다.

트레이닝 중에 개구 직경을 0으로 설정하고, 미리 정의된 확률을 사용하여 임의로 블러 커널을 선택한다.

새로운 논문의 저자들은 NeRFocus가 RawNeRF의 HDR 기반 접근 방식과 호환될 수 있으며, 이는 디포커스된 스펙큘러 하일라이트와 같은 일부 도전적인 섹션의 렌더링에 도움이 될 수 있다고 관찰한다. 이는 30년 이상 CGI 워크플로우를 도전하는 많은 컴퓨팅 집약적인 효과 중 하나이다.

이 프로세스는 이전 접근 방식과 비교하여 시간 및/또는 매개변수에 대한 추가적인 요구 사항을 필요로하지 않으며, 네이럴 라디언스 필드의 중심 방법론에 대한 일반적인 확장으로 적용할 수 있다.

2022년 3월 12일 처음 게시되었습니다.