애플의 HDR aumented Reality 환경이 Neural Rendering의 반사 문제를 해결할 수 있을까?

애플의 aumented Reality 기술에 대한 투자는 올해 새로운 개발자 도구와 함께 가속화되고 있습니다. 이 도구는 실제 세계의 객체를 aumented Reality로 변환하고, 전용 aumented Reality 안경을 지원하는 몰입형 경험을 가능하게 합니다.

애플의 aumented Reality 노력에 대한 새로운 정보 중 하나는, 360도 파노라마 고동적 범위(HDR) 이미지를 사용하여 aumented Reality 장면에 superimposed된 객체에 대한 장면별 반사와 조명을 제공하는 방법을 제시하는 연구입니다.

이 연구는, convolutional neural network(CNN)를 사용하여 실시간 HDR 환경을 동적으로 생성하는 방법을 제안합니다. 이 결과는, 반사 객체가 실제로 새로운, 보이지 않는 환경을鏡像할 수 있습니다.

애플의 새로운 aumented Reality 객체 생성 워크플로에서, 압력鍋은 photogrammetry에 의해 생성되며, ambiente 환경을 포함하여, 반사가 ‘baked’되지 않은 텍스처를 생성합니다. 출처: https://docs-assets.developer.apple.com/

이 방법은, 전체 장면의 스냅샷을 찍고, EnvMapNet CNN을 사용하여 시각적으로 완전한 파노라마 HDR 이미지를 추정합니다.

결과는, 강한 광원(위의 애니메이션에서 끝에 표시됨)을 식별하고, 가상 객체를 렌더링할 때 이를 고려합니다.

EnvMapNet의 아키텍처, 제한된 이미지로 전체 장면 HDR 라이트 프로브를 처리합니다. 출처: https://arxiv.org/pdf/2011.10687.pdf

알고리즘은 iPhone XS에서 9ms 이내에 실행될 수 있으며, 실시간으로 반사覺 있는 객체를 렌더링할 수 있습니다.

라이트 프로브

HDR 조명 환경은 시각 효과에서 중요한 요소입니다. 라이트 프로브는 1986년에 발명되었으며, 1990년대에 컴퓨터 기술의 발전으로 인해 널리 사용되기 시작했습니다.

출처: https://beforesandafters.com/

그러나, 크롬 볼을 사용하여 반사 매핑 텍스처를 생성하는 것은 1990년대 이전으로 거슬러 올라갑니다. 1983年的 SIGGRAPH 논문 Pyramidal Parametrics에서는 반사적인 CGI 로봇의 정지 이미지를 보여주었습니다.

Neural Rendering에서 HDR 환경

Neural Rendering은 매우 희박한 입력에서 photorealistic 비디오를 생성할 수 있는 가능성을 제공합니다.

Intel ISL의 segmentation>image neural rendering (2017). 출처: https://awesomeopensource.com/project/CQFIO/PhotographicImageSynthesis

5월에, Intel 연구진은 Grand Theft Auto V의 영상에서 German 거리 이미지 데이터셋을 사용하여 photorealistic 출력을 생성하는 새로운 neural image synthesis를 공개했습니다.

출처: https://www.youtube.com/watch?v=0fhUJT21-bs

Neural Rendering 환경을 개발하는 데에는, 객체 내용을 환경 요소에서 분리하는 것이 중요합니다.

현재, 반사와 anisotropic 효과는 원본 데이터 영상의 함수이거나, Intel 연구진이 사용한 schema와 같은 유형의 schema를 필요로 합니다.

이 neural rendering에서 (GTA V 영상은 왼쪽에 있음), 앞쪽의 차량은 실제로 반사와 함께 나타나며, 가상 카메라의 센서를 포화시킵니다. 그러나 이 조명 측면은 원본 게임 영상의 조명 엔진에서 유래합니다.

NeRF에서 반사

Neural Radiance Fields(NeRF)에서 파생된 이미지도 마찬가지로 도전을 받습니다. 최근의 NeRF 연구는, neural 장면을 구성하는 요소를 분리하는 데에 진전을 이루었습니다.

MIT와 Google의 NeRFactor 접근법은, normals, visibility(그림자), texture 및 로컬 알베도를 분리합니다. 그러나 환경을 반사하지 않습니다. 출처: https://arxiv.org/pdf/2106.01970.pdf

NeRF는, Apple이 사용하는 것과 같은 HDR 매핑을 사용하여 이 문제를 해결할 수 있습니다. 각 픽셀은 가상 카메라에서 시작하여, ‘레이’가 더 이상 이동할 수 없는 지점까지 계산됩니다.

이 방법은, NeRF의 계산 부담을 완화하지는 않지만, 환경 반사를 달성하는 하나의 방법입니다.

Neural Rendering 파이프라인에서 반사

Neural Rendering 파이프라인에서, 동적인 반사를 표현하는 데에는, 하나의 HDR만으로는 부족합니다. 예를 들어, 앞쪽의 차량을 자신의 차량에 반사시키려면, 앞쪽의 차량에는 애니메이션 HDR 라이트 프로브가 필요합니다.

애플의 HDR 조명 및 반사 매핑 연구의真正한 잠재력은, 혁신적이지 않다는 것입니다. 그러나, 이는 이전의 일반적인 이미지 합성 및 aumented Reality 장면 개발 연구에 기반을 두고 있습니다.

이 문제를 경제적으로 해결할 수 있다면, semantic segmentation>photorealistic 비디오 합성이 크게 발전할 수 있습니다.

출처: https://docs-assets.developer.apple.com/