어도비: 뉴럴 렌더링을 사용한 실제 세계의 조명 재구성

어도비의 연구자들은 실제 실내 장면을 위한 뉴럴 렌더링 시스템을 개발했으며, 이는 조명 재구성을 위한 고급 인터페이스를 제공하고, 반사와 광沢 있는 표면을 처리할 수 있습니다. 이는 네이럴 레이디언스 필드(NeRF)와 같은 이미지 합성 방법의 경쟁에서 주목할 만한 도전입니다.

여기서 실제 세계 장면은 여러 정지 이미지에서 재구성되어 장면을 탐색할 수 있습니다. 조명은 색상과 품질을 변경할 수 있으며, 반사와 광沢 있는 표면은 사용자의 조명 소스 및/또는 스타일의 변경을 정확하게 표현합니다. 출처: https://www.youtube.com/watch?v=d3ma4opFpgM

새로운 시스템은 실제 3D 장면의 조명 측면에 대한 포토샵 스타일의 GUI 제어를 허용합니다. 이는 네이럴 스페이스에서 캡처된 실제 3D 장면의 그림자와 반사를 포함합니다.

GUI는 사용자가 실제 세계 장면에 조명 소스를 추가하고 조정할 수 있으며, 여러 사진에서 재구성된 장면을 자유롭게 탐색할 수 있습니다.

이 논문은 ACM Transactions on Graphics에 제출되었으며, 어도비 연구소와 Université Côte d’Azur의 연구자들 간의 협력입니다.

출처: https://arxiv.org/ftp/arxiv/papers/2106/2106.13299.pdf (클릭하여 전체 이미지를 확인하세요)

네이럴 레이디언스 필드(NeRF)와 마찬가지로, 이 시스템은 제한된 수의 사진에서 장면을 이해하고, 기계 학습을 통해 누락된 시점을 학습하여 완전한 추상화된 장면 모델을 제공합니다.

시스템은 완전히 합성된 데이터로 학습되었지만, 3D 모델은 실제 장면의 사진을 취한 것과 동일하게 처리되었습니다. 위의 이미지에서는 합성된 장면이 재조명되지만, 위쪽의 애니메이션 이미지에서는 실제 방에서 촬영한 사진에서 파생된 ‘침실’ 보기입니다.

장면의 암시적 표현은 소스 자료에서 컨볼루셔널 뉴럴 네트워크(CNN)를 통해 얻어지며, 반사도, 소스 복사도(방사선/전역 조명) 및 알베도와 같은 여러 레이어로 나뉩니다.

어도비의 조명 재구성 시스템 아키텍처. 다중 보기 데이터셋은 전처리되어 입력 데이터에서 3D 메시 기하학이 생성됩니다. 새로운 조명이 추가되면 복사도가 실시간으로 계산되고, 재조명된 보기가 합성됩니다. (클릭하여 전체 이미지를 확인하세요)

알고리즘은 전통적인 레이 트레이싱(Monte Carlo)과 이미지 기반 렌더링(IBR, 뉴럴 렌더링)의 요소를 결합합니다.

최근 네이럴 레이디언스 필드에 대한 많은 연구가 평면 이미지에서 3D 기하학을 추출하는 데 중점을 두고 있지만, 어도비의 시스템은 이 방법을 통해 고급적인 재조명 기능을 처음으로 시연했습니다.

알고리즘은 또한 완전한 반사도를 계산하여 이미지의 모든 부분에 100% 반사 재료를 할당합니다.

거울 텍스처는 조명 경로를 매핑합니다. (클릭하여 전체 이미지를 확인하세요)

이 반사도 맵을 사용하면 다양한 재료의 반사를 조정할 수 있습니다. 반사도 맵은 또한 확산 조명 조정을 위한 레이 매핑에 사용할 수 있는 완전한 템플릿을 제공합니다.

어도비의 뉴럴 렌더링 시스템의 다른 레이어. (클릭하여 전체 이미지를 확인하세요)

장면의 초기 캡처는 250-350개의 RAW 사진에서 시작하여 다중 보기 스테레오를 통해 메시를 계산합니다. 데이터는 2D 입력 피처 맵으로 요약되어 새로운 보기로 재투영됩니다. 조명의 변경은 캡처된 장면의 확산 및 광沢 있는 레이어를 평균하여 계산됩니다.

거울 이미지 레이어는 빠른 단일 레이 거울 계산(한 번의 반사)을 통해 생성되며, 이는 원래 소스 값을 추정하고 대상 값을 계산합니다. 장면의 원래 조명을 포함하는 맵은 네이럴 데이터에 저장되며, 이는 전통적인 CGI 장면 데이터에서 방사선 맵을 저장하는 방식과 유사합니다.

뉴럴 렌더링의 반사 해결

이 연구의 주요 성과는 반사 정보를 확산 및 기타 레이어에서 분리하는 것입니다. 계산 시간을 줄이기 위해 라이브 ‘반사’가 가능한 보기는 사용자 보기만 계산되며, 전체 장면은 계산되지 않습니다.

연구자들은 이 연구가 실제 세계 장면에서 자유로운 보기와 반사적인 표면을 재현하는 기능을 결합한 첫 번째 프레임워크라는 것을 주장합니다.

이 기능을 구현하기 위해 일부 희생이 필요했으며, 연구자들은 이전 방법이 더 복잡한 보기 메시를 사용하여 작은 객체의 기하학을 개선한다는 것을 인정합니다. 어도비 접근 방식의 미래 방향에는 이 측면을 개선하기 위해 보기 기하학을 사용하는 것이 포함됩니다.