Adobe: 신경망 렌더링으로 현실 세계 재조명

Adobe의 연구원들은 정교하게 재조명할 수 있고 실시간 인터페이스를 제공하며 광택 표면과 반사를 처리할 수 있는 실제 실내 장면을 위한 신경 렌더링 시스템을 만들었습니다. Neural Radiance Fields(NeRF)와 같은 경쟁 이미지 합성 방법에 대한 주목할만한 과제입니다. .

여기서 실제 장면은 여러 정지 이미지에서 재구성되어 장면을 탐색할 수 있습니다. 조명을 추가하고 색상과 품질을 변경할 수 있으며 반사는 정확하게 유지되고 광택 표면은 광원 및/또는 스타일의 사용자 변화를 정확하게 표현합니다. 출처: https://www.youtube.com/watch?v=d3ma4opFpgM

새로운 시스템은 그림자와 반사를 포함하여 신경 공간으로 캡처된 실제 3D 장면의 조명 측면에 대한 Photoshop 스타일의 GUI 기반 제어를 허용합니다.

GUI를 사용하면 희박한 수의 사진에서 재구성된 실제 장면에 광원을 추가(및 조정)하고 마치 CGI 스타일의 메시 기반 시나리오인 것처럼 자유롭게 탐색할 수 있습니다.

XNUMXD덴탈의 종이, ACM Transactions on Graphics에 제출되고 제목이 부여됨 멀티뷰 스테레오를 통한 자유시점 실내 신경 재조명, Adobe Research와 Université Côte d'Azur 연구원 간의 공동 작업입니다.

출처: https://arxiv.org/ftp/arxiv/papers/2106/2106.13299.pdf(전체 해상도 버전을 보려면 클릭)

신경 복사 필드와 마찬가지로(NeRF), 시스템은 사진 측량법(왼쪽 위)을 사용합니다. 여기서 장면에 대한 이해는 제한된 수의 사진에서 추론되며, 장면의 완전하고 완전히 추상화된 모델이 광고에 사용될 수 있을 때까지 기계 학습을 통해 학습된 '누락된' 관점은 광고에 사용할 수 있습니다. 즉석 재해석.

이 시스템은 전적으로 합성(CGI) 데이터에 대해 교육을 받았지만 사용된 3D 모델은 사람이 신경 해석을 위해 실제 장면의 제한된 사진을 여러 장 찍는 경우와 동일하게 처리되었습니다. 위의 이미지는 재조명된 합성 장면을 보여주지만 위의 최상위(애니메이션) 이미지의 '침실' 뷰는 실제 방에서 찍은 실제 사진에서 파생된 것입니다.

장면의 암시적 표현은 CNN(Convolutional Neural Network)을 통해 소스 자료에서 얻어지며 반사율, 소스 방사조도(라디오시티/전역 조명) 및 알베도를 포함한 여러 레이어로 나뉩니다.

Adobe 재조명 시스템의 아키텍처. 멀티 뷰 데이터 세트는 전처리되고 입력 데이터에서 3D 메쉬 형상이 생성됩니다. 새로운 빛을 추가해야 할 때 조도가 실시간으로 계산되고 relit 뷰가 합성됩니다.. (전체 해상도 버전을 보려면 클릭)

이 알고리즘은 전통적인 광선 추적(Monte Carlo)과 이미지 기반 렌더링(IBR, 신경 렌더링)의 측면을 결합합니다.

Neural Radiance Fields에 대한 최근의 주목할만한 연구는 평면 이미지에서 3D 형상을 추출하는 것과 관련되어 있지만 Adobe의 제안은 이 방법을 통해 매우 정교한 재조명을 시연한 최초의 제품입니다.

이 알고리즘은 또한 이미지의 모든 단일 부분에 100% 반사 재료가 할당되는 완전한 반사 맵을 계산하여 NeRF 및 유사한 접근 방식의 또 다른 기존 제한 사항을 해결합니다.

미러 텍스처는 조명 경로를 매핑합니다. (전체 해상도 버전을 보려면 클릭)

이 통합 반사도 맵을 사용하면 목재, 금속 및 석재와 같은 다양한 유형의 재료에서 다양한 수준의 반사를 수용하기 위해 반사도를 '낮추는' 것이 가능합니다. 반사도 맵(위)은 광선 매핑을 위한 완전한 템플릿을 제공하며 확산 조명 조정을 위해 재사용할 수 있습니다.

Adobe 신경 렌더링 시스템의 다른 레이어. (전체 해상도 버전을 보려면 클릭)

장면의 초기 캡처는 Multi-View Stereo를 통해 메쉬가 계산되는 250-350개의 RAW 사진을 사용합니다. 데이터는 2D 입력 기능 맵으로 요약된 다음 새로운 보기로 재투영됩니다. 조명의 변화는 캡처된 장면의 분산 및 광택 레이어의 평균을 계산하여 계산됩니다.

미러 이미지 레이어는 원래 소스 값을 추정한 다음 대상 값을 추정하는 빠른 단일 광선 미러 계산(한 번의 바운스)을 통해 생성됩니다. 장면의 원래 조명에 대한 정보가 포함된 맵은 라디오시티 맵이 종종 기존 CGI 장면 데이터와 함께 저장되는 방식과 유사하게 신경 데이터에 저장됩니다.

신경 렌더링 반사 해결

아마도 작업의 주요 성과는 데이터의 확산 및 기타 레이어에서 반사 정보를 분리하는 것입니다. 미러와 같은 실시간 '반사' 지원 보기가 전체 장면이 아닌 활성 사용자 보기에 대해서만 계산되도록 하여 계산 시간을 단축합니다.

연구원들은 이 작업이 반사 표면을 사실적으로 재현해야 하는 장면에 대한 단일 프레임워크에서 재조명 기능이 자유 보기 내비게이션 기능과 일치한 최초의 사례라고 주장합니다.

이 기능을 달성하기 위해 약간의 희생이 있었고 연구자들은 더 복잡한 뷰별 메쉬를 사용하는 이전 방법이 작은 물체에 대해 개선된 형상을 보여준다는 것을 인정합니다. Adobe 접근 방식의 향후 방향에는 이 측면을 개선하기 위해 뷰별 지오메트리를 사용하는 것이 포함될 것입니다.