뉴럴 렌더링: 입력을 얼마나 낮출 수 있을까?

어제 인텔 연구진이 신경망 이미지 합성을 위한 새로운 방법을 공개하면서 인터넷과 사람들의 상상력을 사로잡았습니다. 이 시스템은 그랜드 테프트 오토 V 비디오 게임의 이미지 파이프라인에 직접 개입하여 이미지 합성 알고리즘을 통해 합성 이미지를 현실적으로 향상시킵니다.

인텔의 시스템은 그랜드 테프트 오토 V 비디오 게임의 완전히 렌더링된 프레임을 분석하고, 깊이 맵과 분할 맵을 생성하는 부담을 갖습니다. 깊이 맵은 전통적인 3D 파이프라인에서 암시적으로 사용할 수 있으며, 텍스처링, 레이 트레이싱 또는 글로벌 일루미네이션보다 생성하기가 더 쉽습니다.

인텔의 신경망 렌더링 접근법은 완전히 렌더링된 그랜드 테프트 오토 V 프레임의 분석을 포함하며, 신경망 시스템은 깊이 맵과 분할 맵을 생성하는 부담을 갖습니다.

페어링된 데이터셋

페어링된 데이터셋 이미지 합성 시스템은 두 개의 데이터셋에 대한 의미적 레이블을 상관시킵니다. 하나는 풍부하고 완전한 이미지 세트이고, 다른 하나는 합성 이미지 또는 CGI 이미지입니다.

이러한 시스템은 의미적 레이블을 사용하여 이미지의 구성 요소를 식별하고, 사용자가 의미적 분할 맵을 그리면 시스템이 일관된 이미지를 생성합니다.

분할 맵 반전

구글은 가우간(GauGAN) 스키마의 애니메이션 버전인 인피니트 네이처(Infinite Nature)를 개발했습니다. 이는 연속적인 그리고 끝없는 가상의 풍경을 생성할 수 있습니다.

인피니트 네이처는 단일 이미지를 시작점으로 사용하고, SPADE를 사용하여 누락된 섹션을 채웁니다. 그러나 SPADE 자체는 분할 맵에서 직접 이미지 변환을 생성합니다.

신경망 렌더링으로 텍스처와 라이팅 교체

인텔의 GTA5 입력에 대해 일부에서는 게임 엔진의 출력에서 텍스처링과 라이팅을 제거하고, 신경망 렌더링 시스템으로 대체할 수 있는지 궁금해합니다.

게임 엔진은 기본 기하학과 물리 시뮬레이션만 생성하면 되며, 신경망 렌더링 엔진은 나머지 모든 것을 오버페인팅할 수 있습니다.

신경망 렌더링 엔진을 위한 스트리пп드-다운 입력

인텔 이미지 강화 네트워크의 현재 구현은 많은冗余 컴퓨팅 사이클을 포함할 수 있습니다. 게임 엔진은 컴퓨팅적으로 비싼 텍스처링과 라이팅을 생성하지만, 신경망 렌더링 엔진은 이를 필요로하지 않습니다.

이 시스템은 신경망 렌더링 엔진을 기존 파이프라인에 적응시키는 것이 신경망 렌더링 접근 방식에 최적화된 새로운 게임 엔진을 생성하는 것보다 더 쉽기 때문에 이러한 방식으로 설계되었습니다.

인텔 ISL의 선행 연구: 분할 > 이미지

인텔 ISL은 2017년에 도시 비디오 합성을 위한 초기 연구를 발표했습니다. 이는 의미적 분할에서 사진급 비디오를 직접 생성할 수 있습니다.

이 연구는 의미적 분할에서 이미지로의 직접 번역이 가상으로만 존재하는 것이 아니라는 것을 보여줍니다.

VFX에서의 신경망 렌더링

신경망 렌더링은 VFX에서도 유망한 기술입니다. 이는 매우 기본적인 비디오그램을 직접 완성된 비주얼 이펙트 영상으로 번역할 수 있습니다.

신경망 렌더링 시스템의 개발과 채택은 예술적 노력의 초점을 해석적 워크플로우에서 대표적 워크플로우로 이동시키고, 도메인 주도적 데이터 수집을 시각 예술에서 중심 역할로提升시킬 것입니다.

본 기사는 인텔 ISL 2017년 연구에 대한 자료를 추가하기 위해 4:55 pm에 업데이트되었습니다.