신경 렌더링: NeRF가 신선한 공기 속을 걷다

Google Research와 Harvard University의 협업을 통해 전체 장면을 360도 신경 비디오로 생성하는 새로운 방법이 개발되었습니다. 이 방법은 Neural Radiance Fields(NeRF)를 사용합니다. 새로운 접근법은 NeRF를 어느 환경에서도 자유롭게 추상적으로 사용할 수 있게 한 단계 끌어올리며, 테이블탑 모델이나 폐쇄된 실내 시나리오에 제한되지 않습니다.

전체 비디오는 기사 말미를 참고하십시오. 출처: https://www.youtube.com/watch?v=zBSH-k9GbV4

Mip-NeRF 360은 하늘과 같은 ‘무한’ 객체와 확장된 배경을 처리할 수 있습니다. 이는 대부분 이전 버전과 달리 광선이 해석되는 방식을 제한하고, 긴 학습 시간을 합리화하는 주의 경계를 만들기 때문입니다. 더 많은 예시와 과정에 대한 심층적인 통찰을 보려면 기사 말미에 삽입된 새로운 동영상을 확인하십시오.

새로운 논문은 여기에서 확인할 수 있으며, 제목은 Mip-NeRF 360: Unbounded Anti-Aliased Neural Radiance Fields이고 Google Research의 수석 연구 과학자 Jon Barron이 이끌었습니다.

이 혁신을 이해하려면 신경 복사장 기반 이미지 합성이 어떻게 작동하는지에 대한 기본적인 이해가 필요합니다.

NeRF란 무엇인가?

NeRF 네트워크를 ‘비디오’라는 관점으로 설명하기는 어렵습니다. 이는 여러 사진(비디오 프레임 포함)에서 얻은 여러 시점을 사용해 기계 학습 알고리즘의 잠재 공간에만 존재하는 장면을 구성하는, 완전 3D 실현된 AI 기반 가상 환경에 가깝기 때문입니다. 그러나 이 가상 장면으로부터 원하는 만큼 다양한 시점과 비디오를 자유롭게 추출할 수 있습니다.

NeRF가 신경 장면으로 조합하는 데이터를 제공하는 다중 카메라 촬영 지점을 나타낸 그림(오른쪽).

기여 사진에서 추출된 정보는 전통적인 복셀 그리드와 유사한 행렬에 학습됩니다. 3차원 공간의 모든 점에 값이 할당되어 장면을 탐색할 수 있게 됩니다.

전통적인 복셀 행렬은 2D 컨텍스트(예: JPEG 파일의 픽셀 그리드)에서 존재하는 픽셀 정보를 3차원 공간에 배치합니다. 출처: ResearchGate

필요에 따라 사진 간의 중간 공간을 계산한 뒤, 각 사진이 제공하는 모든 가능한 픽셀 경로를 사실상 ‘광선 추적’하여 색상 값과 투명도 값을 할당합니다. 투명도 값이 없으면 신경 행렬은 완전히 불투명하거나 완전히 빈 상태가 됩니다.

복셀 그리드와는 달리, CGI 기반 3D 좌표 공간과는 달리 ‘닫힌’ 객체의 ‘내부’는 NeRF 행렬에 존재하지 않습니다. 원한다면 CGI 드럼 키트를 열어 내부를 살펴볼 수 있지만, NeRF 관점에서는 표면의 불투명도 값이 ‘1’이 되는 순간 드럼 키트의 존재가 끝납니다.

픽셀의 더 넓은 시야

Mip-NeRF 360은 2021년 3월 연구의 확장판으로, 대규모 초과 샘플링 없이도 효율적인 안티앨리어싱을 NeRF에 도입했습니다.

전통적인 NeRF는 한 픽셀 경로만 계산하기 때문에 초기 인터넷 이미지 포맷과 ‘계단 현상’, 그리고 초기 게임 시스템에서 나타나는 거친 가장자리를 만들기 쉽습니다. 이러한 거친 가장자리는 인접 픽셀을 샘플링하고 평균값을 찾는 다양한 방법으로 해결되었습니다.

전통적인 NeRF가 단일 픽셀 경로만 샘플링하는 반면, Mip-NeRF는 넓은 빔 손전등과 같은 ‘원뿔형’ 포획 영역을 도입해 인접 픽셀에 대한 충분한 정보를 제공함으로써 세부 사항을 유지하면서 경제적인 안티앨리어싱을 구현했습니다.

Mip-NeRF가 사용하는 원뿔형 포획 영역은 아래와 같이 원뿔형 프러스트럼으로 분할되며, 이후 ‘블러’ 처리되어 픽셀의 정확도와 앨리어싱을 계산할 수 있는 보다 흐릿한 가우시안 공간을 나타냅니다. 출처: https://www.youtube.com/watch?v=EpH175PY1A0

표준 NeRF 구현에 비해 개선이 눈에 띄었습니다:

2021년 3월에 출시된 Mip-NeRF(오른쪽)는 단순히 픽셀을 ‘블러’ 처리해 거친 가장자리를 없애는 것이 아니라, 보다 포괄적이면서도 경제적인 앨리어싱 파이프라인을 통해 디테일을 향상시킵니다. 출처: https://jonbarron.info/mipnerf/

NeRF 무한

3월 논문은 멀리 떨어진 객체(예: 하늘)를 포함할 수 있는 무한 환경에서 Mip-NeRF를 사용할 때 해결되지 않은 세 가지 문제를 남겼습니다. 새로운 논문은 칼만 스타일 워프를 Mip-NeRF 가우시안에 적용함으로써 이를 해결합니다.

둘째, 대형 장면은 더 많은 처리 능력과 긴 학습 시간이 필요합니다. Mip-NeRF 360은 작은 ‘제안’ 다층 퍼셉트론(MLP)으로 장면 기하학을 ‘증류’하여, 대형 표준 NeRF MLP가 예측하는 기하학을 사전 제한합니다. 이를 통해 학습 속도가 세 배 빨라집니다.

셋째, 대형 장면은 해석된 기하학의 이산화를 모호하게 만들어, 게임 출력이 ‘찢어지는’ 현상과 유사한 아티팩트를 발생시킵니다. 새로운 논문은 Mip-NeRF 광선 구간을 위한 새로운 정규화자를 만들어 이 문제를 해결합니다.

오른쪽에서는 너무 큰 장면을 제한하기 어려워 Mip-NeRF에 원치 않는 아티팩트가 나타나는 것을 볼 수 있습니다. 왼쪽에서는 새로운 정규화자가 장면을 충분히 최적화해 이러한 방해 요소를 제거한 모습을 확인할 수 있습니다.

새 논문에 대해 더 알고 싶다면 아래 동영상을 확인하고, 또한 2021년 3월 비디오 소개도 함께 시청하십시오. 지금까지의 NeRF 관련 보도를 확인하면 NeRF 연구에 대해 더 많은 정보를 얻을 수 있습니다.

원래 게시일 2021년 11월 25일
2021년 12월 21일, 오후 12:25 – 죽은 비디오를 교체함. – MA