뉴럴 렌더링: NeRF가 신선한 공기에서 산책하다

구글 연구소와 하버드 대학교의 협력을 통해 새로운 방법으로 360도 뉴럴 비디오를 완전한 장면으로 생성하는 Neural Radiance Fields(NeRF)를 개발했습니다. 이 새로운 접근법은 NeRF를 더 추상적이고 자유로운 환경에서 사용할 수 있도록 해줍니다. 이는 테이블탑 모델이나 닫힌 실내 시나리오에 제한되지 않습니다.

본文의 끝에서 전체 비디오를 볼 수 있습니다. 출처: https://www.youtube.com/watch?v=YStDS2-Ln1s

Mip-NeRF 360은 확장된 배경과 ‘무한’ 개체를 처리할 수 있습니다. 이는 이전 버전과 달리 빛의 방향을 해석하는 방식에 제한을 두고, 주의 범위를 설정하여 길었던 훈련 시간을 합리화합니다. 본文의 끝에 첨부된 비디오에서 더 많은 예시와 프로세스에 대한 자세한 내용을 볼 수 있습니다.

새로운 논문은 Mip-NeRF 360: Unbounded Anti-Aliased Neural Radiance Fields로 제목이 붙여졌으며, 구글 연구소의 선임 연구 과학자 Jon Barron이 주도했습니다.

NeRF 기반 이미지 합성 기능을 이해하기 위해서는 기본적인 개념을 알고 있어야 합니다.

NeRF란 무엇인가?

NeRF 네트워크를 ‘비디오’로 설명하는 것은 어렵습니다. 이는 완전히 3D로 구현된 가상 환경에 더 가깝습니다. 여기서 여러 관점의 사진(비디오 프레임 포함)을 사용하여 기계 학습 알고리즘의 잠재 공간에만 존재하는 장면을 함께 엮습니다. 그러나 이 장면에서 다양한 관점과 비디오를 원하는 대로 추출할 수 있습니다.

네트워크가 뉴럴 장면으로 조합하는 데이터를 제공하는 여러 카메라 캡처 지점의 도식화

기여한 사진에서 파생된 정보는 전통적인 voxel grid와 유사한 매트릭스로 훈련됩니다. 여기서 3D 공간의 모든 점은 값을 가지게 되어 장면을 탐색할 수 있습니다.

전통적인 voxel 매트릭스는 2D 컨텍스트(예: JPEG 파일의 픽셀 그리드)에서 픽셀 정보를 3D 공간으로 옮깁니다. 출처: ResearchGate

사진 사이의 중간 공간을 계산한 후(필요한 경우), 각 기여한 사진의 모든 가능한 픽셀의 경로를 효과적으로 ‘레이 트레이싱’하고, 투명도 값을 포함한 색상 값을 할당합니다(이 값이 없으면 뉴럴 매트릭스는 완전히 불투명하거나 빈 상태가 됩니다).

voxel grid와 달리, ‘닫힌’ 개체의 ‘내부’는 NeRF 매트릭스에서 존재하지 않습니다. CGI에서 드럼 키트를 열어 내용을 볼 수 있지만, NeRF의 관점에서 보면 드럼 키트의 존재는 표면의 불투명도 값이 ‘1’이 될 때 끝납니다.

픽셀의 더 넓은 관점

Mip-NeRF 360은 2021년 3월에 발표된 연구의 확장입니다. 이는 NeRF에 효율적인 안티-에일리어싱을 도입했습니다.

전통적인 NeRF는 하나의 픽셀 경로만 계산하여 초기 인터넷 이미지 형식이나 이전 게임 시스템에서 볼 수 있는 ‘jaggies’를 생성할 수 있습니다. 이러한 자그된 辺은 인접한 픽셀을 샘플링하고 평균적인 표현을 찾는 방법으로 해결되었습니다.

Mip-NeRF는 ‘원뿔형’ 캐치먼트 영역을 도입하여 인접한 픽셀에 대한 정보를 제공하고, 경제적인 안티-에일리어싱을 개선된 세부로 생성할 수 있습니다.

Mip-NeRF에서 사용하는 원뿔형 캐치먼트 영역은 원뿔형 프러스텀으로 나누어지며, 더 가우시안 공간을 생성하여 픽셀의 정확도와 에일리어싱을 계산할 수 있습니다. 출처: https://www.youtube.com/watch?v=EpH175PY1A0

표준 NeRF 구현과 비교한 개선은 두드러졌습니다:

Mip-NeRF(오른쪽)는 2021년 3월에 발표되어 더 경제적인 안티-에일리어싱 파이프라인을 통해 더 나은 세부를 제공합니다. 출처: https://jonbarron.info/mipnerf/

NeRF 무제한

2021년 3월 논문은 Mip-NeRF를 무제한 환경에서 사용할 때 세 가지 문제를 해결하지 못했습니다. 새로운 논문은 Mip-NeRF 가우시안에 칼만 스타일 워프를 적용하여 이를 해결합니다.

두 번째로, 더 큰 장면은 더 많은 처리 능력과 더 긴 훈련 시간을 필요로 하지만, Mip-NeRF 360은 장면 기하학을 작은 ‘제안’ 멀티 레이어 퍼셉트론(MLP)로 蒸発시켜, 표준 NeRF MLP에 의해 예측되는 기하학을事前に 정의합니다. 이는 훈련 시간을 3배로 줄입니다.

마지막으로, 더 큰 장면은 해석된 기하학의 이산화를 모호하게 만들 수 있습니다. 이는 게임에서 볼 수 있는 ‘tearing’과 같은 아티팩트를 생성할 수 있습니다. 새로운 논문은 Mip-NeRF 레이 간격에 대한 새로운 정규화를 도입하여 이를 해결합니다.

오른쪽에서 볼 수 있듯이, 큰 장면을 정의하는 어려움으로 인해 원치 않는 아티팩트가 생성됩니다. 왼쪽에서 볼 수 있듯이, 새로운 정규화는 장면을 최적화하여 이러한 방해를 제거합니다.

새로운 논문에 대해 더 알고 싶다면, 아래 비디오를 확인하고, 2021년 3월 Mip-NeRF 소개 비디오도 확인하세요. 또한 NeRF 연구에 대한 우리의报道를 확인할 수 있습니다.

원래 2021년 11월 25일에 게시됨
2021년 12월 21일 12:25 – 죽은 비디오를 교체했습니다. – MA