인공 지능

신경 렌더링: NeRF, 신선한 공기 속을 걷다

업데이트 on 2022 년 12 월 9 일

구글 리서치와 하버드 대학교 사이의 협력은 뉴럴 래디언스 필드 (NeRF). 새로운 접근 방식은 NeRF를 제한 없이 모든 환경에서 캐주얼한 추상 사용에 한 걸음 더 가까이 다가가게 합니다. 탁상 모델 or 닫힌 내부 시나리오.

전체 비디오는 기사 끝 부분을 참조하십시오. 출처: https://www.youtube.com/watch?v=YStDS2-Ln1s

Mip-NeRF 360은 대부분의 이전 반복과 달리 광선이 해석되는 방식에 제한을 설정하고 긴 훈련 시간을 합리화하는 주의 경계를 생성하기 때문에 확장된 배경과 하늘과 같은 '무한' 개체를 처리할 수 있습니다. 더 많은 예제와 프로세스에 대한 확장된 통찰력을 보려면 이 기사의 끝에 포함된 새로운 동반 비디오를 참조하십시오.

XNUMXD덴탈의 새 용지 제목이 Mip-NeRF 360: 무한한 앤티앨리어싱 신경 복사장, Google Research의 Jon Barron 선임 연구 과학자가 이끌고 있습니다.

돌파구를 이해하려면 신경 방사 필드 기반 이미지 합성 기능에 대한 기본적인 이해가 필요합니다.

NeRF란?

완전한 3D 구현에 더 가깝지만 '비디오' 측면에서 NeRF 네트워크를 설명하는 것은 문제가 있습니다. AI 기반 단일 사진(비디오 프레임 포함)의 여러 시점을 사용하여 기술적으로는 기계 학습 알고리즘의 잠재 공간에만 존재하지만 마음대로 엄청난 수의 시점과 비디오를 추출할 수 있는 장면을 연결하는 가상 환경 .

NeRF가 신경 장면으로 조립하는 데이터를 제공하는 여러 카메라 캡처 지점의 묘사(오른쪽 사진).

기여한 사진에서 파생된 정보는 기존 방식과 유사한 매트릭스로 훈련됩니다. 복셀 그리드 CGI 워크플로에서 3D 공간의 모든 지점은 값으로 끝나므로 장면을 탐색할 수 있습니다.

기존의 복셀 매트릭스는 픽셀 정보(JPEG 파일의 픽셀 그리드와 같이 일반적으로 2D 컨텍스트에 있음)를 344488704차원 공간에 배치합니다. 출처: https://www.researchgate.net/publication/XNUMX_Processing_and_analysis_of_airborne_full-waveform_laser_scanning_data_for_the_characterization_of_forest_structure_and_fuel_properties

기존의 복셀 매트릭스는 픽셀 정보(JPEG 파일의 픽셀 그리드와 같이 일반적으로 2D 컨텍스트에 있음)를 XNUMX차원 공간에 배치합니다. 출처: ResearchGate

사진 사이의 틈새 공간을 계산한 후(필요한 경우) 기여하는 각 사진의 각 가능한 픽셀 경로는 효과적으로 '광선 추적'되고 투명도 값을 포함한 색상 값이 할당됩니다(이 없이는 신경 매트릭스가 완전히 불투명해지고 또는 완전히 비어 있음).

복셀 그리드와 마찬가지로 같지 않은 CGI 기반의 3D 좌표 공간, '닫힌' 객체의 '내부'는 NeRF 매트릭스에 존재하지 않습니다. 원하는 경우 CGI 드럼 키트를 분할하여 열어 내부를 볼 수 있습니다. 그러나 NeRF에 관한 한 드럼 키트의 존재는 표면의 불투명도 값이 '1'과 같을 때 끝납니다.

픽셀에 대한 더 넓은 관점

Mip-NeRF 360은 2021년 XNUMX월 연구, 철저한 슈퍼샘플링 없이 NeRF에 효율적인 앤티앨리어싱을 효과적으로 도입했습니다.

NeRF는 전통적으로 하나의 픽셀 경로만 계산하며, 재기스' 초기 인터넷 이미지 형식의 특징인 초기 게임 시스템. 이러한 들쭉날쭉한 가장자리는 일반적으로 인접한 픽셀을 샘플링하고 평균 표현을 찾는 것과 관련된 다양한 방법으로 해결되었습니다.

전통적인 NeRF는 하나의 픽셀 경로만 샘플링하기 때문에 Mip-NeRF는 와이드 빔 토치와 같은 '원추형' 집수 영역을 도입하여 다음에 대한 충분한 정보를 제공합니다. 인접 디테일이 개선된 경제적인 앤티앨리어싱을 생성하는 픽셀.

Mip-NeRF가 사용하는 원추형 집수는 원추형 절두체(아래)로 슬라이스되며, 이는 픽셀의 정확도와 앨리어싱을 계산하는 데 사용할 수 있는 모호한 가우시안 공간을 나타내기 위해 더 '흐리게' 처리됩니다. 출처: https://www.youtube.com/watch?v=EpH175PY1A0

Mip-NeRF가 사용하는 원추형 집수는 원추형 절두체(아래 이미지)로 슬라이스되며, 픽셀의 정확도와 앨리어싱을 계산하는 데 사용할 수 있는 모호한 가우시안 공간을 생성하기 위해 추가로 '흐리게' 처리됩니다. 출처: https://www.youtube.com/watch?v=EpH175PY1A0

표준 NeRF 구현에 대한 개선은 주목할 만했습니다.

2021년 XNUMX월에 출시된 Mip-NeRF(오른쪽)는 들쭉날쭉한 가장자리를 피하기 위해 픽셀을 '블러링'하는 것이 아니라 보다 포괄적이지만 경제적인 앨리어싱 파이프라인을 통해 향상된 디테일을 제공합니다. 출처: https://jonbarron.info/mipnerf/

NeRF 무제한

XNUMX월 논문은 하늘을 포함하여 매우 먼 물체를 포함할 수 있는 무한 환경에서 Mip-NeRF를 사용하는 것과 관련하여 해결되지 않은 세 가지 문제를 남겼습니다. 새로운 논문은 칼만 스타일 Mip-NeRF 가우시안으로 워프합니다.

둘째, 더 큰 장면에는 더 큰 처리 능력과 확장된 교육 시간이 필요하며 Mip-NeRF 360은 작은 '제안'으로 장면 형상을 '증류'하여 해결합니다. 다층 퍼셉트론 (MLP)는 대규모 표준 NeRF MLP에 의해 예측된 형상을 사전에 제한합니다. 이렇게 하면 훈련 속도가 XNUMX배 빨라집니다.

마지막으로 더 큰 장면은 해석된 지오메트리의 이산화를 모호하게 만드는 경향이 있어 게임 출력이 '눈물'일 때 게이머에게 친숙할 수 있는 아티팩트 유형이 생성됩니다. 새로운 논문은 Mip-NeRF 레이 간격을 위한 새로운 regularizer를 생성하여 이 문제를 해결합니다.