NeRF: 신경 복사 환경에서 드론 훈련

스탠퍼드 대학교의 연구진은 최근 NeRF(신경 복사 환경)에 대한 관심을 이용하여 드론을 훈련시키는 새로운 방법을 개발했습니다. 이 방법은 드론을 사진적으로 현실적이고 정확한 환경에서 훈련시킬 수 있습니다.

드론은 실제 장소에서 직접 매핑된 가상 환경에서 훈련될 수 있으며, 3D 장면 재구성을 위한 전문 장비나 노력이 필요하지 않습니다. 이 이미지에서 바람 방해가 잠재적인 장애물로 추가되어 드론이 일시적으로 경로에서 벗어나지만 마지막 순간에 장애물을 피하기 위해 보상합니다. 출처: https://mikh3x4.github.io/nerf-navigation/

이 방법은 드론(또는 다른 유형의 객체)을 자동으로 포함하는 가상 시나리오에서 상호 작용 훈련을 제공합니다. 이 시나리오는 자동으로 볼륨 정보(충돌 회피를 계산하기 위해), 실제 사진에서 그린 텍스처(드론의 이미지 인식 네트워크를 더 현실적으로 훈련시키기 위해), 및 실제 조명(네트워크에 다양한 조명 시나리오를 훈련시키기 위해)을 포함합니다.

소파-객체가 복잡한 가상 환경을 탐색합니다. 이 환경은 전통적인 AR/VR 워크플로우에서 기하학적 캡처 및 재텍스처화를 통해 매핑하는 것이 매우 어려웠을 것입니다. 그러나 NeRF에서 제한된 수의 사진으로 자동으로 재현되었습니다. 출처: https://www.youtube.com/watch?v=5JjWpv9BaaE

일반적인 NeRF 구현에는 경로 메커니즘이 포함되지 않습니다. 대부분의 NeRF 프로젝트는 장면 재조명, 반사 렌더링, 컴포지팅 및 캡처된 요소의 분리와 같은 다른 과제에 집중했습니다. 따라서 새로운 논문의 주요 혁신은 NeRF 환경을 탐색 가능한 공간으로 구현하는 것입니다. 이는 광범위한 장비나 노력이 필요한 3D 환경을 모델링하는 대신에 가능합니다.

NeRF as VR/AR

새로운 논문은 비전 전용 로봇 탐색 네트워크라는 제목으로 스탠퍼드 대학교의 3개 부서(항공 우주 공학, 기계 공학, 컴퓨터 과학)의 협력입니다.

이 연구는 로봇에 대한 사전 훈련된 NeRF 환경을 제공하는 탐색 프레임워크를 제안합니다. 이 환경의 볼륨 밀도는 장치에 대한 가능한 경로를 제한합니다. 또한 로봇의 온보드 RGB 카메라의 이미지 인식에 기반하여 로봇이 가상 환경 내에서 어디에 있는지 추정하는 필터를 포함합니다. 이렇게 하면 드론이나 로봇이 주어진 환경에서 무엇을 기대할 수 있는지 더 정확하게 상상할 수 있습니다.

STONEHENGE 프로젝트의 경로 최적화기는 Stonehenge의 NeRF 모델을 통해 탐색합니다. 이 모델은 사진 기하학 및 이미지 해석을 통해 생성되었습니다. 경로 계획기는 여러 경로를 계산한 후 아치 위의 최적 경로를 설정합니다.

NeRF 환경에는 완전히 모델링된 차폐가 포함되어 있으므로 드론은 차폐와 관련된 관계를 더 쉽게 계산할 수 있습니다. 이는 NeRF 뒤의 신경망이 환경을 어떻게 인식하는지에 대한 정보를 제공하기 때문입니다. 자동화된 NeRF 생성 파이프라인은 몇 개의 사진만으로 초현실적인 훈련 공간을 생성하는 비교적 간단한 방법을 제공합니다.

스탠퍼드 프로젝트에서 개발된 온라인 재계획 프레임워크는 완전히 비전 기반의 내구성 있는 탐색 파이프라인을 제공합니다.

스탠퍼드 이니셔티브는 NeRF 공간을 탐색 가능한 및 몰입형 VR 스타일 환경으로 탐색하는 가능성을 고려하는 최초의 시도 중 하나입니다. 신경 복사 필드는 새로운 기술로, 현재 높은 컴퓨팅 리소스 요구 사항을 최적화하고 캡처된 요소를 분리하는 여러 학술 노력의 대상입니다.

Nerf Is Not (Really) CGI

NeRF 환경은 탐색 가능한 3D 장면이기 때문에, 2020년에 등장한 이후로 종종 CGI 자동화 방법으로 잘못 이해되어 왔습니다. 실제로 NeRF 환경은 ‘라이브’ 렌더링 공간으로, 픽셀 및 조명 정보의 혼합이 유지되고 실행 중인 신경망에서 탐색됩니다.

NeRF는 제한된 수의 이미지 뷰포인트에서 기하학 및 텍스처 정보를 추출하여 이미지 간의 차이를 볼륨 정보로 계산합니다. 출처: https://www.matthewtancik.com/nerf

NeRF 환경은 전통적인 CGI와는 다른 방식으로 작동합니다. 이는 제한된 수의 이미지로 환경을 재현할 수 있으며, 생성된 환경에는 높은忠実도 재현을 위한 모든 정보가 포함되어 있습니다. 모델러, 텍스처 아티스트, 조명 전문가 등이 필요하지 않습니다.

Semantic Segmentation

NeRF는 CGI로 간주될 수 있지만, 전혀 다른 방식을 제공합니다. 또한 NeRF는 장면의 이동 부분을 분리하여 추가, 제거, 속도 조정 및 가상 환경에서 별도의 요소로 작동할 수 있습니다. 이는 현재의 CGI 상태와는 달리, 훨씬 더 자동화된 파이프라인을 제공합니다.

상하이 테크 대학교의 협력에서 2021년 여름에 발표된 연구는 NeRF 요소를 개별 ‘貼할 수 있는’ 요소로 분리하여 장면에 추가할 수 있는 방법을 제공합니다. 출처: https://www.youtube.com/watch?v=Wp4HfOwFGP4

NeRF의 아키텍처는有点 ‘블랙 박스’로, 현재로서는 NeRF 환경에서 객체를 추출하여 전통적인 메시 기반 및 이미지 기반 도구로 직접 조작하는 것이 불가능합니다. 그러나 몇몇 연구 노력은 NeRF의 신경망 라이브 렌더링 환경의 매트릭스를 해체하는 돌파구를 이루기 시작했습니다.