Anderson의 관점

새로운 CGI: 블록-NeRF로 동네의 신경망 모델 만들기

Martin Anderson
Unite.AI를 Google의 선호 소스에 추가
핵심 포인트Block-NeRF은 개별 NeRF 인스턴스를 온디맨드로 로드되는 확장 가능한 탐색 가능 지역으로 연결합니다.
더 보기
  • Block-NeRF은 개별 NeRF 인스턴스를 온디맨드로 로드되는 확장 가능한 탐색 가능 지역으로 연결합니다.
  • Block-NeRF의 외관 코드는 전체 장면을 재훈련하지 않고도 시간대와 같은 동적 변화를 가능하게 합니다.
  • 이 프로젝트는 Waymo의 280만 장 이미지를 사용하여 샌프란시스코 블록으로 구성된 가장 큰 신경 장면을 만들었습니다.

신경 복사장(NeRF)는 여러 관점의 사진만을 입력으로 사용하여 객체를 재창조하고 신경 네트워크 내에서 탐색할 수 있도록 하는 기술입니다. 전통적인 CGI 방법의 복잡성과 비용 없이 객체를 재창조할 수 있습니다.

그러나 이 과정은 계산적으로 비용이 많이 들기 때문에 초기에 NeRF 환경은 테이블탑 모델 시나리오로 제한되었습니다. 그러나 NeRF는 헌신적이고 심지어 열광적이기까지 한 연구 커뮤니티에 의해 채택되었으며, 지난 1년 동안 외부 재구성 및 편집 가능한 신경망 인체 모델을 포함한 많은 혁신을 이루었습니다.

이제 새로운 연구 이니셔티브는 Google Research의 참여를 포함하며, NeRF의 최적화에 대한 가능한 하드 한계를 인식하고, 대신에 NeRF 환경을 연결하여 여러 개의 조정된 NeRF 인스턴스로 구성된 온디맨드 네이버후드를 생성합니다.

블록-NeRF 네트워크의 연결된 NeRF의 관점. 이 글의 끝에 포함된 비디오와 고해상도 전체 길이의 보충 비디오를 위한 소스 링크를 참조하십시오. 출처: https://waymo.com/research/block-nerf/

블록-NeRF 네트워크의 연결된 NeRF의 관점. 이 글의 끝에 포함된 비디오와 고해상도 전체 길이의 보충 비디오를 위한 소스 링크를 참조하십시오. 출처: https://waymo.com/research/block-nerf/

네트워크의 연결된 NeRF를 효과적으로 탐색하면 NeRF를 확장 가능하고 모듈화하여, 필요한 부분을 로드하는 방식으로 환경을 제공합니다. 이는 모퉁이 너머의 영역이 필요할 것이라고 판단될 때까지 해당 영역을 거의 로드하지 않는 비디오 게임의 리소스 최적화 방법과 유사합니다.

날씨와 시간대 같은 개별 요소를 분리하려는 광범위한 노력의 일환으로, 블록-NeRF는 ‘외관 코드’도 도입해 시간대를 동적으로 바꿀 수 있게 합니다.

블록-NeRF로 시간 변경. 이 글의 끝에 포함된 비디오와 고해상도 전체 길이의 보충 비디오를 위한 소스 링크를 참조하십시오. 출처: https://waymo.com/research/block-nerf/

블록-NeRF로 시간 변경. 이 글의 끝에 포함된 비디오와 고해상도 전체 길이의 보충 비디오를 위한 소스 링크를 참조하십시오. 출처: https://waymo.com/research/block-nerf/

새로운 논문은 NeRF 최적화가 자신의 열한계에 접근하고 있음을 시사하며, 가상 현실, 상호작용 구, VFX 작업 등에서 신경 복사 환경의 미래 배포는 병렬 연산에 의존할 가능성이 있습니다. 이는 무어의 법칙이 결국 멀티코어 아키텍처, 병렬 최적화 및 새로운 캐싱 접근법에 자리를 내준 것과 비슷합니다.

논문 Block-NeRF: Scalable Large Scene Neural View Synthesis의 저자들은 280만 장의 이미지를 사용해 지금까지 시도된 것 중 가장 큰 신경 장면, 즉 샌프란시스코의 여러 동네를 만들었습니다.

블록-NeRF가 샌프란시스코의 그레이스 대성당을 탐색합니다. 이 글의 끝에 포함된 비디오와 고해상도 전체 길이의 보충 비디오를 위한 소스 링크를 참조하십시오. 출처: https://waymo.com/research/block-nerf/

블록-NeRF가 샌프란시스코의 그레이스 대성당을 탐색합니다. 이 글의 끝에 포함된 비디오와 고해상도 전체 길이의 보충 비디오를 위한 소스 링크를 참조하십시오. 출처: https://waymo.com/research/block-nerf/

논문의 주요 저자는 UC 버클리의 매튜 탄칙(Matthew Tancik)이며, 그는 신경 복사장의 공동 발명자입니다. 그는 자율주행 기술 개발 기업 웨이모에서 인턴으로 일하며 이 연구를 수행했습니다. 웨이모는 프로젝트 페이지를 운영합니다. 연구팀은 유튜브에 개요 영상도 제공하며 이 글의 끝에 삽입되어 있습니다. 프로젝트 페이지에는 다양한 지원 및 보충 영상 예시도 있습니다.

다른 NeRF 창안자들인 Ben Mildenhall(Google Research), Pratul P. Srinivasan(Google Research), Jonathan T. Barron(Google Research)도 공동 저자로 참여했습니다. 나머지 기여자는 웨이모의 Vincent Casser, Xinchen Yan, Sabeek Pradhan, Henrik Kretzschmar입니다.

블록-NeRF는 주로 자율 주행 차량 시스템을 위한 가상 환경 연구로 개발되었으며, 여기에는 자율주행 자동차와 드론이 포함됩니다.

블록-NeRF의 180도 관점에서 바라본 엠바카데로 도로. 이 글의 끝에 포함된 비디오와 고해상도 전체 길이의 보충 비디오를 위한 소스 링크를 참조하십시오. 출처: https://waymo.com/research/block-nerf/

블록-NeRF의 180도 관점에서 바라본 엠바카데로 도로. 이 글의 끝에 포함된 비디오와 고해상도 전체 길이의 보충 비디오를 위한 소스 링크를 참조하십시오. 출처: https://waymo.com/research/block-nerf/

블록-NeRF에서 동적으로 변경할 수 있는 다른 요소로는 렌즈 노출, 날씨, 계절이 있습니다.

그러나 계절을 변경하면 환경에 관련된 변경이 발생할 수 있으며, 나무에서 잎이 사라지는 등의 변화가 생겨 블록-NeRF에 사용된 것보다 더 광범위한 입력 데이터셋이 필요합니다. 논문은 다음과 같이 설명합니다.

‘[잎]은 계절에 따라 변하고 바람에 움직이므로 나무와 식물이 흐릿하게 표현됩니다. 마찬가지로 건설 작업 등 훈련 데이터의 시간적 불일치는 자동으로 처리되지 않으며, 영향을 받은 블록을 수동으로 다시 훈련해야 합니다.’

종말 이후 같은 렌더링

이 글의 끝에 포함된 비디오를 보면, 연결된 블록-NeRF 환경에서 워킹 데드 같은 적막함을 느낄 수 있습니다. 로봇 시스템에 시뮬레이션된 시작 환경을 제공하는 등 여러 이유로 차량, 보행자 및 기타 일시적 객체가 원본 자료에서 의도적으로 제거되었습니다. 그러나 이것은 제거된 차량의 그림자와 같은 일부 아티팩트를 남겼습니다.

제거된 차량의 그림자. 출처: https://waymo.com/research/block-nerf/

제거된 차량의 그림자. 출처: https://waymo.com/research/block-nerf/

낮과 밤 같은 여러 조명 환경을 처리하기 위해 네트워크는 원하는 조건마다 분리된 데이터 스트림을 통합하도록 훈련되었습니다. 아래 그림은 낮과 밤의 고속도로 블록-NeRF 영상에 기여하는 각 스트림을 보여 줍니다.

미리 계산된 것처럼 보이는 블록-NeRF 렌더링 뒤의 주문형 구성 요소로, 사용자가 필요할 때 야간으로 바꿀 수 있게 합니다. 출처: https://waymo.com/research/block-nerf/

미리 계산된 것처럼 보이는 블록-NeRF 렌더링 뒤의 주문형 구성 요소로, 사용자가 필요할 때 야간으로 바꿀 수 있게 합니다. 출처: https://waymo.com/research/block-nerf/

환경 및 윤리적 고려

최근 몇 년 동안 연구 제출물에는 제안된 작업의 가능한 윤리적 및 환경적 결과에 대한 주의와 면책조항이 포함되었습니다. 블록-NeRF의 경우, 저자들은 에너지 요구 사항이 높으며, 단기 및 장기 일시적인 객체(예: 나무의 잎, 건설 작업)를 계산하는 것이 필요하며, 이는 도시 영역의 신경 모델을 최신 상태로 유지하기 위해 정기적으로 소스 데이터를 다시 스캔해야 하므로 감시를 증가시킬 수 있습니다.

저자들은 다음과 같이 말합니다:

‘이 작업이 적용되는 규모에 따라, 계산에 사용되는 에너지가 탄소 배출량을 늘린다면 컴퓨팅 요구 사항은 환경 피해를 유발하거나 악화시킬 수 있습니다. 본 논문에서 언급한 바와 같이, 캐싱 방법과 같은 추가 작업을 통해 컴퓨팅 요구 사항을 줄여 환경 손상을 완화할 수 있습니다.’

감시와 관련하여, 다음과 같이 계속합니다:

‘이 작업의 미래 응용 프로그램은 더 큰 데이터 수집 노력을 필요로 할 수 있으며, 이는 추가적인 개인 정보 문제를 야기할 수 있습니다. 구글 스트리트 뷰와 같은 서비스에서 이미 공공 도로의상세한 이미지를 찾을 수 있지만, 본 방법론은 환경에 대한 더 빈번하고 규칙적인 환경 스캔을 촉진할 수 있습니다. 자율 주행 차량 분야의 일부 회사에서는 이미 자신의 차량을 사용하여 정기적으로 지역을 스캔하고 있지만, 일부는 카메라 이미지 수집보다 개인정보 측면에서 덜 민감할 수 있는 LiDAR 스캔만 사용할 수도 있습니다.’

방법 및 해결책

개별 NeRF 환경은 이론적으로임의의 크기로 축소될 수 있으며, 블록-NeRF 배열로 조립됩니다. 이것은 내용이 확실히 변경될 수 있는 내용(예: 나무)을 세부적으로 포함하고, 건설 작업과 같은 내용을 식별하고 관리할 수 있게 합니다. 건설 작업은 수년에 걸친 반복 수집 동안 지속될 수 있지만, 변화해 가다가 결국 환경의 고정된 요소가 될 가능성이 큽니다.

그러나 이 초기 연구에서,개별 NeRF 블록은 실제 도시 블록으로 제한되며, 50%의 중복을 보장하여 사용자가 네트워크를 탐색할 때 일관된 전환을 제공합니다.

각 블록은 지리적 필터로 제한됩니다. 저자들은 이 프레임워크의 이 부분이 자동화될 수 있으며, 놀랍게도, 그들의 구현은 구글 맵스 대신 오픈스트리트맵을 사용한다고 언급합니다.

블록-NeRF '활성' 렌더링 공간의 교차점 반경. 출처: 웨이모

블록-NeRF ‘활성’ 렌더링 공간의 교차점 반경. 출처: 웨이모

블록은 병렬로 훈련되며, 필요한 블록은 요구에 따라 렌더링됩니다. 혁신적인 외관 코드도 블록 세트 전체에서 조율되므로 사용자가 갑자기 다른 날씨, 시간대 또는 계절로 넘어가지 않게 합니다.

블록-NeRF 세그먼트는 노출에 따라 조건화되며, 이는 사진 소스 자료의 고동적 범위(HDR)와 유사합니다. 출처: 웨이모

블록-NeRF 세그먼트는 노출에 따라 조건화되며, 이는 사진 소스 자료의 고동적 범위(HDR)와 유사합니다. 출처: 웨이모

조명 및 기타 환경 변수를 전환하는 기능은 NeRF in the Wild(NeRF-W)에서 도입한 생성적 잠재 최적화에서 비롯됩니다. 이 방법은 다시 페이스북 AI의 2019년 연구 Optimizing the Latent Space of Generative Networks에서 유래했습니다.

2020년 Panoptic-DeepLab용으로 만들어진 의미 분할 모델을 사용해 사람과 차량 같은 원치 않는 요소를 제외합니다.

데이터

일반적인 도시 데이터셋인 CityScapes는 블록-NeRF에 필요한 세부 작업에 적합하지 않다는 것을 발견한 연구자들은 자신의 데이터셋을 생성했습니다. 12개의 카메라를 사용하여 360도 시야를 포괄하는 이미지를 초당 10프레임(10 Hz)으로 촬영하고 스칼라 노출 값을 사용했습니다.

샌프란시스코의 알라모 광장과 미션 베이 지역을 커버했습니다. 알라모 광장의 경우, 약 960m x 570m의 영역을 커버하며, 35개의 블록-NeRF 인스턴스로 나누어져 있으며, 각 인스턴스는 38~48개의 서로 다른 데이터 수집 주행에서 얻은 데이터로 훈련되었으며, 주행 시간은 총 18~28분이었습니다.

각 블록-NeRF의 기여 이미지 수는 64,575~108,216개였으며, 이 지역에서 표현된 총 운전 시간은 1,330개의 다른 데이터 수집 실행에서 13.4시간으로 계산되었습니다. 이는 알라모 광장만으로 2,818,745개의 훈련 이미지를 생성했습니다. 미션 베이의 데이터 수집에 대한 추가 세부 정보는 논문을 참조하십시오.

 

최초로 게시된 날짜: 2022년 2월 11일.

머신러닝 분야 작가이자 인간 이미지 합성 도메인 전문가. Metaphysic.ai에서 연구 콘텐츠 책임자를 역임했으며, DNEG의 Brahma.ai로 통합될 때까지 근무했습니다.
웹사이트: martinanderson.ai
연락처: martin@martinanderson.ai