NeRF: 신경 복사 필드의 콘텐츠 편집의 도전

今年초에 NVIDIA는 Neural Radiance Fields (NeRF) 연구를 InstantNeRF와 함께 크게 발전시켰습니다. InstantNeRF는 몇 초 만에 탐색 가능한 신경 장면을 생성할 수 있는 것으로 보입니다. 이 기술은 2020년에 처음 등장했을 때 몇 시간 또는 며칠이 걸리기도 했습니다.

NVIDIA의 InstantNeRF는 인상적인 결과를 제공합니다. 출처: https://www.youtube.com/watch?v=DJ2hcC1orc4

이러한 종류의 보간은 정적인 장면을 생성하지만 NeRF는 또한 움직임을 표현할 수 있으며 기본적인 ‘복사 및 붙여넣기’ 편집도 가능합니다. 여기서 개별 NeRF는 합성 장면으로 결합하거나 기존 장면에 삽입할 수 있습니다.

상하이科技대학교와 DGene Digital Technology의 2021년 연구에서紹介된 중첩된 NeRF. 출처: https://www.youtube.com/watch?v=Wp4HfOwFGP4

그러나 계산된 NeRF에서 실제로 무언가를 변경하려면 현재까지 매우 적은 수의 솔루션이 개발되었습니다. 이러한 솔루션은 CGI 워크플로의 기능을 따라가지 못합니다.

기하학적 추정은 NeRF 장면을 생성하는 데 필수적이지만 최종 결과는 비교적 ‘잠긴’ 값으로 구성됩니다. NeRF의 텍스처 값을 변경하는 데는 일부 진행이 있지만 NeRF 장면의 실제 객체는 편집 및 조작할 수 있는 매개변수 메시가 아닌 더僵硬하고 동결된 점군과 유사합니다.

이 시나리오에서 NeRF의 렌더링된 사람은 본질적으로 동상(또는 동영상 NeRF의 경우 여러 개의 동상)입니다. 그들이 자신과 다른 객체에 던지는 그림자는 텍스처이며 조명源에 기반한 유연한 계산이 아닙니다. NeRF 콘텐츠의 편집 가능성은 NeRF를 생성하는 데 사용되는 희소한 소스 사진을 촬영한 사진가가 선택한 옵션으로 제한됩니다. 그림자 및 포즈와 같은 매개변수는 편집할 수 없습니다.

NeRF-편집

중국과 영국의 새로운 학술 연구 협력은 NeRF-편집을 통해 이 도전을 해결합니다. 여기서 프록시 CGI 스타일 메시가 NeRF에서 추출되고 사용자가 변형하여 NeRF의 신경 계산으로 다시 전달합니다.

NeRF-편집을 사용한 NeRF 인형劇. 출처: http://geometrylearning.com/NeRFEditing/

이 방법은 2021년 미국과 중국의 재구성 기술인 NeuS를 적용합니다. 이는 NeRF 내부에 학습된 기하학을 나타내는 서명된 거리 함수(SDF, 기존의 체적 재구성 방법)를 추출합니다.

이 SDF 개체는 사용자의 조각 基礎가 됩니다. 사용자는 ARAP 기술을 사용하여 변형 및 성형할 수 있습니다.

ARAP를 사용하여 추출된 SDF 메시를 변형할 수 있습니다. 출처: https://arxiv.org/pdf/2205.04978.pdf

변형이 적용되면 이를 벡터에서 NeRF의 기본 RGB/픽셀 수준으로 번역해야 합니다. 이는 약간 더 긴 여정입니다.

사용자가 변형한 메시의 삼각형 꼭짓점은 먼저 테트라헤드럴 메시로 변환되어 사용자 메시를 둘러쌉니다. 이 추가 메시에서 공간离散 변형 필드를 추출하여 NeRF 친화적인 연속 변형 필드를 얻을 수 있습니다. 이를 NeRF의 신경 환경으로 다시 전달하여 사용자의 변경 사항과 편집을 반영하고 목표 NeRF의 해석된 광선에 직접 영향을 미칩니다.

새로운 방법으로 변형되고 애니메이션된 객체.

논문은 다음과 같이 말합니다:

‘표면 변형을 테트라헤드럴 메시로 전송한 후 “유효 공간”의离散 변형 필드를 얻을 수 있습니다. 이제 이러한离散 변환을 사용하여 광선을 구부립니다. 변형된 복사 필드의 이미지를 생성하려면 테트라헤드럴 메시가 포함된 공간으로 광선을 발사합니다.’

이 논문은 NeRF-편집: 신경 복사 필드의 기하학적 편집이라는 제목으로, 중국의 세 대학 및 기관과 카디프 대학교 컴퓨터 과학 및 정보학 학교의 연구자, 그리고 알리바바 그룹의 두 명의 연구자가 공동으로 작성했습니다.

한계

이전에도 언급했듯이 변형된 기하학은 편집되지 않은 NeRF의 관련된 측면을 ‘업데이트’하지 않으며 변형된 요소의 втор次적 결과를 반영하지 않습니다. 연구자들은 예를 들어 NeRF의 인간 형태에서 수평 그림자가 손의 이동과 관계없이 그대로 유지되는 경우를 제공합니다.

논문에서 볼 수 있듯이 손의 수평 그림자는 손이 위로 이동해도 그대로 유지됩니다.

실험

연구자들은 현재 NeRF 기하학에 직접 개입하는 방법이 없다는 것을 관찰합니다. 따라서 연구를 위한 실험은 비교적 탐색적입니다.

연구자들은 Mixamo의 캐릭터와 원래 NeRF 구현의 레고 불도저와 의자와 같은 여러 공개 데이터셋에서 NeRF-편집을 시연했습니다. 또한 FVS 데이터셋의 실제로 캡처된 말 동상과 자신의 원본 캡처에서 실험했습니다.

말의 머리가 기울어진 모습.

미래 연구에서 연구자들은 시스템을 just-in-time(JIT) 컴파일된 기계 학습 프레임워크인 Jittor에서 개발할 예정입니다.

최초로 게시된 날짜: 2022년 5월 16일.