NeRF: 신경 방사 필드의 콘텐츠 편집 과제

올해 초 NVIDIA는 Neural Radiance Fields를 발전시켰습니다.NeRF) 특히 연구 인스턴트NeRF, 단 몇 초 만에 탐색 가능한 신경 장면을 생성할 수 있는 것으로 보입니다. 등장 2020년에는 훈련하는 데 종종 몇 시간 또는 며칠이 걸렸습니다.

NVIDIA의 InstantNeRF는 인상적이고 빠른 결과를 제공합니다. 출처: https://www.youtube.com/watch?v=DJ2hcC1orc4

이러한 종류의 보간법은 정적인 장면을 생성하지만 NeRF는 또한 움직임을 묘사, 기본 '복사 및 붙여넣기' 편집의 경우 개별 NeRF를 합성 장면 or 삽입 된 기존 장면에.

Shanghai Tech University 및 DGene Digital Technology의 2021년 연구에 등장한 중첩된 NeRF. 출처: https://www.youtube.com/watch?v=Wp4HfOwFGP4

그러나 계산된 NeRF에 개입하여 그 내부에서 진행되는 작업을 실제로 변경하려는 경우(전통적인 CGI 장면에서 요소를 변경할 수 있는 것과 같은 방식으로) 부문 관심의 빠른 속도는 다음과 같습니다. 대단히 를 솔루션 현재까지 CGI 작업 흐름의 기능과 일치하는 것은 없습니다.

기하학 추정은 NeRF 장면을 만드는 데 필수적이지만 최종 결과는 상당히 '잠긴' 값으로 구성됩니다. 있는 동안 약간의 진전 NeRF에서 텍스처 값을 변경하기 위해 만들어지는 NeRF 장면의 실제 개체는 편집하고 사용할 수 있는 파라메트릭 메시가 아니라 깨지기 쉽고 얼어붙은 포인트 클라우드에 더 가깝습니다.

이 시나리오에서 NeRF의 렌더링된 사람은 본질적으로 조각상(또는 비디오 NeRF의 일련의 조각상)입니다. 자신과 다른 물체에 드리우는 그림자는 광원을 기반으로 하는 유연한 계산이 아니라 텍스처입니다. NeRF 콘텐츠의 편집 가능성은 NeRF가 생성되는 희박한 소스 사진을 찍는 사진가의 선택으로 제한됩니다. 그림자 및 포즈와 같은 매개변수는 창의적인 의미에서 편집할 수 없는 상태로 유지됩니다.

NeRF 편집

중국과 영국 간의 새로운 학술 연구 협력은 다음을 통해 이 문제를 해결합니다. NeRF 편집여기서 프록시 CGI 스타일 메시는 NeRF에서 추출되고 사용자가 원하는 대로 변형되며 변형은 다시 NeRF의 신경 계산으로 전달됩니다.

푸티지에서 계산된 변형이 NeRF 표현 내부의 동등한 지점에 적용되므로 NeRF 편집이 포함된 NeRF 인형극. 출처: http://geometrylearning.com/NeRFEditing/

이 방법은 NeuS 2021 미국/중국 재건 기술, 부호 있는 거리 함수 (SDF, 체적 재구성의 훨씬 오래된 방법) NeRF 내부에 표시되는 형상을 학습할 수 있습니다.

이 SDF 개체는 유서 깊은 As-Rigid-As-Possible(아라비아 말) 기술.

ARAP를 사용하면 사용자가 추출된 SDF 메쉬를 변형할 수 있지만 스켈레톤 기반 및 케이지 기반 접근법(예: NURB)과 같은 다른 방법도 잘 작동합니다. 출처 : https://arxiv.org/pdf/2205.04978.pdf

변형이 적용된 상태에서 이 정보를 벡터에서 NeRF 고유의 RGB/픽셀 수준으로 변환해야 하는데 이는 약간 더 긴 여정입니다.

사용자가 변형한 메시의 삼각형 꼭지점은 먼저 사용자 메시 주위에 스킨을 형성하는 사면체 메시로 변환됩니다. 이 추가 메시에서 공간 이산 변형 필드가 추출되고 최종적으로 신경 복사 환경으로 다시 전달될 수 있는 NeRF 친화적인 연속 변형 필드가 얻어지며 사용자의 변경 및 편집을 반영하고 대상의 해석된 광선에 직접 영향을 미칩니다. NeRF.

새로운 방법으로 변형되고 애니메이션된 개체.

논문은 다음과 같이 말합니다.

'표면 변형을 사면체 메쉬로 옮긴 후 "유효 공간"의 불연속 변형 필드를 얻을 수 있습니다. 이제 이러한 불연속 변환을 활용하여 캐스팅 광선을 구부립니다. 변형된 방사 필드의 이미지를 생성하기 위해 변형된 사면체 메쉬를 포함하는 공간에 광선을 투사합니다.'

XNUMXD덴탈의 종이 제목이 NeRF 편집: 신경 방사 필드의 기하학 편집, 카디프 대학교 컴퓨터 과학 및 정보학부 연구원 XNUMX명, 알리바바 그룹 연구원 XNUMX명과 함께 중국 XNUMX개 대학 및 기관의 연구원이 참여했습니다.

제한 사항

앞서 언급한 바와 같이 변환된 지오메트리는 편집되지 않은 NeRF의 관련 측면을 '업데이트'하지 않으며 그림자와 같은 변형된 요소의 XNUMX차 결과를 반영하지 않습니다. 연구자들은 변형이 조명을 변경해야 하는 경우에도 NeRF에서 사람 형상의 언더 섀도우가 변경되지 않은 상태로 유지되는 예를 제공합니다.

종이에서: 그림의 팔에 있는 수평 그림자는 팔이 위쪽으로 움직여도 제자리에 남아 있음을 알 수 있습니다.

실험

저자는 현재 NeRF 기하학에 직접 개입할 수 있는 비교 가능한 방법이 없음을 관찰합니다. 따라서 연구를 위해 수행된 실험은 비교보다는 탐색적이었습니다.

연구원들은 Mixamo의 캐릭터, 오리지널 NeRF의 현재 상징적인 레고 불도저 및 의자를 포함하여 다수의 공개 데이터 세트에서 NeRF 편집을 시연했습니다. 이행. 그들은 또한 실제 포획된 말 조각상을 실험했습니다. FVS 데이터 세트, 뿐만 아니라 자신의 원본 캡처.

말의 머리가 기울어졌습니다.

향후 작업을 위해 저자는 JIT(Just-In-Time) 컴파일된 기계 학습 프레임워크 Jittor에서 시스템을 개발할 계획입니다.

16년 2022월 XNUMX일에 처음 게시되었습니다.