인공지능

NeRF: 신경 복사 필드의 콘텐츠 편집의 도전

Published May 16, 2022

Updated April 28, 2026

Martin Anderson

今年초 NVIDIA는 InstantNeRF를 통해 신경 복사 필드(NeRF) 연구를 크게 발전시켰습니다. InstantNeRF는 몇 초 안에 탐색 가능한 신경 장면을 생성할 수 있는 것으로 보입니다. 이는 2020년에 등장했을 때 몇 시간 또는 며칠이 걸리던 기술입니다.

NVIDIA의 InstantNeRF는 인상적인 빠른 결과를 제공합니다. 출처: https://www.youtube.com/watch?v=DJ2hcC1orc4

이러한 종류의 보간은 정적 장면을 생성하지만 NeRF는 또한 움직임을 표현할 수 있고 기본적인 ‘복사 및 붙여넣기’ 편집이 가능합니다. 여기서 개별 NeRF는 합성 장면으로 결합하거나 기존 장면에 삽입할 수 있습니다.

상하이科技大学와 DGene Digital Technology의 2021년 연구에서紹介된 중첩된 NeRF. 출처: https://www.youtube.com/watch?v=Wp4HfOwFGP4

그러나 계산된 NeRF에 간섭하여 실제로 내부에서 발생하는 것을 변경하려면(전통적인 CGI 장면에서 요소를 변경하는 방식과 동일하게) 섹터 관심의 빠른 속도는 현재까지 매우 적은 해결책을 제공했으며, CGI 워크플로의 기능을 따라갈 수 있는 해결책은 없습니다.

기하도형 추정은 NeRF 장면을 생성하는 데 필수적이지만 최종 결과는 거의 ‘잠긴’ 값으로 구성됩니다. NeRF에서 텍스처 값을 변경하는 데 약간의 진전이 이루어지고 있지만 NeRF 장면中的 실제 객체는 편집하고 조작할 수 있는 매개변수 메시가 아니라 더 僵硬하고 동결된 점 클라우드와 유사합니다.

이 시나리오에서 NeRF의 렌더링된 사람은 본질적으로 동상(또는 비디오 NeRF의 경우 동상 시리즈)입니다. 그들이 자신과 다른 객체에投射하는 그림자는 텍스처이며, 빛 소스에 기반한 유연한 계산이 아닙니다. NeRF 콘텐츠의 편집 가능성은 NeRF를 생성하는 데 사용되는 희소한 소스 사진을 촬영한 사진者の 선택으로 제한됩니다. 그림자 및 포즈와 같은 매개변수는 편집할 수 없습니다.

NeRF-편집

중국과 영국의 새로운 학술 연구 협력은 NeRF-편집으로 이 도전을 해결합니다. 여기서 프록시 CGI 스타일 메시가 NeRF에서 추출되어 사용자가 원하는 대로 변형되며, 변형은 NeRF의 신경 계산으로 다시 전달됩니다.

NeRF-편집으로 계산된 변형이 NeRF 표현의 동일한 점에 적용됩니다. 출처: http://geometrylearning.com/NeRFEditing/

이 방법은 2021년 미국/중국 재구성 기술인 NeuS를 적용하여 NeRF 내에서 표현된 기하도를 학습할 수 있는 Signed Distance Function(SDF, 훨씬 이전의 체적 재구성 방법)을 추출합니다.

이 SDF 객체는 사용자의 조각 기반으로 사용되며, As-Rigid-As-Possible(ARAP) 기술을 통해 비틀기 및 성형 기능을 제공합니다.

ARAP를 사용하여 추출된 SDF 메시를 변형할 수 있습니다. 다른 방법, 즉 스켈레톤 기반 및 케이지 기반 접근법(예: NURBs)도 잘 작동할 것입니다. 출처: https://arxiv.org/pdf/2205.04978.pdf

변형을 적용한 후, 이 정보를 벡터에서 NeRF의 네이티브 RGB/픽셀 수준으로 번역하는 것이 필요합니다. 이는 약간 더 긴 여정입니다.

사용자가 변형한 메시의 삼각형 꼭지점은 먼저 테트라헤드럴 메시로 번역되며, 이는 사용자 메시를 둘러싼 껍질을 형성합니다. 이 추가 메시에서 공간离散変形 필드를 추출하고, 최종적으로 NeRF-친화적인 연속 변형 필드를 얻을 수 있습니다. 이는 사용자의 변경 사항과 편집을 반영하고, 목표 NeRF의 해석된 광선에 직접 영향을 미칩니다.

새로운 방법으로 변형되고 애니메이션된 객체.

논문에는 다음과 같이述합니다:

‘표면 변형을 테트라헤드럴 메시로 전달한 후, 우리는 “유효 공간”의离散変形 필드를 얻을 수 있습니다. 우리는 이제 이러한离散変形을 사용하여 광선의 굴절을 구현합니다. 변형된 복사 필드의 이미지를 생성하기 위해, 우리는 변형된 테트라헤드럴 메시를 포함하는 공간으로 광선을 투사합니다.’

논문은 NeRF-편집: 신경 복사 필드의 기하도형 편집이라는 제목으로, 중국의 세 대학 및 기관과 카디프 대학의 컴퓨터 과학 및 정보학 학교의 연구자, 그리고 알리바바 그룹의 두 연구자로부터 나왔습니다.

제한

이전에 언급했듯이, 변형된 기하도형은 편집되지 않은 관련된 NeRF의 모든 측면을 ‘업데이트’하지 않으며, 변형된 요소의 втор次적 결과(예: 그림자)를 반영하지 않습니다. 연구자들은 예를 들어, 인간 피규어의 경우, 그림자가 변형에도 불구하고 그대로 유지된다는 것을 보여줍니다.