Anderson의 관점
RigNeRF: 새로운 딥페이크 방법 – 뉴럴 레이디언스 필드를 사용한다

핵심 포인트RigNeRF는 3DMM 제어를 활용한 신경 방사 필드(NeRF) 기반 최초의 실용적인 딥페이크 기법입니다.
더 보기
- RigNeRF는 3DMM 제어를 활용한 신경 방사 필드(NeRF) 기반 최초의 실용적인 딥페이크 기법입니다.
- 이 시스템은 번거로운 오토인코더 데이터셋과 달리 70초 분량의 스마트폰 영상만으로 학습이 가능합니다.
- RigNeRF는 얼굴 교체뿐만 아니라 신체와 배경을 포함한 전체 장면 합성을 가능하게 합니다.
Adobe (ADBE ) 에서 개발된 새로운 연구는 뉴럴 레이디언스 필드(NeRF)를 기반으로 하는 첫 번째 실용적이고 효과적인 딥페이크 방법을 제공한다. 이는 2017년 딥페이크가 등장한 이후 5년 만에 아키텍처 또는 접근 방식에서 첫 번째 실질적인 혁신일 수 있다.
RigNeRF는 3D 모핑 가능한 얼굴 모델(3DMM)을 원하는 입력, 즉 NeRF 렌더링에 적용할 인물의 정체성과 신경 공간 사이의 중간 제어 계층으로 사용한다. 생성적 적대 신경망(GAN) 얼굴 합성 접근 방식에서 최근 몇 년 동안 널리 채택된 방식이지만, 기사 작성 당시 어느 방식도 영상에 사용할 수 있는 실용적인 얼굴 교체 프레임워크를 만들지 못했다.

기존 딥페이크 영상과 달리 여기 보이는 움직이는 내용은 전부 실사가 아니라 짧은 영상으로 학습한 탐색 가능한 신경 공간이다. 오른쪽의 3DMM은 원하는 조작(미소, 왼쪽 보기, 위쪽 보기 등)과 보통 제어하기 어려운 뉴럴 레이디언스 필드 매개변수 사이를 연결한다. 고해상도 버전과 다른 예시는 프로젝트 페이지나 기사 끝의 삽입 영상에서 확인할 수 있다. 출처: https://shahrukhathar.github.io/2022/06/06/RigNeRF.html
3DMM은 효과적으로 CGI 모델의 얼굴이다. 이 모델의 매개변수는 더 추상적인 이미지 합성 시스템, 즉 NeRF와 GAN에 적응할 수 있다. 이러한 시스템은 일반적으로 제어하기 어렵다.
위의 이미지(중간 이미지, 파란 셔츠를 입은 남자)와 아래의 이미지(왼쪽 이미지, 파란 셔츠를 입은 남자)에서 볼 수 있는 것은 ‘실제’ 비디오에 작은 패치의 ‘가짜’ 얼굴을 합성한 것이 아니라, 완전히 합성된 장면이다. 이 장면은 몸과 배경까지 포함하는 체적 신경 렌더링으로만 존재한다.

위의 예시에서, 실제 비디오(빨간 드레스를 입은 여자)는 RigNeRF를 사용하여 왼쪽에 있는 포착된 정체성(파란 셔츠를 입은 남자)를 ‘인형’처럼 조작한다. 연구자들은 RigNeRF가 처음으로 NeRF 기반 시스템에서 자세와 표정을 분리하고 새로운 뷰를 합성할 수 있다고 주장한다.
위의 이미지에서 왼쪽에 있는 남자는 70초의 스마트폰 비디오에서 포착되었다. 입력 데이터(전체 장면 정보 포함)는 4개의 V100 GPU에서 훈련되어 장면을 얻었다.
3DMM 스타일의 매개변수 리그는 얼굴뿐 아니라 전신 매개변수 CGI 대리 모델로도 제공된다. 따라서 RigNeRF는 실제 사람의 움직임, 질감, 표정을 CGI 기반 매개변수 계층에 전달한 뒤 NeRF 환경과 영상으로 렌더링하는 전신 딥페이크의 가능성을 열 수 있다.
RigNeRF는 현재의 딥페이크 방법으로 간주될 수 있는가? 아니면 DeepFaceLab와 다른 2017년식 오토인코더 딥페이크 시스템과 같은 반쪽짜리 시스템인가?
연구자들은 이 점에 대해 명확하다.
‘RigNeRF는 얼굴을 다시 움직이게할 수 있는 방법이므로, 악의적인 행위자에 의해 딥페이크를 생성하는 데 악용될 수 있다.’
새로운 논문은 RigNeRF: Fully Controllable Neural 3D Portraits라고 제목이 붙여져 있으며, 개발 당시 Adobe 인턴이었던 Stonybrook University의 ShahRukh Atha와 Adobe Research의 다른 네 명이 작성했다.
오토인코더 기반 딥페이크를 넘어서
최근 몇 년간 화제가 된 딥페이크 대부분은 오토인코더 기반 시스템으로 제작됐다. 이는 2017년 곧바로 금지된 r/deepfakes 서브레딧의 코드에서 파생됐으며, 금지되기 전에 GitHub로 복사됐다. 이후 천 번 넘게 분기 개발됐고, 인기 있지만 논란이 있는 DeepFaceLab 배포판과 FaceSwap 프로젝트로도 이어졌다.
오토인코더 프레임워크는 3DMM을 얼굴 합성 프레임워크를 개선하는 데 사용하기도 했다. 2021년 7월의 HifiFace 프로젝트가 이러한 접근 방식의 예이다. 그러나 기사 작성 당시 이 접근 방식에서 실용적이거나 인기 있는 시도가 발전한 것으로 보이지는 않는다.
RigNeRF의 데이터는 짧은 스마트폰 비디오를 캡처하여 얻는다. 연구자들은 모든 실험에서 iPhone XR 또는 iPhone 12를 사용했다. 캡처의 첫 번째 절반에서는 참가자에게 머리를 움직이지 않고 다양한 표정을 짓고 말하도록 요청한다. 카메라는 참가자 주위를 움직인다.
캡처의 두 번째 절반에서는 카메라는 고정된 위치를 유지하고 참가자는 다양한 표정을 하면서 머리를 움직인다. 결과적으로 40-70초의 영사(약 1200-2100프레임)는 모델을 훈련하는 데 사용할 전체 데이터셋을 나타낸다.
데이터 수집을 줄이기
반면에, DeepFaceLab와 같은 오토인코더 시스템은 수천 개의 다양한 사진을 수집하고 큐레이션해야 한다. 이러한 사진은 종종 유튜브 비디오와 다른 소셜 미디어 채널에서 가져온다. 또한, 유명인 딥페이크의 경우에는 영화에서 가져온다.
결과적으로 훈련된 오토인코더 모델은 다양한 상황에서 사용될 수 있다. 그러나, 가장 근면한 ‘유명인’ 딥페이커는 단일 비디오를 위해 전체 모델을 처음부터 훈련한다. 훈련에는 일주일 이상이 걸릴 수 있다.
연구자들의 경고에도 불구하고, AI 포르노와 인기 있는 유튜브/틱톡 ‘딥페이크 리캐스팅’을 구동하는 패치워크와 광범위하게 조립된 데이터셋은 장면별 방식을 사용하는 RigNeRF 같은 딥페이크 시스템에서 수용할 만한 일관된 결과를 생성할 가능성이 낮다. 데이터 캡처에 대한 제한으로 인해, 이는 악의적인 딥페이커에 의한 인물의 정체성을 쉽게 무단 도용하는 행위을 방지하는 추가적인 안전 장치가 될 수 있다.
NeRF를 딥페이크 비디오에 적용하기
NeRF는 소스 사진을 여러 관점에서 촬영하여 3D 뉴럴 공간으로 조립하는 사진 측량 기반 방법이다. 이 접근 방식은 NVIDIA (NVDA ) 가 Instant NeRF 시스템을 공개했을 때 주목을 받았다. Instant NeRF는 NeRF의 훈련 시간을 몇 분 또는 몇 초로 줄일 수 있다.

Instant NeRF. 출처: https://www.youtube.com/watch?v=DJ2hcC1orc4
생성된 뉴럴 레이디언스 필드 장면은 탐색할 수 있지만 편집하기 어려운 정적 환경이다. 연구자들은 얼굴 영상 합성을 시도한 두 선행 시스템, HyperNeRF + E/P와 NerFACE를 언급하고, 완전성과 신중함을 위해서인 듯 RigNeRF를 이 두 프레임워크와 비교했다.


RigNeRF, HyperNeRF, 및 NerFACE의 질적 비교. 연결된 소스 비디오와 PDF를 통해 더 높은 품질의 버전을 참조하십시오. 정적 이미지 출처: https://arxiv.org/pdf/2012.03065.pdf
그러나 이 경우 결과는 RigNeRF를 선호한다. 두 가지 이유로 결과는 상당히 비정상적이다. 첫째, 저자들은 ‘사과와 사과를 비교하는 비교는 없다’고 관찰했다. 둘째, 이는 RigNeRF의 기능을 이전 시스템의 더 제한적인 기능과 부분적으로 일치시키는 것을 필요로 했다.
결과가 이전 연구의 점진적인 개선이 아니라, NeRF 편집 가능성과 유용성의 ‘돌파구’를 나타내므로, 우리는 테스트 라운드를 제외하고 RigNeRF가 이전 시스템과 어떻게 다르게 작동하는지 살펴보겠다.
결합된 강점
NerFACE의 주요 제한은 정적인 카메라로 소스 영상을 캡처한다는 가정이다. 이는 촬영 범위를 벗어나는 새로운 시점을 생성할 수 없다는 뜻이다. 따라서 ‘움직이는 초상화’를 생성할 수 있지만, 딥페이크 스타일의 비디오에는 적합하지 않다.
HyperNeRF는 새로운 뷰를 생성할 수 있지만, 머리 자세나 얼굴 표정을 변경할 수 있는 수단이 없다. 따라서 오토인코더 기반의 딥페이크와 경쟁할 수 없다.
RigNeRF는 이러한 두 가지 분리된 기능을 결합하여 ‘표준 공간’을 생성한다. 이 표준 공간은 3DMM 모듈의 입력에서 비롯된 변형과 변위를 수행할 수 있는 기본선이다.

표준 공간( 자세나 표정이 없음)을 생성하여, 3DMM에서 생성된 변형(즉, 자세와 표정)을 수행할 수 있다.
3DMM 시스템이 캡처된 주제와 정확하게 일치하지 않을 수 있으므로, 이 과정에서 이를 보상하는 것이 중요하다. RigNeRF는 소스 영상에서 유도한 다층 퍼셉트론(MLP)으로 계산한 변형 필드의 사전 정보을 사용하여 이를 수행한다.

변형을 계산하는 데 필요한 카메라 매개변수는 COLMAP을 통해 얻는다. 각 프레임의 표정과 모양 매개변수는 DECA에서 얻는다.
위치는 기준점 맞춤과 COLMAP의 카메라 매개변수를 통해 추가로 최적화된다. 그러나 컴퓨팅 자원 제한으로 인해 비디오 출력은 훈련을 위해 256×256 해상도로 다운샘플링된다. 이는 오토인코더 딥페이크에도 존재하는 하드웨어 제한된 축소 과정이다.
이후에 변형 네트워크는 4개의 V100에서 훈련된다. 이는 일반적인 취미 사용자에게는 접근하기 어려울 가능성이 큰 강력한 하드웨어이다. 그러나, 머신 러닝 훈련에서는 일반적으로 계산 자원을 줄이는 대신 더 긴 학습 시간을 받아들일 수 있다. 모델 훈련은 며칠 또는 몇 주가 걸릴 수 있다.
결론으로, 연구자들은 다음과 같이 말한다.
‘다른 방법과 달리, RigNeRF는 3DMM 유도 변형 모듈을 사용하여 머리 자세, 얼굴 표정, 및 전체 3D 초상화 장면을 높은 신뢰도로 모델링할 수 있다. 이는 더 나은 재구성과 선명한 세부를 제공한다.’
자세한 내용과 결과 영상을 보려면 아래의 임베디드 비디오를 참조하십시오.
최초 게시일: 2022년 6월 15일.












