실시간 DeepFake 스트리밍을 위한 DeepFaceLive

세계에서 가장 많이 사용되는 DeepFake 소프트웨어이자 DeepFake 포르노와 가장 강하게 연관된 소프트웨어는 새로운 구현을 얻었습니다. 즉, 라이브 웹캠 영상을 통해 유명인과 같은 얼굴을 합성하는 기능입니다.

오픈 소스 저장소 DeepFaceLive는 DeepFaceLab의 기반으로 구축된 Windows 10 애플리케이션입니다. DeepFaceLab은 2018년 DeepFake 소프트웨어의 원래 제작자가 프로젝트를 포기한 후에 빠르게 성장하여 포르노 기반 얼굴 교환을 위한 주요 리소스가 되었습니다. 두 프로젝트 모두 mrdeepfakes 포르노 사이트의 포럼 섹션을 공식 지원 리소스로 나열합니다.

개발자 이반 페드로프가 4월에 공개한 DeepFaceLive 인터페이스 비디오에서 Miles Fisher의 다운로드된 영상을 실시간으로 Tom Cruise로 변환하는 것을 볼 수 있습니다. 출처: https://martinanderson.substack.com/p/real-time-deepfake-streaming-is-apparently

昨일, 두 프로젝트의 리더인 러시아 개발자 이반 페드로프는 DeepFaceLab의 Discord 그룹에서 새로운 DeepFaceLive 버전을 발표했습니다. 그는 DeepFaceLive가 이제 마고트 로비의 훈련된 모델을 포함한다고 언급했습니다. 마고트 로비는 mrdeepfakes에서 자주 등장하는 인물입니다.

DeepFaceLive의 능력을 보여주는 4개의 샘플 비디오 클립이 업로드되었습니다.

실시간 DeepFake의 마고트 로비 데모 중 하나. 출처: https://github.com/iperov/DeepFaceLive/tree/master/doc/celebs/Margot_Robbie

마고트 로비 변환 비디오는 원래 Twitch에서 공유되었지만 이후 삭제되었습니다.

DeepFaceLive에서 제공하는 다른 세 가지 얼굴 교환 예시. 대상 주체와의 근사한 얼굴 일치 요구 사항이 여전히 존재하는 것을 볼 수 있습니다. 아래 왼쪽 이미지에서 소프트웨어는 장애물을 효과적으로 숨길 수 없다는 것을 볼 수 있습니다. 이는 DeepFaceLab의 XSeg 애플리케이션에서 훈련 마스크를 사용하여 달성할 수 있지만 실시간 가짜 생성에는 적용할 수 없습니다.

추가 기본 모델로 영국 코미디언이자 배우 로완 앳킨슨이 곧 제공될 예정입니다. 원래 DeepFaceLive 저장소에는 CELEB_MODEL 카테고리가 있었는데, 여기서 다른 유명인들,包括 톰 크루즈를 Open Neural Network Exchange (.onnx) 파일로 다운로드할 수 있었습니다. 그러나 이러한 디렉토리는 이후 삭제되었습니다.

2021년 4월에 DeepFaceLive 베타 버전에서 통합된 톰 크루즈 아이덴티티. 그러나 현재 패키지에서 기본값으로 제거된 것으로 보입니다.

DeepFaceLive는 독점적으로 Windows 10 애플리케이션으로 실행되며, NVIDIA의 라이브 스트리밍 Broadcast 애플리케이션과 잘 작동하는 것으로 보고됩니다.

아이덴티티 얻기

사용자는 데이터셋을 수집하고 3-10일 동안 매우 좋은 일치를 얻기 위해 노력할 필요가 없습니다. DeepFaceLive의 FAQ에 따르면 미리 컴파일된 ‘공개 얼굴 모델’을 사용할 수 있다고 합니다. 실제로 이러한 모델의 가장 큰 출처는 mrdeepfakes 포르노 사이트의 Forum-Trained Models (아카이브 링크) 스레드입니다. 이는 러시아 사용자에 의해 최근 유튜브 비디오에서 사용되는 것을 볼 수 있습니다.

Vladislav Pedro가 DeepFaceLive를 사용하여 실시간으로 톰 크루즈로 변환하는 모습. 출처: https://www.youtube.com/watch?v=0TcCKtObSnI

가장 좋은 결과는 사용자의 얼굴을 대상 유명인과 훈련시키는 것입니다. 그러나 시뮬레이션의 품질은 사용자가 유명인과 얼마나 닮았는지에 직접 비례합니다. 사용자가 유명인과 비교적 잘 맞을 때는 설득력 있는 결과를 얻을 수 있습니다.

위의 마지막 세 가지 마고트 로비 스왑에서 볼 수 있듯이, 소프트웨어는 사용자의 얼굴이 대상과 근본적으로 다른 일반적인 특성을 가지고 있을 때 기적을 일으킬 수 없습니다. 그러나 DeepFaceLab은 또한 전체 헤드 스왑을 수행할 수 있습니다. 이는 소스 헤드를 완전히 덮어쓰는 과정입니다. 그러나 헤어 스타일과 관련하여 제한이 있습니다. Discord 서버의 댓글은 이러한 기능이 DeepFaceLive에서도 구현될 수 있음을 확인합니다.

DeepFaceLive는 현재 NVIDIA GPU만 지원하며, GTX 750이 합리적인 결과를 얻을 수 있는 최저 하드웨어입니다. 4GB의 VRAM을 가진 그래픽 카드에서는 32GB의 스와프 디스크 공간이 필요합니다.

마고트 로비 모델을 훈련시키는 과정 – 이반 페드로프가 DeepFaceLab/DeepFaceLive Discord에 게시한 이미지. 여기서 소스 데이터셋은 매우 다양하며, 호주 여배우의 이미지를 다양한 얼굴 유형으로 변환할 수 있는 강력하고 일반화된 모델을 생성하려는 의도로 보입니다. 대부분의 ‘A’ 세트는 일반적으로 단일 개인입니다.

사용자들은 DeepFaceLive가 하드웨어 자원 측면에서 매우 요구가 많다고 보고합니다. 그러나 페드로프는 DeepFaceLive가 잘 구성된 PC와 실내 환경을 위한 것으로 의도되었다고 주장합니다.

DeepFaceLab의 GitHub 저장소는 6,000번 이상 포크되었으며, 새로운 DeepFaceLive는 현재 85개의 포크를 보유하고 있습니다.

가능한 사용법

러시아 소셜 사이트 VK.com의 스레드 (러시아어)에서 댓글러들은 DeepFaceLive의 가능한 사용법에 대해 추측합니다. 그들은 소프트웨어의 가능한 모든 응용 프로그램을 파악한 것으로 보입니다: Zoom 및 유사한 애플리케이션에서 익명화 또는 레크리에이션 필터로 사용; 라이브 스트림을 시청하는 사람을 속이거나 사기를 치는 수단으로 사용; 그리고, 아마도 가장 가능성 있는 사용법으로, 유명인 중심의 웹캠 기반 성인 콘텐츠를 구현하는 수단으로 사용합니다 (본문의 끝에 있는 이미지 참조).

DeepFake 카메라 소녀의 가능성이 미디어에서 몇 년 전에 등장했습니다. 2020년에 Avatarify 앱은 유명인 웹캠 DeepFake 기능을 발표했지만, DeepFaceLab이 설정한 표준보다 훨씬 낮은 품질입니다. DeepFaceLab은 현재 최근 헤드라인을 장식한 Tom Cruise DeepFake 크리스 우메와 세계 각지의 고위급 영화 및 TV 제작 회사들의 리포지토리입니다.

DeepFaceLab은 DeepFaceLive의 시드 애플리케이션으로서, 또한 보고된 (러시아어) 유튜브의 모든 DeepFake의 95%를 위한 프레임워크입니다. 이는 또한 Shamook이 사용하는 소프트웨어입니다. Shamook은 루크 스카이워커의 매너달로리안에서의 게스트 출연을 개선하는 작업으로 최근 루카스 필름에서 VFX 컨설턴트로 고용되었습니다.

DeepFake 제한에 적응

DeepFaceLab 및 FaceSwap와 같은 DeepFake 소프트웨어의 방법론은 일반적인 웹캠 환경에서 잘 작동하며, 오프라인 DeepFake에서 발생할 수 있는 진실성의 장애물 대부분을 제거합니다.

예를 들어, DeepFake는 사용자가 프로필을 돌리거나 (또는 위를看着), 빠르게 움직이거나, 장면이 변경되거나, 조명이 급격히 변경될 때 덜 설득력적으로 수행됩니다.

따라서 일반적인 Zoom 호출 또는 웹캠의 ‘정적’ 특성은 소프트웨어의 강점을发挥합니다.过去 3년 동안 가장 존경받는 DeepFakeトリック의 많은 예는 카메라를 직접 향하고 제한된 환경에서 거의 움직이지 않는 스피커를 특징으로 합니다. 예를 들어, 스티브 부세미를 제니퍼 로렌스에게 오스카 연설에서 겹치거나, 다양한 ‘카메라 앞’ 정치 방송을 변환하는 것입니다.

DeepFaceLab Discord의 러시아 사용자 ‘NoFace’가 게시한 DeepFaceLive의 기본 마고트 로비 모델을 사용한 카메라 구현 테스트 비디오.

8월 7일 20:52에 수정 – 성을 수정했습니다.
8월 8일 20:30에 수정 – Discord에서 이미지 추가.