DeepFaceLive를 사용한 실시간 DeepFake 스트리밍

세계에서 가장 많이 사용되는 딥페이크 소프트웨어이자 딥페이크 포르노와 가장 밀접하게 연관되어 있는 소프트웨어가 새로운 구현을 선보이고 있습니다. 즉, 유명인의 딥페이크를 라이브 웹캠 영상에 중첩할 수 있는 기능입니다.

오픈 소스 저장소 딥페이스라이브 기반으로 구축된 Windows 10 응용 프로그램입니다. 딥페이스랩2018년 딥페이크의 등장으로 전 세계적으로 논란이 일자 최초의 딥페이크 소프트웨어 제작자가 프로젝트를 포기한 후 빠르게 포르노 기반 얼굴 교환의 주요 리소스가 되었습니다. 두 프로젝트 모두 명부 deepfake 포르노 사이트 mrdeepfakes의 포럼 섹션을 공식 지원 리소스로 사용합니다.

XNUMX월에 개발자 Ivan Petrov가 공개한 DeepFaceLive 인터페이스 비디오에서 우리는 실시간으로 Tom Cruise로 변모하는 Miles Fisher의 사칭 영상을 다운로드했습니다. 출처: https://martinanderson.substack.com/p/real-time-deepfake-streaming-is-apparently

어제 두 프로젝트의 리드, 러시아 개발자 이반 페트로프, 발표 프로젝트의 Discord 그룹에 DeepFaceLive의 새 버전이 추가되었습니다. DeepFaceLive는 이제 mrdeepfakes에서 포르노 비디오의 빈번한 주제인 여배우 Margot Robbie의 훈련된 모델을 통합합니다.

네 개의 샘플 비디오 클립이 업로드되어 DeepFaceLive가 웹캠 피드의 모든 화자에게 Robbie ID를 첨부하는 기능을 보여줍니다.

라이브 딥 페이킹의 Margot Robbie 시연 중 하나입니다. 출처: https://github.com/iperov/DeepFaceLive/tree/master/doc/celebs/Margot_Robbie

Robbie 변신 동영상은 원래 Twitch에서 공유되었지만 나중에 삭제되었습니다.

DeepFaceLive에서 제공하는 얼굴 교환의 세 가지 다른 예입니다. 대상 피사체와의 대략적인 얼굴 일치에 대한 요구 사항은 여전히 ​​증거되어 있습니다. 왼쪽 하단 이미지에서 우리는 DeepFaceLab에서 달성할 수 있는 것처럼 소프트웨어가 장애물을 효과적으로 마스킹할 수 없음을 알 수 있습니다. XSeg 애플리케이션 실시간 위조에는 적용할 수 없는 방법인 DeepFaceLab의 방법입니다.

영국 코미디언이자 배우인 로완 앳킨슨의 추가 기본 모델이 DeepFaceLive에서 곧 제공될 예정입니다. 원래 DeepFaceLive 리포지토리에는 CELEB_MODEL 카테고리가 있었는데, 여기에서 Tom Cruise를 비롯한 다른 유명인을 Open Neural Network Exchange로 다운로드할 수 있었습니다(.onnx) 파일이 있지만 이 디렉토리는 이후 삭제되었습니다.

Tom Cruise는 2021년 XNUMX월에 DeepFaceLive 베타에 통합된 ID였지만 이후 패키지에서 기본적으로 제거된 것으로 보입니다. 그러나 모델은 다른 많은 유명인의 훈련된 모델 및 최종 사용자가 훈련한 사용자 지정 모델과 함께 다운로드 및 설치할 수 있습니다.

DeepFaceLive는 Windows 10 애플리케이션으로 독점적으로 실행되며 신고 한 명의 사용자가 NVIDIA의 라이브 스트리밍과 잘 작동하도록 방송 응용 프로그램.

ID 얻기

DeepFaceLive에 대한 FAQ에는 기성품 '공개 얼굴 모델을 사용할 수 있다고 명시되어 있으므로 사용자는 데이터 세트를 위해 얼굴 자료를 수집하는 힘든 과정을 거칠 필요가 없습니다. ' 이미 다른 제작자가 편집한 것입니다. 실제로 이러한 모델의 가장 큰 출처는 포럼 교육 모델 (아카이브 링크) mrdeepfakes 포르노 사이트의 스레드, 한 러시아 최종 사용자가 최근 유튜브 영상.

Vladislav Pedro는 DeepFaceLive를 사용하여 실시간으로 Tom Cruise로 변신합니다. 비디오에서 로드하는 모델은 mrdeepfakes에서 호스팅되며 지금까지 오프라인 딥페이크 처리에 사용되었습니다. 출처: https://www.youtube.com/watch?v=0TcCKtObSnI

대상 유명인에 대해 최종 사용자의 얼굴을 트레이닝하면 최상의 결과를 얻을 수 있지만 시뮬레이션의 품질은 최종 사용자가 대상과 얼마나 유사한지에 정비례하는 것 같습니다. 사용자가 유명인과 비교적 잘 맞는 경우 설득력 있는 결과를 얻을 수 있습니다.

위의 이미지에서 마지막 세 번의 Margot Robbie 교체에서 분명히 알 수 있듯이 소프트웨어는 최종 사용자의 얼굴이 근본적으로 다른 일반적인 특성을 갖는 기적을 수행할 수 없습니다. 그러나 DeepFaceLab은 전체 헤드 교체 수행, 헤어 스타일과 관련하여 제한이 있지만 원본 머리를 완전히 덮어쓰는 프로세스입니다. Discord 서버에 대한 의견은 이러한 기능이 DeepFaceLive에서도 구현될 수 있음을 확인합니다.

DeepFaceLive는 현재 NVIDIA GPU만 지원하며 GTX 750은 애플리케이션에서 합리적인 결과를 얻을 수 있는 가장 낮은 하드웨어입니다. 4GB VRAM이 장착된 그래픽 카드에서는 32GB의 스왑 디스크 공간도 필요합니다.

Margot Robbie 모델 교육 – 이미지 게시 Ivan Petrov의 DeepFaceLab/DeepFaceLive Discord에서. 여기에서 우리는 소스 데이터 세트가 매우 다양하다는 것을 알 수 있습니다. 분명히 다양한 얼굴 유형을 호주 여배우의 이미지로 변환할 수 있는 강력하고 잘 일반화된 모델을 만들려는 의도가 있습니다. 대부분의 'A' 세트는 일반적으로 단일 개인입니다.

사용자들은 DeepFaceLive가 하드웨어 리소스 측면에서 극도로 요구가 많다고 보고하지만 Petrov는 DeepFaceLive가 실내 환경에서 잘 사양이 지정된 PC를 위한 것이라고 주장함으로써 이에 대응했습니다.

DeepFaceLab GitHub는 갈래의 새로운 DeepFaceLive에는 현재 6,000개의 포크가 있습니다.

가능한 용도

댓글 작성자 실 (러시아어) 러시아 소셜 사이트 VK.com에서 DeepFaceLive의 가능한 사용에 대해 추측하고 소프트웨어에 대한 모든 가능한 응용 프로그램을 식별한 것으로 보입니다. Zoom 및 유사한 응용 프로그램의 '익명화' 또는 레크리에이션 필터; 사기를 저지르거나 라이브 스트림을 시청하는 사람을 속이는 수단으로 그리고 아마도 소프트웨어의 출처와 사용자 기반에 비추어 볼 때 유명인 중심의 웹캠 기반 성 노동을 구현하는 수단일 가능성이 높습니다(기사 끝에 있는 이미지 참조).

'딥페이크 캠걸'의 가능성 등장 몇 년 전 언론에서. 2020년 Avatarify 앱 발표 딥 페이크 유명인 웹캠 기능이지만 품질이 상당히 우수합니다. 절감 현재 DeepFaceLab에서 설정한 표준보다 선택한 저장소 최근 헤드 라인 잡기 Tom Cruise 딥페이커 Chris Ume와 전 세계의 고급 영화 및 TV 제작사.

DeepFaceLive용 시드 애플리케이션인 DeepFaceLab과 신고 (러시아어) 프레임워크는 YouTube의 모든 딥페이크 중 95%에 해당하며, 딥페이커인 Shamook이 사용하는 소프트웨어이기도 합니다. 일 최근 Lucasfilm에 영감을 준 The Mandalorian에서 Luke Skywalker의 게스트 출연 개선 그를 고용하기 위해 VFX 컨설턴트로.

Deepfake 제한에 적응

DeepFaceLab과 같은 딥페이크 소프트웨어의 방법론과 페이스 스왑 일반적인 웹캠 환경에서 잘 작동하며 오프라인 딥페이크를 여전히 괴롭힐 수 있는 진정성에 대한 많은 장애물을 제거합니다.

예를 들어, 딥페이크는 사용자가 프로필로 향하거나(또는 올려다봄), 빠르게 움직이거나, 장면이 바뀌거나 조명이 갑자기 바뀌는 경우 설득력이 떨어집니다.

따라서 일반적인 Zoom 통화 또는 웹캠의 '정적' 특성이 소프트웨어의 강점을 발휘합니다. 지난 XNUMX년 동안 가장 존경받는 딥페이크 속임수의 많은 사례는 제니퍼 로렌스에게 스티브 부세미를 강요하는 것과 같이 스피커가 카메라를 직접 향하고 제한된 환경에서 거의 움직이지 않는 것을 특징으로 했습니다. 오스카 연설에서, 그리고 다양한 '카메라로' 정치 방송의 변신.

아마도 DeepFaceLive에 포함된 기본 Margot Robbie 모델의 가장 가능성 있는 사용 – 캠 구현 테스트 비디오 출판 러시아 사용자 'NoFace'의 DeepFaceLab Discord에서.

8월 52일 오후 7시 XNUMX분 수정 – 성을 수정함.
8월 30일 오후 8시 XNUMX분 수정 – Discord에서 이미지 추가.