인간 고유의 생체 특성을 기반으로 한 딥페이크 탐지

이탈리아와 독일의 연구자들이 발표한 새 논문은 얼굴 움직임과 음성 행동에 나타나는 생체 특성을 바탕으로 딥페이크 영상을 탐지하는 방법을 제안합니다. 이는 얼굴 합성 시스템에서 생성된 아티팩트나 비용이 많이 드는 워터마킹 솔루션, 기타 더 복잡한 접근 방식 대신에 사용됩니다.

이 프레임워크는 동일한 인물을 담은 서로 다른 진짜 비디오 10개 이상를 입력으로 요구합니다. 그러나 각 경우에 대해 별도로 훈련, 재훈련 또는 보강할 필요는 없습니다. 이미 모델이 실제와 가짜 비디오 사이의 벡터 거리를 추상화하여 광범위하게 적용할 수 있는 방식으로 통합되어 있습니다.

POI-Forensics 접근 방식은 대조적 학습을 기반으로 합니다. 소스 자료에서 파생된 벡터는 잠재적으로 가짜 비디오의 동일한 벡터와 비교되며, 영상과 오디오 구성 요소 모두에서 추출된 특징과 특성을 사용합니다. 출처: https://arxiv.org/pdf/2204.03083.pdf

POI-Forensics라는 접근 방식은 딥페이크로 도용되는 실제 개인에게 고유한 움직임과 음성 단서를 기반으로 합니다.

이 시스템은 유명인, 정치인, 유튜브 영향자, 비디오 자료가 많이 있는 사람들을 위한 미리 준비된 완전 자동 인증 프레임워크를 허용할 수 있습니다. 또한 딥페이크 기술의 일반적인 피해자들이 자신을 겨냥한 공격 영상이 진짜가 아님을 입증할 수 있는 플랫폼으로 적응될 수 있습니다.

POI-Forensics에서 실제와 가짜 비디오의 추출된 특징의 시각화, t-SNE 프레임워크를 통해 네 인물에 대해 수행됩니다.

저자들은 POI-Forensics가 딥페이크 탐지에서 새로운 최첨단 성과를 달성했다고 주장합니다. 이 분야의 일반적인 데이터셋에서 프레임워크는 각각 높은 품질, 낮은 품질 및 ‘공격’ 비디오에 대해 3%, 10%, 7%의 AUC 점수 향상을 달성했다고 보고합니다. 연구자들은 곧 코드를 공개할 계획입니다.

POI-Forensics와 경쟁 SOTA 프레임워크 pDFDC, DeepFakeTIMIT, FakeAVCelebV2, KoDF의 성능 비교. 각 경우의 훈련에는 FaceForensics++와 저자들의 ID-Reveal을 VoxCeleb2에서 사용했습니다. 결과에는 고화질 및 저화질 영상이 포함됩니다.

저자들은 다음과 같이 말합니다:

‘훈련은 오로지 실제 대화하는 얼굴 비디오에서 수행되므로, 탐지기는 특정 조작 방법에 의존하지 않으며 최고의 일반화 능력을 제공합니다. 또한, 우리의 방법은 단일 모달리티(오디오 전용, 비디오 전용) 및 멀티 모달리티(오디오-비디오) 공격을 모두 탐지할 수 있으며, 높은 수준의 의미 특징을 기반으로 하므로 낮은 품질 또는 손상된 비디오에 강합니다.’

새로운 논문은 2021년에 일부 저자들의 비전 기반 ID-Reveal 프로젝트의 요소를 통합합니다. 논문 제목은 Audio-Visual Person-of-Interest DeepFake Detection이며, 나폴리 페데리코 2세 대학교와 뮌헨 공과 대학 간의 공동 연구입니다.

딥페이크 군비 경쟁

이러한 탐지 시스템을 물리치기 위해 딥페이크와 인간 합성 시스템은 적어도 시각적 및 오디오 생체 신호를 시뮬레이션할 수 있어야 하며, 이는 수년 후에 가능할 것입니다. 이 기술은 값비싼 독점 폐쇄형 시스템을 개발하는 VFX 기업의 영역에 머물 가능성이 높습니다. 이들 기업은 합성 대상 본인, 또는 사망한 인물을 재현한다면 그 유산 관리자의 협력과 참여라는 이점을 누릴 수 있습니다.

저자의 이전 접근 방식인 ID-Reveal은 전적으로 시각 정보에 집중했습니다. 출처: https://arxiv.org/pdf/2012.02512.pdf

FaceSwap과 DeepFaceLab/Live처럼 널리 사용되고 성과를 거둔 딥페이크 방법도 현재 이처럼 세밀한 생체 특성을 재현할 능력은 없습니다. 기껏해야 뛰어난 성대·외모 모사자에게 위조할 인물의 정체성을 덧씌우며, 훨씬 더 흔하게는 닮은 사람이 등장하는 기존의 실제 영상을 이용합니다. DFL과 FaceSwap의 기반으로 남아 있는 2017년 핵심 코드도 모듈성이 낮아 이런 기능을 추가하기 어렵습니다.

이 두 가지 주요 딥페이크 패키지는 오토인코더를 기반으로 합니다. 인간 합성의 대안 방법은 생성적 적대적 네트워크(GAN) 또는 신경 복사장(NeRF) 접근 방식을 사용하여 인간 정체성을 재창조할 수 있습니다. 그러나 이러한 연구 방향은 완전히 사실적인 인간 비디오를 생성하기 위해 앞으로 수년의 작업이 필요합니다.

오디오(가짜 목소리)를 제외하고, 생체 시뮬레이션은 인간 이미지 합성에서 직면하는 도전 목록의 매우 아래쪽에 있습니다. 어쨌든, 인간 목소리의 음색과 기타 특성을 재현하는 것은 그 사람만의 특이성과 정체성을 드러내는 버릇를 재현하는 것을 의미하지 않으며, 실제 인물이 의미적 구성을 사용하는 방식을 재현하는 것도 아닙니다. 따라서 AI 생성 음성 시뮬레이션의 완벽함은 생체 인증의 잠재적인 방화벽을 해결하지 못합니다.

Arxiv에서만, 여러 딥페이크 탐지 전략과 혁신이 매주 발표됩니다. 최근 접근 방식은 음성-얼굴 동질성, 로컬 이진 패턴 히스토그램(FF-LBPH), 오디오 딥페이크에 대한 인간의 인식, 얼굴 경계를 분석, 영상 열화의 고려, 그리고 ‘포렌식 탄도학’을 포함합니다.

분할 히스토그램 분석은 딥페이크 탐지를 개선하기 위한 최신 기술 중 하나입니다. 출처: https://arxiv.org/pdf/2203.09928.pdf

접근 방식, 데이터 및 아키텍처

POI-Forensics는 다중 모달 접근 방식을 사용하여 시각적 및 오디오 신호를 기반으로 한 소프트 생체 특성을 사용합니다. 프레임워크에는 별도의 오디오 및 비디오 네트워크가 있으며, 궁극적으로 특징 벡터 데이터를 추출하여 잠재적인 딥페이크 비디오에서 추출된 동일한 특징과 비교할 수 있습니다.

POI-Forensics의 개념적 아키텍처.

별도(오디오 또는 비디오) 및 퓨전 분석을 대상 클립에서 수행할 수 있으며, 최종적으로 POI 유사성 지수를 도출할 수 있습니다. 사용된 대조적 손실 함수는 2021년 학술 협력에 기반하며, Google Research, Boston University, Snap Inc. (SNAP ), MIT 간의 협력입니다.

기본 데이터셋은 인물별로 나누어졌습니다. 훈련에 4608명의 데이터를, 검증에 나머지 512명의 데이터를 사용했습니다. FakeAVCelebV2(아래에서 설명하는 테스트 데이터셋)에 포함된 500명의 데이터는 편향되지 않은 결과를 얻기 위해 제외되었습니다.

두 네트워크는 12개의 에포크 동안 훈련되었으며, 에포크마다 2304개 배치를 사용했습니다. 각 배치는 서로 다른 8명의 영상에서 각 8개씩, 총 8×8개 비디오 구간으로 구성되었습니다. Adam 옵티마이저에 분리된 가중치 감쇠를 적용하여 학습률 10⁻⁴ 및 가중치 감소 0.01로 훈련을 수행했습니다.

테스트 및 결과

이 프로젝트에서 테스트한 데이터셋은 다음과 같습니다. DeepFake Detection Challenge 프리뷰 데이터셋에는 68명의 얼굴 교체 영상이 있으며, 이 중 관련 영상이 9개를 초과하는 44명을 선정했습니다. 총 실제 영상 920개와 가짜 영상 2925개입니다. DeepFake-TIMIT은 32명의 영상 320개를 담은 GAN 기반 데이터셋으로, 기사에서 보고한 합계는 최소 4초 길이의 실제 영상 290개와 가짜 영상 580개입니다. FakeAVCelebV2는 VoxCeleb2의 실제 영상 500개와 여러 데이터셋의 가짜 영상 약 2만 개로 구성되며, 호환성을 위해 SV2TTS로 복제한 가짜 음성을 추가했습니다. 한국 딥페이크 데이터셋 KoDF에서는 403명의 정체성을 FaceSwap, DeepFaceLab, FSGAN 및 세 가지 1차 모션 모델(FOMM)로 위조했습니다.

KoDF에는 음성 구동 얼굴 합성 ATFHP와 Wav2Lip의 출력도 포함됩니다. 저자들은 실제 영상 276개와 가짜 영상 544개로 구성한 파생 데이터셋을 사용했습니다.

평가 지표로는 ROC 곡선 아래 면적(AUC)과 약 10%의 오경보율을 사용했습니다. 가짜 데이터를 포함해 학습하는 프레임워크에서는 이것이 우려될 수 있지만, POI-Forensics는 실제 영상만 입력으로 받으므로 이러한 우려를 피한다는 설명입니다.

비교 대상은 Seferbekov 탐지기로, Kaggle 딥페이크 탐지 챌린지에서 우승했습니다. 그 밖의 비교 대상으로는 중국 샤먼 대학교와 Microsoft (MSFT ) Research Asia가 공동 개발한 FTCN(완전 시간적 합성곱 네트워크), 임피리얼 칼리지 런던과 Facebook의 2021년 공동 연구 LipForensics, 그리고 이번 논문의 일부 연구자가 이전에 개발한 ID-Reveal입니다. ID-Reveal은 음성을 사용하지 않고 3D 변형 가능 모델과 적대적 게임 시나리오를 결합해 위조 영상을 탐지합니다.

위 표의 결과에서 POI-Forensics는 기준 방법 중 선두인 Seferbekov보다 AUC에서 2.5%, 정확도에서 1.5% 앞섰습니다. 다른 고화질 데이터셋에서는 방법 간 경쟁이 더 치열했습니다.

그러나 새로운 접근 방식은 낮은 품질의 비디오에서 모든 참조 방법보다 현저하게 앞섰습니다. 이러한 저화질 영상은 실제 환경에서 무심코 보는 시청자를 딥페이크가 속이게 될 가능성이 가장 높은 상황에 해당합니다.

저자들은 다음과 같이 말합니다:

‘실제로, 이러한 도전적인 시나리오에서, 오로지 정체성 기반 접근 방식만이 좋은 성능을 계속 제공하며, 이는 높은 수준의 의미 특징에 의존하기 때문입니다. 이러한 특징은 이미지 손상에 대해 매우 강합니다.’

POI-Forensics가 오로지 실제 비디오만을 소스 자료로 사용한다는 점을 고려하면, 이 성과는 더 크게 간주될 수 있으며, 잠재적인 딥페이크 피해자의 원래 생체 특성을 사용하는 것이 딥페이크 생성 소프트웨어와 탐지 솔루션 사이의 아티팩트 냉전에서 벗어날 가치 있는 길임을 시사합니다.

마지막 테스트에서, 연구자들은 입력에 적대적 노이즈를 추가했습니다. 이는 분류기를 속일 수 있는 방법입니다. 여전히 효과적인 빠른 그래디언트 부호 방법을 사용했습니다.

적대적 공격 전략은 모든 방법과 데이터셋에서 성공률을 낮추었으며, AUC의 감소 폭은 10~38%였습니다. 그러나 POI-Forensics와 저자의 이전 방법인 ID-Reveal만이 공격 시나리오에서 합리적인 성능을 유지할 수 있었습니다. 이는 소프트 생체 특성과 관련된 높은 수준의 특징이 딥페이크 탐지 회피에 대해 매우 강하다는 것을 시사합니다.

저자들은 다음과 같이 결론을 내립니다:

‘전반적으로, 우리는 우리의 방법이 첫 번째 발자국이라고 믿습니다. 특히, 높은 수준의 의미 특징을 사용하는 것은 미래 연구를 위한 유망한 방향입니다. 또한, 다중 모달 분석은 텍스트 데이터와 같은 다른 영역의 정보를 더 포함하여 더 풍부해질 수 있습니다.’

처음으로 2022년 4월 8일에 게시되었습니다.