새로운 방법으로 99%의 정확도로 딥페이크를 감지한다

UC Riverside의 컴퓨터 과학자 팀은 딥페이크 비디오에서 조작된 얼굴 표현을 감지하는 새로운 방법을 개발했습니다. 이 방법은 현재의 최신 기술보다 정확할 수 있으며, 최대 99%의 정확도로 이러한 표현을 감지할 수 있습니다.

새로운 연구 논문은 “얼굴 표현 조작의 감지 및 위치 지정“라는 제목으로 2022년 겨울 컴퓨터 비전 응용 회의에서 발표되었습니다.

모든 얼굴 조작 감지

이 방법은 또한 얼굴 정체성이 교체된 경우 현재의 최신 기술과 동일한 정확도로 증명되었습니다. 이는 새로운 접근 방식이 모든 유형의 얼굴 조작을 감지할 수 있으며, 조작된 비디오를 감지하는 자동화된 도구 개발의 주요 단계입니다.

최근 비디오 편집 소프트웨어의 발전으로 한 개인의 얼굴을 다른 사람의 얼굴로 교체하거나 원래의 표현을 변경하는 것이 이전보다 더 쉽게 되었습니다. 이러한 방법을 감지하는 것은 매우 중요합니다. 이러한 방법은 전 세계의 다양한 국내외 분쟁에서 점점 더 많이 사용되고 있습니다. 그러나 얼굴 표현만 교체된 얼굴을 감지하는 것은 매우 어려운 일입니다.

Amit Roy-Chowdhury는 Bourns College of Engineering의 전기 및 컴퓨터 공학 교수입니다. 그는 또한 연구의 공동 저자입니다.

“딥페이크 연구 분야가 더 어려워지는 이유는 생성과 감지 및 방지 사이의 경쟁이 미래에 점점 더激化될 것이라는 것입니다. 생성 모델의 발전으로 인해 딥페이크를 합성하는 것이 더 쉽고, 실제와 구별하는 것이 더 어려워질 것입니다.”라고 그는 말했습니다.

이미지: UC Riverside

표현 조작 감지 (EMD)

新的 방법은 딥 뉴럴 네트워크 내에서 두 가지 구성 요소를 분리합니다. 첫 번째 분기는 얼굴 표현을 식별하고 표현을 포함하는 지역에 대한 정보를 제공합니다. 이러한 지역에는 입, 눈, 이마 등이 포함될 수 있습니다. 이 정보는 두 번째 분기, 즉 조작 감지 및 위치 지정에 책임있는 인코더-디코더 아키텍처에 입력됩니다.

팀은 이 프레임워크를 Expression Manipulation Detection (EMD)라고 명명했습니다. 이는 이미지에서 변경된 특정 지역을 감지하고 위치 지정할 수 있습니다.

Ghazal Mazaheri는 박사 과정 학생이자 연구의 리더입니다.

“다중 작업 학습은 얼굴 표현 인식 시스템에서 학습한显现적인 특징을 활용하여 전통적인 조작 감지 시스템의 훈련을 혜택으로 만들 수 있습니다. 이러한 접근 방식은 얼굴 표현 조작 감지에서 인상적인 성능을 달성합니다.”라고 Mazaheri는 말했습니다.

연구자들은 두 가지 어려운 얼굴 조작 데이터 세트에서 실험을 수행했으며, EMD가 얼굴 표현 조작 및 정체성 교체 모두에서 더 나은 성능을 발휘함을 보여주었습니다. 이는 조작된 비디오의 99%를 정확하게 감지했습니다.