유명인 얼굴 변조를 외곽 얼굴 영역으로 식별

마이크로소프트와 중국 대학의 새로운 협력은 현재의 얼굴 변조 기술의 약점을 이용하여 다른 사람에게 투영된 身分을 식별하는 새로운 방법을 제안했습니다.

이 접근 방식은 Identity Consistency Transformer(ICT)라고呼ば으며, 얼굴의 외곽 부분(턱뼈, 광대뼈, 헤어라인 등)을 얼굴의 내부와 비교하여 작동합니다. 이 시스템은 유명인들의 공공 이미지 데이터를 이용하여 身分을 식별하며, 이는 주로 인터넷과 컴퓨터 비전 데이터셋에서 이용할 수 있습니다.

7가지 기술에 따른 얼굴 변조 범위: DeepFake in FF+; DeepFake in Google DeepFake Detection; DeepFaceLab; Face2Face; FSGAN; 및 DF-VAE. 출처: https://arxiv.org/pdf/2203.01318.pdf

위의 이미지는 현재 인기 있는 얼굴 변조 방법이 khá 제한적임을 보여줍니다. 이러한 방법은 주로 호스트 얼굴/신체의 적합성을 이용하여 얼굴 교체의 증거를 최소화합니다.

다양한 방법은 이마와 볼살 영역을 포함하지만, 모두 호스트 얼굴의 프레임 내에서 제한됩니다.

ICT에서 계산된 ‘내부’와 ‘외부’ 身分을 강조하는 살리엔시 맵. 내부 얼굴 일치가 설정되었지만 외부 身分이 일치하지 않는 경우, ICT는 이미지를 거짓으로 평가합니다.

테스트에서 ICT는 낮은 해상도 비디오와 같은 환경에서 얼굴 변조 콘텐츠를检测하는 데 능력을 입증했습니다.

ICT는 다른 방법보다 얼굴 변조 콘텐츠를 인식하는 데 더 우수합니다. 자세한 예시와 더 높은 해상도를 위해 아래의 비디오를 참조하십시오. 출처: https://www.youtube.com/watch?v=zgF50dcymj8

이 논문은 Protecting Celebrities with Identity Consistency Transformer라는 제목으로, 중국과학기술대학, 마이크로소프트 연구 아시아, 마이크로소프트 클라우드 + AI의 9명의 연구자에 의해 작성되었습니다.

신뢰도 격차

인기 있는 얼굴 교체 알고리즘인 DeepFaceLab과 FaceSwap는 왜 외곽 얼굴 영역을 무시하는지에 대한 이유가 적어도 두 가지 있습니다.

첫째, 얼굴 변조 모델을 훈련하는 것은 시간이 많이 걸리고 자원에 крит적인데, 호스트 얼굴/신체의 적합성을 채택하면 GPU 사이클과 에포크를 절약하여 상대적으로 불변의 내부 얼굴 영역에 집중할 수 있습니다.

둘째, 대부분의 얼굴 변조 접근 방식은 외곽 얼굴 영역을 복제하는 능력이 제한적이며, 업스트림 코드가 이 문제를 광범위하게 다루지 않았습니다.

일치하지 않는 身分의 경우, 얼굴 변조 알고리즘은 배경 영역을 조심스럽게 inpaint해야 하며, 이는 최고의 얼굴 변조 전문가인 Ctrl Shift Face의 출력에서도 볼 수 있습니다.

최고의 얼굴 변조 전문가인 Ctrl-Shift-Face의 작품: 짐 캐리와 게리 올드만의 교체. 이 작품은 DeepFaceLab과 후처리 기술을 통해 생성된 최고의 출력을 대표합니다. 그러나 교체는 여전히 외곽 얼굴 영역에 대한 상대적으로 제한적인 주의를 받습니다.

이 ‘마술’은 현재 얼굴 변조에 대한 우려에서 주목을 받지 못하는 경우가 많습니다.

분리된 身分

새로운 논문은 대부분의 이전 얼굴 변조 탐지 방법이 교체 과정에서 나타나는 아티팩트에 의존한다는 것을 지적합니다. 이러한 아티팩트에는 일관되지 않은 헤드 포즈와 깜박임이 포함됩니다.

반면에 ICT의 아키텍처는 한 사람에 대해 두 개의 별도_nested 身分을 생성하며, 이를 통해 전체 身分을 ‘진짜’ 또는 ‘가짜’로 결론지을 수 있습니다.

ICT의 훈련 및 테스트 아키텍처.

身分의 분리는 비전 트랜스포머를 통해 수행되며, 이는 얼굴 식별을 수행한 후 조사된 영역을 내부 또는 외부 身分에 속하는 토큰으로 분할합니다.

두 개의 평행 身分 지시자에 대한 패치 분산.

논문은 다음과 같이述합니다:

‘불행히도, 기존의 얼굴 검증 방법은 가장 차별적인 영역, 즉 내부 얼굴을 특성화하는 데 실패하며, 외부 얼굴의 身分 정보를 캡처하지 못합니다. Identity Consistency Transformer를 사용하면 내부 얼굴과 외부 얼굴의 두 개의 身分 벡터를 학습할 수 있으며, 이를 통해 내부와 외부 身分을 동시에 학습할 수 있습니다.’

신뢰도 손실을 위한 새로운 종류의 지표를 설계하여 身分의 진위를 평가할 수 있습니다.

데이터 및 훈련

ICT 네트워크는 마이크로소프트 연구의 MS-Celeb-1M 데이터셋으로 훈련되었습니다. 이 데이터셋에는 1,000만 개의 유명인 얼굴 이미지와 100만 개의 身分이 포함되어 있습니다.

이미지를 내부와 외부 영역으로 나누어 교체하여 테스트 데이터를 생성합니다.

이미지의 내부와 외부 身分을 검증하기 위한 도구로 사용되는 파생 벡터는 높은 수준의 특징을 나타내며, 이는 낮은 해상도 또는 저화질 비디오와 같은 도전적인 환경에서도 얼굴 변조를检测하는 데 도움이 됩니다.

저자들은 ICT가 일반적인 얼굴 변조 탐지 방법과 비교하여 테스트를 수행했습니다.

테스트 결과는 ICT가 다른 방법보다 더 우수한 성능을 보였다는 것을 보여줍니다.

위의 그래프는 ICT 방법의 저하에 대한 내구성을 보여줍니다.

테이블은 다양한 데이터셋에 대한 결과를 보여줍니다.

추가 테스트에서 저자들은 Ctrl Shift Face의 유튜브 채널에서 콘텐츠를 사용하여 다른 방법이 낮은 점수를 얻었다는 것을 발견했습니다.

저자들은 이 논문의 결과가 얼굴 변조 탐지 커뮤니티를 더 일반화할 수 있는 높은 수준의 특징에 초점을 맞춘 같은 유형의 이니셔티브로 направить 것을 희망합니다.

자세한 예시를 위해 아래의 비디오를 참조하십시오.

最初에 2022년 3월 4일에 게시되었습니다.