GOTCHA – 실시간 딥페이크를 위한 CAPTCHA 시스템

New York University의 새로운 연구는 업무 관련 화상 회의와 같은 민감한 화상 통화를 시작하기 전에 곧 자신을 인증하기 위해 '음주 테스트'에 해당하는 딥페이크를 받아야 할 수도 있다는 점증하는 징후를 추가합니다. 다음을 사용하여 사기꾼을 유인할 수 있는 기타 민감한 시나리오 실시간 딥페이크 스트리밍 소프트웨어.

GOTCHA의 영상 통화 시나리오에 적용되는 능동 및 수동 챌린지 중 일부입니다. 사용자는 챌린지를 준수하고 통과해야 하며 참가자가 영향을 미치지 않는 추가 '수동적' 방법(예: 잠재적 딥페이크 시스템 과부하 시도)이 사용됩니다. 출처: http://export.arxiv.org/pdf/2210.06186

제안된 시스템의 제목은 GOTCHA - 지난 10-15년 동안 웹 브라우징에 대한 장애물이 증가한 CAPTCHA 시스템에 대한 찬사입니다. 자동화 시스템은 동물 식별과 같이 기계가 잘 못하는 작업을 사용자가 수행하도록 요구합니다. 또는 왜곡된 텍스트를 해독(그리고 아이러니하게도 이러한 문제는 종종 사용자를 무료로 AMT-스타일 아웃소싱 주석).

본질적으로 GOTCHA는 2022년 XNUMX월을 연장합니다. DF-캡차 Ben-Gurion University의 논문에서 처음으로 전화 상대방이 자신의 진정성을 증명하기 위해 몇 개의 시각적 의미론적 고리를 뛰어넘도록 제안했습니다.

Ben Gurion University의 2022년 XNUMX월 논문은 얼굴을 가리거나 심지어 피부를 누르는 등 사용자를 위한 다양한 대화형 테스트를 처음 제안했습니다. 잘 훈련된 라이브 딥페이크 시스템도 예상하지 못했거나 사실적으로 대처할 수 없는 작업입니다. . 출처 : https://arxiv.org/pdf/2208.08524.pdf

특히 GOTCHA는 사용자 얼굴에 비현실적인 요소를 자동으로 중첩하고 소스 시스템을 통과하는 프레임의 '과부하'를 포함하여 제안된 테스트의 '캐스케이드'에 '수동적' 방법론을 추가합니다. 그러나 사용자의 로컬 시스템에 액세스할 수 있는 특별한 권한 없이 사용자 응답 작업만 평가할 수 있습니다. 로컬 모듈 또는 Skype 및 Zoom과 같은 널리 사용되는 시스템에 대한 추가 기능 또는 심지어 위조자를 걸러내는 전용 소프트웨어 형태.

논문에서 GOTCHA의 호출자와 시스템 사이의 상호 작용에 대한 그림으로, 결정 흐름으로 점선이 있습니다.

연구원들은 각각 GOTCHA에서 2.5개의 챌린지를 수행하는 47명의 참가자로부터 13만 개 이상의 비디오 프레임이 포함된 새로운 데이터 세트에서 시스템을 검증했습니다. 그들은 프레임워크가 사기성 사용자에 대한 딥페이크 콘텐츠 품질의 '일관되고 측정 가능한' 감소를 유도하여 명백한 아티팩트가 육안으로 속임수를 명확하게 나타낼 때까지 로컬 시스템에 부담을 준다고 주장합니다(GOTCHA에는 좀 더 미묘한 알고리즘 분석 방법도 포함되어 있음).

XNUMXD덴탈의 새 용지 제목이 Gotcha: 실시간 딥페이크 감지를 위한 챌린지 대응 시스템 (시스템의 이름은 본문에서 대문자로 표시되지만 약어는 아니지만 출판물의 제목은 아닙니다).

다양한 도전 과제

대부분 Ben Gurion 논문에 따르면 실제 사용자가 직면하는 문제는 여러 유형의 작업으로 나뉩니다.

럭셔리 폐색, 사용자는 손이나 다른 물체로 얼굴을 가리거나 딥페이크 모델로 훈련되지 않았을 가능성이 있는 각도로 얼굴을 제시해야 합니다(일반적으로 '에 대한 훈련 데이터가 부족하기 때문입니다. 이상한 포즈 – 위 첫 번째 그림의 이미지 범위 참조).

사용자가 지침에 따라 스스로 수행할 수 있는 작업 외에도 GOTCHA는 임의의 얼굴 컷아웃, 스티커 및 증강 현실 필터를 중첩하여 로컬 훈련된 딥페이크 모델이 예상할 수 있는 페이스 스트림을 '손상'시켜 실패하게 할 수 있습니다. . 이전에 지적한 바와 같이, 이는 사용자에게는 '수동적' 프로세스이지만 최종 통신원의 스트림에 직접 개입할 수 있어야 하는 소프트웨어에는 방해가 되는 프로세스입니다.

다음으로, 사용자는 훈련 데이터 세트에 없거나 과소 표현될 가능성이 있는 비정상적인 얼굴 표정으로 얼굴을 포즈를 취해야 할 수 있습니다. 이로 인해 딥 페이크 출력의 품질이 저하될 수 있습니다(이미지 'b', 왼쪽에서 두 번째 열). , 위의 첫 번째 그림에서).

이 일련의 테스트의 일환으로 사용자는 적절한 범위의 음소 또는 다른 유형의 입 데이터를 수준에 맞게 교육하지 않았을 수 있는 로컬 라이브 딥페이킹 시스템에 도전하도록 설계된 텍스트를 읽거나 대화를 해야 할 수 있습니다. 그런 면밀한 조사 하에서 정확한 입술 움직임을 재구성할 수 있습니다.

마지막으로(그리고 이것은 최종 특파원의 연기 재능에 도전하는 것처럼 보일 것입니다), 이 범주에서 사용자는 감정을 속이는 짧고 비자발적인 표정인 미세한 표정'을 수행하도록 요청받을 수 있습니다. 이에 대해 논문에서는 '[it] 보통 0.5-4.0초 동안 지속되며 위조하기 어렵습니다.'.

이 논문은 미세한 표현을 추출하는 방법을 설명하지 않지만, 논리적으로 이를 수행하는 유일한 방법은 테스트 루틴의 일부로 그들에게 제공되는 일종의 놀라운 콘텐츠와 함께 최종 사용자에게 적절한 감정을 생성하는 것이라고 제안합니다. .

얼굴 왜곡, 조명 및 뜻밖의 손님

또한 XNUMX월 논문의 제안에 따라 새로운 작업은 최종 사용자에게 손가락으로 뺨을 누르거나 얼굴 및/또는 머리카락과 상호 작용하는 것과 같은 비정상적인 얼굴 왜곡 및 조작을 수행하도록 요청하고 다른 작업을 수행하도록 제안합니다. 현재 라이브 딥페이크 시스템이 잘 처리할 수 없는 동작은 한계 동작이기 때문에 훈련 데이터 세트에 있더라도 다른 '이상치' 데이터에 따라 재생 품질이 낮을 수 있습니다.

미소, 하지만 이 '우울한 얼굴'은 로컬 라이브 딥페이크 시스템에서 잘 번역되지 않습니다.

추가 과제는 최종 사용자가 있는 조명 조건을 변경하는 데 있습니다. 딥페이크 모델의 훈련이 표준 화상 회의 조명 상황 또는 통화가 진행되는 정확한 조명 조건에 최적화되었을 가능성이 있기 때문입니다. .

따라서 사용자는 휴대 전화의 손전등을 얼굴에 비추거나 다른 방식으로 조명을 변경하라는 요청을 받을 수 있습니다. 또 다른 실시간 딥페이크 탐지 용지 올 여름에 나왔습니다.)

라이브 딥페이크 시스템은 예상치 못한 조명으로 인해 문제가 발생합니다. 심지어 한 사람만 예상했던 스트림의 여러 사람에 의해서도 문제가 발생합니다.

로컬 사용자 스트림에 개입할 수 있는 기능이 있는 제안된 시스템(딥페이크 중개인이 있는 것으로 의심됨)의 경우 예기치 않은 패턴(위 이미지의 중간 열 참조)을 추가하면 시뮬레이션을 유지하는 딥페이크 알고리즘의 기능이 손상될 수 있습니다. .

또한 특파원이 인증을 도와줄 추가 인력을 기대하는 것은 비합리적이지만 시스템은 추가 얼굴(위의 맨 오른쪽 이미지)을 삽입하고 로컬 딥페이크 시스템이 주의를 전환하는 실수를 범하는지 확인할 수 있습니다. 심지어 그들 모두를 딥페이크하려고 시도합니다(오토인코더 딥페이크 시스템에는 이 시나리오에서 한 개인에게 주의를 집중시킬 수 있는 '신원 인식' 기능이 없습니다).

스테가노그래피와 오버로딩

GOTCHA는 또한 접근 방식을 통합합니다. 처음 제안 된 올해 XNUMX월 UC 샌디에고에서 발표했으며 스테가노그래피를 사용하여 메시지를 사용자의 로컬 비디오 스트림으로 암호화합니다. Deepfake 루틴은 이 메시지를 완전히 파괴하여 인증 실패로 이어집니다.

2022년 XNUMX월 University of California San Diego와 San Diego State University의 논문에서 사용자의 비디오 스트림으로 전송된 스테가노그래피 신호가 로컬 루프에서 온전한 상태로 유지되는지 확인하여 진정한 신원을 결정하는 방법입니다. 가까이에 있을 수 있습니다. 출처 : https://arxiv.org/pdf/2204.01960.pdf

또한 GOTCHA는 스트림을 복제하고 로컬 딥페이크 시스템에서 복제 실패를 유발하도록 설계된 로컬 시스템에 '과도한' 데이터를 제공함으로써 로컬 시스템(접근 및 권한이 부여됨)을 과부하시킬 수 있습니다.

이 시스템에는 스마트폰 기반 특파원의 경우 전화기를 뒤집어 로컬 딥페이크 시스템을 왜곡하는 도전을 포함하여 추가 테스트(자세한 내용은 백서 참조)가 포함되어 있습니다.

다시 말하지만, 이런 종류의 것은 사용자가 스트림에 대한 로컬 액세스 권한을 부여해야 하고 대화형 테스트(예: 얼굴에 손가락).

실용적인 사항

이 논문은 이러한 성격의 테스트가 최종 사용자를 짜증나게 하거나 어떤 식으로든 불편하게 할 수 있는 정도에 대해 간략하게 설명합니다. 선글라스와 같은.

또한 강력한 특파원이 테스트 루틴을 준수하도록 하는 것이 어려울 수 있음을 인정합니다. CEO와의 화상 통화 사례에 대해 저자는 다음과 같이 말합니다.

'사용성이 여기서 핵심일 수 있으므로 비공식적이거나 경솔한 문제(예: 얼굴 왜곡 또는 표정)는 적절하지 않을 수 있습니다. 외부 물리적 기사를 사용하는 도전은 바람직하지 않을 수 있습니다. 여기서 컨텍스트는 적절하게 수정되고 GOTCHA는 그에 따라 도전 과제를 조정합니다.'

데이터 및 테스트

GOTCHA는 매우 인기 있는 자동 인코더 딥페이크 생성기의 두 가지 변형을 포함하여 네 가지 종류의 로컬 라이브 딥페이크 시스템에 대해 테스트되었습니다. 딥페이스랩 ('DFL', 하지만 놀랍게도 논문에서는 언급하지 않습니다. 딥페이스라이브, 그것은, 2021년 XNUMX월부터, DeepFaceLab의 '라이브' 구현이며 잠재적인 위조자에게 가장 가능성이 높은 초기 자원으로 보입니다.

2개의 시스템은 테스트에 참여하는 유명하지 않은 사람과 짝을 이룬 유명인에 대해 '가벼이' 훈련된 DFL이었습니다. DFL은 XNUMXm+ 반복 또는 단계로 더 완벽하게 훈련되었으며, 여기서 훨씬 더 성능이 뛰어난 모델을 기대할 수 있습니다. 잠상 애니메이터 (리아); 그리고 얼굴 교환 생성적 적대 신경망 (FSGAN).

데이터를 위해 연구원들은 47명의 사용자가 13개의 활성 챌린지를 수행하고 각 사용자가 5fps에서 약 6-1080분의 60p 비디오를 출력하는 앞서 언급한 비디오 클립을 캡처하고 큐레이팅했습니다. 저자는 또한 이 데이터가 결국 공개적으로 공개될 것이라고 말합니다.

이상 탐지는 인간 관찰자가 수행하거나 알고리즘 방식으로 수행할 수 있습니다. 후자의 경우, 시스템은 600개의 얼굴에 대해 훈련되었습니다. FaceForensics 데이터 세트. 회귀 손실 함수는 강력한 LPIPS(Learned Perceptual Image Patch Similarity)였으며 이진 교차 엔트로피는 분류기를 훈련하는 데 사용되었습니다. 고유캠 검출기의 가중치를 시각화하는 데 사용되었습니다.

GOTCHA 테스트의 XNUMX차 결과.

연구원들은 XNUMX개 시스템에 대한 전체 연속 테스트에서 가장 낮은 수와 심각도의 이상(즉, 딥페이크 시스템의 존재를 드러내는 아티팩트)이 고도로 훈련된 DFL 분포에 의해 얻어졌다는 것을 발견했습니다. 덜 훈련된 버전은 특히 복잡한 입술 움직임(프레임을 거의 차지하지 않지만 인간의 높은 관심을 받는)을 재현하는 데 어려움을 겪었고, FSGAN은 두 DFL 버전 사이의 중간 지점을 차지했으며 LIA는 작업에 완전히 부적합한 것으로 판명되었습니다. , 연구자들은 LIA가 실제 배치에서 실패할 것이라고 말했습니다.

17년 2022월 XNUMX일에 처음 게시되었습니다.