GOTCHA– 딥페이크 실시간 검출을 위한 CAPTCHA 시스템

뉴욕 대학교의 새로운 연구는 우리가 곧 민감한 비디오 통화를 인증하기 위해 ‘취한 사람 테스트’의 등가물을 수행해야 할 수도 있음을 시사한다. 이는 작업 관련 비디오 회의 또는 사기꾼들이 실시간 딥페이크 스트리밍 소프트웨어를 사용하여 공격할 수 있는 다른 민감한 시나리오일 수 있다.

GOTCHA에서 비디오 콜 시나리오에 적용된 일부 활성 및 수동 챌린지. 사용자는 이러한 챌린지를 따르거나 통과해야 하며, 추가적인 ‘수동’ 방법(예: 잠재적인 딥페이크 시스템을 과부화시키는 것)은 사용자가 영향을 받지 않는다. 출처: http://export.arxiv.org/pdf/2210.06186

제안된 시스템은 GOTCHA로, 지난 10-15년 동안 웹 브라우징을 점점 더 어려워지게 만든 CAPTCHA 시스템을 기리기 위해 명명되었다. 여기서 자동화된 시스템은 사용자가 수행하기 어려운 작업을 사용자에게 요구한다. 예를 들어, 동물을 식별하거나 왜곡된 텍스트를 해석하는 것과 같은 작업이다(이로 인해 사용자는 사실상 무료로 AMT 스타일의 아웃소싱 注釈자가 된다).

본질적으로, GOTCHA는 2022년 8월 Ben-Gurion University의 DF-Captcha 논문을 확장한다. 이는 처음으로 통화의 다른 쪽 끝에 있는 사람에게 몇 가지 시각적 의미를 가진 호프를 뛰어넘어 인증을 증명하도록 제안한 논문이다.

Ben Gurion University의 2022년 8월 논문에서 제안된 사용자에 대한 대화형 테스트의 예. 이는 얼굴을 가리거나, 심지어 피부를 누르는 것과 같은 작업을 포함한다. 이러한 작업은 잘 훈련된 실시간 딥페이크 시스템조차도 예상치 못하거나 광학적으로 처리하지 못할 수 있다. 출처: https://arxiv.org/pdf/2208.08524.pdf

특히, GOTCHA는 ‘수동’ 방법을 ‘캐스케이드’에 추가한다. 이는 사용자의 얼굴에 실제 요소를 자동으로 겹치거나, 소스 시스템을 과부화시키는 프레임을 제공하는 것을 포함한다. 그러나, 사용자 반응 작업만을 평가할 수 있다. 이는 특별한 권한 없이 사용자의 로컬 시스템에 접근할 수 없기 때문이다.

GOTCHA에서 호출자와 시스템의 상호작용을 보여주는 도식. 점선은 의사 결정 흐름을 나타낸다.

연구자들은 GOTCHA를 새로운 데이터셋에 대해 검증했다. 이 데이터셋은 47명의 참가자가 GOTCHA의 13가지 챌린지를 수행한 2.5백만 개의 비디오 프레임으로 구성되어 있다. 연구자들은 이 프레임워크가 사기성 사용자에게 딥페이크 콘텐츠의 품질을 일관되게 감소시키는 것을 유발한다고 주장한다. 이는 로컬 시스템을 스트레인하여 명백한 아티팩트가 인간의 눈에 띄게 되는 것을 의미한다(그러나 GOTCHA는 또한 더 미묘한 알고리즘 분석 방법을 포함한다).

새로운 논문은 Gotcha: 실시간 딥페이크 감지를 위한 챌린지-응답 시스템으로 제목이 붙여져 있다(시스템의 이름은 본문에서는 대문자로 표시되지만, 출판 제목에서는 그렇지 않다).

다양한 챌린지

Ben Gurion 논문과 대부분 일치하는 실제 사용자와 대면하는 챌린지는 여러 유형의 작업으로 나뉜다.

가려짐에 대해서는, 사용자는 자신의 얼굴을 손이나 다른 물체로 가리거나, 딥페이크 모델에 훈련되지 않은 각도에서 자신의 얼굴을 제시해야 한다(通常, 훈련 데이터가 부족하기 때문에 ‘이상한’ 포즈를 취하는 경우이다 – 위의 첫 번째 삽화에서 이미지 범위를 참조하십시오).

사용자가 스스로 수행하는 작업 외에도, GOTCHA는 사용자의 얼굴에 무작위로 얼굴 자르기, 스티커, aumented reality 필터를 겹쳐서 로컬에 훈련된 딥페이크 모델이 예상하는 얼굴 스트림을 ‘부패’시킬 수 있다. 이는 사용자에게 수동적인 과정일 수 있지만, 소프트웨어에는 로컬 스트림에 직접 개입해야 하는 침습적인 과정이다.

다음으로, 사용자는 딥페이크 출력의 품질을 낮추기 위해 훈련 데이터셋에 부족하거나 없을 가능성이 있는 이상한 얼굴 표정을 취하도록 요구될 수 있다(위의 첫 번째 삽화에서 두 번째 열의 ‘b’ 이미지 참조).

이 테스트의 일부로, 사용자는 로컬 라이브 딥페이크 시스템이 충분히 훈련되지 않은 음소 또는 다른 유형의 입 데이터를 재구성할 수 있는 수준에서 정확한 입 운동을 재현하기 위해 어려움을 겪을 수 있는 텍스트를 읽거나 대화를 해야 할 수 있다.

마지막으로(이것은 끝 통신자의 연기 재능을 도전하는 것처럼 보일 수 있다), 사용자는 짧고 자발적인 얼굴 표정을 수행하도록 요청될 수 있다. 논문은 ‘[이것은] 일반적으로 0.5-4.0초 동안 지속되며, 가짜로 만들기가 어렵다’고 कहत다.

논문은 마이크로 표정을 추출하는 방법에 대해 설명하지 않지만, 논리는 사용자에게 적절한 감정을 일으키는 일부 내용을 테스트 루틴의 일부로 제시함으로써 이것을 만드는 唯一의 방법이라고 한다.

얼굴 왜곡, 조명, 예상치 못한 손님

추가로, 8월 논문의 제안에 따라, 새로운 연구는 사용자에게 이상한 얼굴 왜곡 및 조작을 수행하도록 요청한다. 이는 현재 라이브 딥페이크 시스템이 다루기 어렵다.

로컬 라이브 딥페이크 시스템에서 잘 번역되지 않는 ‘우울한 얼굴’.

추가적인 챌린지는 사용자가 있는 환경의 조명 조건을 변경하는 것이다. 이는 딥페이크 모델의 훈련이 표준 비디오 회의 조명 상황이나甚至 호출 중인 조명 조건에 최적화되어 있을 수 있기 때문이다.

따라서, 사용자는 휴대폰의 손전등을 자신의 얼굴에 비추거나, 조명을 변경하는 다른 방법을 사용할 수 있다(그리고 이는 또 다른 라이브 딥페이크 감지 논문의 중심 제안이다).

라이브 딥페이크 시스템은 예상치 못한 조명으로 도전을 받을 수 있다. 또한, 단일 개체를 예상했지만 여러 사람이 스트림에 있는 경우에도 도전을 받을 수 있다.

제안된 시스템이 로컬 사용자 스트림에 개입할 수 있는 경우(딥페이크 중간자가 있는 것으로 의심되는 경우), 예상 패턴을 추가하여 딥페이크 알고리즘의 시뮬레이션을 유지하는 능력을 손상시킬 수 있다.

추가로, 사용자가 추가적인 사람들을 호출에 참여시킬 수 있도록 요청하는 것은 비현실적일 수 있지만, 시스템은 추가적인 얼굴을 삽입할 수 있다(위의 오른쪽 이미지 참조). 그리고 로컬 딥페이크 시스템이 주의를 전환하거나甚至 모두를 딥페이크하려고 시도하는지 확인할 수 있다(오토인코더 딥페이크 시스템에는 주의를 하나의 개체에 집중시키는 데 필요한 ‘개체 인식’ 능력이 없다).

스เต가노그래피 및 과부화

GOTCHA는 또한 UC San Diego에서 4월에 처음 제안된 접근 방식을 포함한다. 이는 사용자의 로컬 비디오 스트림에 메시지를 암호화하는 스테가노그래피를 사용한다. 딥페이크 루틴은 이 메시지를 완전히 파괴할 것이며, 이는 인증 실패로 이어진다.

샌디에고 대학교와 샌디에고 주립 대학교의 2022년 4월 논문에서, 사용자의 비디오 스트림에 스테가노그래픽 신호를 삽입하여 인증된 身分을 결정하는 방법. 출처: https://arxiv.org/pdf/2204.01960.pdf

추가로, GOTCHA는 로컬 시스템을 과부화시키는 것을 포함하여 스트림을 복제하고 로컬 시스템에 과도한 데이터를 제공하여 로컬 딥페이크 시스템에서 복제 실패를 유발하도록 설계되었다.

시스템에는 추가적인 테스트가 포함되어 있다(자세한 내용은 논문을 참조하십시오). 이는 스마트폰 기반 통신자의 경우, 전화기를 거꾸로 돌리는 것과 같은 챌린지를 포함한다. 이는 로컬 딥페이크 시스템을 왜곡시킬 수 있다.

다시 말하지만, 이러한 종류의 테스트는 사용자가 로컬 스트림에 대한 접근을 허용해야만 작동할 수 있다. 이는 간단한 수동 평가로 수행할 수 없다.

실용성

논문은 이러한 테스트가 사용자에게 불편하거나, 예를 들어, 테스트에 필요한 물건을 가까이 두어야 하는 경우와 같은 방식으로 불편을 겪을 수 있음을 간략하게 언급한다.

또한, 권한 있는 통신자와의 비디오 회의와 같은 경우에 이러한 테스트를 수행하는 것이 어려울 수 있음을 인정한다. 연구자들은 다음과 같이 말한다:

‘이 경우 사용성은 핵심일 수 있다. 비공식적이거나 경험이 부족한 챌린지(예: 얼굴 왜곡 또는 표정)는 적절하지 않을 수 있다. 외부 물건을 사용하는 챌린지는 바람직하지 않을 수 있다. 여기서 컨텍스트는 수정되고, GOTCHA는 자신의 챌린지 세트를 수정한다.’

데이터 및 테스트

GOTCHA는 47명의 참가자가 GOTCHA의 13가지 챌린지를 수행한 2.5백만 개의 비디오 프레임으로 구성된 새로운 데이터셋에 대해 테스트되었다. 각 참가자는 약 5-6분의 1080p 비디오를 60fps로 출력했다. 연구자들은 이 데이터가 궁극적으로 공개될 것이라고 말한다.

이러한 시스템 중 네 가지를 GOTCHA와 함께 테스트했다. 두 개의 DFL 버전(軽い 훈련과 더 많은 훈련), Latent Image Animator(LIA), 및 Face Swapping Generative Adversarial Network(FSGAN)이다.

데이터에 대해, 연구자들은 47명의 사용자가 GOTCHA의 13가지 챌린지를 수행한 비디오 클립을 캡처하고 큐레이션했다. 각 사용자는 약 5-6분의 1080p 비디오를 60fps로 출력했다. 연구자들은 이 데이터가 궁극적으로 공개될 것이라고 말한다.

이상 탐지는 인간 관찰자 또는 알고리즘적으로 수행될 수 있다. 후자의 경우, 시스템은 600개의 얼굴을 가진 FaceForensics 데이터셋에서 훈련되었다. 회귀 손실 함수는 강력한 Learned Perceptual Image Patch Similarity(LPIPS)였으며, 이진 교차 엔트로피는 분류기를 훈련하는 데 사용되었다. EigenCam은 탐지기의 가중치를 시각화하는 데 사용되었다.

GOTCHA 테스트의 주요 결과.

연구자들은 네 가지 시스템에 대한 모든 테스트의 캐스케이드에서, 가장 낮은 수와 심각도의 이상(즉, 딥페이크 시스템의 존재를 나타내는 아티팩트)을 얻은 것은 더 많은 훈련을 받은 DFL 배포였다. 훈련이 덜 된 버전은 특히 복잡한 입 운동을 재현하는 데 어려움을 겪었다(이것은 프레임의很小한 부분을 차지하지만, 높은 인간의 주목을 받는다). FSGAN은 두 DFL 버전 사이의 중간 지대를 차지했다. LIA는 완전히 불충분하여, 연구자들은 실제 배포에서 실패할 것이라고 말했다.

최초로 게시된 날짜: 2022년 10월 17일.