모니터 조명을 통한 Deepfake 화상 통화 감지

미국 국가안보국(NSA) 연구원과 캘리포니아 버클리 대학 간의 새로운 협력은 모니터 조명이 외관에 미치는 영향을 관찰함으로써 라이브 비디오 컨텍스트에서 딥페이크 콘텐츠를 탐지하는 새로운 방법을 제공합니다. 영상통화 상대방.

인기 있는 DeepFaceLive 사용자인 Druuzil Tech & Games는 광원이 바뀌는 동안 추종자들과 함께 라이브 세션에서 자신의 Christian Bale DeepFaceLab 모델을 시험해 봅니다. 출처: https://www.youtube.com/watch?v=XPQLDnogLKA

이 시스템은 일반적인 딥페이크 시스템이 응답할 수 있는 것보다 빠르게 좁은 범위의 색상을 변경하는 그래픽 요소를 사용자 화면에 배치하여 작동합니다. 실시간 딥페이크 스트리밍 구현과 같은 경우에도 마찬가지입니다. 딥페이스라이브 (위 그림) 라이브 색상 전송을 유지하고 주변 조명을 고려하는 기능이 있습니다.

상대방(예: 딥페이크 사기꾼)의 모니터에 표시되는 균일한 컬러 이미지는 웹캠의 자동 화이트 밸런스 및 기타 기능을 활성화하지 않도록 설계된 색조 변경의 제한된 변형을 순환합니다. 임시 변통의 방법을 손상시키는 조명 보상 시스템.

논문에서 사용자 앞의 모니터에서 조명 조건의 변화를 보여주는 그림으로 확산 '영역 조명'으로 효과적으로 작동합니다. 출처: https://farid.berkeley.edu/downloads/publications/cvpr22a.pdf

접근 방식의 배후에 있는 이론은 라이브 딥페이크 시스템이 화면 그래픽에 묘사된 변화에 시간 내에 응답할 수 없어 색상 스펙트럼의 특정 부분에서 딥페이크 효과의 '지연'을 증가시켜 그 존재를 드러낸다는 것입니다.

반사된 모니터 빛을 정확하게 측정할 수 있으려면 시스템이 모니터에서 나오는 빛과 관련이 없는 일반 환경 조명의 영향을 고려한 다음 무시해야 합니다. 그런 다음 능동 조명 색조와 사용자의 얼굴 색조 측정에서 부족함을 구별할 수 있으며, 각각 사이의 1-4 프레임 차이의 시간적 이동을 나타냅니다.

화면상의 '탐지기' 그래픽의 색조 변화를 제한하고 사용자의 웹캠이 모니터 조명 수준의 과도한 변화로 인해 캡처 설정을 자동 조정하라는 메시지가 표시되지 않도록 함으로써 연구원들은 다음과 같은 사실을 식별할 수 있었습니다. 조명 변경에 대한 딥페이크 시스템의 조정에서 지연이 발생합니다.

이 논문은 다음과 같이 결론을 내립니다.

'실시간 화상 통화에 대한 합리적인 신뢰와 개인 및 직업 생활에서 화상 통화의 보편화로 인해 화상(및 음성) 통화 인증 기술의 중요성이 더욱 커질 것이라고 제안합니다.'

The 공부 제목이 액티브 일루미네이션을 이용한 실시간 딥페이크 영상 탐지, 그리고 미국 국방부의 응용 연구 수학자인 Candice R. Gerstner와 Berkeley의 Hany Farid 교수가 제공합니다.

신뢰의 침식

딥페이크 방지 연구는 지난 6개월 동안 일반적인 딥페이크 감지(즉, 사전 녹화된 영상과 음란물 콘텐츠를 대상으로 함)에서 벗어나 '실시간' 감지 방향으로 크게 전환되었습니다. 이는 비디오 컨퍼런스 통화에서 딥페이크를 사용하는 사건이 늘어나고, 최근 FBI가 원격 작업 애플리케이션에서 이러한 기술이 점점 더 많이 사용된다고 경고한 데 따른 것입니다.

화상 통화가 딥 페이크되지 않은 것으로 밝혀진 경우에도 AI 기반 비디오 사칭자의 기회가 증가합니다. 편집증을 일으키기 시작.

새 논문에서는 다음과 같이 말합니다.

'실시간 딥 페이크의 생성은 라이브 비디오 또는 전화 통화를 둘러싼 일반적인 신뢰감과 통화가 진행됨에 따라 실시간으로 딥 페이크를 감지하는 문제 때문에 고유한 위협이 됩니다.'

연구 커뮤니티는 오래 전부터 쉽게 보상할 수 없는 딥페이크 콘텐츠의 확실한 징후를 찾는 목표를 세웠습니다. 미디어는 일반적으로 보안 연구원과 딥페이크 개발자 간의 기술 전쟁 측면에서 이것을 특징지었지만 초기 접근 방식에 대한 대부분의 부정(예: 눈 깜박임 분석, 머리 자세 식별및 행동 분석)은 개발자와 사용자가 보안 커뮤니티에서 확인한 최신 '텔'을 구체적으로 해결하기보다는 일반적으로 보다 현실적인 딥페이크를 만들려고 했기 때문에 발생했습니다.

라이브 Deepfake 비디오에 빛을 비추다

라이브 비디오 환경에서 딥페이크를 탐지하려면 화상 회의 시나리오에서 매우 흔한 불량 비디오 연결을 고려해야 합니다. 개입하는 딥페이크 레이어가 없더라도 비디오 콘텐츠는 NASA 스타일의 지연, 렌더링 아티팩트 및 기타 유형의 오디오 및 비디오 품질 저하의 영향을 받을 수 있습니다. 이는 비디오 및 측면 모두에서 라이브 딥 페이킹 아키텍처의 거친 가장자리를 숨기는 역할을 할 수 있습니다. 오디오 딥페이크.

저자의 새로운 시스템은 결과와 방법을 개선합니다. 2020 출판 필라델피아에 있는 Temple University의 네트워크 컴퓨팅 센터에서.

2020년 논문에서 사용자 화면의 콘텐츠가 변경됨에 따라 '채워진' 얼굴 조명의 변화를 관찰할 수 있습니다. 출처: https://cis.temple.edu/~jiewu/research/publications/Publication_files/FakeFace__ICCSS_2020.pdf

새로운 작업의 차이점은 웹캠이 조명 변화에 반응하는 방식을 고려한다는 것입니다. 저자는 다음과 같이 설명합니다.

'모든 최신 웹캠은 자동 노출을 수행하기 때문에 [이전 작업에서 사용된] 고강도 능동 조명 유형은 카메라의 자동 노출을 트리거하여 기록된 얼굴 모양을 혼란스럽게 만들 가능성이 있습니다. 이를 방지하기 위해 색조의 등광체 변화로 구성된 능동 조명을 사용합니다.

'이렇게 하면 카메라의 자동 노출을 피할 수 있지만 카메라의 화이트 밸런스를 트리거하여 기록된 얼굴 모양을 다시 혼란스럽게 만들 수 있습니다. 이를 방지하기 위해 우리는 경험적으로 화이트 밸런싱을 트리거하지 않는다고 판단한 색조 범위에서 작동합니다.'

이 이니셔티브를 위해 저자는 다음과 같은 유사한 이전 노력도 고려했습니다. 라이브스크린, 딥페이크 콘텐츠를 드러내기 위해 최종 사용자의 모니터에 눈에 띄지 않는 조명 패턴을 강제로 표시합니다.

이 시스템은 94.8%의 정확도를 달성했지만 연구원들은 빛 패턴의 미묘함이 밝은 조명 환경에서 그러한 은밀한 접근 방식을 구현하기 어렵게 만든다고 결론을 내리고 대신 자체 시스템 또는 유사한 라인을 따라 패턴화된 시스템을 제안합니다. 공개적으로 그리고 기본적으로 널리 사용되는 화상 회의 소프트웨어에 통합될 수 있습니다.

'우리가 제안한 개입은 단순히 화면을 공유하고 일시적으로 변화하는 패턴을 표시하는 통화 참가자에 의해 실현될 수 있거나, 이상적으로는 화상 통화 클라이언트에 직접 통합될 수 있습니다.'

테스트

저자는 합성 및 실제 주제를 혼합하여 테스트했습니다. Dlib 기반 딥페이크 탐지기. 합성 시나리오의 경우, 그들은 다음을 사용했습니다. 미쓰 바, 로잔에 있는 스위스 연방 공과대학의 순방향 및 역방향 렌더러입니다.

다양한 피부 톤, 광원 크기, 주변광 강도 및 카메라와의 근접성을 특징으로 하는 시뮬레이션 환경 테스트의 샘플.

묘사된 장면에는 90° 시야의 가상 카메라에서 캡처한 파라메트릭 CGI 헤드가 포함되어 있습니다. 헤드 기능 램버시안 반사율 및 중립적인 피부 톤이며 가상 카메라 앞 2피트에 위치합니다.

가능한 다양한 피부 톤과 설정에 걸쳐 프레임워크를 테스트하기 위해 연구원들은 다양한 측면을 순차적으로 변화시키는 일련의 테스트를 실행했습니다. 변경된 측면에는 피부 톤, 근접성 및 조명 광 크기가 포함되었습니다.

저자는 다음과 같이 논평합니다.

'시뮬레이션에서 다양한 가정이 충족되면 제안된 기술은 광범위한 이미징 구성에 매우 견고합니다.'

실제 시나리오를 위해 연구원들은 다양한 환경에서 다양한 피부 톤을 특징으로 하는 15명의 지원자를 사용했습니다. 각각은 30Hz 디스플레이 재생률이 웹캠과 동기화된 조건에서 제한된 색조 변화의 XNUMX주기를 받았습니다. 즉, 활성 조명이 한 번에 XNUMX초 동안만 지속된다는 의미입니다. 조명 값이 클수록 상관 관계가 눈에 띄게 증가했지만 결과는 합성 테스트와 대체로 비슷했습니다.

향후 방향

연구원들은 이 시스템이 앞머리, 안경 또는 얼굴 털과 같은 전형적인 얼굴 폐색을 설명하지 않는다고 인정합니다. 그러나 그들은 이러한 종류의 마스킹이 나중에 시스템에 추가될 수 있다는 점에 주목합니다(레이블 지정 및 후속 의미론적 분할을 통해). 이 시스템은 대상 대상의 인식된 피부 영역에서만 값을 가져오도록 훈련될 수 있습니다.

저자는 또한 유사한 패러다임을 사용하여 딥 페이크 음성 통화를 감지할 수 있으며 필요한 감지 소리가 정상적인 인간의 청각 범위를 벗어난 주파수에서 재생될 수 있다고 제안합니다.

아마도 가장 흥미롭게도 연구원들은 더 풍부한 캡처 프레임워크에서 얼굴 너머로 평가 영역을 확장하면 딥페이크 감지*의 가능성을 눈에 띄게 향상시킬 수 있다고 제안합니다.

'보다 정교한 3D 조명 추정  위조자가 우회하기 훨씬 더 어려운 더 풍부한 외관 모델을 제공할 가능성이 높습니다. 우리는 얼굴에만 초점을 맞추었지만 컴퓨터 디스플레이는 목, 상체 및 주변 배경도 비추어 비슷한 측정을 할 수 있습니다.

'이러한 추가 측정은 위조자가 얼굴뿐만 아니라 전체 3D 장면을 고려하도록 강요할 것입니다.'

* 저자의 인라인 인용을 하이퍼링크로 변환했습니다.

6년 2022월 XNUMX일에 처음 게시되었습니다.