Anderson의 관점

딥페이크 비디오 통화 감지 방법: 모니터 조명 관찰

Martin Anderson
Unite.AI를 Google의 선호 소스에 추가
핵심 포인트등휘도 색상 변화를 이용한 능동 조명은 웹캠의 자동 노출 및 화이트 밸런스 보정을 피한다.
더 보기
  • 등휘도 색상 변화를 이용한 능동 조명은 웹캠의 자동 노출 및 화이트 밸런스 보정을 피한다.
  • 이 시스템은 모니터 색상과 얼굴 색상 사이의 1-4프레임 시간 지연을 측정하여 딥페이크 지연을 탐지한다.
  • 향후 시스템은 더 풍부한 3-D 조명 분석을 위해 얼굴을 넘어 목과 배경까지 탐지를 확장할 수 있다.

미국 국가안보국(NSA)와 캘리포니아 대학교 버클리(University of California at Berkeley)의 연구자 간의 새로운 협력이 실시간으로 진행되는 비디오 통화에서 딥페이크 콘텐츠를 감지하는 새로운 방법을 제시했습니다. 이 방법은 비디오 통화의 다른 쪽 끝에 있는 사람의 모니터 조명이 사용자의 얼굴에 미치는 영향을 관찰하는 것입니다.

인기 DeepFaceLive 사용자 Druuzil Tech & Games가 자신의 크리스천 베일 DeepFaceLab 모델을 조명 광원이 변하는 동안 팔로워들과 함께하는 라이브 세션에서 테스트하는 모습. 소스: https://www.youtube.com/watch?v=XPQLDnogLKA

인기 DeepFaceLive 사용자 Druuzil Tech & Games가 자신의 크리스천 베일 DeepFaceLab 모델을 조명 광원이 변하는 동안 팔로워들과 함께하는 라이브 세션에서 테스트하는 모습. 소스: https://www.youtube.com/watch?v=XPQLDnogLKA

이 시스템은 사용자의 화면에 그래픽 요소를 표시하여 딥페이크 시스템이 반응할 수 있는 시간보다 빠르게 색상을 변경합니다. 이는 실시간 딥페이크 스트리밍 구현인 DeepFaceLive(위 이미지)처럼 실시간 색상 전송을 유지하고 주변 조명을 고려할 수 있는 시스템도 마찬가지입니다.

이 그래픽 요소는 사용자의 모니터에 표시되며, 좁은 색상 범위 내에서 색상을 변경합니다. 이 색상 변경은 웹캠의 자동 화이트 밸런스와 기타 상황별 조명 보정 시스템을 활성화하지 않도록 설계되었습니다.

논문에 제시된, 사용자 앞의 모니터로 인한 조명 조건 변화를 보여주는 그림. 모니터는 확산형 면광원처럼 작동합니다. 소스: https://farid.berkeley.edu/downloads/publications/cvpr22a.pdf

논문에 제시된, 사용자 앞의 모니터로 인한 조명 조건 변화를 보여주는 그림. 모니터는 확산형 면광원처럼 작동합니다. 소스: https://farid.berkeley.edu/downloads/publications/cvpr22a.pdf

이 접근법의 이론은 라이브 딥페이크 시스템이 그래픽 요소의 색상 변경에 반응할 수 있는 시간이 없기 때문에, 딥페이크 효과의 특정 부분에서 ‘지연’이 발생하여 딥페이크를 감지할 수 있다는 것입니다.

반사된 모니터 빛을 정확히 측정하려면 시스템은 모니터 빛과 무관한 주변 환경 조명의 영향을 고려한 다음 그 영향을 빼야 합니다. 이를 위해 시스템은 활성 조명과 얼굴의 색상을 측정하여 1-4 프레임의 차이를 나타내는 시간적 변화를 감지합니다.

그래픽 요소의 색상 변경이 웹캠의 자동 노출을유발하지 않도록 하여 딥페이크 시스템의 조명 변경에 대한 반응을 감지할 수 있습니다.

그래픽 요소의 색상 변경이 웹캠의 자동 노출을유발하지 않도록 하여 딥페이크 시스템의 조명 변경에 대한 반응을 감지할 수 있습니다.

연구자들은 다음과 같이 결론을 내렸습니다.

‘라이브 비디오 통화에 대한 신뢰가 합리적이며, 비디오 통화가 우리의 개인적이고 전문적인 삶에서 점점 더 일반적으로 사용됨에 따라, 비디오(및 오디오) 통화를 인증하는 기술의 중요성이 증가할 것입니다.’

이 연구의 제목은 능동 조명을 이용한 실시간 딥페이크 비디오 감지이며, 미국 국방부의 응용 연구 수학자인 Candice R. Gerstner와 버클리 대학교의 Hany Farid 교수가 수행했습니다.

신뢰의 침식

딥페이크 방지 연구 분야는 지난 6개월 동안 일반적인 딥페이크 감지(즉, 사전 녹화된 비디오와 음란 콘텐츠를 대상으로 함)에서 라이브니스 감지로 방향을 전환했습니다. 이는 비디오 회의 통화에서 딥페이크 사용이 증가하고 있으며, FBI는 원격 근무 채용 지원 과정에서 딥페이크 기술이 사용되는 상황에 대한 경고를 최근에 발령했습니다.

비디오 통화가 딥페이크가 아닌 경우에도, AI 기반 비디오 인물의 기회가 증가함에 따라 의심과 불안을 유발하기 시작했습니다.

연구자들은 다음과 같이 말했습니다.

‘실시간 딥페이크 생성은 라이브 비디오 또는 전화 통화에 대한 일반적인 신뢰로 인해 고유한 위협을 제기하며, 딥페이크를 실시간으로 감지하는 것은 어려운 과제입니다.’

연구 커뮤니티는 쉽게 보완할 수 없는 확실한 딥페이크 징후를 찾는 것을 오랫동안 목표로 삼았습니다. 언론은 이를 보안 연구자와 딥페이크 개발자 사이의 기술 전쟁으로 묘사해 왔습니다. 그러나 초기 접근 방식(예: 눈 깜박임 분석, 머리 자세 판별, 행동 분석)은 딥페이크 개발자가 더 현실적인 딥페이크를 만들기 위해 노력하는 과정에서 무효화되었습니다. 보안 연구자들이 가장 최근에 찾아낸 단서를 특별히 겨냥한 결과는 아니었습니다.

라이브 딥페이크 비디오에 대한 조명

라이브 비디오 환경에서 딥페이크를 감지하는 것은 열악한 비디오 연결을 고려해야 하는 부담을 지니고 있습니다. 이는 비디오 회의 시나리오에서 매우 일반적입니다. 딥페이크 계층이 없는 경우에도, 비디오 콘텐츠는 NASA 통신과 같은 지연, 렌더링 아티팩트 및 오디오 및 비디오의 기타 종류의 열화로 인해 영향을 받을 수 있습니다. 이러한 요소는 라이브 딥페이킹 아키텍처의 영상과 음성 딥페이크 모두에서 결함을 가릴 수 있습니다.
새 시스템은 필라델피아 템플대학교 네트워크 컴퓨팅 센터의 2020년 논문에 제시된 결과와 방법을 개선합니다.

2020년 논문의 그림에서 사용자 화면의 내용이 바뀔 때 얼굴의 보조 조명이 달라지는 모습을 볼 수 있습니다. 출처: https://cis.temple.edu/~jiewu/research/publications/Publication_files/FakeFace__ICDCS_2020.pdf

2020년 논문의 그림에서 사용자 화면의 내용이 바뀔 때 얼굴의 보조 조명이 달라지는 모습을 볼 수 있습니다. 출처: https://cis.temple.edu/~jiewu/research/publications/Publication_files/FakeFace__ICDCS_2020.pdf


머신러닝 분야 작가이자 인간 이미지 합성 도메인 전문가. Metaphysic.ai에서 연구 콘텐츠 책임자를 역임했으며, DNEG의 Brahma.ai로 통합될 때까지 근무했습니다.
웹사이트: martinanderson.ai
연락처: martin@martinanderson.ai