Anderson의 관점

깊이 정보는 실시간으로 딥페이크를 밝힐 수 있다

Martin Anderson
Unite.AI를 Google의 선호 소스에 추가
핵심 포인트깊이 맵은 MobileNet과 같은 경량 네트워크에서 실시간 딥페이크 탐지를 가능하게 한다.
더 보기
  • 깊이 맵은 MobileNet과 같은 경량 네트워크에서 실시간 딥페이크 탐지를 가능하게 한다.
  • 얼굴 주변부 깊이 부정확성은 알려지지 않은 신원에 대해서도 딥페이크를 드러낸다.
  • 회색조 깊이 맵만으로도 딥페이크 분류 정확도에서 풀컬러 이미지를 능가한다.

이탈리아의 새로운 연구에 따르면 이미지에서 얻은 깊이 정보는 딥페이크를 감지하는 유용한 도구가 될 수 있으며, 이는 실시간으로도 가능하다.

과거 5년 동안의 딥페이크 감지 연구의 대부분은 아티팩트 식별(개선된 기술로 완화되거나 비디오 코덱 압축으로 인해 오해할 수 있음)에 초점을 맞추었으며, 주변 조명, 생체 특징, 시간적 왜곡, 그리고 심지어 인간의 직관에 초점을 맞추었지만, 새로운 연구는 깊이 정보가 딥페이크 콘텐츠를 감지하는 유용한 키가 될 수 있음을 처음으로 제안한다.

파생된 깊이 맵과 실제 및 가짜 이미지의 지각적 깊이 정보 차이. 출처: https://arxiv.org/pdf/2208.11074.pdf

파생된 깊이 맵과 실제 및 가짜 이미지의 지각적 깊이 정보 차이. 출처: https://arxiv.org/pdf/2208.11074.pdf

중요하게도, 새로운 연구에서 개발된 감지 프레임워크는 경량 네트워크인 Xception에서 매우 잘 작동하며, MobileNet에서도 적절하게 작동한다. 새로운 논문은 이러한 네트워크를 통해 제공되는 낮은 지연 시간의 추론이 실시간 딥페이크 감지를 가능하게 하며, 최근 바이낸스 공격과 같은 라이브 딥페이크 사기와 같은 새로운 트렌드에 대응할 수 있다.

추론 시간의 더 큰 절약은 시스템이 실제와 가짜 깊이 맵을 구별하기 위해 전체 컬러 이미지가 필요하지 않기 때문에 달성될 수 있다. 시스템은 단순히 깊이 정보의 그레이스케일 이미지만으로도 효율적으로 작동할 수 있다.

저자들은 다음과 같이 말한다: ‘이 결과는 깊이가 이 경우에 색상 아티팩트보다 분류에 더 관련된 기여를 함을 시사한다.’

이 발견은 실시간 얼굴 합성 시스템에 대한 딥페이크 감지 연구의 새로운 물결의 일부를 나타낸다. 이러한 시스템의 예로는 DeepFaceLive가 있다. 이러한 연구는 지난 3-4개월 동안 가속화되었으며, 이는 FBI가 3월에 발표한 실시간 영상 및 음성 딥페이크 위험에 관한 경고에 뒤이은 것이다.

이 논문은 DepthFake: 깊이 기반 딥페이크 비디오 감지 전략이라고 제목이 붙여져 있으며, 로마 라 사피엔자 대학교의 5명의 연구자에 의해 수행되었다.

경계 사례

훈련 중에, 오토인코더 기반의 딥페이크 모델은 얼굴의 내부 영역, 즉 눈, 코, 입을 우선시한다. 대부분의 경우에, 오픈 소스 배포판인 DeepFaceLab과 FaceSwap의 경우 두 프로젝트 모두 삭제되기 전의 2017년 원본 Reddit 코드에서 갈라져 나왔다. 얼굴의 외부 윤곽은 훈련의 매우 늦은 단계에 이르러서야 뚜렷해진다. 이러한 외부 윤곽은 내부 얼굴 영역의 합성 품질에 비해 낮은 품질을 가지게 된다.

이전 연구에서 얼굴의 '살리언시 맵' 시각화. 출처: https://arxiv.org/pdf/2203.01318.pdf

이전 연구에서 얼굴의 ‘살리언시 맵’ 시각화. 출처: https://arxiv.org/pdf/2203.01318.pdf

일반적으로 이는 중요하지 않다. 우리는 먼저 눈에 집중하고 바깥으로 갈수록 주의를 덜 기울이므로 주변부 품질 저하에 크게 방해받지 않는다. 특히 다른 사람을 사칭하는 상대와 실시간으로 대화할 때에는 사회적 관습과 인지 처리의 한계가 작용한다. 이는 미리 생성된 딥페이크 영상을 평가할 때에는 나타나지 않는 요소다.

그러나 딥페이크된 얼굴의 주변 영역의 세부 사항이나 정확도가 부족한 점은 알고리즘적으로 감지될 수 있다. 3월에는 이러한 주변 얼굴 영역을 중심으로 하는 시스템이 발표되었다. 그러나 이는 평균 이상의 양의 훈련 데이터가 필요하므로, 이는 주로 유명인에게 적용되며, 이러한 유명인들은 현재 컴퓨터 비전 및 딥페이크 감지 기술에서 사용되는 이미지넷과 같은 데이터셋에 포함된다.

새로운 시스템인 DepthFake는 이러한 제한 없이 작동할 수 있다. 이는 실제와 가짜 비디오 콘텐츠의 깊이 맵 정보의 품질을 구별함으로써 작동한다.

깊이 살펴보기

깊이 맵 정보는 스마트폰에 점점 더 많이 포함되고 있다. 이는 AI 지원 스테레오 구현을 포함하여, 컴퓨터 비전 연구에 특히 유용하다. 새로운 연구에서, 저자들은 아일랜드 국립 대학교의 FaceDepth 모델을 사용하였다. 이는 단일 이미지에서 깊이 맵을 효율적으로 추정할 수 있는 컨볼루션 인코더-디코더 네트워크이다.

FaceDepth 모델의 작동. 출처: https://tinyurl.com/3ctcazma

FaceDepth 모델의 작동. 출처: https://tinyurl.com/3ctcazma

다음으로, 새로운 프레임워크의 파이프라인은 원본 RGB 이미지와 파생된 깊이 맵에서 224×224 픽셀의 패치를 추출한다. 이는 핵심 콘텐츠를 복사하여 크기 조정을 피할 수 있다. 이는 중요하다. 크기 조정 알고리즘은 대상 영역의 품질을 나쁘게 할 수 있다.

이 정보를 사용하여, 실제와 딥페이크 소스에서, 연구자들은 실제와 가짜 인스턴스를 구별할 수 있는 컨볼루션 신경 네트워크(CNN)를 훈련시켰다. 이는 각각의 깊이 맵의 지각적 품질의 차이를 기반으로 한다.

DepthFake의 개념적 파이프라인.

DepthFake의 개념적 파이프라인.

FaceDepth 모델은 실제와 합성 데이터를 사용하여 훈련되며, 혼합 함수를 사용해 얼굴 바깥 가장자리에서 더 많은 세부 정보를 제공한다. 이는 DepthFake에 적합하다. 이는 MobileNet 인스턴스를 특징 추출기로 사용하며, 480×640 입력 이미지에서 240×320 깊이 맵을 출력한다. 각 깊이 맵은 새로운 프로젝트의 판별기에 사용되는 4개의 입력 채널 중 하나를 나타낸다.

깊이 맵은 자동으로 원본 RGB 이미지에 포함되어 현대 스마트폰 카메라가 출력할 수 있는 것과 같은 깊이 정보가 담긴 RGBD 이미지를 제공한다.

훈련

모델은 이미지넷에서 사전 훈련된 Xception 네트워크를 사용하여 훈련되었다. 그러나 깊이 정보를 추가하기 위해 가중치의 올바른 초기화를 유지하면서 아키텍처를 일부 수정해야 했다.

추가로, 깊이 정보와 네트워크가 기대하는 값의 범위가 다르므로, 연구자들은 값을 0-255로 정규화해야 했다.

훈련 중에, 모델은 플립과 회전만 적용되었다. 일반적으로 견고한 추론을 위해 다양한 시각적 교란을 모델에 제시할 수 있지만, 소스 사진의 제한된 및 취약한 에지 깊이 맵 정보를 보존하기 위해 연구자들은 단순화된 체제를 채택해야 했다.

시스템은 또한 2채널 그레이스케일에서 훈련되었다. 이는 알고리즘이 작동하기 위해 필요한 소스 이미지의 복잡성을 결정하기 위한 것이었다.

훈련은 텐서플로우 API를 사용하여 NVIDIA GTX 1080에 8GB의 VRAM과 함께 수행되었다. ADAMAX 최적화 알고리즘을 사용하여 25 에포크 동안 배치 크기 32로 훈련되었다. 자르기 과정에서 입력 해상도는 224×224로 고정되었으며, 얼굴 감지 및 추출은 dlib C++ 라이브러리를 사용하여 수행되었다.

결과

결과의 정확도는 Deepfake, Face2Face, FaceSwap, Neural Texture, 그리고 RGB와 RGBD 입력을 사용하는 전체 데이터셋에서 테스트되었다. FaceForensic++ 프레임워크를 사용하였다.

네 가지 딥페이크 방법과 전체 데이터셋에 대한 정확도 결과. 결과는 소스 RGB 이미지와 함께 임베디드된 추론된 깊이 맵을 분석한 결과와 나누어져 있다. 최고의 결과는 볼드체로 표시되어 있으며, 깊이 맵 정보가 결과를 개선하는 정도를 나타내는 백분율 숫자가 아래에 표시되어 있다.

네 가지 딥페이크 방법과 전체 데이터셋에 대한 정확도 결과. 결과는 소스 RGB 이미지와 함께 임베디드된 추론된 깊이 맵을 분석한 결과와 나누어져 있다. 최고의 결과는 볼드체로 표시되어 있으며, 깊이 맵 정보가 결과를 개선하는 정도를 나타내는 백분율 숫자가 아래에 표시되어 있다.

모든 경우에, 깊이 채널은 모든 구성에서 모델의 성능을 개선한다. Xception이 최고의 결과를 얻으며, MobileNet이 그 뒤를 따른다. 여기에서 저자는 다음과 같이 말한다:

‘모바일넷이 엑셉션보다 약간 낮고, 더 깊은 레스넷50보다 성능이 좋다는 점은 실시간 애플리케이션을 위한 추론 시간을 줄이는 목표를 고려할 때 주목할 만한 결과이다. 이것이 본 연구의 주요 기여는 아니지만, 향후 개발을 고무하는 결과라고 본다.’

연구자들은 또한 RGBD와 2채널 그레이스케일 입력이 RGB와 단순 그레이스케일 입력보다 우수함을 일관되게 관찰하였다. 깊이 추론의 그레이스케일 변환은 계산적으로 매우 저렴하여, 모델이 제한된 로컬 리소스로 개선된 결과를 얻을 수 있으며, 이는 깊이 정보를 기반으로 하는 실시간 딥페이크 감지의 향후 개발을 촉진한다.

 

2022년 8월 24일 처음 게시되었습니다.

머신러닝 분야 작가이자 인간 이미지 합성 도메인 전문가. Metaphysic.ai에서 연구 콘텐츠 책임자를 역임했으며, DNEG의 Brahma.ai로 통합될 때까지 근무했습니다.
웹사이트: martinanderson.ai
연락처: martin@martinanderson.ai