딥페이크 데이터 소스 식별을 위한 AI 기반 태깅

중국, 싱가포르, 미국의 연구자들 간의 협력으로 인해 ‘태깅’을 통해 얼굴 사진을 강력하게 식별하는 시스템이 개발되었습니다. 이 시스템은 딥페이크 훈련 과정에서 식별 마커가 파괴되지 않도록 설계되어 있습니다. 이를 통해 불법적으로 스크래핑된 소스 데이터를 익명으로 만드는 합성 이미지 생성 시스템의 능력을 약화시킬 수 있습니다.

이 시스템은 FakeTagger라고 불리며, 인코더/디코더 프로세스를 사용하여 이미지에 시각적으로 식별할 수 없는 ID 정보를 삽입합니다. 이 정보는 기본적인 얼굴 특징 데이터로 해석되어 추상화 프로세스를 통해 그대로 유지됩니다.

FakeTagger 아키텍처 개요. 소스 데이터를 사용하여 ‘중복’ 얼굴 특징을 생성하며, 일반적인 딥페이크 워크플로우에서 마스킹된 배경 요소를 무시합니다. 메시지는 프로세스의 다른 끝에서 회복할 수 있으며, 적절한 인식 알고리즘을 통해 식별할 수 있습니다. 출처: http://xujuefei.com/felix_acmmm21_faketagger.pdf

이 연구는 우한의 사이버 과학 및 공학 학교, 중국 교육부의 항공 정보 보안 및 신뢰 컴퓨팅 키 연구소, 미국의 알리바바 그룹, 보스턴의 노스이스트 대학, 싱가포르의 난양 기술 대학에서 수행되었습니다.

딥페이크 탐지의 약점

過去 3년 동안 새로운 딥페이크 식별 방법들이 등장했지만, 이러한 방법들은 모두 딥페이크 워크플로우의 치유 가능한 약점에 의존합니다. 예를 들어, 미학적 모델의 눈 광반사 또는 초기 딥페이크의 눈 깜빡임 부족과 같은 약점입니다. 새로운 약점이 발견될 때마다, 오픈 소스 소프트웨어 저장소는 이러한 약점을 해결하거나 딥페이크 기술의 개선으로 인해 약점을 제거했습니다.

새로운 논문은 페이스북의 최근 딥페이크 탐지 대회(DFDC)에서 개발된 가장 효과적인 사후 탐지 방법은 70%의 정확도에 불과하다고 지적합니다. 연구자들은 이러한 대표적인 실패를 새로운 및 혁신적인 GAN 및 인코더/디코더 딥페이크 시스템에 대한 일반화가 부족하고, 딥페이크 대체의 품질이 저하된 데 기인한 것으로 설명합니다.

모델 반전을 위한 생존 태깅

기계 학습 출력에서 소스 데이터를 식별하는 것은 비교적 새로운 분야이며, 이는 IP 기반 소송의 새로운 시대를 가능하게 합니다. 정부의 현재 스크래핑 규제는 글로벌 AI 경쟁에서 국가 연구 우위를 방해하지 않도록 설계되었지만, 이 분야가 상업화됨에 따라 더 엄격한 법규로 발전할 것입니다.

모델 반전은 자연어 생성(NLG) 및 이미지 합성과 같은 여러 도메인에서 합성 시스템의 출력에서 소스 데이터를 매핑하고 식별하는 것을 다룹니다. 모델 반전은 블러링, 픽셀화, 또는 추상화 프로세스를 통해 전달된 얼굴을 다시 식별하는 데 특히 효과적입니다.

사후 태깅

FakeTagger는 사후 처리 접근 방식으로 설계되었습니다. 예를 들어, 사용자가 소셜 네트워크에 사진을 업로드할 때(이 과정에는 일반적으로 최적화 프로세스가 포함되며, 원본 이미지를 직접 전송하는 경우는 드물습니다), 알고리즘은 이미지를 처리하여 얼굴에 추적할 수 없는 특성을 적용합니다.

FakeTagger는 다양한 딥페이크 프로세스에서 회복 가능한 ID 특성을 삽입합니다.

개발 및 테스트

연구자들은 FakeTagger를 여러 딥페이크 소프트웨어 응용 프로그램에 대해 테스트했습니다. 테스트에는 DeepFaceLab, Stanford의 Face2Face, STGAN이 포함되었습니다.

테스트는 CelebA-HQ 데이터 세트를 사용하여 수행되었습니다. 이 데이터 세트는 30,000개의 셀러브리티 얼굴 이미지로 구성되어 있으며, 1024 x 1024 픽셀까지 다양한 해상도로 구성되어 있습니다.

기본적으로 연구자들은 전통적인 이미지 워터마크 기술을 테스트하여 딥페이크 워크플로우의 훈련 프로세스에서 삽입된 태그가 살아남는지 확인했습니다. 그러나 이러한 방법은 모든 네 가지 접근 방식에서 실패했습니다.

비용 계산

연구자들은 FakeTagger의 가장 어려운 시나리오는 완전한 이미지 합성입니다. 예를 들어, CLIP 기반 추상 생성과 같은 경우 입력 훈련 데이터가 매우 추상화됩니다. 그러나 이러한 시나리오는 최근 몇 년 동안 헤드라인을 장식한 딥페이크 워크플로우에는 적용되지 않습니다. 이러한 워크플로우는 신뢰할 수 있는 ID 특징의 충실한 재현에 의존하기 때문입니다.

연구자들은 적대적 공격자가 인공 노이즈나 그레인을 추가하여 태깅 시스템을 무력화하려고 시도할 수 있다고 지적합니다. 그러나 이러한 시도는 딥페이크 출력의 진실성을 해칠 것입니다.

또한 연구자들은 FakeTagger가 태그를 삽입하기 위해 이미지에 중복 데이터를 추가해야 하며, 이는 대규모로 확장할 때 상당한 계산 비용을 초래할 수 있다고 지적합니다.

저자들은 FakeTagger가 다른 도메인에서 출처 추적에 잠재적으로 사용될 수 있다고 결론지었습니다. 예를 들어, 적대적 비 공격과 같은 이미지 기반 공격, 노출, 안개, 블러, 비네팅 및 색조 변동과 같은 기타 유형의 공격입니다.