깊은 가짜 데이터 소스를 식별하기 위한 AI 기반 태깅

중국, 싱가포르, 미국의 연구자 간 협력을 통해 얼굴 사진을 ‘태깅’하는 강력한 시스템이 개발되어 깊은 가짜 훈련 과정 중에 식별 마커가 파괴되지 않도록 하여, 합성 이미지 생성 시스템이 불법적으로 스크랩한 소스 데이터를 ‘ 匿名화’하는 능력에 구멍을 내는 IP 주장을 가능하게 하였다.

시스템, 즉 FakeTagger은 인코더/디코더 프로세스를 사용하여 시각적으로 식별할 수 없는 ID 정보를 이미지에 낮은 수준으로 삽입하여, 주입된 정보가 필수적인 얼굴 특성 데이터로 해석되어, 추상화 프로세스를 통해 온전히 전달되도록 하며, 예를 들어, 눈이나 입 데이터와 같은 방식으로 작동한다.

FakeTagger 아키텍처 개요. 소스 데이터는 일반적인 깊은 가짜 워크플로우에서 마스킹되어 배경 요소를 무시하는 ‘중복’ 얼굴 특성을 생성하는 데 사용된다. 메시지는 프로세스의 다른 끝에서 복구할 수 있으며, 적절한 인식 알고리즘을 통해 식별할 수 있다. 출처: http://xujuefei.com/felix_acmmm21_faketagger.pdf

이 연구는 우한의 사이버 과학 및 공학 학교, 중국 교육부의 항공 정보 보안 및 신뢰할 수 있는 컴퓨팅 키 랩, 미국의 알리바바 그룹, 보스턴의 노스이스트 대학, 싱가포르의 난양 기술 대학에서 수행되었다.

FakeTagger와의 실험 결과는 네 가지 일반적인 유형의 깊은 가짜 방법론(즉, DeepFaceLab, FaceSwap)에 대한 최대 95%의 재식별률을 나타낸다. 정체 교환; 얼굴 재연; 속성 편집; 및 총 합성.

깊은 가짜 탐지의 약점

過去 3년 동안 새로운 깊은 가짜 식별 방법론의 작물이 등장했지만, 이러한 모든 접근법은 깊은 가짜 워크플로우의 치유 가능한 약점(예: 눈 광선이 있는 미학습 모델 및 눈 깜빡임이 없는 초기 깊은 가짜에 대한 훈련 데이터 세트의 다양성이 부족)에 중점을 둔다. 새로운 키가 식별됨에 따라, 무료 및 오픈 소스 소프트웨어 저장소는 의도적으로 또는 깊은 가짜 기술의 개선의 부작용으로 이러한 키를 무효화했다.

새로운 논문은 Facebook의 최근 깊은 가짜 탐지 경쟁(DFDC)에서 생성된 가장 효과적인 사후 탐지 방법이 야생에서 깊은 가짜를 감지하는 정확도가 70%로 제한되어 있음을 관찰한다. 연구자들은 이러한 대표적인 실패를 새로운 및 혁신적인 GAN 및 인코더/디코더 깊은 가짜 시스템에 대한 일반화가 부족하고, 종종 깊은 가짜 대체의 품질이 저하된 데 기인한다고 설명한다.

이 경우, 깊은 가짜 제작자의 저품질 작업이나 비디오를 공유 플랫폼에 업로드할 때 대역폭 비용을 줄이기 위해 비디오를 대폭 낮은 비트 레이트로 재인코딩하여 발생할 수 있다. 아이러니하게도, 이러한 이미지 저하는 깊은 가짜의 명백한 진실성에 干渉하지 않으며, 실제로 환상을 강화할 수 있다. 깊은 가짜 비디오는 진실성으로 인식되는 공통의 저품질 시각적 관용구에 погруж된다.

생존 가능한 태깅作为 모델 반전의 보조

기계 학습 출력에서 소스 데이터를 식별하는 것은 비교적 새로운 및 성장하는 분야이며, 이는 IP 기반 소송의 새로운 시대를 가능하게 하며, 정부의 현재 허용 스크래핑 규정(전 세계 AI ‘무기 경쟁’에 직면하여 국가 연구 우세성을 방해하지 않도록 설계됨)이 상업화됨에 따라 더 엄격한 법률로 발전한다.

모델 반전은 자연어 생성(NLG) 및 이미지 합성을 포함한 여러 도메인에서 합성 시스템의 출력에서 소스 데이터를 매핑하고 식별하는 것을 다룬다. 모델 반전은 블러 처리된, 픽셀화된 또는 생성적 적대적 네트워크 또는 인코더/디코더 변환 시스템(예: DeepFaceLab)의 추상화 프로세스를 통해 전달된 얼굴을 다시 식별하는 데 특히 효과적이다.

새로운 또는 기존의 얼굴 이미지에 대상 태깅을 추가하는 것은 모델 반전 기술의 잠재적인 새로운 보조 수단이며, 워터마크는 출현하는 분야이다.

사후 태깅

FakeTagger는 사후 처리 접근 방식으로 설계되었다. 예를 들어, 사용자가 소셜 네트워크에 사진을 업로드할 때(일반적으로 일부 최적화 프로세스가 포함되며, 원래 이미지의 직접적인 및 비변형 전송은 드물다), 알고리즘은 얼굴에 의도적으로 지울 수 없는 특성을 처리하여 적용한다.

대안으로, 알고리즘은 지난 20년 동안 여러 번 발생한 대형 스톡 사진 및 상업 이미지 컬렉션 사이트에서 허가 없이 재사용된 콘텐츠를 식별하기 위한 방법을 찾는 역사적인 이미지 컬렉션에 적용될 수 있다.

FakeTagger는 다양한 깊은 가짜 프로세스에서 회복 가능한 ID 특성을 삽입하도록 설계되었습니다.

개발 및 테스트

연구자들은 FakeTagger를 위에서 언급한 네 가지 접근 방식(예: 가장 널리 사용되는 저장소인 DeepFaceLab; 스탠퍼드의 Face2Face; 및 STGAN)에 대한 여러 깊은 가짜 소프트웨어 응용 프로그램에 대해 테스트했다.

테스트는 30,000개의 다양한 해상도(최대 1024 x 1024 픽셀)의 유명인 얼굴 이미지로 구성된 인기 있는 스크랩 공개 저장소인 CelebA-HQ와 함께 수행되었다.

기준선으로, 연구자들은 먼저 전통적인 이미지 워터마크 기술을 테스트하여 FakeTagger의 삽입된 태그가 깊은 가짜 워크플로우의 훈련 프로세스를 견디시도록 할 수 있는지 확인했다. 그러나 이러한 방법은 네 가지 접근 방식 모두에서 실패했다.

FakeTagger의 삽입된 데이터는 2015年に 공개된 생물의학 이미지 분할을 위한 U-Net 컨볼루셔널 네트워크를 기반으로 하는 아키텍처를 사용하여 인코더 단계에서 얼굴 세트 이미지에 주입되었다. 이후 프레임워크의 디코더 섹션은 삽입된 정보를 찾도록 훈련된다.

이 프로세스는 FOSS 응용 프로그램/알고리즘을 활용하는 GAN 시뮬레이터에서 테스트되었으며, 각 시스템의 워크플로우에 대한 이산적이거나 특별한 액세스가 없는 블랙 박스 설정에서 수행되었다. 유명인 이미지에 임의 신호를 연결하여 각 이미지와 관련된 데이터로 기록했다.

블랙 박스 설정에서 FakeTagger는 네 가지 응용 프로그램의 접근 방식에서 88.95% 이상의 정확도를 달성할 수 있었다. 흰 박스 시나리오에서 정확도는 거의 100%까지 증가했다. 그러나 이는 깊은 가짜 소프트웨어의 향후 반복에서 FakeTagger를 직접 통합하는 것을 시사하므로 가까운 미래에는 이러한 시나리오가 발생할 가능성이 낮다.

비용 계산

연구자들은 FakeTagger에 대한 가장 어려운 시나리오는 완전한 이미지 합성(예: CLIP 기반 추상 생성)이며, 이 경우 입력 훈련 데이터가 이러한 경우에 매우 깊은 추상화 수준에 노출되기 때문이라고 지적한다. 그러나 이는 최근 몇 년 동안 헤드라인을 장식했던 깊은 가짜 워크플로우에는 적용되지 않는다. 이러한 워크플로우는 ID를 정의하는 얼굴 특성의 충실한 재현에 의존하기 때문이다.

이 논문은 또한 적대적 공격자가 태깅 시스템을 방해하기 위해 인공 노이즈 및 그레인을 추가하여 시도할 수 있지만, 이는 깊은 가짜 출력의 진실성에 해를 끼칠 가능성이 있다고 지적한다.

さらに, FakeTagger가 삽입한 태그가 살아남도록 하기 위해 이미지에 중복 데이터를 추가해야 하며, 이는 대규모로 계산 비용이 많이 들 수 있다고 지적한다.

저자는 FakeTagger가 다른 도메인(예: 적대적 비 공격 및 기타 유형의 이미지 기반 공격)에서 출처 추적에 잠재적인 사용이 있을 수 있다고 결론지으며, 적대적 노출, 안개, 블러, 비네팅 및 칼라 지터링을 언급한다.