AI 기반 태깅으로 딥페이크 데이터 소스 식별

중국, 싱가포르, 미국의 연구자들이 협력하여 얼굴 사진을 '태깅'하는 복원력 있는 시스템을 개발했습니다. 딥 페이크 불법적으로 스크랩한 소스 데이터를 '익명화'하는 합성 이미지 생성 시스템의 기능에 흠집을 낼 수 있는 IP 클레임의 길을 열어줍니다.

제목이 붙은 시스템 가짜태거, 인코더/디코더 프로세스를 사용하여 시각적으로 식별할 수 없는 ID 정보를 이미지에 충분히 낮은 수준으로 삽입하여 주입된 정보가 필수 얼굴 특징 데이터로 해석되어 통과되도록 합니다. 추출 예를 들어 눈이나 입 데이터와 같은 방식으로 그대로 처리합니다.

FakeTagger 아키텍처의 개요입니다. 소스 데이터는 '중복' 얼굴 특징을 생성하는 데 사용되며 일반적인 딥페이크 작업 흐름을 통해 가려지는 배경 요소는 무시합니다. 메시지는 프로세스의 다른 쪽 끝에서 복구할 수 있으며 적절한 인식 알고리즘을 통해 식별할 수 있습니다. 출처: http://xujuefei.com/felix_acmmm21_faketagger.pdf

이 연구는 우한의 사이버과학공학부, 중국 교육부의 항공우주 정보 보안 및 신뢰 컴퓨팅 핵심 연구소, 미국의 알리바바 그룹, 보스턴의 노스이스턴 대학, 싱가포르의 난양 기술 대학에서 이루어졌습니다.

FakeTagger를 사용한 실험 결과는 다음과 같은 네 가지 일반적인 유형의 딥페이크 방법론에서 거의 95%에 가까운 재식별률을 나타냅니다. 딥페이스랩, 페이스 스왑); 얼굴 재연; 속성 편집; 그리고 전체 합성.

Deepfake 탐지의 단점

비록 지난 XNUMX년이 작물 딥페이크 식별 방법론에 대한 새로운 접근 방식 중 이러한 모든 접근 방식은 다음과 같은 딥페이크 작업 흐름의 수정 가능한 단점에 대한 핵심입니다. 눈 반짝임 과소 훈련된 모델에서 깜박임 부족 얼굴 세트가 부적절하게 다양한 초기 딥페이크에서. 새로운 키가 식별되면 무료 오픈 소스 소프트웨어 저장소는 의도적으로 또는 딥페이크 기술 개선의 부산물로 키를 제거했습니다.

새로운 논문은 Facebook의 가장 최근 딥페이크 감지 경쟁(DFDC)에서 생성된 가장 효과적인 사후 감지 방법이 야생에서 딥페이크를 발견하는 측면에서 70% 정확도로 제한된다는 것을 관찰합니다. 연구자들은 이 대표적인 실패를 새롭고 혁신적인 GAN 및 인코더/디코더 딥페이크 시스템, 그리고 종종 딥페이크 대체의 품질이 저하됩니다.

후자의 경우 이는 deepfaker의 저품질 작업 또는 대역폭 비용을 제한하고 제출물보다 훨씬 낮은 비트 전송률로 비디오를 다시 인코딩하려는 공유 플랫폼에 동영상을 업로드할 때 압축 아티팩트가 발생할 수 있습니다. . 아이러니하게도 이러한 이미지 저하뿐만 아니라 지원 딥페이크의 명백한 진정성을 방해하지만 딥페이크 비디오는 진품으로 인식되는 일반적이고 품질이 낮은 시각적 관용구에 포함되기 때문에 실제로 착시를 강화할 수 있습니다.

모델 반전에 도움이 되는 서바이벌 태깅

기계 학습 결과에서 소스 데이터를 식별하는 것은 상대적으로 새롭고 성장하는 분야이며 정부의 현재 요구 사항에 따라 IP 기반 소송의 새로운 시대를 가능하게 하는 분야입니다. 관대 한 스크린 스크레이핑 규정(글로벌 AI '군비 경쟁'에 직면하여 국가 연구의 탁월함을 억누르지 않도록 고안된)은 해당 부문이 상업화됨에 따라 더욱 엄격한 법률로 발전합니다.

모델 반전 자연어 생성(NLG) 및 이미지 합성을 포함하여 여러 도메인의 합성 시스템에서 생성된 출력에서 ​​소스 데이터의 매핑 및 식별을 처리합니다. 모델 반전은 흐릿하거나 픽셀화되었거나, Generative Adversarial Network 또는 DeepFaceLab과 같은 인코더/디코더 변환 시스템의 추상화 프로세스를 통해 만들어진 얼굴을 재식별하는 데 특히 효과적입니다.

신규 또는 기존 얼굴 이미지에 대상 태깅을 추가하는 것은 모델 반전 기술에 대한 잠재적인 새로운 보조 수단입니다. 워터 마킹 비상 필드.

사후 태깅

FakeTagger는 사후 처리 방식으로 사용됩니다. 예를 들어, 사용자가 소셜 네트워크에 사진을 업로드하면(일반적으로 일종의 최적화 프로세스가 포함되며 원본 이미지를 직접적이고 완전하게 전송하는 경우는 거의 없음) 알고리즘은 이미지를 처리하여 지울 수 없는 특성을 얼굴에 적용합니다. .

또는 지난 XNUMX년 동안 대규모 스톡 사진 및 상업용 이미지 수집 사이트에서 여러 번 발생한 것처럼 이 알고리즘을 역사적 이미지 컬렉션에 적용할 수 있습니다. 방법 허가 없이 재사용된 콘텐츠를 식별하기 위해.

FakeTagger는 다양한 딥페이크 프로세스에서 복구 가능한 ID 특성을 삽입하려고 합니다.

개발 및 테스트

연구원들은 가장 널리 사용되는 리포지토리인 DeepFaceLab을 포함하여 앞서 언급한 네 가지 접근 방식에 걸쳐 여러 딥페이크 소프트웨어 애플리케이션에 대해 FakeTagger를 테스트했습니다. 스탠포드 페이스투페이스, 이미지와 신원 간에 얼굴 표정을 전송할 수 있습니다. 그리고 STGAN, 얼굴 속성을 편집할 수 있습니다.

테스트는 셀레바-HQ, 최대 30,000 x 1024 픽셀의 다양한 해상도로 유명인의 얼굴 이미지 1024개를 포함하는 인기 스크랩 공개 저장소입니다.

연구원들은 초기에 기존의 이미지 워터마킹 기술을 테스트하여 부과된 태그가 딥페이크 워크플로의 교육 프로세스에서 살아남을 수 있는지 확인했지만 이 방법은 네 가지 접근 방식 모두에서 실패했습니다.

FakeTagger의 임베디드 데이터는 인코더 단계에서 얼굴 세트 이미지에 주입되었습니다. 유넷 2015년에 출시된 생물의학 이미지 분할을 위한 컨볼루션 네트워크입니다. 이후 프레임워크의 디코더 섹션은 내장된 정보를 찾기 위해 훈련됩니다.

이 프로세스는 각 시스템의 작업 흐름에 대한 개별 또는 특수 액세스가 없는 블랙 박스 설정에서 앞서 언급한 FOSS 애플리케이션/알고리즘을 활용하는 GAN 시뮬레이터에서 시험되었습니다. 유명인 이미지에 무작위 신호를 첨부하고 각 이미지에 대한 관련 데이터로 기록했습니다.

블랙박스 설정에서 FakeTagger는 네 가지 애플리케이션의 접근 방식에서 88.95%를 초과하는 정확도를 달성할 수 있었습니다. 병렬 화이트박스 시나리오에서는 정확도가 거의 100%로 증가했습니다. 그러나 이것은 FakeTagger를 직접 통합하는 딥페이크 소프트웨어의 미래 반복을 암시하므로 가까운 장래에 가능성이 희박한 시나리오입니다.

비용 계산

연구자들은 FakeTagger의 가장 어려운 시나리오는 CLIP 기반 추상 생성과 같은 완전한 이미지 합성이라는 점에 주목합니다. 이러한 경우 입력 훈련 데이터가 가장 깊은 수준의 추상화에 종속되기 때문입니다. 그러나 이것은 ID를 정의하는 얼굴 특징의 충실한 재생산에 의존하기 때문에 지난 몇 년 동안 헤드라인을 지배한 딥페이크 작업 흐름에는 적용되지 않습니다.

이 논문은 또한 적대적 공격자들이 그러한 태깅 시스템을 무력화하기 위해 인공 노이즈 및 그레인과 같은 교란을 추가하려고 시도할 수 있다고 지적합니다.

또한 그들은 FakeTagger가 포함된 태그의 생존을 보장하기 위해 이미지에 중복 데이터를 추가해야 하며 이것이 규모에 따라 상당한 계산 비용을 가질 수 있다는 점에 주목합니다.

저자는 FakeTagger가 적의 비 공격 다음과 같은 다른 유형의 이미지 기반 공격 적대적 노출, 안개, 흐림, 비네팅 와 색 떨림.