Deepfake Detectors는 새로운 분야를 추구합니다: Latent Diffusion 모델 및 GAN

의견   2017년 말부터 거의 전적으로 오토 인코더당시 대중의 경외심을 불러일으킨 기반 프레임워크(및 당황), 다음을 포함하여 덜 정체된 아키텍처에 법의학적 관심을 갖기 시작했습니다. 잠재 확산 다음과 같은 모델 달-이 2 와 안정적인 확산, GAN(Generative Adversarial Networks)의 출력도 마찬가지입니다. 예를 들어, XNUMX월에 UC Berkeley 결과를 발표했다. 당시 지배적이었던 DALL-E 2의 출력을 위한 검출기 개발에 대한 연구.

이 증가하는 관심을 주도하는 것으로 보이는 것은 2022년에 폐쇄 소스 및 제한된 액세스와 함께 잠재 확산 모델의 기능 및 가용성의 급격한 진화적 도약입니다. 공개 DALL-E 2의 봄, 뒤이어 늦여름 오픈 소싱 stability.ai에 의한 안정적인 확산.

GAN은 또한 오랫동안 공부한 이 맥락에서 비록 덜 집중적이기는 하지만 매우 어려운 비디오를 기반으로 사람들을 설득력 있고 정교하게 재현하는 데 사용합니다. 적어도 지금까지 유서 깊은 오토인코더 패키지와 비교하면 페이스 스왑 와 딥페이스랩 – 후자의 라이브 스트리밍 사촌, 딥페이스라이브.

움직이는 그림

두 경우 모두 충격을 주는 요인은 다음에 대한 후속 개발 스프린트의 전망으로 보입니다. 비디오 합성. 2022월의 시작과 XNUMX년의 주요 컨퍼런스 시즌은 다양한 비디오 합성 버그베어에 대한 갑작스럽고 예상치 못한 솔루션의 눈사태로 특징지어졌습니다. 출시된 샘플 자체 텍스트-동영상 플랫폼의 고해상도 영상 (업스케일러의 7계층 네트워크를 통해서만 가능).

이런 종류의 일이 세 번에 걸쳐 발생한다고 믿는다면 올해 말에 Stable Diffusion에 '비디오가 출시될 것'이라는 stability.ai의 수수께끼 같은 약속도 고려하십시오. Stable Diffusion의 공동 개발자인 Runway는 비슷한 약속을 했다, 그들이 동일한 시스템을 참조하는지 여부는 불분명합니다. 그만큼 디스코드 메시지 Stability의 CEO인 Emad Mostaque도 약속했습니다. '오디오, 비디오 [그리고] 3d'.

몇 가지 새로운 제품의 기발한 제안으로 무엇을 오디오 생성 프레임워크 (잠재 확산에 기반한 일부) 및 생성할 수 있는 새로운 확산 모델 본격적인 캐릭터 모션, GAN 및 디퓨저와 같은 '정적' 프레임워크가 마침내 지지하는 역할을 하게 될 것이라는 생각 부속물 외부 애니메이션 프레임워크로의 전환이 실질적인 견인력을 얻기 시작했습니다.

간단히 말해서, 자동 인코더 기반 비디오 딥페이크의 허약한 세계는 비디오 딥페이크를 효과적으로 대체할 수 있을 것 같습니다. 얼굴 중앙 부분, 내년 이맘때쯤이면 신세대 확산 기반 딥페이크 가능 기술, 즉 전신뿐만 아니라 전체 장면을 사진처럼 사실적으로 위조할 수 있는 잠재력을 가진 인기 있는 오픈 소스 접근 방식에 의해 가려질 수 있습니다.

이러한 이유로 딥페이크 방지 연구 커뮤니티는 이미지 합성을 심각하게 받아들이기 시작했고 이미지 합성이 단순히 가짜 LinkedIn 프로필 사진; 시간적 움직임의 측면에서 모든 그들의 다루기 힘든 잠재 공간이 성취할 수 있다면 정말 훌륭한 텍스처 렌더러 역할을 합니다., 실제로는 충분할 수 있습니다.

블레이드 러너

잠재 확산 및 GAN 기반 딥페이크 탐지를 각각 다루는 최신 두 개의 논문은 각각 다음과 같습니다. DE-FAKE: 텍스트 대 이미지 확산 모델에 의해 생성된 가짜 이미지의 탐지 및 속성, 정보 보안을 위한 CISPA 헬름홀츠 센터와 세일즈포스 사이의 협력; 그리고 BLADERUNNER: 합성(AI 생성) StyleGAN 얼굴에 대한 신속한 대책, MIT 링컨 연구소의 Adam Dorian Wong으로부터.

새로운 방법을 설명하기 전에 후자의 백서에서는 이미지가 GAN에 의해 ​​생성되었는지 여부를 결정하는 이전 접근 방식을 검토하는 데 시간이 걸립니다(이 백서에서는 특히 NVIDIA의 StyleGAN 제품군을 다룹니다).

'Brady Bunch' 방법 – 아마도 무의미한 참조 1970년대에 TV를 시청하지 않았거나 1990년대에 각색된 영화를 놓친 사람을 위해 – GAN 얼굴의 특정 부분이 확실히 차지하는 고정된 위치를 기반으로 GAN 위조 콘텐츠를 식별합니다. '생산 과정'.

2022년 SANS 연구소의 웹캐스트에서 제안한 'Brady Bunch' 방법: GAN 기반 얼굴 생성기는 경우에 따라 사진의 출처를 속이는 특정 얼굴 특징의 균일하지 않은 배치를 수행합니다. 출처: https://arxiv.org/ftp/arxiv/papers/2210/2210.06587.pdf

알려진 또 다른 유용한 징후는 필요한 경우 여러 얼굴을 렌더링할 수 없는 StyleGAN의 빈번한 무능력(아래 첫 번째 이미지)과 액세서리 조정에 대한 재능 부족(아래 중간 이미지), 즉흥 연주의 시작으로 헤어라인을 사용하는 경향입니다. 모자(아래 세 번째 이미지).

연구원이 주목하는 세 번째 방법은 사진 오버레이 (그 예는 에서 볼 수 있습니다. 우리의 XNUMX월 기사 정신 건강 장애의 AI 지원 진단), CombineZ 시리즈와 같은 구성 '이미지 블렌딩' 소프트웨어를 사용하여 여러 이미지를 단일 이미지로 연결하고 종종 구조의 근본적인 공통성을 드러내며 합성의 잠재적 표시입니다.

새 백서에서 제안된 아키텍처의 제목은 (아마도 모든 SEO 조언에 반함) 블레이드 러너, 참조 보이트-캄프 테스트 공상 과학 프랜차이즈의 적대자가 '가짜'인지 여부를 결정합니다.

파이프라인은 두 단계로 구성되며 첫 번째 단계는 thispersondoesnotexist.com 또는 generated.photos와 같은 알려진 GAN-face 웹사이트에서 스크랩한 데이터를 평가할 수 있는 PapersPlease 분석기입니다.

코드의 컷다운 버전은 GitHub(아래 참조)에서 검사할 수 있지만 OpenCV 및 DLIB 수집된 자료에서 얼굴의 윤곽을 잡고 감지하는 데 사용됩니다.

두 번째 모듈은 우리 가운데 탐지기. 이 시스템은 위에 자세히 설명된 'Brady Bunch' 시나리오에서 대표되는 StyleGAN의 얼굴 출력의 지속적인 기능인 사진에서 조정된 눈 위치를 검색하도록 설계되었습니다. 어몽어스는 표준 68 랜드마크 감지기로 구동됩니다.

블레이드 러너 패키지에서 사용되는 얼굴 랜드마크 플로팅 코드인 지능형 행동 이해 그룹(IBUG)을 통한 얼굴 포인트 주석.

어몽어스는 PapersPlease의 알려진 'Brady bunch' 좌표를 기반으로 사전 훈련된 랜드마크에 의존하며 StyleGAN 기반 얼굴 이미지의 라이브 웹 페이싱 샘플에 사용하기 위한 것입니다.

저자는 Blade Runner가 여기에서 다루는 딥페이크 탐지 유형을 위한 사내 솔루션을 개발할 리소스가 부족한 회사 또는 조직을 위한 플러그 앤 플레이 솔루션이며, 보다 영구적인 대책'.

사실 이렇게 변동이 심하고 빠르게 성장하는 보안 분야에는 맞춤형 솔루션이 많지 않습니다. or 자원이 부족한 회사가 현재 안심하고 의지할 수 있는 기성품 클라우드 공급업체 솔루션입니다.

Blade Runner는 성능이 좋지 않지만 안경을 쓴 StyleGAN으로 위장한 사람들, 이것은 유사한 시스템에서 상대적으로 일반적인 문제이며, 눈 묘사를 핵심 기준점으로 평가할 수 있을 것으로 기대하며 이러한 경우에는 가려집니다.

Blade Runner의 축소판이 출시되었습니다. 출시 GitHub에서 소스를 오픈합니다. 오픈 소스 저장소의 작업당 단일 사진이 아닌 여러 사진을 처리할 수 있는 기능이 더 풍부한 독점 버전이 있습니다. 저자는 시간이 허락하는 한 궁극적으로 GitHub 버전을 동일한 표준으로 업그레이드할 계획이라고 말합니다. 그는 또한 StyleGAN이 알려진 또는 현재의 약점을 넘어 진화할 가능성이 높으며 소프트웨어도 마찬가지로 함께 개발해야 한다는 점을 인정합니다.

디페이크

DE-FAKE 아키텍처는 텍스트 대 이미지 확산 모델에 의해 생성된 이미지에 대한 '범용 감지'를 달성하는 것뿐만 아니라 식별할 수 있는 방법을 제공하는 것을 목표로 합니다. 어느 잠재 확산(LD) 모델이 이미지를 생성했습니다.

DE-FAKE의 범용 탐지 프레임워크는 로컬 이미지, 하이브리드 프레임워크(녹색) 및 오픈 월드 이미지(파란색)를 처리합니다. 출처: http://export.arxiv.org/pdf/2210.06998

솔직히 말해서 현재로서는 인기 있는 모든 LD 모델(폐쇄형 또는 오픈 소스)이 눈에 띄는 특징을 가지고 있기 때문에 이는 상당히 쉬운 작업입니다.

또한 대부분은 머리를 자르는 성향과 같은 몇 가지 일반적인 약점을 공유합니다. 임의의 방법 사각형이 아닌 웹 스크랩 이미지는 DALL-E 2, Stable Diffusion 및 MidJourney와 같은 시스템을 구동하는 방대한 데이터 세트로 수집됩니다.

모든 컴퓨터 비전 모델과 마찬가지로 잠재 확산 모델에는 정사각형 형식 입력이 필요합니다. 그러나 LAION5B 데이터 세트를 구동하는 집계 웹 스크래핑은 얼굴(또는 다른 것)을 인식하고 집중하는 기능과 같은 '고급 추가 기능'을 제공하지 않으며 이미지를 채우는 대신 잔인하게 이미지를 자릅니다(전체 소스를 유지함). 이미지이지만 해상도가 낮습니다). 일단 훈련되면 이러한 '작물'은 정규화되고 Stable Diffusion과 같은 잠재 확산 시스템의 출력에서 ​​매우 자주 발생합니다. 출처: https://blog.novelai.net/novelai-improvements-on-stable-diffusion-e10d38db82ac 및 안정적인 확산.

DE-FAKE는 자동 인코더 안티 딥페이크 연구원의 오랜 목표인 알고리즘에 구애받지 않으며 현재로서는 LD 시스템과 관련하여 상당히 달성 가능한 목표입니다.

이 아키텍처는 OpenAI의 Contrastive Language-Image Pretraining(쥐다) 멀티모달 라이브러리 – Stable Diffusion의 필수 요소이며 이미지/비디오 합성 시스템의 새로운 물결의 핵심으로 빠르게 자리잡음

생성 프로세스에 대한 정보를 포함하는 PNG 청크가 업로드 프로세스 및 기타 이유로 오랫동안 제거된 더 많은 '블랙 박스' 시나리오에서 연구원은 Salesforce를 사용합니다. BLIP 프레임워크 (또한 구성 요소 적어도 하나 Stable Diffusion 분포) 이미지를 생성한 프롬프트의 의미론적 구조에 대해 이미지를 '맹목적으로' 폴링합니다.

연구원들은 Stable Diffusion, Latent Diffusion(자체 개별 제품), GLIDE 및 DALL-E 2를 사용하여 MSCOCO 및 Flickr30k를 활용하는 교육 및 테스트 데이터 세트를 채웠습니다.

일반적으로 우리는 새로운 프레임워크에 대한 연구원의 실험 결과를 상당히 광범위하게 살펴볼 것입니다. 그러나 실제로 DE-FAKE의 결과는 그것이 운영되고 있는 불안정한 환경과 그것이 작동하는 시스템을 고려할 때 프로젝트 성공의 의미 있는 척도가 아니라 이후의 반복 및 유사한 프로젝트에 대한 미래의 벤치마크로서 더 유용할 것 같습니다. 이미지 합성 장면이 정말로 초기 단계였을 때부터 거의 XNUMX년이 되었습니다.

가장 왼쪽에 있는 2019개의 이미지: XNUMX년에 시작된 '도전된' 이전 프레임워크는 예상대로 테스트된 XNUMX개의 LD 시스템에서 DE-FAKE(가장 오른쪽 XNUMX개 이미지)에 대해 잘 대처하지 못했습니다.

팀의 결과는 두 가지 이유로 압도적으로 긍정적입니다. 비교할 만한 이전 작업이 거의 없습니다(그리고 공정한 비교를 제공하는 작업, 즉 Stable Diffusion이 오픈 소스로 출시된 이후 불과 XNUMX주를 다루는 작업은 전혀 없습니다).

둘째, 위에서 언급한 바와 같이 LD 이미지 합성 분야가 기하급수적인 속도로 발전하고 있지만 현재 제공되는 출력 콘텐츠는 자체 구조적(그리고 매우 예측 가능한) 단점과 기이함을 통해 효과적으로 워터마크를 표시합니다. 적어도 Stable Diffusion의 경우 더 나은 성능의 1.5 체크포인트(즉, 시스템에 전원을 공급하는 4GB 훈련 모델)의 출시로.

동시에 Stability는 시스템의 V2 및 V3에 대한 명확한 로드맵이 있음을 이미 밝혔습니다. 지난 XNUMX개월 동안의 헤드라인을 장식한 사건을 감안할 때 이미지 합성 공간에서 OpenAI 및 기타 경쟁 업체의 기업 무감각은 증발했을 가능성이 높습니다. 폐쇄 소스 이미지 합성 공간.

14년 2022월 XNUMX일에 처음 게시되었습니다.