Anderson의 관점

딥페이크 탐지의 새 영역: 잠재 확산 모델과 GAN

Martin Anderson
Unite.AI를 Google의 선호 소스에 추가
핵심 포인트딥페이크 탐지 연구는 Stable Diffusion 및 DALL-E 2와 같은 잠재 확산 모델로 초점을 전환하고 있습니다.
더 보기
  • 딥페이크 탐지 연구는 Stable Diffusion 및 DALL-E 2와 같은 잠재 확산 모델로 초점을 전환하고 있습니다.
  • Blade Runner는 자원이 부족한 조직을 위해 얼굴 랜드마크 패턴을 사용하는 플러그 앤 플레이 GAN 탐지기를 제공합니다.
  • DE-FAKE는 CLIP 임베딩을 사용하여 텍스트-이미지 확산 모델의 이미지를 보편적으로 탐지하고 귀속시키는 것을 목표로 합니다.

의견  

최근 딥페이크 탐지 연구계는 2017년 말 등장해 대중의 경탄과 우려를 불러일으킨 오토인코더 기반 방식에 거의 전적으로 집중해 왔으나, 그로 인한 우려 속에서 이제 정체가 덜한 아키텍처를 디지털 포렌식 관점에서 살피기 시작했다. 여기에는 잠재 확산 모델인 DALL-E 2와 Stable Diffusion, 생성적 적대 신경망(GAN)의 출력이 포함된다. 예를 들어 6월 UC 버클리는 당시 주류였던 DALL-E 2의 출력을 탐지하는 연구의 결과를 발표했다.

이러한 관심은 2022년 잠재 확산 모델의 능력과 접근성에서 일어난 급격한 발전이 이끄는 듯하다. 봄에는 비공개 소스와 제한된 접근 방식으로 DALL-E 2가 출시되었고, 늦여름에는 stability.ai가 Stable Diffusion의 코드를 공개해 큰 반향을 일으켰다.

GAN 역시 이 맥락에서 오랫동안 연구되었지만 그 강도는 낮았다. 사람을 설득력 있고 정교한 영상으로 재현하는 데 사용하기가 매우 어렵기 때문이다. 적어도 이제는 오래된 오토인코더 패키지인 FaceSwap과 DeepFaceLab, 후자의 실시간 스트리밍 계열인 DeepFaceLive에 비하면 그렇다.

움직이는 영상

두 경우 모두 자극 요인은 영상 합성의 후속 개발이 급진전할 가능성인 듯하다. 10월 초와 2022년 주요 학회 시즌에는 오랜 영상 합성 문제에 대한 예상치 못한 해법이 쏟아졌다. Facebook이 자체 텍스트-영상 플랫폼의 샘플을 공개하자마자, Google Research는 새 Imagen-to-Video T2V 아키텍처를 발표해 초기 찬사를 가렸다. 이 시스템은 고해상도 영상을 만들 수 있지만, 7단계 업스케일링 네트워크를 거쳐야 한다.

이런 일이 세 번씩 일어난다고 믿는다면, 올해 말쯤 Stable Diffusion에 영상이 도입된다는 stability.ai의 수수께끼 같은 약속도 떠올려 보자. 공동 개발사 Runway도 비슷한 약속을 했으나, 같은 시스템을 가리키는지는 불명확하다. Stability CEO Emad Mostaque의 Discord 메시지는 «오디오, 영상 [및] 3D»도 약속했다.

일부는 잠재 확산 기반인 여러 새 오디오 생성 프레임워크가 갑자기 등장하고 자연스러운 캐릭터 움직임을 생성하는 새 확산 모델도 나오면서, GAN과 확산 모델 같은 정적 프레임워크가 외부 애니메이션 프레임워크의 보조 구성 요소로 자리 잡을 것이라는 생각이 힘을 얻고 있다.

요컨대 얼굴 중앙 부분만 효과적으로 바꿀 수 있는 제한적인 오토인코더 기반 영상 딥페이크는 내년 이맘때쯤 새 확산 기반 딥페이크 기술에 밀려날 수 있다. 이런 인기 있는 오픈 소스 방식은 몸 전체뿐 아니라 장면 전체를 실사처럼 위조할 잠재력이 있다.

아마 이 때문에 딥페이크 대응 연구계는 영상의 기반이 되는 이미지 합성을 진지하게 다루며, 그것이 단순히 가짜 LinkedIn 프로필 사진을 만드는 것 이상으로 쓰일 수 있음을 깨닫기 시작했다. 다루기 어려운 잠재 공간이 시간에 따른 움직임에 기여할 수 있는 일이 아주 뛰어난 텍스처 렌더러로 작동하는 것뿐이라 해도, 실제로는 그것만으로 충분하고도 남을 수 있다.

Blade Runner

잠재 확산과 GAN 기반 딥페이크 탐지를 각각 다룬 최근 두 논문은 CISPA Helmholtz Center for Information Security와 Salesforce (CRM )가 공동으로 작성한 DE-FAKE: 텍스트-이미지 확산 모델이 생성한 가짜 이미지 탐지 및 출처 식별과 MIT Lincoln Laboratory의 Adam Dorian Wong이 작성한 BLADERUNNER: 합성(AI 생성) StyleGAN 얼굴에 대한 신속한 대응이다.

두 번째 논문은 새 방법을 설명하기 전 이미지가 GAN에서 생성되었는지를 판단하는 기존 접근법을 검토한다. 특히 NVIDIA의 StyleGAN 계열을 다룬다.

Brady Bunch 방식은 1970년대 TV를 보지 않았거나 1990년대 영화화를 놓친 사람에게 의미 없는 비유일 수 있다. 이 방식은 반복적이고 정형화된 생성 과정 때문에 GAN 얼굴의 특정 부분이 일정한 위치를 차지한다는 점을 이용해 GAN 위조를 찾는다.

2022년 SANS Institute 웹캐스트가 제시한 Brady Bunch 방식: GAN 얼굴 생성기는 특정 특징을 비현실적으로 일정한 위치에 배치해 경우에 따라 사진의 합성 출처를 드러낸다.

2022년 SANS Institute 웹캐스트가 제시한 Brady Bunch 방식: GAN 얼굴 생성기는 특정 특징을 비현실적으로 일정한 위치에 배치해 경우에 따라 사진의 합성 출처를 드러낸다. 출처: https://arxiv.org/ftp/arxiv/papers/2210/2210.06587.pdf

또 다른 알려진 단서는 필요할 때 여러 얼굴을 표현하지 못하는 StyleGAN의 잦은 실패(아래 첫 이미지), 액세서리의 부조화(가운데 이미지), 헤어라인을 즉석 모자의 시작으로 만드는 경향(세 번째 이미지)이다.

연구자가 주목하는 세 번째 방법은 사진 중첩이다. 예시는 AI 보조 정신질환 진단에 관한 8월 기사에서 볼 수 있다. CombineZ 계열 같은 이미지 혼합 소프트웨어로 여러 이미지를 하나로 합치면 공통된 기본 구조가 드러나는 경우가 많으며, 이는 합성의 잠재적 단서다.

새 논문이 제안한 아키텍처 이름은 모든 SEO 조언에 어긋날지도 모르는 Blade Runner다. SF 시리즈의 적대 인물이 가짜인지 판단하는 Voight-Kampff 검사를 참조한 것이다.

처리 흐름은 두 단계다. 첫 번째인 PapersPlease 분석기는 thispersondoesnotexist.com이나 generated.photos 같은 알려진 GAN 얼굴 사이트에서 수집한 데이터를 평가한다.

축소된 코드는 GitHub에서 확인할 수 있지만(아래 참조), 이 모듈에 관해 알려진 것은 OpenCV와 DLIB로 수집 자료의 얼굴 윤곽을 잡고 탐지한다는 점 외에는 많지 않다.

두 번째 모듈은 AmongUs 탐지기다. 사진에서 정렬된 눈 위치를 찾는데, 이는 앞서 설명한 Brady Bunch 사례처럼 StyleGAN 얼굴 출력에서 지속적으로 나타나는 특징이다. AmongUs는 표준 68개 얼굴 랜드마크 탐지기를 사용한다.

Intelligent Behaviour Understanding Group(IBUG)의 얼굴 지점 주석. 이 그룹의 얼굴 랜드마크 표시 코드가 Blade Runner 패키지에 사용된다.

Intelligent Behaviour Understanding Group(IBUG)의 얼굴 지점 주석. 이 그룹의 얼굴 랜드마크 표시 코드가 Blade Runner 패키지에 사용된다.

AmongUs는 PapersPlease에서 알려진 Brady Bunch 좌표를 기반으로 사전 학습된 랜드마크에 의존하며, 웹에서 접근할 수 있는 현재 StyleGAN 얼굴 이미지 샘플을 검사하도록 설계되었다.

저자에 따르면 Blade Runner는 이런 딥페이크 탐지 수단을 자체 개발할 자원이 없는 기업이나 조직을 위한 즉시 사용 가능한 솔루션이자, 더 영구적인 대응책을 마련할 시간을 버는 임시 조치다.

실제로 이렇게 변화가 심하고 빠르게 성장하는 보안 분야에서는 자원이 부족한 기업이 현재 믿고 쓸 만한 맞춤형 또는 기성 클라우드 업체 솔루션이 많지 않다.

Blade Runner는 안경을 쓴 StyleGAN 가짜 인물을 잘 탐지하지 못하지만, 비슷한 시스템에서도 흔한 문제다. 눈 윤곽을 핵심 기준점으로 평가하려는데 이런 경우 그 부분이 가려지기 때문이다.

Blade Runner의 축소판은 GitHub에서 오픈 소스로 공개되었다. 기능이 더 풍부한 독점 버전은 여러 사진을 처리하지만 공개 저장소 버전은 작업당 한 장만 처리한다. 저자는 시간이 허락하면 GitHub 버전을 같은 수준으로 높일 계획이라고 말한다. StyleGAN이 현재 알려진 약점을 넘어 발전할 가능성이 크므로 소프트웨어도 함께 발전해야 한다고 인정한다.

DE-FAKE

DE-FAKE 아키텍처는 텍스트-이미지 확산 모델이 만든 이미지를 보편적으로 탐지할 뿐 아니라, 어느 잠재 확산(LD) 모델이 이미지를 만들었는지도 식별하려 한다.

DE-FAKE의 보편적 탐지 프레임워크는 로컬 이미지, 혼합 프레임워크(초록), 오픈 월드 이미지(파랑)를 다룬다.

DE-FAKE의 보편적 탐지 프레임워크는 로컬 이미지, 혼합 프레임워크(초록), 오픈 월드 이미지(파랑)를 다룬다. 출처: http://export.arxiv.org/pdf/2210.06998

솔직히 현재는 비교적 쉬운 과제다. 인기 있는 모든 LD 모델에는 소스 공개 여부와 관계없이 뚜렷한 구별 특징이 있기 때문이다.

대부분은 머리를 잘라 내는 경향 등 공통 약점도 있다. 웹에서 수집한 정사각형이 아닌 이미지를 DALL-E 2, Stable Diffusion, MidJourney 같은 시스템의 거대 데이터셋에 넣는 자의적인 방식 때문이다.

잠재 확산 모델은 다른 컴퓨터 비전 모델처럼 정사각형 입력을 필요로 한다. LAION5B를 위한 대규모 웹 수집에는 얼굴이나 다른 대상을 인식하고 초점을 맞추는 추가 기능이 없어, 여백을 덧대는 대신 이미지를 거칠게 자른다. 여백을 더하면 낮은 해상도로 전체 원본을 보존할 수 있다. 학습 과정에서 이런 자르기를 배우면 그것이 정상적인 패턴이 되어 Stable Diffusion 같은 시스템 출력에 매우 자주 나타난다.

잠재 확산 모델은 다른 컴퓨터 비전 모델처럼 정사각형 입력을 필요로 한다. LAION5B를 위한 대규모 웹 수집에는 얼굴이나 다른 대상을 인식하고 초점을 맞추는 추가 기능이 없어, 여백을 덧대는 대신 이미지를 거칠게 자른다. 여백을 더하면 낮은 해상도로 전체 원본을 보존할 수 있다. 학습 과정에서 이런 자르기를 배우면 그것이 정상적인 패턴이 되어 Stable Diffusion 같은 시스템 출력에 매우 자주 나타난다. 출처: https://blog.novelai.net/novelai-improvements-on-stable-diffusion-e10d38db82ac 및 Stable Diffusion.

DE-FAKE는 특정 알고리즘에 독립적으로 작동하도록 설계되었다. 이는 오토인코더 딥페이크 대응 연구자들이 오래 추구한 목표이며, 현재 LD 시스템에서는 충분히 달성할 만하다.

이 아키텍처는 OpenAI의 다중 모달 Contrastive Language-Image Pretraining( CLIP ) 라이브러리를 사용한다. Stable Diffusion의 필수 요소이자 새 이미지·영상 합성 흐름의 핵심이 되어 가는 이 도구로 가짜 LD 이미지의 임베딩을 추출하고 관찰된 패턴과 클래스에 따라 분류기를 학습한다.

생성 정보가 담긴 PNG 청크가 업로드 과정이나 다른 이유로 이미 지워진 블랙박스 상황에서는 Salesforce의 BLIP 프레임워크를 쓴다. 이는 적어도 하나의 Stable Diffusion 배포판에도 포함되어 있다. 연구자들은 사전 정보 없이 이미지를 살펴 그것을 만든 프롬프트의 의미 구조를 추정한다.

연구자들은 Stable Diffusion, 별개 제품인 Latent Diffusion, GLIDE, DALL-E 2를 사용해 MSCOCO와 Flickr30k를 활용한 학습·시험 데이터셋을 채웠다.

연구자들은 Stable Diffusion, 별개 제품인 Latent Diffusion, GLIDE, DALL-E 2를 사용해 MSCOCO와 Flickr30k를 활용한 학습·시험 데이터셋을 채웠다.

보통 새 프레임워크의 실험 결과를 자세히 검토하겠지만, DE-FAKE의 결과는 프로젝트 성공의 의미 있는 지표보다는 후속 버전과 유사 프로젝트를 위한 미래 기준으로 더 유용해 보인다. 환경이 매우 불안정하고, 논문에서 비교한 시스템은 거의 3년 전 이미지 합성이 막 시작되던 시기의 것이기 때문이다.

가장 왼쪽 두 이미지: 2019년에 나온 기존 비교 프레임워크는 시험한 네 LD 시스템에서 예상대로 DE-FAKE(가장 오른쪽 두 이미지)보다 성능이 낮다.

가장 왼쪽 두 이미지: 2019년에 나온 기존 비교 프레임워크는 시험한 네 LD 시스템에서 예상대로 DE-FAKE(가장 오른쪽 두 이미지)보다 성능이 낮다.

팀의 결과가 압도적으로 긍정적인 데는 두 이유가 있다. 첫째, 비교할 기존 연구가 드물며 공정한 비교를 제공하는 것은 전혀 없다. 즉 Stable Diffusion 공개 이후 고작 12주를 포괄하는 연구가 없다.

둘째, LD 이미지 합성은 기하급수적으로 발전하지만 현재 출력은 매우 예측 가능한 구조적 결함과 특이성으로 스스로를 표시한다. 그중 다수는 적어도 Stable Diffusion에서는 성능이 향상된 checkpoint 1.5, 즉 시스템을 구동하는 4GB 학습 모델의 출시로 개선될 가능성이 크다.

동시에 Stability는 V2와 V3의 명확한 로드맵을 이미 밝혔다. 지난 3개월의 화제성 높은 사건들을 보면 OpenAI와 다른 이미지 합성 경쟁사의 기업적 침체는 사라졌을 가능성이 크다. 따라서 비공개 소스 이미지 합성에서도 비슷하게 빠른 발전을 기대할 수 있다.

 

최초 게시: 2022년 10월 14일.

머신러닝 분야 작가이자 인간 이미지 합성 도메인 전문가. Metaphysic.ai에서 연구 콘텐츠 책임자를 역임했으며, DNEG의 Brahma.ai로 통합될 때까지 근무했습니다.
웹사이트: martinanderson.ai
연락처: martin@martinanderson.ai