딥페이크 및 이미지 합성 시스템에서 사용되는 이미지 인코딩

딥페이크 연구 분야에서 가장 잘 알려진 연구 방향은 비디오와 이미지 콘텐츠에서 딥페이크, 합성 또는 편집된 얼굴의 특징을 인식할 수 있는 시스템을 개발하는 것입니다.

이러한 접근 방식은 깊이 감지, 비디오 규칙성 방해, 모니터 조명 변동(潜在적으로 딥페이크된 라이브 비디오 통화에서), 생체 특징, 얼굴 외부 영역, 그리고 심지어 숨겨진 힘을 가진 인간의 무의식 시스템을 사용합니다.

이러한 방법과 유사한 방법은 모두 이미지가 웹에서 수집된 후에야 작동합니다. 즉, 이러한 시스템이 배포될 때, 이미 수천 개 또는 수십만 개의 이미지가 웹에서 수집되어 자동 인코더 시스템에서 중요한 특징을 쉽게 파악하고 가짜 아이덴티티를 비디오 또는 합성 이미지에 적용할 수 있는 모델을 생성할 수 있습니다. 심지어 실시간에도 vậy입니다.

간단히 말해, 이러한 시스템이 활성화될 때, 말은 이미 탈출했습니다.

딥페이크/합성 아키텍처에 적대적인 이미지

딥페이크와 이미지 합성의 위협에 대한 더 예방적 인 접근 방식은 소스 사진을 모두 AI 이미지 합성 시스템에 적대적 인 방식으로 만드는 연구 분야입니다. 이는 일반적으로 인식할 수 없는 또는 거의 인식할 수 없는 방식으로 수행됩니다.

예를 들어, FakeTagger는 2021년 미국과 아시아의 여러 기관에서 제안한 것으로, 이미지에 메시지를 인코딩합니다. 이러한 인코딩은 일반화 과정에 저항성이 있으며, 이미지들이 웹에서 수집되어 생성적 적대적 네트워크(GAN)에 훈련된 후에도 회복될 수 있습니다.

FakeTagger는 GAN 훈련 과정에서 일반화 과정에 저항성이 있는 정보를 인코딩합니다. 출처: https://arxiv.org/pdf/2009.09869.pdf

ICCV 2021에서 또 다른 국제적인 노력은 합성 모델을 위한 인공 지문을 제안했습니다. 이것은 StyleGAN2와 같은 이미지 합성 GAN의 출력에서 회복 가능한 ‘지문을’ 생성합니다.

극단적인 조작, 자르기 및 얼굴 교환에도 불구하고 ProGAN을 통해 전달된 지문은 회복할 수 있습니다. 출처: https://arxiv.org/pdf/2007.08457.pdf

이 개념의 다른 버전에는 2018년 IBM의 프로젝트와 일본의 디지털 워터마크 방식이 있습니다.

보다 혁신적으로, 2021년 이니셔티브는 난징 항공 우주 대학에서訓練 이미지들을 암호화하여 권한이 있는 시스템에서만 효과적으로 훈련되고, 일반적인 이미지 합성 훈련 파이프라인에서 사용되는 경우에는 치명적인 오류를 발생시키는 방식으로 진행했습니다.

이 모든 방법은 본질적으로 스테가노그래피에 속합니다. 그러나 모든 경우에 이미지에 포함된 고유한 식별 정보는 이미지의 필수적인 ‘특징’으로 인코딩되어야 하며, 자동 인코더 또는 GAN 아키텍처가 이러한 지문을 ‘잡음’이나 불필요한 데이터로 간주하여 제거하지 않도록 해야 합니다.

동시에, 이过程는 이미지를 왜곡하거나 저하하여 관찰자가 결함이나 저품질로 인식하지 않도록 해야 합니다.

TAFIM

현재 독일의 기술 대학 뮌헨과 소니 유럽 RDC 슈투트가르트에서 새로운 이미지 인코딩 기술이 제안되었습니다. 이 기술은 딥페이크 모델 또는 StyleGAN과 같은 프레임워크가 처리된 이미지에서 훈련될 때 사용할 수 없는 파란색 또는 흰색 출력을 생성합니다.

TAFIM의 저수준 이미지 왜곡은 여러 가지 얼굴 왜곡/대체를 처리하며, 모델이 왜곡된 출력을 생성하도록 강제하고, 실제로 DeepFaceLive의 실시간 딥페이크 스트리밍과 같은 실시간 시나리오에서 적용될 수 있다고 보고됩니다. 출처: https://arxiv.org/pdf/2112.09151.pdf

이 논문은 TAFIM: Targeted Adversarial Attacks against Facial Image Manipulations라는 제목으로, 신경망을 사용하여 이미지에 거의 인식할 수 없는 왜곡을 인코딩합니다. 이미지들이 훈련되고 일반화된 후, 결과 모델은 스타일 믹싱 또는 직접적인 얼굴 교환에서 입력 아이덴티티에 대해 왜곡된 출력을 생성합니다.

웹의 재인코딩..?

그러나 이 경우, 우리는最新 버전의 이 개념의 세부 사항이나 아키텍처를 조사하는 것이 아니라, 전체 아이디어의 실용성을 고려합니다. 특히, 공개적으로 수집된 이미지로 이미지 합성 프레임워크를 구동하는 것에 대한 논쟁과, 그에 따른 법적 영향에 대해 고려합니다.

이러한 접근 방식은 상당한 비용이 듭니다. 최소한으로, 웹 기반 처리 라이브러리에서 새로운 압축 루틴을 도입해야 합니다. 예를 들어, ImageMagick은 많은 소셜 미디어 업로드 인터페이스를 포함하여 업로드 프로세스를 처리하는 라이브러리입니다.

이 질문은 이러한 체계가 앞으로 구현될 것인지, 아니면 역사적인 미디어를 포함하여 과거의 미디어를 처리할 것인지를 묻는 것입니다.

넷플릭스와 같은 플랫폼은 새로운 코덱로 백 카탈로그를 재인코딩하는 비용에 반대하지 않습니다. 유튜브의 역사적인 콘텐츠를 H.264 코덱으로 변환하는 것도, 애플 TV를 위해 수행된 것으로 보입니다.

반면에, 인터넷上的 미디어 콘텐츠의 상당한 부분이 훈련에 저항하는 형식으로 재인코딩되면, 영향력 있는 컴퓨터 비전 데이터셋은 영향을 받지 않을 것입니다. 그러나 이러한 데이터셋을 사용하는 시스템은 출력 품질이 저하될 것입니다.

정치적 충돌

정치적으로, 정부는 AI 개발에서 뒤처지지 않으려는 의지와, 공개적으로 사용 가능한 오디오, 비디오 및 이미지 콘텐츠를 사용하여 변환적 AI 시스템을 개발하는 것에 대한 공공의 우려에 대한 양립할 수 없는 긴장감이 존재합니다.

공식적으로, 서방 정부는 컴퓨터 비전 연구 분야에서 공개적으로 사용 가능한 미디어를 사용할 수 있도록 유연한 입장을 취하고 있습니다. 이는 일부 독재적인 아시아 국가들이 자신의 연구 워크플로를 자신의 연구 노력에 유리하게 형성할 수 있는 여유가 있기 때문입니다.

2022년 4월, 미국 항소법원은 공개 웹 데이터가 연구 목적으로 사용될 수 있다고 판결했습니다. 이는 LinkedIn의 반대에도 불구하고 vậy입니다.

따라서, AI에 저항하는 이미지가 시스템 와이드 표준이 되지 않는다면, 주요 훈련 데이터 소스는 이러한 시스템을 구현하여 자신의 출력을 비생산적으로 만들 수 있습니다.

이러한 회사별 배포의 핵심 요인은 이미지가 본질적으로 훈련에 저항적이어야 한다는 것입니다. 블록체인 기반 출처 기술과 콘텐츠 진실성 이니셔티브는 이미지의 진정한 출처를 증명하는 것에 더 관심이 있습니다.

사례 검사

블록체인 방법을 사용하여 소스 이미지의 진정한 출처와 외관을 인증하는 제안이 있었습니다. 그러나 이것은 이미지 훈련을 방지하거나, 훈련 데이터셋에 포함된 이미지를 증명하는 방법을 제공하지 않습니다.

워터마크 접근 방식에서, 소스 이미지의 공개적으로 사용 가능한 검사를 신뢰해서는 안 됩니다. 아티스트들의 불만에 대한 반응으로, haveibeentrained.com은 사용자가 이미지를 업로드하여 Stable Diffusion의 LAION5B 데이터셋에 포함되어 있는지 확인할 수 있도록 합니다.

‘Lenna’는 컴퓨터 비전 연구의 포스터 걸이었으나, Stable Diffusion의 기여자입니다. 출처: https://haveibeentrained.com/

대부분의 전통적인 딥페이크 데이터셋은 인터넷에서 비디오와 이미지에서 추출된 비공개 데이터베이스로 구성됩니다. 여기서 唯一하게 신경망 저항성 워터마크만이 특정 이미지를 사용하여 파생된 이미지와 비디오를 노출할 수 있습니다.

さらに, Stable Diffusion 사용자는 LAION의 수십억 개의 이미지에서 나타나지 않는 콘텐츠를 추가하기 시작했습니다.

소스에 워터마크 삽입

소스 이미지에 숨겨진 정보를 삽입하여 상업용 카메라의 원시 캡처 출력, 비디오 또는 이미지에 워터마크를 삽입하는極端한 잠재적 응용이 있습니다. 이 개념은 2000년대 초에 실험되고 구현되었습니다.

1990년대 후반의 특허 출원에서는 이산 코사인 변환을 사용하여 비디오와 정지 이미지에 스테가노그래픽 ‘서브 이미지’를 삽입하는 방식을 제안했습니다. 이는 디지털 녹음 장치와 같은 기능을 포함할 수 있다고 제안되었습니다.

1990년대 후반의 특허 출원에서, Lenna는 필요한 경우 회복할 수 있는 은닉 워터마크를 포함합니다. 출처: https://www.freepatentsonline.com/6983057.pdf

보다 단순한 접근 방식은 장치 수준에서 이미지를 명확하게 워터마크하는 것입니다. 이는 대부분의 사용자에게 매력적이지 않으며, 아티스트와 전문 미디어 실무자에게는 불필요합니다.

최소한 한 개의 카메라는 로고 기반 워터마크를 삽입하는 옵션을 제공하여 파생된 AI 모델에서 무단 사용을 신호할 수 있습니다. 그러나 AI를 통해 로고 제거는 매우 간단해지고 있으며, 상업적으로도 제공되고 있습니다.

최초로 게시된 날짜: 2022년 9월 25일.