DALL-E 2와 같은 순수 이미지 합성 프레임워크를 위한 탐지 시스템

버클리 대학교의 새로운 연구는 DALL-E 2와 같은 새로운 이미지 합성 프레임워크의 출력을 ‘비실제’로 감지할 수 있는 방법을 제공한다. 이 방법은 합성된 이미지에 나타나는 기하학, 그림자, 반사 등을 연구한다.

DALL-E 2에서 텍스트 프롬프트로 생성된 이미지에 대한 연구에서, 연구자들은 이 아키텍처가 매우 현실적인 이미지를 생성할 수 있지만, 전역 перспектив, 그림자 생성, 반사 등에 관련된 일관성 없는 패턴이 존재한다는 것을 발견했다.

이 논문은 다음과 같이 말한다:

‘기하학적 구조, 그림자,镜面에 반사된 구조는 자연적인 장면의 기대되는 перспектив 기하학과 완전히 일치하지 않는다. 기하학적 구조와 그림자는 일반적으로 지역적으로 일관성이 있지만, 전역적으로 일관성이 없다.’

‘반사에 대해서는, 이는 훈련 이미지 데이터 세트에서 덜 흔하기 때문에, 불가능하게 렌더링되는 경우가 많다.’

DALL-E 2 이미지에서 일관된 교차점이 없는 렌더링된 객체와 반사된 렌더링된 객체의 예

이 논문은 컴퓨터 비전 연구 커뮤니티에서 이미지 합성 탐지를 위한 초기 연구이다.

2017년 딥페이크의 등장 이후, 딥페이크 탐지는 활발한 연구 분야가 되었다. 이 논문은 DALL-E 2와 같은 이미지 합성 프레임워크의 출력을 감지하는 새로운 방법을 제안한다.

신뢰성의 감소

연구자들은 DALL-E 2의 출력을 분석하여, 기하학적 구조, 그림자, 반사 등에 대한 일관성 없는 패턴을 발견했다.

평행한 선이 동일한 평면에서 hội tụ하는 점

연구자들은 DALL-E 2를 사용하여 25개의 합성된 이미지로 구성된 кух房 이미지를 생성했다. 각 이미지에서, 연구자들은 일관성 없는 패턴을 발견했다.

연구자들은 이러한 일관성 없는 패턴이 DALL-E 2의 출력에서 발견된다는 것을 발견했다.

그림자 포렌식

연구자들은 DALL-E 2의 출력에서 그림자를 분석했다. 그림자는 단일 또는 다중 광원에서 비롯될 수 있다.

연구자들은 DALL-E 2를 사용하여 25개의 합성된 이미지로 구성된 큐브 이미지를 생성했다. 각 이미지에서, 연구자들은 일관성 없는 패턴을 발견했다.

구름이 많은 날과 맑은 날의 큐브 이미지

연구자들은 이러한 일관성 없는 패턴이 DALL-E 2의 출력에서 발견된다는 것을 발견했다.

DALL-E 2의 반사

연구자들은 DALL-E 2의 출력에서 반사를 분석했다. 반사는 매우 계산이 많이 필요한 작업이다.

연구자들은 DALL-E 2를 사용하여 25개의 합성된 이미지로 구성된 공룡 이미지를 생성했다. 각 이미지에서, 연구자들은 일관성 없는 패턴을 발견했다.

연구자들은 이러한 일관성 없는 패턴이 DALL-E 2의 출력에서 발견된다는 것을 발견했다.

이 논문은 다음과 같이 말한다:

‘그림자와 기하학적 구조와는 달리, DALL-E 2는 반사를 합성하는 데 어려움을 겪는다. 이는 훈련 이미지 데이터 세트에서 반사가 덜 흔하기 때문이다.’

이러한 오류는 향후 텍스트-이미지 모델에서 개선될 수 있다.

이 논문은 다음과 같이 결론한다:

‘이미지 합성 엔진이 완전한 перспектив 일관성을 갖는 이미지를 렌더링하는 것은 시간 문제일 수 있다. 그러나, 그 때까지 기하학적 포렌식 분석은 이러한 이미지를 분석하는 데 유용할 수 있다.’

* 저자의 인라인 인용을 하이퍼링크로 변환한 것입니다.

最初에 2022년 6월 30일에 게시되었습니다.