Anderson의 관점

DALL-E 2 같은 이미지 합성 프레임워크의 생성물을 탐지하는 시스템

Martin Anderson
Unite.AI를 Google의 선호 소스에 추가
핵심 포인트DALL-E 2의 반사 표현은 거울에 비친 물체가 원본과 기하학적 일관성을 갖지 못하기 때문에 실패한다.
더 보기
  • DALL-E 2의 반사 표현은 거울에 비친 물체가 원본과 기하학적 일관성을 갖지 못하기 때문에 실패한다.
  • DALL-E 2 주방 이미지의 전반적 원근 오류는 국소적으로는 일관되지만 전체적으로는 일치하지 않는 소실점을 드러낸다.
  • DALL-E 2의 햇볕이 내리쬐는 장면에서 그림자 불일치가 발생하는 것은 모델이 단일 광원 조명 논리를 적용할 수 없음을 시사한다.

캘리포니아 대학교 버클리의 새로운 연구는 OpenAI의 DALL-E 2와 Google의 Imagen, Parti같은 차세대 이미지 합성 프레임워크의 출력을 실제가 아닌 것으로 탐지할 방법을 제안한다. 합성 이미지에 나타나는 기하학, 그림자, 반사를 조사하는 방식이다.

연구자들은 DALL-E 2가 텍스트 프롬프트로 만든 이미지를 분석해, 인상적인 사실성에도 불구하고 전체 원근법, 그림자의 생성과 배치, 특히 반사된 물체의 표현에 지속적인 불일치가 있다고 발견했다.

논문은 다음과 같이 설명한다.

‘기하학적 구조, 드리워진 그림자, 거울 표면의 반사는 자연 장면에서 기대되는 원근 기하학과 완전히 일치하지 않는다. 구조와 그림자는 대체로 국소적으로 일관되지만 전체적으로는 일관되지 않다.’

‘반면 반사는 종종 그럴듯하지 않게 표현된다. 훈련 이미지 데이터셋에서 반사 사례가 상대적으로 드물기 때문일 수 있다.’

DALL-E 2가 생성한 공룡과 거울상의 교차 관계 불일치.

새 연구에 따르면, 물체와 그 반사를 나타내는 선의 교차 관계가 일관되지 않은 점은 현재 DALL-E 2 이미지를 탐지하는 신뢰할 만한 단서다. 출처: https://arxiv.org/pdf/2206.14617.pdf

논문은 컴퓨터 비전 연구 공동체에서 앞으로 중요한 흐름이 될 수 있는 이미지 합성 탐지의 초기 시도다.

2017년 딥페이크가 등장한 이후 딥페이크 탐지는 주로 오토인코더출력을 대상으로 삼아 왔다. DeepFaceLab과 FaceSwap같은 패키지를 겨냥한 이 분야는 활발하고 경쟁적인학문적 흐름이 되었으며, 실제 영상에 합성된 얼굴이 남기는 변화하는 단서를 다루는 다양한 논문과 방법론이 나왔다.

하지만 초대규모로 훈련된 이미지 생성 시스템이 아주 최근 등장하기 전까지, CLIP같은 텍스트 프롬프트 시스템의 출력은 사진적 사실성의 기존 질서를 위협하지 않았다. 새 논문의 저자들은 이것이 바뀌려 한다고 본다. DALL-E 2에서 발견한 불일치도 이미지가 시청자를 속일 잠재력에는 큰 차이를 만들지 않을 수 있다는 것이다.

저자들은 다음과 같이 말한다*.

‘이런 실패는 인간 시각계에는 크게 중요하지 않을 수도 있다. 인간은 특정 기하학적 판단, 예를 들어 조명, 그림자, 반사, 관찰 위치, 원근 왜곡의 불일치를 판단하는 데 놀라울 정도로 서툰 것으로 밝혀졌다.’

사라지는 신뢰성

저자들의 첫 포렌식 검사는 원근 투영에 관한 것이었다. 가까이 있는 물체와 질감의 직선 모서리가 하나의 소실점으로 일관되게 수렴해야 하는 방식을 살펴봤다.

왼쪽은 공통 소실점, 오른쪽은 여러 소실점이 정의하는 빨간 소실선.

왼쪽: 같은 평면의 평행선은 공통 소실점에 모인다. 오른쪽: 같은 평면 및 평행한 평면의 여러 소실점은 빨간색으로 표시한 소실선을 정의한다.

연구자들은 DALL-E 2로 주방 이미지 25장을 생성했다. 주방은 잘 갖춰진 집에서도 보통 공간이 제한되어 있어 다양한 물체와 질감에서 여러 소실점을 확인할 수 있는 익숙한 환경이다.

‘타일 바닥이 있는 주방 사진’이라는 프롬프트의 출력을 검토한 결과, 각 이미지는 대체로 설득력 있게 보였지만 물체들은 올바르게 수렴하지 않았다. 원근법과 관계없는 작은 이상 현상도 일부 있었다.

타일 무늬의 각 평행선 집합은 일관되게 하나의 소실점, 즉 아래 이미지의 파란 점에서 만난다. 그러나 조리대의 청록색 소실점은 빨간 소실선이나 타일에서 도출한 소실점과 일치하지 않는다.

조리대가 타일과 평행하지 않더라도 청록색 소실점은 바닥 타일의 소실점들이 정의하는 빨간 소실선 위에 있어야 한다고 저자들은 지적한다.

논문은 다음과 같이 설명한다.

‘이미지의 원근법은 인상적으로 국소 일관성을 보이지만 전체적으로는 일관되지 않다. 이 패턴은 합성 주방 이미지 25장 모두에서 발견되었다.’

그림자 포렌식

광선 추적을 다뤄 본 사람이라면 알듯, 그림자에도 하나 또는 여러 광원을 나타내는 잠재적 소실점이 있다. 강한 햇빛 아래의 실외 그림자는 이미지 전반에서 하나의 광원인 태양과 일관되게 대응해야 한다.

연구자들은 앞선 실험처럼 다음 프롬프트로 DALL-E 2 이미지 25장을 만들었다. ‘맑은 날 촬영한 보도 위의 세 정육면체’ 또한 다음 프롬프트로 25장을 더 만들었다. ‘흐린 날 촬영한 보도 위의 세 정육면체’.

흐린 날의 세 정육면체는 윗줄, 맑은 날의 결과는 아랫줄.

윗줄은 흐린 날 보도 위의 세 정육면체라는 프롬프트로 만든 이미지이며, 아랫줄은 맑은 날 같은 대상을 촬영했다는 프롬프트의 이미지다.

흐린 조건에서는 DALL-E 2가 그에 따른 확산된 그림자를 설득력 있고 그럴듯하게 표현했다. 이런 그림자가 훈련 이미지에서 더 흔하기 때문일 수 있다.

하지만 일부 맑은 날 사진은 하나의 광원으로 조명한 장면과 일치하지 않았다.

위 이미지는 명확하게 보여 주기 위해 회색조로 바꾼 것으로, 각 물체가 자신만의 태양을 갖는 것처럼 보인다.

보통의 시청자는 이런 이상을 놓칠 수 있지만, 일부 생성 이미지는 더 뚜렷한 그림자 실패를 보였다.

일부 그림자는 단순히 위치가 잘못되었다. 흥미롭게도 많은 그림자는 CGI 모델링에서 가상 광원의 샘플링 비율이 너무 낮을 때 나타나는 시각적 오류와 비슷했다.

DALL-E 2의 반사

포렌식 분석에서 가장 문제 되는 결과는 반사가 강한 표면을 생성하는 능력을 시험했을 때 나왔다. 이는 CGI 광선 추적과 다른 전통적 렌더링 알고리즘에서도 계산 부담이 큰 작업이다.

저자들은 ‘장난감 공룡과 화장대 거울에 비친 그 모습의 사진’이라는 프롬프트로 25장을 생성했다.

모든 사례에서 거울상은 실제 장난감 공룡의 모양이나 배치와 어떤 식으로든 맞지 않았다. 프롬프트를 바꾸어도 문제가 지속되어 시스템의 근본적 약점처럼 보였다고 저자들은 설명한다.

일부 오류에는 나름의 논리가 있어 보인다. 맨 윗줄의 첫 번째와 세 번째 사례는 공룡을 아주 잘 복제했지만 거울상으로 만들지는 않은 듯하다.

저자들은 다음과 같이 논평한다.

‘앞 절의 그림자와 기하학적 구조와 달리, DALL-E 2는 그럴듯한 반사를 합성하는 데 어려움을 겪는다. 이런 반사가 훈련 이미지에서 덜 흔하기 때문일 수 있다.’

이런 오류는 미래의 텍스트-이미지 모델에서 해결될 수도 있다. 출력의 전체 의미 논리를 더 효과적으로 검토하고, 시스템의 잠재 공간에서 단어와 관련된 특징을 어느 정도 조합해 만든 장면에 추상적인 물리 규칙을 적용할 수 있는 모델을 뜻한다.

더 큰 합성 아키텍처를 향한 흐름 속에서 저자들은 다음과 같이 결론짓는다.

‘텍스트로 이미지를 만드는 합성 엔진이 원근법이 완전히 일관된 이미지를 생성하도록 학습하는 것은 시간문제일 수 있다. 하지만 그때까지는 기하학적 포렌식 분석이 이런 이미지를 조사하는 데 유용할 수 있다.’

 
* 논문 저자의 본문 인용을 하이퍼링크로 바꾼 것은 이 글 작성자다.

최초 게시: 2022년 6월 30일.

머신러닝 분야 작가이자 인간 이미지 합성 도메인 전문가. Metaphysic.ai에서 연구 콘텐츠 책임자를 역임했으며, DNEG의 Brahma.ai로 통합될 때까지 근무했습니다.
웹사이트: martinanderson.ai
연락처: martin@martinanderson.ai