Anderson의 관점
DALL-E 2는 관계를 이해하지 못한 채 사물을 붙여 놓기만 하는가?

핵심 포인트DALL-E 2는 생성된 이미지에서 '안에' 또는 '위에'와 같은 기본적인 공간 관계를 재현하는 데 실패합니다.
더 보기
- DALL-E 2는 생성된 이미지에서 '안에' 또는 '위에'와 같은 기본적인 공간 관계를 재현하는 데 실패합니다.
- 명의 참가자를 대상으로 한 연구에서 DALL-E 2 이미지 중 프롬프트와 일치한 비율은 22%에 불과했습니다.
- 훈련 데이터에 묘사된 사건의 예시가 부족할 때 시스템의 관계적 오류는 더욱 악화됩니다.
하버드대학교의 새 연구 논문은 OpenAI의 주목받는 텍스트 기반 이미지 생성 프레임워크 DALL-E 2가, 출력물 상당수의 놀라운 정교함에도 불구하고, 합성 사진의 요소들 사이에서 영아도 이해하는 수준의 관계조차 재현하기 어렵다고 시사한다.
연구진은 크라우드소싱으로 모집한 169명을 대상으로 사용자 연구를 진행했다. 참가자들은 인간의 가장 기본적인 관계 의미론에 기반한 DALL-E 2 이미지와 이를 생성한 텍스트 프롬프트를 함께 보았다. 이미지와 프롬프트가 관련 있는지 묻자, DALL-E 2에 요청한 매우 단순한 관계를 제대로 나타낸다고 평가된 이미지는 22% 미만이었다.

새 논문의 실험 화면. 참가자들은 프롬프트와 일치하는 이미지를 모두 선택해야 했다. 화면 아래 안내문과 달리 실제로는 모든 이미지가 표시된 프롬프트에서 생성되었으며 참가자들은 이 사실을 몰랐다. 출처: https://arxiv.org/pdf/2208.00005.pdf
결과는 DALL-E가 서로 다른 요소를 결합하는 듯한 능력이, 그 요소들이 시스템의 실제 훈련 데이터에 함께 나타날 가능성이 줄어들수록 약해질 수 있음을 시사한다.
예를 들어 ‘아이가 그릇을 만지는 모습’은 일치도 87%를 얻었다. 즉 참가자들은 이미지 대부분을 프롬프트와 관련 있다고 선택했다. 반면 마찬가지로 사실적인 ‘원숭이가 이구아나를 만지는 모습’은 일치도가 11%에 그쳤다.
두 번째 예에서 DALL-E 2는 크기뿐 아니라 종까지 자주 잘못 표현한다. 이런 사건을 보여 주는 실제 사진이 적기 때문으로 추정된다. 반면 어린이와 음식에 관한 훈련 사진은 많고, 해당 하위 영역이나 분류는 충분히 발달했으리라 예상할 수 있다.
DALL-E가 매우 이질적인 이미지 요소를 나란히 놓는 데 어려움을 겪는다는 것은, 사람들이 시스템의 사실적 표현과 폭넓은 해석 능력에 감탄한 나머지 단순히 한 요소를 다른 요소에 어색하게 붙여 놓은 경우를 아직 비판적으로 보지 못한다는 뜻일 수 있다. DALL-E 2 공식 사이트의 다음 예가 그렇다.
새 논문은 다음과 같이 설명한다*.
‘관계 이해는 인간 지능의 기본 구성 요소이며 발달 초기부터 나타나고 빠르고 자동적으로 지각 과정에서 계산된다.
‘DALL-E 2가 기본적인 공간 관계(예를 들어 안에, 위에, 아래에)조차 어려워한다는 사실은, 무엇을 학습했든 인간이 세상을 유연하고 견고하게 구조화하게 하는 표상은 아직 배우지 못했음을 시사한다.
‘이를 직접 해석하면 DALL-E 2 같은 시스템은 아직 관계적 구성성을 갖추지 못했다고 볼 수 있다.’
저자들은 DALL-E 계열처럼 텍스트로 유도하는 이미지 생성 시스템이 로봇공학에서 흔히 사용하는 알고리즘의 도움을 받을 수 있다고 제안한다. 이런 알고리즘은 정체성과 관계를 동시에 모델링한다. 에이전트는 여러 요소를 단순히 섞는 대신 실제 환경과 상호작용해야 하기 때문이다.
이러한 접근법 중 CLIPort는 DALL-E 2에서 품질 평가 요소로 쓰이는 동일한 CLIP 메커니즘을 이용한다.

워싱턴대학교와 NVIDIA가 2021년에 공동 연구한 CLIPort는 매우 실용적인 맥락에서 CLIP을 사용한다. 따라서 훈련된 시스템은 반드시 물리적 관계를 이해해야 한다. 이러한 동기는 DALL-E 2와 유사한 환상적 이미지 합성 프레임워크에는 없다. 출처: https://arxiv.org/pdf/2109.12098.pdf
저자들은 또 다른 가능한 개선으로 DALL-E 같은 이미지 합성 시스템의 단일 계산층에 곱셈 효과를 도입하는 방안을 제시한다. 이는 정보 처리 능력에서 영감을 얻은 생물학적 시스템처럼 관계를 계산하게 하려는 것이다.
새 논문의 제목은 텍스트 유도 이미지 생성의 관계 이해 시험이며, 하버드대학교 심리학과의 Colin Conwell과 Tomer D. Ullman이 작성했다.
초기 비판을 넘어서
저자들은 DALL-E 2 출력의 사실성과 일관성 뒤에 있는 ‘손속임’을 논하며, DALL-E형 이미지 생성 시스템의 결함을 지적한 기존 연구를 소개한다.
올해 6월 캘리포니아대학교 버클리 연구진은 DALL-E의 반사와 그림자 처리 문제를 지적했다. 같은 달 한국 연구진은 DALL-E 2형 출력의 독특함과 독창성을 비판적으로 검토했다. NYU와 텍사스대학교가 출시 직후 실시한 DALL-E 2 이미지의 예비 분석은 구성성과 다른 필수 요소에서 다양한 문제를 발견했다. 지난달에는 일리노이대학교와 MIT의 공동 연구가 구성성 측면에서 이러한 시스템의 아키텍처 개선을 제안했다.
연구진은 Aditya Ramesh 같은 DALL-E의 주요 인사들도 속성 연결, 상대적 크기, 텍스트 등의 문제를 인정했다고 덧붙였다.
Google의 경쟁 이미지 합성 시스템 Imagen 개발진도 DrawBench라는 새로운 비교 시스템을 제안했다. 이는 다양한 척도로 프레임워크 간 이미지 정확도를 평가한다.
새 논문의 저자들은 알고리즘 척도 대신 사람의 판단을 결과 이미지에 적용하면, 약점이 어디에 있고 어떻게 완화할 수 있는지 더 잘 파악할 수 있다고 제안한다.
연구
이를 위해 새 프로젝트는 심리학적 원리에 접근법을 두고 현재의 관심 급증 현상, 특히 프롬프트 엔지니어링 열풍에서 한발 물러나려 한다. 프롬프트 엔지니어링은 사실상 DALL-E 2나 비슷한 시스템의 결함을 인정하는 것이므로, 이런 우회법이 필요한 한계를 조사하고 가능하면 해결하려는 것이다.
논문은 다음과 같이 설명한다.
‘이 연구는 인지·발달·언어학 문헌에서 앞서 설명하거나 조사하거나 제안한 15가지 기본 관계에 초점을 맞춘다. 여기에는 구체적인 공간 관계, 예를 들어 X가 Y 위에 있음과 더 추상적인 에이전트 관계, 예를 들어 X가 Y를 도움 모두가 포함된다.
‘프롬프트는 속성의 복잡성이나 부연 없이 의도적으로 단순하게 만들었다. 즉 “당나귀와 문어가 게임을 한다. 당나귀는 줄의 한쪽 끝을, 문어는 다른 쪽 끝을 잡고 있다. 당나귀는 줄을 입에 물고 있다. 고양이가 줄을 뛰어넘는다” 대신 “칼 위의 상자”를 사용한다.
‘이러한 단순함으로도 인간 심리의 다양한 하위 영역에 걸친 폭넓은 관계를 포착할 수 있으며, 모델의 잠재적 실패를 더 뚜렷하고 구체적으로 드러낸다.’
저자들은 Prolific에서 미국 거주자 169명을 모집했다. 평균 나이는 33세이고 여성 비율은 59%였다.
참가자들에게 3×6 격자의 이미지 18장을 보여 주었다. 맨 위에는 프롬프트가, 아래에는 이미지 전부 또는 일부가 해당 프롬프트에서 생성되었거나 전혀 그렇지 않을 수도 있다는 안내문이 있었다. 참가자들은 프롬프트와 관련 있다고 생각하는 이미지를 선택했다.
이미지는 언어·발달·인지 문헌에 기반했으며, 물리적 관계 여덟 가지와 에이전트 관계 일곱 가지로 구성되었다. 아래에서 그 내용을 설명한다.
물리적 관계
안에, 위에, 아래에, 덮음, 가까이, 가려짐, 위에 매달림, 그리고 묶여 있음.
에이전트 관계
밀기, 당기기, 만지기, 때리기, 발로 차기, 돕기, 그리고 방해하기.
이 관계는 모두 앞서 언급한 컴퓨터과학 이외의 연구 분야에서 가져왔다.
프롬프트에 사용할 개체 열두 가지를 선정했는데, 물체 여섯 가지와 에이전트 여섯 가지였다.
물체
상자, 원기둥, 담요, 그릇, 찻잔, 그리고 칼.
에이전트
남자, 여자, 아이, 로봇, 원숭이, 그리고 이구아나.
(연구진은 사회학이나 심리학 연구에 흔히 등장하지 않는 이구아나를 포함한 것이 ‘재미를 위한 선택’이었다고 인정한다.)
각 관계마다 두 개체를 무작위로 다섯 번 추출해 서로 다른 프롬프트 다섯 개를 만들었다. 총 75개를 DALL-E 2에 입력했고, 각각 처음 제공된 이미지 18장을 사용했다. 변형이나 재시도는 허용하지 않았다.
결과
논문은 다음과 같이 설명한다*.
‘참가자들이 평가한 DALL-E 2 이미지와 생성 프롬프트의 일치도는 전반적으로 낮았다. 서로 다른 프롬프트 75개에서 평균은 22.2% [18.3, 26.6]였다.
‘에이전트 프롬프트 35개의 평균 일치도는 28.4% [22.8, 34.2]로, 물리적 프롬프트 40개의 평균인 16.9% [11.9, 23.0]보다 높았다.’

연구 결과. 검은 점은 모든 프롬프트를 나타내며, 각 점은 개별 프롬프트다. 색은 주제가 에이전트인지 물리적 대상, 즉 물체인지 구분한다.
인간과 알고리즘의 이미지 지각 차이를 비교하기 위해 연구진은 이미지를 OpenAI의 오픈소스 ViT-L/14 CLIP 기반 프레임워크로 평가했다. 점수를 평균하자 두 결과 집합 사이에 ‘중간 정도의 관계’가 나타났다. CLIP 자체가 이미지 생성에 기여한다는 점을 생각하면 의외일 수 있다.

CLIP(ViT-L/14)과 사람의 응답을 비교한 결과.
연구진은 아키텍처의 다른 메커니즘과 우연한 훈련 데이터의 과다 또는 부족이, CLIP이 DALL-E의 한계를 알아보면서도 모든 경우에 문제를 해결하지는 못하는 이유를 설명할 수 있다고 제안한다.
저자들은 DALL-E 2가 관계 이해를 포함하는 이미지를 재현하는 능력은 있더라도 명목상에 그친다고 결론 내린다. 관계 이해는 인간에게 매우 일찍 발달하는 지능의 기본 측면이다.
‘DALL-E 2 같은 시스템에 구성성이 없다는 생각은 “발레 튀튀를 입은 아기 다이콘 무의 만화 캐릭터가 푸들을 산책시키는 모습”처럼 놀라울 정도로 그럴듯한 결과를 본 사람에게 의외일 수 있다. 이런 프롬프트는 모든 부분이 올바른 위치에 있는 구성적 개념의 합리적인 근사치를 만드는 경우가 많다.
‘그러나 구성성은 이전에 함께 본 적 없는 것들을 포함해 단순히 요소들을 붙이는 능력만을 뜻하지 않는다. 구성성에는 요소들을 결합하는 규칙을 이해하는 능력이 필요하다. 관계가 바로 그런 규칙이다.’
사람이 티라노사우루스를 물다
의견 OpenAI는 최근 DALL-E 2 베타 서비스에 요금을 도입한 뒤 더 많은 사용자를 받아들이고 있다. 이제 대부분의 생성에 요금을 내야 하므로 관계 이해의 결함은 더 뚜렷해질 수 있다. ‘실패한’ 시도마다 비용이 들고 환불은 제공되지 않기 때문이다.
조금 더 일찍 초대받은 우리는 시스템의 여러 ‘관계 오류’를 관찰할 시간이 있었다. 최근까지는 시스템을 더 자유롭게 시험할 수도 있었다.
예를 들어 쥬라기 공원 팬에게는 DALL-E 2에서 공룡이 사람을 뒤쫓도록 만들기가 매우 어렵다. ‘추격’이라는 개념은 DALL-E 2의 검열 체계에 들어 있지 않은 듯하며, 공룡 영화의 오랜 역사는 이처럼 실제로 불가능한 종의 만남에 풍부한 훈련 사례를 제공해야 할 것 같다. 적어도 예고편과 홍보 사진이라는 형태로는 그렇다.
위 이미지는 ‘[공룡]이 [사람]을 뒤쫓음’ 형식의 프롬프트를 바꿔 시도했을 때 전형적으로 나온 결과다. 아무리 부연해도 티라노사우루스는 요청대로 움직이지 않는다. 첫 두 사진에서는 사람이 대체로 공룡을 쫓고, 세 번째에서는 안전을 무시하고 다가간다. 마지막에서는 큰 짐승과 나란히 달리는 듯하다. 이 주제로 약 10~15번 시도하는 동안 공룡은 비슷하게 ‘딴 데 정신이 팔린’ 모습이었다.
DALL-E 2가 접한 훈련 데이터는 ‘사람이 공룡과 싸움’ 같은 장면, 예컨대 공룡 백만년(1966) 같은 옛 영화의 홍보 사진뿐이었을 수도 있다. 포식자의 왕에게서 벗어나는 제프 골드블룸의 유명한 도주는 그 작은 데이터 집합에서 예외에 불과할 수 있다.
* 필자가 저자들의 본문 인용을 하이퍼링크로 바꾸었다.
2022년 8월 4일 최초 게재.
















