DALL-E 2는 그들의 관계를 이해하지 않고 단지 '붙이는 것'입니까?

하버드 대학교의 새로운 연구 논문에 따르면 OpenAI의 헤드라인을 장식하는 텍스트-이미지 프레임워크 DALL-E 2는 합성 사진으로 구성하는 요소 간의 관계를 유아 수준으로 재현하는 데 상당한 어려움이 있습니다. 그것의 출력.

연구자들은 169명의 크라우드 소싱 참가자를 대상으로 사용자 연구를 수행했으며, 이들은 가장 기본적인 인간 관계 의미론 원칙을 기반으로 하는 DALL-E 2 이미지와 이를 생성한 텍스트 프롬프트를 제공받았습니다. 프롬프트와 이미지가 관련되어 있는지 묻는 질문에 DALL-E 22가 시각화하도록 요청받은 매우 단순한 관계의 관점에서 이미지의 2% 미만이 관련 프롬프트와 관련이 있는 것으로 인식되었습니다.

새 논문에 대해 수행된 시험의 화면 캡처. 참가자들은 프롬프트와 일치하는 모든 이미지를 선택하는 임무를 받았습니다. 인터페이스 하단의 면책 조항에도 불구하고 모든 경우에 참가자가 모르는 이미지는 표시된 관련 프롬프트에서 생성된 것입니다. 출처 : https://arxiv.org/pdf/2208.00005.pdf

결과는 또한 이질적인 요소를 결합하는 DALL-E의 명백한 능력이 시스템을 강화하는 실제 교육 데이터에서 발생할 가능성이 낮아짐에 따라 감소할 수 있음을 시사합니다.

예를 들어, 프롬프트 '사발을 만지는 아이'에 대한 이미지는 87%의 동의율을 얻었습니다(즉, 참가자는 프롬프트와 관련된 대부분의 이미지를 클릭했습니다). 11%만 동의:

DALL-E는 '이구아나를 만지는 원숭이'라는 있을 법하지 않은 사건을 묘사하는 데 어려움을 겪고 있습니다. 아마도 훈련 세트에서 흔하지 않고 존재하지 않을 가능성이 더 높기 때문일 것입니다.

두 번째 예에서 DALL-E 2는 종종 이 사건을 묘사하는 실제 이미지가 부족하기 때문에 규모와 심지어 종까지 잘못 이해합니다. 그에 반해 아이들과 음식에 관련된 트레이닝 사진이 많을 것으로 예상하고, 이 서브도메인/클래스가 잘 발달되어 있는 것은 당연합니다.

심하게 대조되는 이미지 요소를 병치하는 DALL-E의 어려움은 대중이 현재 시스템의 사실적이고 광범위한 해석 능력에 너무 현혹되어 시스템이 한 요소를 다른 요소에 효과적으로 '접착'한 경우에 대한 비판적 시각을 개발하지 못했음을 시사합니다. , 공식 DALL-E 2 사이트의 다음 예에서와 같이:

DALL-E 2의 공식 예제에서 잘라서 붙여넣기 합성. 출처: https://openai.com/dall-e-2/

새 논문에서는* 다음과 같이 말합니다.

'관계적 이해는 인간 지능의 기본 구성 요소이며, 초기 개발, 빠르고 자동으로 계산됩니다. 지각에.

'DALL-E 2'의 기본적인 공간 관계(예: in, on, 아래에)는 학습한 내용이 무엇이든 인간이 세계를 유연하고 견고하게 구성할 수 있게 해주는 표현 유형을 아직 학습하지 않았음을 시사합니다.

'이러한 어려움에 대한 직접적인 해석은 DALL-E 2와 같은 시스템에는 아직 관계 구성이 없다는 것입니다.'

저자는 DALL-E 시리즈와 같은 텍스트 안내 이미지 생성 시스템이 에이전트가 단순히 조작하는 것이 아니라 실제로 환경과 상호 작용해야 하기 때문에 정체성과 관계를 동시에 모델링하는 로봇 공학에 공통적인 알고리즘을 활용함으로써 이점을 얻을 수 있다고 제안합니다. 다양한 요소의 조화.

그러한 접근법 중 하나인 CLI포트, 동일하게 사용 CLIP 메커니즘 DALL-E 2에서 품질 평가 요소 역할을 하는:

2021년 워싱턴 대학과 NVIDIA 간의 협력인 CLIPort는 매우 실용적인 맥락에서 CLIP을 사용하므로 그것에 대해 훈련된 시스템은 DALL-E 2 및 유사한 '환상적인' 동기부여 요소인 물리적 관계에 대한 이해를 반드시 개발해야 합니다. 이미지 합성 프레임워크. 출처 : https://arxiv.org/pdf/2109.12098.pdf

저자는 DALL-E와 같은 이미지 합성 시스템의 아키텍처가 승법 효과 정보 처리 능력에서 영감을 얻은 방식으로 관계 계산을 허용하는 유일한 계산 계층에서 생물 학적 시스템.

The 새 용지 제목이 텍스트 기반 이미지 생성에서 관계 이해 테스트, 하버드 심리학과의 Colin Conwell과 Tomer D. Ullman에서 왔습니다.

초기 비평을 넘어

DALL-E 2 출력의 사실성과 무결성 뒤에 있는 '손재주'에 대해 언급하면서 저자는 DALL-E 스타일의 생성 이미지 시스템에서 결점을 발견한 이전 작업에 주목합니다.

올해 XNUMX월 UoC 버클리 유명한 반사와 그림자를 다루는 DALL-E의 어려움; 같은 달 한국에서 DALL-E 2 스타일 출력의 '유일성'과 독창성을 조사한 연구 비판적인 눈으로; 예비 분석 DALL-E 2 이미지의 출시 직후 NYU와 University of Texas에서 DALL-E 2 이미지의 구성 및 기타 필수 요소에 대한 다양한 문제를 발견했습니다. 그리고 지난달, 공동 작업 일리노이 대학교와 MIT 사이에서 구성 측면에서 그러한 시스템에 대한 아키텍처 개선을 위한 제안을 제공했습니다.

연구원들은 또한 Aditya Ramesh와 같은 DALL-E 유명인들이 인정한 바인딩, 상대적 크기, 텍스트 및 기타 문제와 관련된 프레임워크의 문제.

Google의 라이벌 이미지 합성 시스템 Imagen의 배후 개발자도 제안했습니다. 드로벤치, 다양한 메트릭을 사용하여 프레임워크 전체에서 이미지 정확도를 측정하는 새로운 비교 시스템입니다.

대신, 새로운 논문의 저자는 결과 이미지에 대해 인간의 추정(internecine, 알고리즘 메트릭이 아닌)을 사용하여 약점이 있는 위치와 이를 완화하기 위해 수행할 수 있는 작업을 설정함으로써 더 나은 결과를 얻을 수 있다고 제안합니다.

공부

이를 위해 새로운 프로젝트는 심리학적 원리에 접근하고 현재의 틀에서 벗어나고자 합니다. 관심의 급증 in 신속한 엔지니어링 (실제로 DALL-E 2 또는 유사한 시스템의 단점에 대한 양보), 이러한 '해결 방법'을 필요로 하는 제한 사항을 조사하고 잠재적으로 해결합니다.

논문은 다음과 같이 말합니다.

'현재 작업은 인지, 발달 또는 언어 문헌에서 이전에 설명, 조사 또는 제안된 15개의 기본 관계 세트에 초점을 맞추고 있습니다. 이 세트는 근거가 있는 공간 관계(예: 'X on Y')와 보다 추상적인 에이전트 관계(예: 'X가 Y를 돕는 것')를 모두 포함합니다.

'프롬프트는 복잡한 속성이나 정교함 없이 의도적으로 단순합니다. 즉, '당나귀와 문어가 게임을 하고 있다' 같은 프롬프트 대신. 당나귀는 한쪽 끝에 밧줄을 잡고 있고 문어는 다른 쪽 끝에 밧줄을 잡고 있습니다. 당나귀는 입에 밧줄을 물고 있습니다. 고양이가 밧줄을 뛰어넘고 있다', 우리는 '칼 위의 상자'를 사용합니다.

'단순성은 여전히 ​​인간 심리학의 다양한 하위 영역에서 광범위한 관계를 포착하고 잠재적인 모델 실패를 더욱 두드러지고 구체적으로 만듭니다.'

연구를 위해 저자는 평균 연령이 169세이고 33%가 여성인 Prolific에서 59명의 참가자를 모집했습니다.

참가자들은 상단에 프롬프트가 있는 18×3 그리드로 구성된 6개의 이미지를 보여주고 하단에는 표시된 프롬프트에서 이미지의 전부, 일부 또는 전혀 생성되지 않았을 수 있다는 면책 조항을 표시한 다음 다음을 요청했습니다. 이런 식으로 관련이 있다고 생각되는 이미지를 선택합니다.

개인에게 제시된 이미지는 XNUMX개의 물리적 관계와 XNUMX개의 '대리인' 관계로 구성된 언어, 발달 및 인지 문헌을 기반으로 했습니다(이는 곧 명확해질 것입니다).

물리적 관계
in, on, under, covering, near, occluded by, 교수형, 그리고 묶인.

대리인 관계
밀고, 당기고, 만지고, 때리고, 차고, 돕고, 그리고 방해.

이러한 모든 관계는 이전에 언급한 비 CS 연구 분야에서 도출되었습니다.

따라서 프롬프트에서 사용하기 위해 XNUMX개의 개체와 XNUMX개의 에이전트와 함께 XNUMX개의 엔터티가 파생되었습니다.

사물
상자, 실린더, 담요, 그릇, 찻잔, 그리고 칼.

중개인
남자, 여자, 아이, 로봇, 원숭이, 그리고 이구아나.

(연구자들은 건조한 사회학적 또는 심리학적 연구의 주류가 아닌 이구아나를 포함하는 것이 '대접'이었다고 인정합니다.)

각 관계에 대해 두 개체를 75번 무작위로 샘플링하여 2개의 서로 다른 프롬프트를 생성하여 총 18개의 프롬프트를 얻었고 각 프롬프트는 DALL-E XNUMX에 제출되었으며 각각에 대해 처음 제공된 XNUMX개의 이미지가 변형 없이 사용되었습니다. 또는 두 번째 기회가 허용됩니다.

결과

논문 상태*:

'참가자들은 평균적으로 DALL-E 2의 이미지와 이를 생성하는 데 사용된 프롬프트 사이에 낮은 수준의 동의를 보고했으며, 22.2개의 개별 프롬프트에서 평균 18.3%[26.6, 75]를 기록했습니다.

'28.4개의 프롬프트에서 평균 22.8%[34.2, 35]의 에이전트 프롬프트는 16.9개의 프롬프트에서 평균 11.9%[23.0, 40]의 물리적 프롬프트보다 더 높은 동의를 생성했습니다.'

연구 결과. 검은색 점은 모든 프롬프트를 나타내며 각 포인트는 개별 프롬프트이며 색상은 프롬프트 대상이 행위자인지 물리적인지(예: 물체)에 따라 구분됩니다.

이미지에 대한 인간의 인식과 알고리즘 인식의 차이를 비교하기 위해 연구원들은 OpenAI의 오픈 소스를 통해 렌더링을 실행했습니다. ViT-L/14 CLIP 기반 프레임워크. 점수의 평균을 구한 결과 두 세트의 결과 사이에 '보통의 관계'가 있음을 발견했습니다. 이는 CLIP 자체가 이미지 생성에 어느 정도 도움이 되는지를 고려할 때 놀라운 일입니다.

인간 반응에 대한 CLIP(ViT-L/14) 비교 결과.

연구자들은 아키텍처 내의 다른 메커니즘이 훈련 세트에서 데이터의 우발적 우세(또는 부족)와 결합되어 CLIP이 모든 경우에 아무것도 할 수 없는 DALL-E의 한계를 인식할 수 있는 방식을 설명할 수 있다고 제안합니다. 문제에 대해 많이.

저자는 DALL-E 2가 관계 이해를 포함하는 이미지를 재생산할 수 있는 개념적 기능만 가지고 있다고 결론지었습니다.

'DALL-E 2와 같은 시스템에 구성성이 없다는 개념은 '투투를 입고 푸들을 걷는 아기 무의 만화'와 같은 프롬프트에 대한 DALL-E 2의 놀랍도록 합리적인 반응을 본 사람에게는 놀라운 일이 될 수 있습니다. 이와 같은 프롬프트는 종종 프롬프트의 모든 부분이 올바른 위치에 존재하는 구성 개념의 합리적인 근사치를 생성합니다.

'그러나 구성성은 사물을 함께 붙일 수 있는 능력일 뿐만 아니라 이전에 함께 관찰한 적이 없는 것일 수도 있습니다. 구성에 대한 이해가 필요합니다. 규칙 사물을 하나로 묶는 것. 관계는 그런 규칙입니다.'

남자가 티라노사우르스를 물다

의견 OpenAI가 더 많은 수의 사용자 DALL-E 2의 최근 베타 수익화 이후, 그리고 이제 대부분의 세대에 대해 비용을 지불해야 하기 때문에 DALL-E 2의 관계 이해의 단점은 각각의 '실패한' 시도에 재정적 가중치가 있기 때문에 더욱 분명해질 수 있습니다. 환불이 불가능합니다.

조금 더 일찍 초대를 받은 사람들은 DALL-E 2가 내보낼 수 있는 '관계 결함' 중 일부를 관찰할 시간이 있었습니다(그리고 최근까지 시스템을 가지고 놀 수 있는 더 많은 여가).

예를 들어, 쥬라기 공원 팬 여러분, DALL-E 2에서는 '추격'이라는 개념이 나오지 않는데도 DALL-E 2에서 공룡이 사람을 쫓는 것은 매우 어렵습니다. 검열 시스템, 그리고 비록 오랜 역사 공룡 영화는 달리 불가능한 종의 만남을 위해 풍부한 훈련 사례(적어도 예고편 및 홍보 장면의 형태로)를 제공해야 합니다.

'길에서 사람을 쫓는 T-Rex의 컬러 사진' 프롬프트에 대한 일반적인 DALL-E 2 응답입니다. 출처: DALL-E 2

위의 이미지는 '[공룡]이 [사람]을 쫓고 있다' 즉각적인 디자인, 그리고 프롬프트에 아무리 정교해도 T-Rex가 실제로 준수하도록 할 수 없습니다. 첫 번째와 두 번째 사진에서 남자는 (다소) T-Rex를 쫓고 있습니다. 세 번째는 안전을 무시하고 접근하는 것입니다. 그리고 최종 이미지에서 분명히 거대한 짐승과 나란히 조깅을 하고 있습니다. 이 주제에 대한 약 10-15번의 시도에서 나는 공룡이 비슷하게 '산만해짐'을 발견했습니다.

DALL-E 2가 액세스할 수 있는 유일한 교육 데이터는 '인간이 공룡과 싸운다', 다음과 같은 오래된 영화의 홍보 장면에서 기원전 백만년 (1966), 그리고 Jeff Goldblum의 유명한 비행 포식자의 왕으로부터 온 것은 그 작은 데이터 트랜치에서 단순히 이상치입니다.

* 저자의 인라인 인용을 하이퍼링크로 변환했습니다.

4년 2022월 XNUMX일에 처음 게시되었습니다.