오픈AI의 DALL-E 3에 대한 자세한 분석

확산 모델의 부상

過去 3年間, 비전 AI는 확산 모델의 부상으로 큰 발전을 이루었습니다. 특히 이미지 생성 분야에서 큰 발전을 이루었습니다. 확산 모델 이전에는 생성적 적대적 네트워크(GANs)가 이미지 생성을 위한 기술로 사용되었습니다.

GANs

그러나, 그것들은 많은 데이터와 계산 능력이 필요하다는 문제점이 있었습니다. 이것은 그것들을 다루기 어렵게 만들었습니다.

그런데, 확산 모델이 등장했습니다. 확산 모델은 데이터에 노이즈를 추가하여 데이터를 흐리게 만듭니다. 그리고나서, 그것은 이 노이즈를 제거하여 의미 있는 데이터를 재구성합니다. 이 과정은 효과적이고 자원 집중적이지 않기 때문에, 확산 모델은 AI 커뮤니티에서 핫한 주제가 되었습니다.

진짜 전환점은 2020년으로, 혁신적인 논문과 오픈AI의 CLIP 기술의 도입으로 확산 모델의 능력이 크게 향상되었습니다. 이것은 확산 모델이 텍스트-이미지 합성에서 매우 뛰어난 능력을 가지게 만들었습니다. 이것은 이미지 생성뿐만 아니라 음악 작곡과 생물의학 연구 등 다른 분야에서도 발전을 이루었습니다.

오늘날, 확산 모델은 학술적 관심의 대상뿐만 아니라 실제 상황에서 사용되고 있습니다.

생성적 모델링과 셀프 어텐션 레이어: DALL-E 3

Source

이 분야에서 중요한 발전은 생성적 모델링의 진화입니다. 샘플링 기반 접근 방식인 오토레그레시브 생성적 모델링과 확산 프로세스가 주도하고 있습니다. 이것은 텍스트-이미지 모델에서 큰 성능 향상을 이루었습니다. 이미지 생성을离散한 단계로 나누어, 이러한 모델은 더 다루기 쉽고 신경망이 학습하기 쉽게 되었습니다.

병렬로, 셀프 어텐션 레이어의 사용이 중요한 역할을 했습니다. 이러한 레이어는 함께 쌓여, 공간적 편향 없이 이미지를 생성하는 데 도움을 주었습니다. 이것은 확산 모델이 규모가 크고 안정적이며 효율적인 대안으로 등장하는 데 기여했습니다.

이미지 생성의 도전과 해결

이미지 생성에서 제어 가능성은 여전히 도전입니다. 프롬프트를 따르는 문제, 즉 모델이 입력 텍스트에 충실히 따르지 않는 문제가 있습니다. 이를 해결하기 위해 새로운 접근 방식인 캡션 개선이 제안되었습니다. 훈련 데이터 세트에서 텍스트와 이미지의 짝을 향상시키는 데 도움을 주는 것입니다.

캡션 개선: 새로운 접근

캡션 개선은 이미지에 대한 더 나은 캡션을 생성하는 것을 포함합니다. 이것은 텍스트-이미지 모델을 더 정확하게 훈련하는 데 도움을 줍니다. 강력한 이미지 캡션어가 이미지에 대한 자세한 설명을 생성합니다. DALL-E 3은 이러한 개선된 캡션을 사용하여 인상적인 결과를 달성했습니다.

합성 데이터를 사용한 훈련

합성 데이터를 사용한 훈련의 개념은 새로운 것이 아닙니다. 그러나 여기서의 독창적인 기여는 새로운 설명적 이미지 캡션 시스템을 만드는 것입니다. 합성 캡션을 사용하여 생성적 모델을 훈련하는 것은 모델의 프롬프트를 따르는 능력에서 큰 발전을 이루었습니다.

DALL-E 3의 평가

다양한 평가와 이전 모델인 DALL-E 2와 Stable Diffusion XL과의 비교를 통해, DALL-E 3은 뛰어난 성능을 보여주었습니다. 특히 프롬프트를 따르는 능력에서 그렇습니다.

Comparison of text-to-image models on various evaluations

자동화된 평가와 벤치마크의 사용은 모델의 능력을 명확하게 보여주었습니다. 이것은 상태 오프 더 아트 텍스트-이미지 생성기로서의 그들의 위치를 굳혔습니다.