OpenAI의 DALL-E 3 자세히 살펴보기

확산 모델의 부상

지난 3년 동안 비전 AI는 확산 모델의 등장을 목격했으며, 특히 이미지 생성 분야에서 큰 도약을 이루었습니다. 확산 모델 이전에는 GAN (Generative Adversarial Networks) 사실적인 이미지를 생성하는 데 필요한 기술이었습니다.

간

그러나 방대한 양의 데이터와 계산 능력이 필요하다는 점을 포함하여 문제를 해결하기가 까다로워지는 경우가 많았습니다.

엔터 버튼 방송 모델. 이는 GAN에 대한 보다 안정적이고 효율적인 대안으로 등장했습니다. GAN과 달리 확산 모델은 데이터에 노이즈를 추가하여 무작위성만 남을 때까지 데이터를 모호하게 만드는 방식으로 작동합니다. 그런 다음 이 프로세스를 역방향으로 진행하여 노이즈로부터 의미 있는 데이터를 재구성합니다. 이 프로세스는 효과적이고 리소스 집약도가 낮은 것으로 입증되어 확산 모델이 AI 커뮤니티에서 뜨거운 주제가 되었습니다.

일련의 혁신적인 논문과 OpenAI의 CLIP 확산 모델의 성능을 크게 향상시킨 기술입니다. 이로 인해 확산 모델은 텍스트-이미지 합성에 탁월한 성능을 발휘하여 텍스트 설명에서 사실적인 이미지를 생성할 수 있었습니다. 이러한 혁신은 이미지 생성뿐만 아니라 다음과 같은 분야에서도 이루어졌습니다. 음악 작곡 및 생물의학 연구.

오늘날 확산 모델은 학문적 관심 주제일 뿐만 아니라 실제적이고 실제적인 시나리오에서 사용되고 있습니다.

생성 모델링 및 Self-Attention 레이어: DALL-E 3

출처

이 분야의 중요한 발전 중 하나는 자동회귀 생성 모델링 및 확산 프로세스와 같은 샘플링 기반 접근 방식을 선도하는 생성 모델링의 진화입니다. 그들은 텍스트를 이미지로 모델을 변환하여 성능을 대폭 향상시켰습니다. 이미지 생성을 개별 단계로 분류함으로써 이러한 모델은 신경망이 학습하기가 더 쉽고 쉬워졌습니다.

동시에, self-attention 레이어의 사용이 중요한 역할을 했습니다. 함께 쌓인 이러한 레이어는 컨볼루션의 일반적인 문제인 암시적 공간 편향 없이 이미지를 생성하는 데 도움이 되었습니다. 이러한 변화로 인해 변환기의 스케일링 속성이 잘 이해되었기 때문에 텍스트-이미지 모델이 안정적으로 확장되고 개선될 수 있었습니다.

이미지 생성의 과제와 솔루션

이러한 발전에도 불구하고 이미지 생성의 제어 가능성은 여전히 ​​과제로 남아 있습니다. 모델이 입력 텍스트를 밀접하게 준수하지 않을 수 있는 프롬프트 따르기와 같은 문제가 널리 퍼져 있었습니다. 이를 해결하기 위해 훈련 데이터 세트에서 텍스트와 이미지 쌍의 품질을 향상시키는 것을 목표로 캡션 개선과 같은 새로운 접근 방식이 제안되었습니다.

캡션 개선: 새로운 접근 방식

캡션 개선에는 이미지에 대해 더 나은 품질의 캡션을 생성하는 작업이 포함되며, 이는 결과적으로 보다 정확한 텍스트-이미지 모델을 훈련하는 데 도움이 됩니다. 이는 이미지에 대한 자세하고 정확한 설명을 생성하는 강력한 이미지 캡션 작성자를 통해 달성됩니다. 이러한 개선된 캡션에 대한 교육을 통해 DALL-E 3는 인간이 제작한 사진 및 예술 작품과 매우 유사한 놀라운 결과를 얻을 수 있었습니다.

합성 데이터 교육

합성 데이터에 대한 교육 개념은 새로운 것이 아닙니다. 그러나 여기서 독특한 기여는 참신하고 설명적인 이미지 캡션 시스템을 만드는 것입니다. 생성 모델을 훈련하기 위해 합성 캡션을 사용하는 것의 영향은 상당했으며, 프롬프트를 정확하게 따르는 모델의 능력이 향상되었습니다.

DALL-E 3 평가하기

DALL-E 2 및 Stable Diffusion XL과 같은 이전 모델과의 여러 평가 및 비교를 통해 DALL-E 3는 특히 신속한 추적과 관련된 작업에서 탁월한 성능을 입증했습니다.

다양한 평가에 대한 텍스트-이미지 모델 비교

자동화된 평가 및 벤치마크의 사용은 해당 기능에 대한 명확한 증거를 제공하여 최첨단 텍스트-이미지 생성기로서의 입지를 확고히 했습니다.