노이즈로부터 이미지 합성을 위한 확산 모델은 반복적인 노이즈 제거 과정을 통해 이미지 합성을 수행하는 생성적 인공지능 프레임워크입니다. 이들은 텍스트 또는 클래스 조건부 지침 방법을 포함하여 텍스트 또는 클래스 조건부 지침 방법을 사용하여 예외적인 이미지 생성 능력과 다양성을 가지고 있습니다. 이러한 모델은 다양한、高품질의 이미지를 생성하는 데 성공적으로 사용되었습니다. 최근 연구에 따르면, 이러한 모델에서 생성된 이미지의 품질을 향상시키는 데 중요한 역할을 하는 지침 기술은 클래스 캡션 및 레이블과 같은 것입니다.

그러나 확산 모델과 지침 방법은 특정 외부 조건에서 제한을 받습니다. 레이블 드롭을 사용하는 Classifier-Free Guidance(CFG) 방법은 훈련 과정을 복잡하게 만들며, Classifier Guidance(CG) 방법은 추가적인 분류기 훈련이 필요합니다. 두 방법 모두 외부 조건에 의존하여 제한적이며, 조건부 확산 모델에만 적용할 수 있습니다.

이러한 제한을 해결하기 위해 개발자들은 확산 지침의 더 일반적인 접근 방식을 제안했습니다. 즉, 자기 주의 지침(Self-Attention Guidance, SAG) 방법입니다. 이 방법은 확산 모델의 중간 샘플에서 정보를 사용하여 이미지를 생성합니다. 이 문서에서는 SAG 방법의 작동 방식, 방법론 및 결과를 비교하여 현재의 최첨단 프레임워크와 파이프라인에 대해 논의합니다.

자기 주의 지침: 확산 모델의 샘플 품질 개선

노이즈 제거 확산 모델(Denoising Diffusion Models, DDM)은 노이즈로부터 이미지 합성을 위한 반복적인 노이즈 제거 과정을 사용합니다. 이러한 모델의 이미지 합성 능력은 주로 사용된 확산 지침 방법에 기인합니다.尽管 이러한 모델의 강점이 있지만, 확산 모델과 지침 기반 방법은 추가적인 복잡성과 계산 비용과 같은 도전을 겪습니다.

현재의 제한을 극복하기 위해 개발자들은 자기 주의 지침 방법을 도입했습니다. 이는 확산 지침의 더 일반적인 형태로, 외부 정보가 아닌 확산 지침의 내부 정보를 사용합니다. 이 접근 방식은 조건부 확산 모델에만 적용할 수 있는 기존 지침 방법의 제한을 해결합니다.

자기 주의 지침은 간단한 원칙에 기반합니다. 즉, 중간 샘플 내에 포함된 내부 정보를 사용하여 이미지를 생성하는 것입니다. 이 원칙에 따라, SAG 방법은 블러 지침(Blur Guidance)을 도입하여 샘플 품질을 개선합니다. 블러 지침은 가우시안 블러를 사용하여 중간 재구성에서 정보를 제거하고, 이 정보를 사용하여 예측을 개선합니다.

그러나 블러 지침 방법은 대규모 지침에서 결과를 복제하지 못하고, 구조적 모호성을 도입하여 원래 입력과 예측을 일치시키기 어렵게 만듭니다. 이를 해결하기 위해, 자기 주의 지침 방법은 확산 모델의 자기 주의 메커니즘을 사용하여 자기 주의 지도(Self-Attention Maps)를 생성합니다.

자기 주의 지도는 중간 샘플에서 중요한 정보를 캡처하여 구조적 모호성을 해결합니다. 자기 주의 지침 방법은 자기 주의 지도에서 중요한 정보를 사용하여 이미지를 생성합니다. 이 방법은 추가적인 훈련이나 외부 정보가 필요하지 않으며, 자기 조건화(self-conditioning)를 사용하여 생성된 이미지의 품질을 향상시킵니다.

자기 주의 지침 방법은 다음과 같은 특징을 가지고 있습니다.

1. 추가적인 훈련이나 외부 조건 없이 확산 모델의 내부 정보를 사용하여 샘플 품질을 개선합니다.
2. 조건부 확산 모델에만 적용할 수 있는 기존 지침 방법의 제한을 해결합니다.
3. 기존 방법과 모델에 대한 직교적인 능력을 제공하여 성능을 향상시킵니다.

자기 주의 지침 방법은 관련 프레임워크의 발견에서 학습하며, 노이즈 제거 확산 모델, 샘플 지침, 생성적 인공지능 자기 주의 방법 및 확산 모델의 내부 표현과 같은 기술을 포함합니다.

자기 주의 지침: 예비 조사, 방법론 및 아키텍처

노이즈 제거 확산 확률 모델 또는 DDPM

노이즈 제거 확산 확률 모델(Denoising Diffusion Probabilistic Model, DDPM)은 노이즈로부터 이미지 합성을 위한 반복적인 노이즈 제거 과정을 사용합니다.

분류기 및 분류기 자유 지침 với GAN 구현

분류기 및 분류기 자유 지침 방법은 노이즈 제거 확산 모델에 대한 지침을 제공합니다. 그러나 이러한 방법은 추가적인 분류기 훈련이나 레이블이 필요하며, 조건부 확산 모델에만 적용할 수 있습니다.

확산 지침의 일반화

분류기 및 분류기 자유 지침 방법은 조건부 생성에 유용하지만, 추가적인 입력이 필요합니다. 일반화된 확산 지침은 이러한 제한을 해결하기 위해 제안되었습니다.

자기 주의 지도 사용하여 이미지 품질 개선

일반화된 확산 지침은 중간 샘플에서 중요한 정보를 추출하여 이미지 품질을 개선하는 데 사용할 수 있습니다.

블러 지침

블러 지침은 가우시안 블러를 사용하여 중간 재구성에서 정보를 제거하고, 이 정보를 사용하여 예측을 개선합니다.

블러 지침 방법은 구조적 모호성을 도입하여 원래 입력과 예측을 일치시키기 어렵게 만듭니다. 이를 해결하기 위해, 자기 주의 지침 방법은 자기 주의 메커니즘을 사용하여 자기 주의 지도에서 중요한 정보를 캡처합니다.

자기 주의 메커니즘

자기 주의 메커니즘은 확산 모델의 핵심 구성 요소 중 하나입니다. 자기 주의 메커니즘은 중간 샘플에서 중요한 정보를 캡처하여 이미지 생성을 개선합니다.

자기 주의 지침: 실험 및 결과

자기 주의 지침 방법의 성능을 평가하기 위해, 8개의 Nvidia GeForce RTX 3090 GPU를 사용하여 샘플링을 수행했습니다.

무조건적 생성 với 자기 주의 지침

무조건적 생성에서, 자기 주의 지침 방법은 이미지 품질을 개선합니다.

조건부 생성 với SAG

조건부 생성에서, 자기 주의 지침 방법은 이미지 품질을 개선합니다.

안정적인 확산 với 자기 주의 지침

안정적인 확산에서, 자기 주의 지침 방법은 이미지 품질을 개선합니다.

현재의 제한

자기 주의 지침 방법은 이미지 품질을 개선하는 데 성공적이지만, 일부 제한이 있습니다.

자기 주의 지침 방법은 추가적인 훈련이나 외부 정보가 필요하지 않지만, 확산 모델의 자기 주의 메커니즘을 사용하여 자기 주의 지도에서 중요한 정보를 캡처합니다.

최종 생각

이 문서에서는 자기 주의 지침 방법을 소개했습니다. 자기 주의 지침 방법은 확산 모델의 내부 정보를 사용하여 이미지 생성을 개선하는 데 사용할 수 있습니다. 자기 주의 지침 방법은 추가적인 훈련이나 외부 정보가 필요하지 않으며, 자기 조건화(self-conditioning)를 사용하여 이미지 품질을 향상시킵니다.