감사합니다. 확산 모델은 텍스트-이미지 생성에서 큰 인기를 얻었습니다. 그러나 현재 모델은 시각적 개념과 속성을 제어하는 데 어려움을 겪고 있으며, 이는 불만족스러운 결과를 초래합니다. 대부분의 모델은 텍스트 프롬프트에만 의존하여 이미지 구조를 변경하는 데 어려움을 겪습니다. 개념 슬라이더는 이러한 문제를 해결하기 위해 제안되었습니다. 개념 슬라이더는 사용자가 원하는 개념을 정밀하게 제어할 수 있는 경량 어댑터입니다. 이 어댑터는 사전 훈련된 모델에 적용되어 이미지 생성과 편집을 향상시킵니다.

개념 슬라이더 소개

현재 텍스트-이미지 확산 프레임워크는 시각적 개념과 속성을 제어하는 데 어려움을 겪고 있습니다. 개념 슬라이더는 이러한 문제를 해결하기 위해 제안되었습니다. 개념 슬라이더는 사용자가 원하는 개념을 정밀하게 제어할 수 있는 경량 어댑터입니다.

대부분의 현재 텍스트-이미지 확산 모델은 직접 텍스트 프롬프트 수정을 통해 이미지 속성을 제어합니다. 그러나 이 접근 방식은 이미지 구조를 변경하는 데 어려움을 겪습니다. 다른 접근 방식은 후속 기술을 사용하여 확산 과정을 반전시키고 교차 주의를 수정하여 시각적 개념을 편집합니다. 그러나 후속 기술은 한계가 있으며, 개념 슬라이더는 이러한 문제를 해결하기 위해 제안되었습니다.

개념 슬라이더는 사용자가 원하는 개념을 정밀하게 제어할 수 있는 경량 어댑터입니다. 이 어댑터는 사전 훈련된 모델에 적용되어 이미지 생성과 편집을 향상시킵니다. 개념 슬라이더는 텍스트 프롬프트에 의존하지 않으며, 사용자가 원하는 개념을 정밀하게 제어할 수 있습니다.

이미지 편집

현재 AI 프레임워크는 이미지 편집을 위해 조건부 입력을 사용하거나 소스 이미지와 대상 프롬프트의 교차 주의를 조작합니다. 그러나 이러한 접근 방식은 단일 이미지에만 적용할 수 있으며, 각 이미지에 대한 잠재적 기초 최적화를 요구합니다.

가이드 기반 방법

분류기 무료 가이드 기반 방법은 생성된 이미지의 품질을 향상시키고 텍스트-이미지 정렬을 강화하는 데 효과가 있습니다. 가이드 용어가 간섭 동안 포함되면, 이 방법은 확산 프레임워크의 제한된 구성성을 개선하고, 안전하지 않은 개념을 통해 안내할 수 있습니다.

모델 편집

개념 슬라이더는 모델 편집 기술로도 사용될 수 있습니다. 이 기술은 낮은 순위 어댑터를 사용하여 단일 시맨틱 속성을 생성하며, 속성과 일치하는 연속적 제어를 허용합니다. 미세 조정 기반 사용자 지정 방법은 프레임워크를 개인화하고 새로운 개념을 추가하는 데 사용됩니다.

GAN의 시맨틱 방향

시맨틱 속성 조작은 생성적 적대적 네트워크의 주요 속성입니다. 잠재 공간 궤적은 자가监督 방식으로 정렬됩니다. 확산 프레임워크에서 이러한 궤적은 U-Net 아키텍처의 중간 레이어에 존재하며, 잠재 공간의 주 방향은 전역 시맨틱을 캡처합니다. 개념 슬라이더는 특별한 속성에 해당하는 낮은 순위 하위 공간을 직접 훈련하며, 텍스트 또는 이미지 쌍을 사용하여 전역 방향을 최적화하여 정밀하고 지역화된 편집 방향을 얻습니다.

개념 슬라이더: 아키텍처 및 작동

확산 모델 및 LoRA 또는 낮은 순위 어댑터

확산 모델은 데이터를 합성하기 위해 확산 과정을 역전시킵니다. 전방 확산 과정은 초기에 데이터에 노イズ를 추가하여 조직화된 상태에서 완전한 가우시안 노イズ 상태로 전환합니다. 확산 모델의 주요 목표는 확산 과정을 역전시키고 이미지에 대한 실제 노イズ를 예측하는 것입니다.

LoRA 또는 낮은 순위 어댑터 기술은 사전 훈련된 프레임워크의 가중치 업데이트를 분해하여 다운스트림 작업에 대한 효율적인 어댑터를 가능하게 합니다. LoRA 기술은 입력 및 출력 차원 모두에 대해 사전 훈련된 모델 레이어의 가중치 업데이트를 분해하고, 업데이트를 낮은 차원 하위 공간으로 제한합니다.

개념 슬라이더

개념 슬라이더의 주요 목표는 확산 프레임워크에서 개념 대상 이미지에 대한 더 큰 제어를 제공하는 LoRA 어댑터를 미세 조정하는 것입니다. 다음 이미지는 개념 슬라이더의 작동 방식을 보여줍니다.

개념 슬라이더는 대상 개념에 조건부로 학습하여 특정 속성의 표현을 증가시키거나 감소시키는 낮은 순위 매개변수 방향을 학습합니다. 모델과 대상 개념에 대해, 개념 슬라이더의 주요 목표는 속성의 강화와 억제의 가능성을 증가시키는 모델을 얻는 것입니다.

시각적 개념 학습

개념 슬라이더는 텍스트 프롬프트가 정의하기 어려운 시각적 개념을 제어하도록 설계되었습니다. 이러한 슬라이더는 작은 데이터셋을 사용하여 이러한 개념을 학습하며, 이미지 쌍의 대조는 슬라이더가 시각적 개념을 학습하는 데 도움이 됩니다.

개념 슬라이더: 구현 결과

개발자들은 Stable Diffusion XL과 같은 고해상도 프레임워크에서 개념 슬라이더의 성능을 분석했습니다. 또한 Stable Diffusion v1.4 프레임워크에서 추가 실험을 수행했습니다.

텍스트 개념 슬라이더

텍스트 개념 슬라이더의 성능을 평가하기 위해, 개발자들은 30개의 텍스트 기반 개념을 사용하여 슬라이더를 검증했습니다. 결과는 다음과 같습니다.

시각적 개념 슬라이더

시각적 개념 슬라이더는 텍스트 프롬프트만 사용하는 확산 모델이 시각적 속성을 제어하는 데 어려움을 겪을 때 사용됩니다. 개념 슬라이더는 이러한 속성을 제어하기 위해 이미지 데이터셋을 사용합니다.

슬라이더 구성

개념 슬라이더의 주요优势은 여러 슬라이더를 결합하여 복잡한 생성을 제어할 수 있는 구성 가능성입니다. 사용자는 여러 슬라이더를 다운로드하여 복잡한 생성을 제어할 수 있습니다.

이미지 품질 개선

개념 슬라이더는 확산 모델의 이미지 품질을 개선하는 데 사용될 수 있습니다. 슬라이더는 낮은 순위 매개변수 방향을 식별하여 이미지 왜곡을 줄일 수 있습니다.

손 고정

실제적인 손 모양의 이미지 생성은 확산 모델에서 어려운 문제입니다. 개념 슬라이더는 이러한 문제를 해결하기 위해 사용될 수 있습니다.

수리 슬라이더

개념 슬라이더는 이미지의 전체적인 현실성을 개선하는 데 사용될 수 있습니다. 슬라이더는 단일 낮은 순위 매개변수 방향을 식별하여 이미지의 왜곡을 줄일 수 있습니다.

최종 생각

이 기사에서, 우리는 확산 모델에서 개념 슬라이더를 사용하는 개념에 대해 논의했습니다. 개념 슬라이더는 사용자가 원하는 개념을 정밀하게 제어할 수 있는 경량 어댑터입니다. 이 기술은 확산 모델의 이미지 생성과 편집을 향상시키는 데 사용될 수 있습니다.