텍스트를 이미지로 바꾸는 확산 모델은 뛰어난 능력 덕분에 예술 분야에서 널리 쓰인다. 그러나 최신 모델도 생성 이미지의 시각적 개념과 속성을 원하는 대로 제어하기 어려워 만족스럽지 않은 결과를 내곤 한다. 텍스트 프롬프트에만 의존하면 날씨의 강도, 그림자의 선명도, 표정, 나이처럼 연속적으로 변하는 속성을 정밀하게 조정하기 어렵다. 사용자가 필요에 맞게 이미지를 수정하기 힘들며, 고품질의 사실적인 이미지에서도 얼굴이 뒤틀리거나 손가락이 빠지는 왜곡이 생긴다.

이 문제를 해결하기 위해 개발자들은 해석 가능한 Concept Sliders를 제안했다. 이 슬라이더는 다른 속성에 대한 간섭을 최소화하면서 특정 개념에 대응하는 매개변수 방향을 찾아, 이미지 생성과 편집을 더 정밀하게 제어하도록 돕는다. 예시 이미지나 프롬프트 집합으로 학습하므로 텍스트 개념과 시각적 개념의 방향을 모두 정의할 수 있다.

텍스트-이미지 확산 모델에 Concept Sliders를 적용하면 이미지 내용은 유지하면서 다른 속성의 변화를 줄이고 최종 결과를 더 잘 제어하며 사실성을 높일 수 있다. 이 글에서는 그 원리와 생성 이미지 품질을 개선하는 방법을 살펴본다.

Concept Sliders 소개

기존 확산 모델은 시각적 개념과 연속적인 속성을 제어하기 어렵다. Concept Sliders는 제작자와 최종 사용자가 생성 과정을 더 세밀하게 조정하도록 해 이러한 문제를 완화하는 것을 목표로 한다.

일반적으로 이미지 속성을 바꾸려면 텍스트 프롬프트를 직접 수정한다. 하지만 프롬프트 변경은 이미지 구조 자체를 크게 바꿀 수 있다. 생성 후 편집 기법은 확산 과정을 역변환하고 교차 어텐션을 조정하지만, 동시에 편집할 수 있는 개념 수가 제한되고 새 개념마다 별도의 추론 과정이 필요하다. 설계가 신중하지 않으면 서로 다른 개념이 얽힐 수도 있다.

Concept Sliders는 사전 학습 모델에 적용하는 가볍고 사용하기 쉬운 어댑터다. 한 번의 추론 과정에서 개념 간 얽힘을 최소화하면서 원하는 속성을 정밀하게 제어할 수 있다. 텍스트로 잘 설명되지 않는 시각적 개념도 편집할 수 있다는 점이 프롬프트 기반 방식과 다르다. 이미지 기반 개인화는 새로운 개념의 토큰을 추가하는 데 효과적이지만 편집에 적용하기는 어렵다. 반면 슬라이더는 원하는 개념을 보여 주는 소수의 이미지 쌍으로 학습하고, 이를 일반화해 다른 이미지에도 적용한다. 손의 왜곡을 줄이고 사실성을 높이는 데도 활용할 수 있다.

이 접근법은 이미지 편집, 가이던스 기반 방법, 모델 편집, 의미 방향이라는 네 연구 영역의 문제를 함께 다룬다.

이미지 편집

기존 방식은 조건 입력으로 이미지 구조를 유도하거나, 원본 이미지와 목표 프롬프트 사이의 교차 어텐션을 조정해 한 이미지를 편집한다. 이러한 방법은 개별 이미지에 적용되며, 프롬프트와 시간 단계에 따라 기하 구조가 변하므로 이미지마다 잠재 표현을 최적화해야 한다.

가이던스 기반 방법

분류기 없는 가이던스는 생성 품질과 텍스트-이미지 정합성을 높일 수 있다. 추론 과정에 가이던스 항을 넣으면 확산 모델의 제한적인 구성 능력을 보완하고, 안전하지 않은 개념을 제어하는 데에도 활용할 수 있다.

모델 편집

Concept Sliders는 저랭크 어댑터로 하나의 의미 속성을 표현하고 그 강도를 연속적으로 조절하는 모델 편집 방식으로 볼 수 있다. 미세 조정 기반 개인화는 모델에 새 개념을 추가한다. Custom Diffusion은 교차 어텐션 층을 미세 조정해 새 시각적 개념을 넣는 반면, 임베딩 벡터 최적화 방식은 모델의 능력을 활성화하고 텍스트 개념을 표현하도록 한다.

GAN의 의미 방향

생성적 적대 신경망(GAN)의 중요한 특징은 의미 속성을 조작할 수 있다는 것이다. 잠재 공간의 이동 경로가 자기지도 방식으로 속성과 정렬될 수 있다. 확산 모델에서는 U-Net 중간층의 잠재 공간 경로와 주요 방향이 전역 의미를 포착한다. Concept Sliders는 특정 속성에 해당하는 저랭크 부분 공간을 직접 학습하고, 텍스트 또는 이미지 쌍으로 방향을 최적화해 정밀하고 국소적인 편집 방향을 얻는다.

Concept Sliders: 구조와 작동 원리

확산 모델과 LoRA

확산 모델은 확산 과정을 거꾸로 진행해 데이터를 합성하는 생성 모델이다. 순방향 과정은 정돈된 데이터에 점차 잡음을 추가해 가우시안 잡음으로 만든다. 모델은 이 과정을 역전해 이미지를 단계적으로 잡음 제거하고, 임의의 가우시안 잡음에서 이미지를 생성한다. 실제로는 조건 정보와 시간 단계가 주어졌을 때 잡음을 예측하도록 학습한다.

LoRA는 미세 조정 시 가중치 갱신을 저랭크로 분해하여 큰 사전 학습 모델을 하위 작업에 효율적으로 적응시키는 방법이다. 입력 및 출력 차원에 걸친 가중치 갱신을 저차원 부분 공간으로 제한한다.

개념 슬라이더

Concept Sliders는 확산 모델의 LoRA 어댑터를 미세 조정하여 목표 개념에 대한 제어력을 높인다. 아래 그림은 이를 보여 준다.

목표 개념을 조건으로 주면 특정 속성을 강화하거나 약화하는 저랭크 매개변수 방향을 학습한다. 목표는 강화할 속성의 가능성을 높이고 억제할 속성의 가능성을 낮추는 모델을 얻는 것이다. 재매개변수화와 Tweedie 공식을 사용해 시간에 따라 변하는 잡음 과정을 도입하고 각 점수를 잡음 제거 예측으로 표현한다. 사전 학습 가중치를 고정한 채 개념을 분리하는 목적함수로 슬라이더 모듈을 미세 조정한다. 추론 때 LoRA의 스케일 계수를 바꾸면 다시 학습하지 않고 편집 강도를 조절할 수 있다.

이전 방식은 더 강한 편집을 위해 가이던스를 높여 모델을 다시 학습하기도 했다. 슬라이더는 추론 시 스케일을 바꾸므로 추가 재학습 시간과 비용 없이 편집을 강화할 수 있다.

시각적 개념 학습

텍스트 프롬프트로 정확히 정의하기 어려운 개념은 편집 전후 이미지 쌍으로 된 작은 데이터셋을 사용해 학습한다. 두 이미지의 차이가 원하는 시각 효과를 알려 준다. 학습 과정은 정방향과 역방향 모두에서 LoRA 요소를 최적화하여, 양쪽 방향의 시각 효과를 만드는 변화와 정렬한다.

Concept Sliders: 구현 결과

개발자들은 주로 1024픽셀 고해상도 모델인 Stable Diffusion XL에서 평가했으며 Stable Diffusion v1.4에서도 추가 실험을 했다. 원문은 각 모델을 500 epoch 동안 학습했다고 설명한다.

텍스트 개념 슬라이더

텍스트 기반 개념 30개에서 평가하고 두 기준 방식과 비교했다. 기준 방식은 일정한 시간 단계까지 일반 프롬프트를 사용한 뒤 추가 프롬프트로 이미지를 유도한다. 아래 그림에서 슬라이더를 사용하면 원래 모델보다 CLIP 점수가 높고 LPIPS 점수가 낮아지는 경향을 보인다.

예시처럼 전체 이미지 구조를 유지하면서 생성 중 원하는 속성을 정밀하게 편집할 수 있다.

시각적 개념 슬라이더

텍스트 프롬프트만으로는 얼굴 털이나 눈 모양 같은 세부 속성을 충분히 제어하기 어렵다. Concept Sliders는 이미지 데이터셋과 선택적인 텍스트 가이던스를 함께 활용한다. 아래 예시에서는 이미지 쌍의 변화를 학습해 ‘눈 크기’와 ‘눈썹 모양’ 슬라이더를 각각 만든다.

구체적인 텍스트를 추가하면 변화 방향이 해당 얼굴 영역에 집중되어 목표 속성을 단계적으로 제어할 수 있다.

슬라이더 조합

큰 장점은 여러 슬라이더를 조합해 한 개념뿐 아니라 복잡한 생성 결과를 제어할 수 있다는 것이다. 저랭크 방향을 사용하므로 조합이 가능하고, 가벼운 LoRA 어댑터여서 공유하거나 확산 모델에 겹쳐 적용하기 쉽다. 사용자는 원하는 슬라이더 집합을 내려받아 여러 조절값을 동시에 바꿀 수 있다.

다음 그림은 각 행에서 왼쪽부터 오른쪽으로 슬라이더를 점차 추가하는 모습을 보여 준다. 이를 통해 고차원 개념 공간을 더 정밀하게 탐색할 수 있다.

이미지 품질 개선

Stable Diffusion XL 같은 최신 대규모 생성 모델은 사실적인 고품질 이미지를 만들지만, 흐리거나 뒤틀린 물체 등의 문제가 여전히 있다. 매개변수에는 더 적은 왜곡으로 좋은 결과를 만들 잠재력이 존재한다. 슬라이더는 저랭크 매개변수 방향을 찾아 이 능력을 활용하고 왜곡을 줄이는 것을 목표로 한다.

손 교정

사실적인 손 생성은 확산 모델의 오래된 과제다. ‘fix hands’ 슬라이더는 손이 왜곡되는 경향을 직접 조절해 더 자연스러운 손을 생성하도록 돕는다.

복구 슬라이더

슬라이더는 손뿐 아니라 이미지 전체의 사실성을 높일 가능성도 보였다. 하나의 저랭크 매개변수 방향으로 흔한 왜곡을 줄이는 변화가 가능하며, 아래 그림은 그 결과를 보여 준다.

마무리

Concept Sliders는 확산 모델의 출력을 해석 가능한 방식으로 제어하는 간단하고 확장 가능한 접근법이다. 기존 텍스트-이미지 모델이 시각적 개념과 연속적인 속성을 원하는 대로 조절하기 어려운 문제를 완화하는 것이 목표다. 텍스트나 이미지 쌍에서 학습한 가벼운 어댑터를 통해 제작자와 사용자는 이미지 구조를 보존하면서 생성 과정과 원하는 속성을 더 세밀하게 제어할 수 있다.