HD-Painter: 확산 모델을 사용한 고해상도 텍스트 안내 이미지 인페인팅

확산 모델 실시간 애플리케이션이 우리 일상 생활의 필수적인 부분이 되면서 의심할 여지 없이 AI 및 ML 산업에 혁명을 일으켰습니다. 텍스트-이미지 모델이 놀라운 능력을 선보인 이후, 제어 가능한 생성, 특화되고 개인화된 이미지 합성, 객체 수준 이미지 편집, 프롬프트 조건 변형 및 편집과 같은 확산 기반 이미지 조작 기술이 뜨거운 연구 주제로 떠올랐습니다. 컴퓨터 비전 산업의 응용 분야에 적용됩니다.

그러나 인상적인 기능과 뛰어난 결과에도 불구하고 텍스트-이미지 프레임워크, 특히 텍스트-이미지 인페인팅 프레임워크는 여전히 잠재적인 개발 영역을 가지고 있습니다. 여기에는 특히 높은 확산 시간 단계에서 이미지의 노이즈를 제거할 때 전역 장면을 이해하는 능력이 포함됩니다. 이 문제를 해결하기 위해 연구원들은 프롬프트 지침을 정확하게 따르고 고해상도 이미지 인페인팅으로 일관되게 확장되는 완전히 훈련이 필요 없는 프레임워크인 HD-Painter를 도입했습니다. HD-Painter 프레임워크는 프롬프트 정보를 활용하여 self-attention 점수를 향상시켜 더 나은 텍스트 정렬 생성을 제공하는 PAIntA(Prompt Aware Introverted Attention) 레이어를 사용합니다.

프롬프트의 일관성을 더욱 향상시키기 위해 HD-Painter 모델은 RASG(Reweighting Attention Score Guidance) 접근 방식을 도입합니다. 이 접근 방식은 사후 샘플링 전략을 DDIM 구성 요소의 일반 형태에 원활하게 통합하여 분포를 벗어난 잠재 이동을 방지합니다. 또한 HD-Painter 프레임워크는 인페인팅을 위해 맞춤화된 특화된 초해상도 기술을 갖추고 있어 더 큰 규모로 확장하고 최대 2K의 해상도로 이미지에서 누락된 영역을 완성할 수 있습니다.

HD-Painter: 텍스트 안내 이미지 인페인팅

텍스트-이미지 확산 모델은 실제로 최근 몇 달 동안 AI 및 ML 업계에서 중요한 주제였으며, 모델은 다양한 실제 애플리케이션에서 인상적인 실시간 기능을 보여주었습니다. DALL-E, Imagen 및 Stable Diffusion과 같은 사전 훈련된 텍스트-이미지 생성 모델은 후방 확산 과정에서 노이즈가 제거된(생성된) 알려지지 않은 영역과 확산된 알려진 영역을 병합하여 이미지 완성에 대한 적합성을 보여주었습니다. 시각적으로 매력적이고 잘 조화된 출력을 생성함에도 불구하고 기존 모델은 특히 높은 확산 시간 단계 노이즈 제거 프로세스에서 글로벌 장면을 이해하는 데 어려움을 겪습니다. 추가 컨텍스트 정보를 통합하기 위해 사전 훈련된 텍스트-이미지 확산 모델을 수정함으로써 텍스트 안내 이미지 완성을 위해 미세 조정할 수 있습니다.

또한 확산 모델 내에서 텍스트 기반 인페인팅과 텍스트 기반 이미지 완성은 연구자들의 주요 관심 영역입니다. 이러한 관심은 텍스트 기반 인페인팅 모델이 텍스트 프롬프트를 기반으로 입력 이미지의 특정 영역에 콘텐츠를 생성할 수 있다는 사실에 의해 주도되며, 이는 특정 이미지 영역 수정, 색상이나 옷과 같은 주제 속성 수정, 개체 교체. 요약하자면, 텍스트-이미지 확산 모델은 매우 사실적이고 시각적으로 매력적인 생성 기능으로 인해 최근 전례 없는 성공을 거두었습니다.

그러나 기존 프레임워크의 대부분은 두 가지 시나리오에서 즉각적인 무시를 보여줍니다. 첫 번째는 배경 지배력 모델이 백그라운드의 프롬프트를 무시하여 알 수 없는 영역을 완료하는 반면 두 번째 시나리오는 주변 물체 우세 모델이 입력 프롬프트가 아닌 시각적 맥락 가능성을 사용하여 알려진 영역 객체를 알려지지 않은 영역으로 전파하는 경우. 이러한 문제는 모두 텍스트 프롬프트를 정확하게 해석하거나 알려진 영역에서 얻은 상황 정보와 혼합하는 바닐라 인페인팅 확산 능력의 결과일 가능성이 있습니다. 

이러한 장애물을 해결하기 위해 HD-Painter 프레임워크는 프롬프트 정보를 사용하여 self-attention 점수를 향상시켜 궁극적으로 더 나은 텍스트 정렬 생성을 가져오는 Prompt Aware Introverted Attention(PAIntA) 레이어를 도입합니다. PAIntA는 주어진 텍스트 조건을 사용하여 자기 관심 이미지 영역에서 프롬프트가 아닌 관련 정보의 영향을 줄이는 동시에 프롬프트와 정렬된 알려진 픽셀의 기여도를 높이는 것을 목표로 점수를 매깁니다. 생성된 결과의 텍스트 정렬을 더욱 향상시키기 위해 HD-Painter 프레임워크는 교차 주의 점수를 활용하는 사후 지침 방법을 구현합니다. 그러나 바닐라 사후 유도 메커니즘을 구현하면 확산 방정식의 추가 그라데이션 항으로 인해 분포 이동이 발생할 수 있습니다. 유통 외 이동은 궁극적으로 생성된 출력의 품질 저하를 초래합니다. 이러한 장애물을 해결하기 위해 HD-Painter 프레임워크는 사후 샘플링 전략을 DDIM 구성 요소의 일반 형식에 원활하게 통합하는 방법인 Reweighting Attention Score Guidance(RASG)를 구현합니다. 이를 통해 프레임워크는 샘플을 프롬프트 정렬된 잠재 항목으로 안내하여 시각적으로 그럴듯한 인페인팅 결과를 생성하고 훈련된 도메인에 포함할 수 있습니다.

HD-Painter 프레임워크는 아키텍처에 RASH 및 PAIntA 구성 요소를 모두 배포함으로써 즉각적인 무시라는 기존 문제를 해결하기 때문에 최첨단, 인페인팅, 텍스트-이미지 확산 모델을 비롯한 기존 프레임워크에 비해 상당한 이점을 보유합니다. 또한 RASH 및 PAIntA 구성 요소는 모두 플러그 앤 플레이 기능을 제공하므로 확산 베이스 인페인팅 모델과 호환되어 위에서 언급한 문제를 해결할 수 있습니다. 또한, 시간 반복적 블렌딩 기술을 구현하고 고해상도 확산 모델, HD-Painter 파이프라인은 최대 2K 해상도 인페인팅에 효과적으로 작동할 수 있습니다. 

요약하자면, HD-Painter는 이 분야에서 다음과 같은 기여를 하는 것을 목표로 합니다.

1. 이는 아키텍처에 Prompt Aware Introverted Attention(PAIntA) 레이어를 구현하여 텍스트 기반 이미지 인페인팅 프레임워크에서 경험하는 배경 및 인근 개체 지배의 즉각적인 무시 문제를 해결하는 것을 목표로 합니다. 
2. 이는 HD-Painter 프레임워크가 교대 근무 분포를 방지하면서 사후 안내 샘플링을 수행할 수 있도록 하는 Reweighting Attention Score Guidance 또는 RASG 레이어를 아키텍처에 구현하여 출력의 텍스트 정렬을 개선하는 것을 목표로 합니다. 
3. 기존 최첨단 프레임워크보다 성능이 뛰어나고, 간단하면서도 효과적인 인페인팅 전문 초해상도 프레임워크를 사용하여 최대 2K 해상도까지 텍스트 기반 이미지 인페인팅을 수행할 수 있는 효과적인 교육이 필요 없는 텍스트 기반 이미지 완성 파이프라인을 설계합니다. 

HD-Painter: 방법 및 아키텍처

아키텍처를 살펴보기 전에 HD-Painter 프레임워크의 기초를 형성하는 세 가지 기본 개념을 이해하는 것이 중요합니다. 이미지 인페인팅, 확산 프레임워크의 사후 지침, 그리고 특정 건축 블록 다시 그리기. 

이미지 인페인팅은 생성된 이미지의 시각적 매력을 보장하면서 이미지 내 누락된 영역을 채우는 것을 목표로 하는 접근 방식입니다. 기존의 딥 러닝 프레임워크는 알려진 영역을 사용하여 딥 기능을 전파하는 방법을 구현했습니다. 그러나 확산 모델의 도입으로 인페인팅 모델, 특히 텍스트 안내 이미지 인페인팅 프레임워크가 발전했습니다. 전통적으로 사전 훈련된 텍스트-이미지 확산 모델은 샘플링 프로세스 중에 알려진 영역의 노이즈 버전을 사용하여 마스크되지 않은 잠재 영역을 대체합니다. 이 접근 방식은 어느 정도 효과가 있지만 잡음 제거 네트워크는 알려진 영역의 잡음이 있는 버전만 보기 때문에 생성된 출력의 품질이 크게 저하됩니다. 이 장애물을 해결하기 위해 사전 훈련된 텍스트를 이미지 모델로 미세 조정하여 텍스트 안내 이미지 인페인팅을 달성하는 몇 가지 접근 방식이 있었습니다. 이 접근 방식을 구현하면 모델이 마스크되지 않은 영역에서 노이즈 제거 프레임워크를 조절할 수 있으므로 프레임워크는 연결을 통해 무작위 마스크를 생성할 수 있습니다. 

계속해서 전통적인 딥 러닝 모델은 이미지의 알려진 영역을 처리하기 위해 특수 컨볼루션 레이어를 도입하여 효과적으로 정보를 추출하고 시각적으로 매력적인 이미지를 생성할 수 있는 일부 프레임워크를 사용하여 효율적인 인페인팅을 위한 특수 디자인 레이어를 구현했습니다. 일부 프레임워크는 고품질 인페인팅을 위해 모든 self attention에 대한 원치 않는 과도한 계산 요구 사항을 줄이기 위해 아키텍처에 상황별 attention 레이어를 추가하기도 했습니다. 

마지막으로 사후 유도 방법은 특정 함수 최소화 목표를 향해 다음 단계 잠재 예측을 안내하는 역방향 확산 샘플링 방법입니다. 사후 지침 방법은 특히 추가적인 제약이 있는 경우 시각적 콘텐츠를 생성할 때 큰 도움이 됩니다. 그러나 사후 유도 방법에는 큰 단점이 있습니다. 잠재 생성 과정을 기울기 항만큼 이동시키는 경향이 있기 때문에 이미지 품질이 저하되는 것으로 알려져 있습니다. 

HD-Painter의 아키텍처에 와서 프레임워크는 먼저 텍스트 안내 이미지 완성 문제를 공식화한 다음 Stable Inpainting과 Stable Inpainting이라는 두 가지 확산 모델을 도입합니다. 안정적인 확산. HD-Painter 모델은 PAIntA 및 RASG 블록을 도입하고 마지막으로 인페인팅 전용 초해상도 기술에 도달합니다. 

안정적인 확산과 안정적인 인페인팅

안정 확산(Stable Diffusion)은 오토인코더의 잠재 공간 내에서 작동하는 확산 모델입니다. 텍스트를 이미지로 합성하는 경우 Stable Diffusion 프레임워크는 프로세스를 안내하는 텍스트 프롬프트를 구현합니다. 안내 기능은 UNet 아키텍처와 유사한 구조를 가지며 교차 주의 레이어는 텍스트 프롬프트에 따라 이를 조건화합니다. 또한 Stable Diffusion 모델은 일부 수정 및 미세 조정을 통해 이미지 인페인팅을 수행할 수 있습니다. 이를 달성하기 위해 인코더에 의해 생성된 마스크된 이미지의 특징은 축소된 바이너리 마스크와 잠재성에 연결됩니다. 그런 다음 결과 텐서는 UNet 아키텍처에 입력되어 추정된 노이즈를 얻습니다. 그런 다음 프레임워크는 새로 추가된 컨벌루션 필터를 0으로 초기화하고 UNet의 나머지 부분은 Stable Diffusion 모델의 사전 훈련된 체크포인트를 사용하여 초기화합니다. 

위 그림은 두 단계로 구성된 HD-Painter 프레임워크의 개요를 보여줍니다. 첫 번째 단계에서 HD-Painter 프레임워크는 텍스트 안내 이미지 페인팅을 구현하는 반면, 두 번째 단계에서는 모델이 출력의 특정 초해상도를 인페인팅합니다. 임무 영역을 채우고 입력 프롬프트와 일관성을 유지하기 위해 모델은 사전 훈련된 인페인팅 확산 모델을 사용하고 self-attention 레이어를 PAIntA 레이어로 대체하며 RASG 메커니즘을 구현하여 역방향 확산 프로세스를 수행합니다. 그런 다음 모델은 최종 추정 잠재성을 디코딩하여 페인팅된 이미지를 생성합니다. 그런 다음 HD-Painter는 초안정 확산 모델을 구현하여 원본 크기 이미지를 다시 칠하고 저해상도 입력 이미지에 맞춰 Stable Diffusion 프레임워크의 역방향 확산 프로세스를 구현합니다. 모델은 알려진 영역의 각 단계 후에 노이즈 제거된 예측을 원본 이미지의 인코딩과 혼합하고 다음 잠재 항목을 파생합니다. 마지막으로 모델은 잠재성을 디코딩하고 포아송 블렌딩을 구현하여 에지 아티팩트를 방지합니다. 

프롬프트 인식 내향 주의 또는 PAIntA

Stable Inpainting과 같은 기존 인페인팅 모델은 인페인팅 영역 주변의 시각적 컨텍스트에 더 의존하고 입력 사용자 프롬프트를 무시하는 경향이 있습니다. 사용자 경험을 기준으로 이 문제는 주변 개체 우세와 배경 우세라는 두 가지 클래스로 분류될 수 있습니다. 입력 프롬프트에 대한 시각적 컨텍스트 우위 문제는 self-attention 레이어의 유일한 공간적 및 프롬프트 없는 특성으로 인해 발생할 수 있습니다. 이 문제를 해결하기 위해 HD-Painter 프레임워크는 Cross-Attention 매트릭스와 인페인팅 마스크를 사용하여 알 수 없는 영역에서 Self-Attention 레이어의 출력을 제어하는 ​​PAIntA(Prompt Aware Introverted Attention)를 도입합니다. 

Prompt Aware Introverted Attention 구성 요소는 먼저 투영 레이어를 적용하여 유사성 매트릭스와 함께 키, 값 및 쿼리를 가져옵니다. 그런 다음 모델은 알려진 픽셀의 주의 점수를 조정하여 알려지지 않은 영역에 대한 알려진 영역의 강력한 영향을 완화하고 텍스트 프롬프트를 활용하여 새로운 유사성 매트릭스를 정의합니다. 

주의 점수 지침(RASG) 재가중화

HD-Painter 프레임워크는 사후 샘플링 안내 방법을 채택하여 텍스트 프롬프트와의 생성 정렬을 더욱 강화합니다. 목적 함수와 함께 사후 샘플링 지침 접근 방식은 교차 주의 계층의 개방형 어휘 분할 속성을 활용하는 것을 목표로 합니다. 그러나 이러한 바닐라 사후 지침 접근 방식은 생성된 이미지의 품질을 저하시킬 수 있는 확산 잠재 영역을 이동할 가능성이 있습니다. 이 문제를 해결하기 위해 HD-Painter 모델은 잠재 도메인 보존을 초래하는 그래디언트 재가중 메커니즘을 도입하는 Reweighting Attention Score Guidance 또는 RASG 메커니즘을 구현합니다. 

HD-Painter : 실험 및 결과

성능을 분석하기 위해 HD-Painter 프레임워크를 Stable Inpainting, GLIDE 및 BLD 또는 프롬프트가 선택된 인스턴스 마스크의 레이블로 선택되는 10000개 이상의 무작위 샘플이 넘는 Blended Latent Diffusion을 포함한 최신 모델과 비교합니다. 

관찰할 수 있듯이 HD-Painter 프레임워크는 세 가지 다른 측정항목에서 기존 프레임워크보다 훨씬 뛰어난 성능을 발휘합니다. 특히 CLIP 측정항목에서 1.5포인트 개선되고 다른 최신 방법과 비교하여 생성된 정확도 점수가 약 10% 차이가 납니다. . 

다음 그림은 HD-Painter 프레임워크와 다른 인페인팅 프레임워크의 질적 비교를 보여줍니다. 관찰할 수 있듯이 다른 기본 모델은 프롬프트를 무시하고 알려진 영역 객체의 연속으로 이미지에서 누락된 영역을 재구성하거나 배경을 생성합니다. 반면 HD-Painter 프레임워크는 PAIntA 및 RASG 구성 요소를 아키텍처에 구현함으로써 대상 객체를 성공적으로 생성할 수 있습니다. 

최종 생각

이 기사에서는 즉각적인 무시, 근처 및 배경 개체 지배 등 기존 인페인팅 프레임워크에서 겪는 문제를 해결하는 교육 무료 텍스트 기반 고해상도 인페인팅 접근 방식인 HD-Painter에 대해 설명했습니다. HD-Painter 프레임워크는 프롬프트 정보를 사용하여 self-attention 점수를 향상시켜 궁극적으로 더 나은 텍스트 정렬 생성을 가져오는 Prompt Aware Introverted Attention(PAIntA) 레이어를 구현합니다. 

프롬프트의 일관성을 더욱 향상시키기 위해 HD-Painter 모델은 사후 샘플링 전략을 DDIM 구성 요소의 일반 형식에 원활하게 통합하여 배포되지 않은 잠재 이동을 방지하는 Reweighting Attention Score Guidance 또는 RASG 접근 방식을 도입합니다. 또한 HD-Painter 프레임워크는 인페인팅을 위해 맞춤화된 특화된 초해상도 기술을 도입하여 더 큰 규모로 확장하고 HD-Painter 프레임워크가 최대 2K의 해상도로 이미지에서 누락된 영역을 완성할 수 있도록 합니다.