AI 모델 및 플랫폼
DiffSeg : Stable Diffusion을 이용한 비지도 제로샷 세그멘테이션
핵심 포인트DiffSeg는 학습이나 라벨 없이 Stable Diffusion의 자가 주의력 계층에서 분할 마스크를 생성합니다.
더 보기
- DiffSeg는 학습이나 라벨 없이 Stable Diffusion의 자가 주의력 계층에서 분할 마스크를 생성합니다.
- 기존의 비지도 학습 방법과 달리, 이 알고리즘의 새로운 병합 과정은 클러스터 수를 지정할 필요가 없습니다.
- 이 알고리즘은 Cityscapes 및 COCO-stuff와 같은 벤치마크에서 최첨단 제로샷 분할 성능을 달성합니다.
컴퓨터 비전 모델에서 고품질의 세그멘테이션 마스크를 생성하는 것은 핵심적인 도전 과제 중 하나입니다. 최근 대규모 지도 학습의 발전으로 다양한 이미지 스타일에서 제로샷 세그멘테이션을 가능하게 하였습니다. 또한, 비지도 학습은 세그멘테이션을 위한 광범위한 주석의 필요성을 줄였습니다. 이러한 발전에도 불구하고, 주석 없이 제로샷 설정에서 모든 것을 세그먼트할 수 있는 컴퓨터 비전 프레임워크를 구축하는 것은 여전히 복잡한 작업입니다. 컴퓨터 비전 모델에서 기본적인 개념인 시맨틱 세그멘테이션은 이미지를 유사한 의미를 공유하는 작은 영역으로 나누는 것을 포함합니다. 이 기술은 의료 이미지, 이미지 편집, 자율 주행 자동차 등 다양한 다운스트림 작업의 기초를 제공합니다.
컴퓨터 비전 모델의 발전을 위해서는 이미지 세그멘테이션이 고정된 데이터셋과 제한된 카테고리로 제한되어서는 안 됩니다. 대신, 다양한 다른 응용 프로그램을 위한 유연한 기초 작업으로 작동해야 합니다. 그러나, 픽셀 단위로 레이블을 수집하는 비용은 높은 것으로, 주석이 없는 제로샷 및 지도 학습 세그멘테이션 방법의 발전에 제한을 두고 있습니다. 이 문서에서는 Stable Diffusion 모델의 셀프 어텐션 계층이 주석 없이 제로샷 설정에서 모든 입력을 세그먼트할 수 있는 모델을 생성하는 데 어떻게 도움이 될 수 있는지에 대해 논의합니다. 이러한 셀프 어텐션 계층은 사전 학습된 Stable Diffusion 모델에서 학습된 객체 개념을 내재적으로 이해합니다.
DiffSeg : 향상된 제로샷 세그멘테이션 알고리즘
시맨틱 세그멘테이션은 이미지를 다양한 영역으로 나누는 프로세스입니다. 각 섹션은 유사한 의미를 공유합니다. 이 기술은 다양한 다운스트림 작업의 기초를 형성합니다. 전통적으로, 제로샷 컴퓨터 비전 작업은 지도 학습 시맨틱 세그멘테이션에 의존하여 큰 데이터셋과 주석이 달린 카테고리를 사용했습니다. 그러나, 제로샷 설정에서 비지도 시맨틱 세그멘테이션을 구현하는 것은 여전히 도전입니다. 전통적인 지도 방법은 효과적이지만, 픽셀 단위로 레이블링하는 비용은 종종 감당하기 어려울 만큼 높습니다. 이는 비지도 세그멘테이션 방법을 개발하는 필요성을 강조합니다. 이러한 방법은 제약이 더 적은 제로샷 설정에서 주석이 필요하지 않으며, 데이터에 대한 사전 지식이 필요하지 않습니다.
이 제한을 해결하기 위해, DiffSeg은 Stable Diffusion 프레임워크를 사용하여 제로샷 전송이 가능한 일반적인 세그멘테이션 모델을 구축하는 새로운 후처리 전략을 소개합니다. Stable Diffusion 프레임워크는 프롬프트 조건에 따라 고해상도 이미지를 생성하는 데 효율적입니다. 생성된 이미지의 경우, 이 프레임워크는 해당 텍스트 프롬프트를 사용하여 세그멘테이션 마스크를 생성할 수 있습니다. 이러한 마스크는 일반적으로 전경 객체만 포함합니다.
반대로, DiffSeg은 셀프 어텐션 텐서를 사용하여 세그멘테이션 마스크를 생성하는 새로운 후처리 방법입니다. DiffSeg 알고리즘은 세 가지 주요 구성 요소로 구성됩니다. 반복적인 셀프 어텐션 병합, 셀프 어텐션 집계, 및 비최대 억제입니다. 다음 이미지는 이러한 구성 요소를 보여줍니다.

DiffSeg 알고리즘은 여러 해상도에서 시각적 정보를 보존하기 위해 4차원 셀프 어텐션 텐서를 공간적 일관성을 갖도록 집계합니다. 또한, 셀프 어텐션 마스크를 병합하기 위해 앵커 포인트를 샘플링하는 반복적인 병합 과정을 사용합니다. 이러한 앵커는 마스크를 병합하는 출발점이며, 같은 객체에 속하는 앵커들은 최종적으로 병합 과정에 흡수됩니다. DiffSeg 프레임워크는 KL 발산 방법을 사용하여 두 셀프 어텐션 맵 사이의 유사성을 측정하여 병합 과정을 제어합니다.
클러스터링 기반 비지도 세그멘테이션 방법과 비교할 때, DiffSeg 알고리즘은 클러스터의 수를 사전에 지정할 필요가 없습니다. 또한, 추가 자원이나 사전 지식 없이 세그멘테이션을 생성할 수 있습니다. 전반적으로, DiffSeg 알고리즘은 “사전 학습된 Stable Diffusion 모델을 사용하여 자율적으로 세그멘테이션을 수행하는 새로운 비지도 및 제로샷 세그멘테이션 방법입니다. 이 방법은 추가 자원이나 사전 지식 없이 이미지를 세그먼트할 수 있습니다.”
DiffSeg : 기본 개념
DiffSeg은 확산 모델, 비지도 세그멘테이션, 및 제로샷 세그멘테이션의 학습을 기반으로 하는 새로운 알고리즘입니다.
확산 모델
DiffSeg 알고리즘은 사전 학습된 확산 모델의 학습을 기반으로 합니다. 확산 모델은 컴퓨터 비전 모델에서 가장 인기 있는 생성 프레임워크 중 하나입니다. 이 모델은 순방향 및 역방향 확산 과정을 학습하며, 등방성 가우시안 노이즈를 샘플링한 이미지로부터 이미지를 생성합니다. Stable Diffusion은 확산 모델의 가장 인기 있는 변형입니다. 이 모델은 지도 세그멘테이션, 제로샷 분류, 시맨틱 대응 매칭, 레이블 효율적인 세그멘테이션, 및 오픈 보카버러리 세그멘테이션과 같은 다양한 작업을 수행할 수 있습니다. 그러나, 확산 모델은 고차원 시각적 특징에 의존하여 이러한 작업을 수행합니다. 이러한 특징을 완전히 활용하기 위해 추가적인 훈련이 필요합니다.
비지도 세그멘테이션
DiffSeg 알고리즘은 비지도 세그멘테이션과 밀접하게 관련되어 있습니다. 비지도 세그멘테이션은 주석 없이 픽셀 단위로 세그멘테이션 마스크를 생성하는 현대적인 AI 기법입니다. 그러나, 좋은 성능을 발휘하기 위해, 비지도 세그멘테이션 모델은 목표 데이터셋에서 비지도 학습을 필요로 합니다. 비지도 세그멘테이션 기반 AI 프레임워크는 두 가지 범주로 분류할 수 있습니다. 사전 학습된 모델을 사용하는 클러스터링과 불변성에 기반한 클러스터링입니다. 첫 번째 범주는 사전 학습된 모델이 학습한 판별 특징을 사용해 세그멘테이션 마스크를 생성합니다. 두 번째 범주는 두 이미지 사이의 상호 정보를 최적화하는 일반적인 클러스터링 알고리즘으로 이미지를 의미적 클러스터로 나누고 퇴화한 세그멘테이션을 방지합니다.
제로샷 세그멘테이션
DiffSeg 알고리즘은 제로샷 세그멘테이션 프레임워크와 밀접하게 관련되어 있습니다. 제로샷 세그멘테이션 모델은 대상 데이터에 대한 사전 훈련이나 지식 없이 세그멘테이션을 수행할 수 있습니다. 이러한 모델은 최근 뛰어난 제로샷 전이 능력을 보였지만 텍스트 입력과 프롬프트가 필요합니다. 반대로, DiffSeg 알고리즘은 확산 모델을 사용하여 세그멘테이션을 생성합니다. 이 모델은 여러 이미지를 요청하거나 합성하지 않고, 객체의 내용을 알지 못해도 세그멘테이션을 수행할 수 있습니다.
DiffSeg : 방법 및 아키텍처
DiffSeg 알고리즘은 사전 학습된 Stable Diffusion 모델의 셀프 어텐션 계층을 사용하여 고품질의 세그멘테이션 작업을 생성합니다.
Stable Diffusion 모델
Stable Diffusion은 DiffSeg 프레임워크의 기본 개념 중 하나입니다. Stable Diffusion은 생성 AI 프레임워크 중 하나입니다. 확산 모델의 주요 특징은 전방 및 역방향 패스입니다. 순방향 패스에서는 각 시간 단계마다 소량의 가우시안 노이즈를 반복적으로 추가해 이미지가 등방성 가우시안 노이즈가 되도록 합니다. 역방향 패스에서는 노이즈를 반복적으로 제거해 원래 이미지를 복원합니다. Stable Diffusion은 어텐션 계층을 갖춘 인코더-디코더와 U-Net 구조를 사용합니다. 인코더는 이미지를 공간 차원이 더 작은 잠재 공간으로 압축하고, 디코더는 이미지를 복원합니다. 이 아키텍처는 모듈러 블록의 스택으로 구성되며, 각 블록은 트랜스포머 계층 또는 ResNet 계층으로 구성됩니다.
셀프 어텐션 계층은 확산 모델에서 내재된 객체 정보를 공간적 셀프 어텐션 맵으로 그룹화합니다. DiffSeg은 셀프 어텐션 텐서를 유효한 세그멘테이션 마스크로 병합하는 새로운 후처리 방법입니다. 이 방법은 세 가지 주요 구성 요소로 구성됩니다. 셀프 어텐션 집계, 비최대 억제, 및 반복적인 셀프 어텐션 병합입니다.
셀프 어텐션 집계
입력 이미지가 U-Net 계층과 인코더를 통과하면, Stable Diffusion 모델은 16개의 셀프 어텐션 텐서를 생성합니다. 각 차원에 5개의 텐서가 있습니다. 이 텐서를 집계하여 가장 높은 해상도의 텐서를 생성하는 것이 주요 목표입니다. 이를 위해, DiffSeg 알고리즘은 네 차원을 각각 다르게 처리합니다.
네 차원 중 마지막 두 차원은 해상도가 다르지만 공간적으로 일관됩니다. 2차원 공간 맵이 위치와 공간적 위치 사이의 상관관계에 대응하기 때문입니다. DiffSeg 프레임워크는 이 두 차원을 모두 최고 해상도인 64 x 64로 샘플링합니다. 반면, 첫 번째 2차원은 셀프 어텐션 맵의 위치 참조를 나타냅니다.

이 차원은 셀프 어텐션 맵의 위치를 나타내므로, 이 맵을 해당 위치에 따라 집계해야 합니다. 또한, 집계된 셀프 어텐션 맵이 유효한 분포를 갖도록 하기 위해, 집계 후에 분포를 정규화합니다. 각 셀프 어텐션 맵은 해상도에 비례하는 가중치를 할당받습니다.
반복적인 셀프 어텐션 병합
셀프 어텐션 집계의 주요 목표는 셀프 어텐션 텐서를 계산하는 것이었습니다. 그러나, 주요 목표는 셀프 어텐션 맵을 객체 제안의 스택으로 병합하는 것입니다. 각 제안은 하나의 객체의 활성화 또는 표면·재료 범주(stuff)를 포함합니다. 이를 달성하기 위해, 셀프 어텐션 텐서의 유효한 분포에서 클러스터를 찾는 K-평균 알고리즘을 구현할 수 있습니다. 그러나, K-평균 클러스터링은 사용자가 클러스터의 수를 사전에 지정해야 하므로, 최적의 해결책은 아닙니다. 또한, K-평균 알고리즘의 초기화에 따라 결과가 달라질 수 있습니다. 이를 극복하기 위해, DiffSeg 프레임워크는 제안을 생성하기 위해 셀프 어텐션 맵을 반복적으로 병합하는 샘플링 그리드를 제안합니다.
비최대 억제
반복적인 셀프 어텐션 병합의 이전 단계는 객체 제안의 목록을 생성합니다. 각 객체 제안은 하나의 객체의 활성화만 포함합니다. 비최대 억제를 사용하여 이 목록을 유효한 세그멘테이션 마스크로 변환합니다. 이 과정은 목록의 각 요소가 이미 확률 분포 맵이므로 효과적입니다. 각 공간 위치에서, 알고리즘은 가장 높은 확률의 인덱스를 취하고, 해당 맵의 인덱스에 따라 멤버십을 할당합니다.
DiffSeg : 실험 및 결과
비지도 세그멘테이션을 위한 프레임워크는 일반적으로 두 가지 세그멘테이션 벤치마크를 사용합니다. Cityscapes와 COCO-stuff-27입니다. Cityscapes 벤치마크는 27개의 중간 수준 카테고리를 갖는 자율 주행 데이터셋입니다. COCO-stuff-27 벤치마크는 원래 COCO-stuff 데이터셋의 객체(things) 80개 범주와 표면·재료(stuff) 91개 범주를 27개의 카테고리로 병합한 것입니다. 또한, 세그멘테이션 성능을 분석하기 위해, DiffSeg 프레임워크는 평균 교집합 대 합집합 비율(mIoU)과 픽셀 정확도(ACC)를 사용합니다. DiffSeg 알고리즘은 의미적 레이블을 제공할 수 없으므로, 헝가리안 매칭 알고리즘을 사용하여 예측된 마스크와 실제 마스크를 할당합니다. 예측된 마스크의 수가 실제 마스크의 수를 초과하는 경우, 프레임워크는 일치하지 않는 예측된 마스크를 거짓 음성(false negative)으로 간주합니다.
또한, DiffSeg 프레임워크는 추론에 필요한 세 가지 요건을 비교합니다. 언어 의존성(LD), 비지도 적응(UA), 보조 이미지(AX)입니다. 언어 의존성은 세그멘테이션을 위한 서술적 텍스트 입력이 필요함을 의미합니다. 비지도 적응은 목표 데이터셋에서 비지도 학습이 필요함을 의미합니다. 보조 이미지는 합성 이미지 또는 참조 이미지 집합을 추가 입력으로 요구한다는 뜻입니다.
결과
COCO 벤치마크에서, DiffSeg 프레임워크는 두 가지 K-평균 기준선을 포함합니다. K-평균-S와 K-평균-C입니다. K-평균-C 기준선은 6개의 클러스터를 사용하며, 이는 평가하는 이미지의 객체 수를 평균하여 계산합니다. K-평균-S 기준선은 각 이미지의 실제 객체 수에 따라 클러스터의 수를 지정합니다. 두 기준선의 결과는 다음 이미지를 참조하십시오.

K-평균 기준선이 기존 방법을 능가하는 것을 볼 수 있습니다. 이는 셀프 어텐션 텐서를 사용하는 이점을 보여줍니다. 또한, K-평균-S 기준선이 K-평균-C 기준선을 능가하는 것을 볼 수 있습니다. 이는 클러스터의 수가 중요한 하이퍼 파라미터이며, 각 이미지에 대해 조정하는 것이 중요하다는 것을 나타냅니다. 같은 어텐션 텐서에 의존하더라도 DiffSeg 프레임워크는 K-평균 기준선을 능가하여, 더 좋은 세그멘테이션을 제공할 수 있으며, K-평균 기준선의 단점을 피할 수 있습니다.
Cityscapes 데이터셋에서, DiffSeg 프레임워크는 320-해상도 입력을 사용하는 프레임워크와 유사한 결과를 제공합니다. 또한, 정확도와 mIoU 모두에서 512-해상도 입력을 사용하는 프레임워크를 능가합니다.

DiffSeg 프레임워크는 여러 하이퍼 파라미터를 사용합니다. 다음 이미지를 참조하십시오.

셀프 어텐션 집계는 DiffSeg 프레임워크에서 사용되는 기본 개념 중 하나입니다. 다음 이미지는 입력 이미지 해상도를 일정하게 유지한 상태에서 집계 가중치를 바꾼 효과를 보여줍니다.

그림 (b)의 64 × 64 고해상도 맵은 가장 상세한 세그멘테이션을 제공하지만 일부 불연속이 보입니다. 반면 32 × 32 맵은 세부 영역을 과도하게 나누는 경향이 있지만 더 일관된 세그멘테이션을 제공합니다. 그림 (d)의 저해상도 맵은 주어진 하이퍼파라미터 설정에서 이미지 전체를 하나의 객체로 병합해 영역을 나누지 못합니다. 그림 (a)의 비례 집계 전략은 세부 정보와 일관성 사이에서 더 나은 균형을 제공합니다.
최종 생각
비지도 제로샷 세그멘테이션은 여전히 컴퓨터 비전 프레임워크에서 가장 큰 도전 중 하나입니다. 기존 모델은 비 제로샷 비지도 적응 또는 외부 자원을 사용합니다. 이를 극복하기 위해, Stable Diffusion 모델의 셀프 어텐션 계층을 사용하여 주석 없이 제로샷 설정에서 모든 입력을 세그먼트할 수 있는 모델을 구축하는 방법에 대해 논의했습니다. 또한, DiffSeg에 대해 논의했습니다. DiffSeg은 Stable Diffusion 프레임워크를 사용하여 제로샷 전송이 가능한 일반적인 세그멘테이션 모델을 구축하는 새로운 후처리 전략입니다. 이 알고리즘은 어텐션 맵 사이의 유사성과 각 맵 내부의 유사성을 사용해 셀프 어텐션 맵을 반복적으로 병합하여 유효한 세그멘테이션 마스크를 생성합니다. 이는 인기 있는 벤치마크에서 최첨단 성능을 달성합니다.












