컴퓨터 비전 기반 모델의 핵심 과제 중 하나는 고품질 분할 마스크를 생성하는 것입니다. 최근 대규모 감독 훈련의 발전으로 다양한 이미지 스타일에 걸쳐 제로샷 분할이 가능해졌습니다. 또한 비지도 학습은 광범위한 주석이 필요 없이 분할을 단순화합니다. 이러한 발전에도 불구하고 주석 없이 제로샷 설정에서 무엇이든 분할할 수 있는 컴퓨터 비전 프레임워크를 구축하는 것은 여전히 ​​복잡한 작업으로 남아 있습니다. 컴퓨터 비전 모델의 기본 개념인 의미론적 분할에는 이미지를 균일한 의미론을 사용하여 더 작은 영역으로 나누는 작업이 포함됩니다. 이 기술은 의료 영상, 이미지 편집, 자율 주행 등과 같은 수많은 다운스트림 작업의 기반을 마련합니다.

컴퓨터 비전 모델의 개발을 발전시키려면 이미지 분할이 제한된 범주의 고정 데이터 세트에 국한되지 않는 것이 중요합니다. 대신, 다양한 다른 애플리케이션을 위한 다목적 기본 작업으로 작동해야 합니다. 그러나 픽셀 단위로 레이블을 수집하는 데 드는 높은 비용은 주석이 필요하지 않고 대상에 대한 사전 액세스가 부족한 제로샷 및 지도 분할 방법의 진행을 제한하는 중요한 과제를 제시합니다. 이 글에서는 self-attention 레이어가 어떻게 작동하는지 논의할 것입니다. 안정적인 확산 모델 적절한 주석 없이도 제로샷 설정에서 모든 입력을 분할할 수 있는 모델 생성을 용이하게 할 수 있습니다. 이러한 self-attention 레이어는 사전 훈련된 안정적인 확산 모델을 통해 학습된 객체 개념을 본질적으로 이해합니다.

DiffSeg: 향상된 제로샷 분할 알고리즘

의미론적 분할은 이미지를 다양한 섹션으로 나누는 프로세스이며, 각 섹션은 유사한 의미론을 공유합니다. 이 기술은 수많은 다운스트림 작업의 기초를 형성합니다. 전통적으로 제로샷 컴퓨터 비전 작업은 주석이 있고 레이블이 지정된 범주가 있는 대규모 데이터 세트를 활용하는 감독된 의미론적 분할에 의존해 왔습니다. 그러나 제로샷 설정에서 감독되지 않은 의미론적 분할을 구현하는 것은 여전히 ​​어려운 문제입니다. 기존 지도 방법은 효과적이지만 픽셀당 라벨링 비용이 엄청나기 때문에 모델에 주석이 달린 데이터나 데이터에 대한 사전 지식이 필요하지 않은 덜 제한적인 제로샷 설정에서 비지도 분할 방법을 개발해야 할 필요성이 강조됩니다.

이러한 제한 사항을 해결하기 위해 DiffSeg는 Stable Diffusion 프레임워크의 기능을 활용하여 모든 이미지에서 제로샷 전송이 가능한 일반 분할 모델을 구축하는 새로운 후처리 전략을 도입합니다. Stable Diffusion 프레임워크는 신속한 조건에 따라 고해상도 이미지를 생성하는 데 있어 그 효능이 입증되었습니다. 생성된 이미지의 경우 이러한 프레임워크는 일반적으로 지배적인 전경 객체만 포함하는 해당 텍스트 프롬프트를 사용하여 분할 마스크를 생성할 수 있습니다.

대조적으로, DiffSeg는 확산 모델에서 self-attention 레이어의 attention 텐서를 활용하여 분할 마스크를 생성하는 혁신적인 후처리 방법입니다. DiffSeg 알고리즘은 다음 이미지에 설명된 것처럼 반복적인 주의 병합, 주의 집계 및 비최대 억제의 세 가지 주요 구성 요소로 구성됩니다.

DiffSeg 알고리즘은 4D 어텐션 텐서를 공간적 일관성으로 집계하고 앵커 포인트를 샘플링하여 반복적인 병합 프로세스를 활용하여 여러 해상도에 걸쳐 시각적 정보를 보존합니다. 이러한 앵커는 동일한 객체 앵커가 결국 흡수되는 병합 주의 마스크의 발사대 역할을 합니다. DiffSeg 프레임워크는 다음의 도움으로 병합 프로세스를 제어합니다. KL 발산법 두 Attention Map 간의 유사성을 측정합니다. 

클러스터링 기반의 비지도 분할 방법과 비교할 때 DiffSeg 알고리즘은 개발자가 미리 클러스터 수를 지정할 필요가 없으며 사전 지식이 없어도 DiffSeg 알고리즘은 추가 리소스를 활용하지 않고도 분할을 생성할 수 있습니다. 전반적으로 DiffSeg 알고리즘은 “사전 훈련된 Stable Diffusion 모델을 활용하고 추가 리소스나 사전 지식 없이 이미지를 분할할 수 있는 새로운 비지도 및 제로샷 분할 방법입니다." 

DiffSeg: 기본 개념

DiffSeg는 확산 모델, 비지도 분할 및 제로샷 분할 학습을 기반으로 하는 새로운 알고리즘입니다. 

확산 모델

DiffSeg 알고리즘은 사전 훈련된 확산 모델의 학습을 기반으로 합니다. 확산 모델은 컴퓨터 비전 모델을 위한 가장 인기 있는 생성 프레임워크 중 하나이며, 샘플링된 등방성 가우스 노이즈 이미지에서 순방향 및 역방향 확산 프로세스를 학습하여 이미지를 생성합니다. 안정 확산(Stable Diffusion)은 확산 모델의 가장 널리 사용되는 변형이며 지도 분할, 제로 샷 분류, 의미 대응 일치, 레이블 효율적인 분할, 개방형 어휘 분할 등 다양한 작업을 수행하는 데 사용됩니다. 그러나 확산 모델의 유일한 문제는 이러한 작업을 수행하기 위해 고차원 시각적 기능에 의존하고 이러한 기능을 완전히 활용하려면 추가 교육이 필요한 경우가 많다는 것입니다. 

비지도 분할

DiffSeg 알고리즘은 주석을 사용하지 않고 조밀한 분할 마스크를 생성하는 것을 목표로 하는 최신 AI 방식인 비지도 분할과 밀접한 관련이 있습니다. 그러나 우수한 성능을 제공하려면 비지도 분할 모델에는 대상 데이터 세트에 대한 사전 비지도 학습이 필요합니다. 비지도 분할 기반 AI 프레임워크는 사전 훈련된 모델을 사용한 클러스터링과 불변성을 기반으로 한 클러스터링의 두 가지 범주로 특성화될 수 있습니다. 첫 번째 범주에서 프레임워크는 사전 훈련된 모델이 학습한 식별 기능을 사용하여 분할 마스크를 생성하는 반면, 두 번째 범주에 있는 프레임워크는 두 이미지 간의 상호 정보를 최적화하여 이미지를 의미 클러스터로 분할하는 일반 클러스터링 알고리즘을 사용합니다. 퇴화된 세분화를 방지합니다. 

제로샷 분할

DiffSeg 알고리즘은 데이터에 대한 사전 교육이나 지식 없이 무엇이든 분할할 수 있는 기능을 갖춘 방법인 제로샷 분할 프레임워크와 밀접하게 관련되어 있습니다. 제로샷 분할 모델은 일부 텍스트 입력과 프롬프트가 필요하지만 최근 뛰어난 제로샷 전송 기능을 보여주었습니다. 대조적으로, DiffSeg 알고리즘은 확산 모델을 사용하여 여러 이미지를 쿼리 및 합성하지 않고 객체의 내용을 알지 못한 채 분할을 생성합니다. 

DiffSeg: 방법 및 아키텍처

DiffSeg 알고리즘은 사전 훈련된 안정적인 확산 모델의 self-attention 레이어를 활용하여 고품질 분할 작업을 생성합니다. 

안정 확산 모델

안정적인 확산은 DiffSeg 프레임워크의 기본 개념 중 하나입니다. Stable Diffusion은 생성적 AI 프레임워크이며 가장 널리 사용되는 확산 모델 중 하나입니다. 확산 모델의 주요 특징 중 하나는 순방향 및 역방향 통과입니다. 순방향 패스에서는 이미지가 등방성 가우스 노이즈 이미지가 될 때까지 매 시간 단계마다 반복적으로 소량의 가우스 노이즈가 이미지에 추가됩니다. 반면, 역방향 패스에서는 확산 모델이 등방성 가우스 잡음 영상에서 잡음을 반복적으로 제거하여 가우스 잡음이 없는 원본 영상을 복구합니다. 

Stable Diffusion 프레임워크는 인코더-디코더와 주의 계층이 있는 U-Net 설계를 사용합니다. 여기서 인코더를 사용하여 먼저 이미지를 더 작은 공간 차원의 잠재 공간으로 압축하고 디코더를 활용하여 이미지의 압축을 풉니다. U-Net 아키텍처는 모듈식 블록 스택으로 구성되며, 각 블록은 Transformer Layer와 ResNet 레이어라는 두 가지 구성 요소 중 하나로 구성됩니다. 

구성 요소 및 아키텍처

공간 주의 맵 형태로 고유 객체의 정보를 그룹화하는 확산 모델의 Self-attention 레이어와 DiffSeg는 주의 집계, 주의 집계, 비최대 억제 및 반복적 관심.

주의집중

U-Net 레이어와 인코더를 통과하는 입력 이미지의 경우 Stable Diffusion 모델은 각 차원에 대해 16개의 텐서로 총 5개의 어텐션 텐서를 생성합니다. 16개의 텐서를 생성하는 주요 목표는 서로 다른 해상도를 가진 이러한 어텐션 텐서를 가능한 가장 높은 해상도의 텐서로 집계하는 것입니다. 이를 달성하기 위해 DiffSeg 알고리즘은 4개 차원을 서로 다르게 처리합니다. 

2개 차원 중에서 주의 센서의 마지막 2개 차원은 해상도가 다르지만 DiffSeg 프레임워크의 64D 공간 맵이 위치와 공간 위치 간의 상관 관계에 해당하므로 공간적으로 일관됩니다. 결과적으로 DiffSeg 프레임워크는 모든 주의 지도의 두 가지 차원을 가장 높은 해상도인 64 x 2로 샘플링합니다. 반면에 처음 XNUMX개 차원은 다음 이미지에서 볼 수 있듯이 주의 지도의 위치 참조를 나타냅니다. 

이러한 차원은 주의 지도의 위치를 ​​참조하므로 주의 지도는 이에 따라 집계되어야 합니다. 또한, 집계된 어텐션 맵에 유효한 분포가 있는지 확인하기 위해 프레임워크는 모든 어텐션 맵에 해상도에 비례하는 가중치가 할당되어 집계 후 분포를 정규화합니다. 

반복주의 병합

어텐션 집계의 기본 목표는 어텐션 텐서를 계산하는 것이었지만, 기본 목표는 텐서의 어텐션 맵을 각 개별 제안이 물건 카테고리 또는 단일 개체의 활성화를 포함하는 개체 제안 스택에 병합하는 것입니다. 이를 달성하기 위해 제안된 솔루션은 텐서의 유효한 분포에 K-Means 알고리즘을 구현하여 객체의 클러스터를 찾는 것입니다. 그러나 K-평균 클러스터링을 사용하려면 사용자가 미리 클러스터 수를 지정해야 하기 때문에 K-평균을 사용하는 것은 최적의 솔루션이 아닙니다. 또한 K-평균 알고리즘을 구현하면 확률론적으로 초기화에 의존하기 때문에 동일한 이미지에 대해 다른 결과가 나올 수 있습니다. 장애물을 극복하기 위해 DiffSeg 프레임워크는 주의 지도를 반복적으로 병합하여 제안을 생성하는 샘플링 그리드를 생성할 것을 제안합니다. 

비최대 억제

반복적인 Attention 병합의 이전 단계는 각 객체 제안에 객체의 활성화가 포함되어 있는 Attention Map의 확률 형태로 객체 제안 목록을 생성합니다. 프레임워크는 객체 제안 목록을 유효한 분할 마스크로 변환하기 위해 비최대 억제를 사용하며 목록의 각 요소가 이미 확률 분포의 맵이기 때문에 이 프로세스는 효과적인 접근 방식입니다. 모든 맵의 모든 공간 위치에 대해 알고리즘은 가장 큰 확률의 인덱스를 취하고 해당 맵의 인덱스를 기반으로 멤버십을 할당합니다. 

DiffSeg: 실험 및 결과

비지도 분할을 수행하는 프레임워크는 Cityscapes와 COCO-stuff-27이라는 두 가지 분할 벤치마크를 사용합니다. Cityscapes 벤치마크는 27개의 중간 수준 카테고리가 있는 자율 구동 데이터세트인 반면, COCO-stuff-27 벤치마크는 80개 사물과 91개 카테고리를 27개 카테고리로 병합하는 원래 COCO-stuff 데이터세트의 선별된 버전입니다. 또한 분할 성능을 분석하기 위해 DiffSeg 프레임워크는 평균 교차점(mIoU)과 픽셀 정확도(ACC)를 사용하며 DiffSeg 알고리즘은 의미 라벨을 제공할 수 없기 때문에 헝가리어 일치 알고리즘을 사용하여 다음과 같은 Ground Truth 마스크를 할당합니다. 각 예측 마스크. 예측된 마스크 수가 실제 마스크 수를 초과하는 경우 프레임워크는 일치하지 않는 예측 작업을 거짓 부정으로 간주합니다. 

또한 DiffSeg 프레임워크는 간섭을 실행하기 위해 언어 종속성(LD), 감독되지 않은 적응(UA), 보조 이미지(AX) 등 세 가지 작업을 강조합니다. 언어 종속성은 이미지 분할을 용이하게 하기 위해 방법에 설명적인 텍스트 입력이 필요함을 의미하고, 비지도 적응은 대상 데이터 세트에 대해 감독되지 않은 교육을 사용하는 방법에 대한 요구 사항을 의미하는 반면, 보조 이미지는 방법에 합성 이미지로 추가 입력이 필요함을 의미합니다. 또는 참조 이미지 풀로 사용됩니다. 

결과

COCO 벤치마크에서 DiffSeg 프레임워크에는 두 개의 k-평균 기준선인 K-평균-S와 K-평균-C가 포함되어 있습니다. K-Means-C 벤치마크에는 평가하는 이미지의 객체 수를 평균하여 계산한 6개의 클러스터가 포함되어 있는 반면, K-Means-S 벤치마크는 존재하는 객체 수를 기반으로 각 이미지에 대해 특정 수의 클러스터를 사용합니다. 이미지의 실측 실제값과 이 두 벤치마크의 결과가 다음 이미지에 나와 있습니다. 

보시다시피 K-Means 기준선은 기존 방법보다 성능이 뛰어나므로 self-attention 텐서 사용의 이점을 보여줍니다. 흥미로운 점은 K-Means-S 벤치마크가 K-Means-C 벤치마크보다 성능이 뛰어나다는 점입니다. 이는 클러스터 수가 기본 하이퍼 매개변수이고 이를 조정하는 것이 모든 이미지에 중요하다는 것을 나타냅니다. 또한 동일한 어텐션 텐서에 의존하는 경우에도 DiffSeg 프레임워크는 K-Means 기준선보다 성능이 뛰어납니다. 이는 DiffSeg 프레임워크가 더 나은 분할을 제공할 뿐만 아니라 K-Means 기준선을 사용하여 발생하는 단점을 방지하는 능력을 입증합니다. 

Cityscapes 데이터세트에서 DiffSeg 프레임워크는 낮은 320해상도 입력을 활용하는 프레임워크와 유사한 결과를 제공하는 동시에 정확도와 mIoU 전반에 걸쳐 더 높은 512해상도 입력을 사용하는 프레임워크보다 성능이 뛰어납니다. 

앞에서 언급했듯이 DiffSeg 프레임워크는 다음 이미지에 표시된 대로 여러 하이퍼 매개변수를 사용합니다. 

주의 집계는 DiffSeg 프레임워크에 사용되는 기본 개념 중 하나이며, 다양한 집계 가중치를 사용하는 효과는 이미지의 해상도가 일정한 다음 이미지에 나와 있습니다. 

관찰할 수 있듯이 그림 (b)의 64 x 64 맵이 있는 고해상도 맵은 분할에 눈에 띄는 균열이 있지만 가장 상세한 분할을 생성하는 반면, 낮은 해상도의 32 x 32 맵은 결과적으로 과도하게 분할되는 경향이 있습니다. 강화된 일관성 있는 분할. 그림 (d)에서 저해상도 맵은 기존 하이퍼 매개변수 설정을 사용하여 전체 이미지가 단일 객체로 병합되므로 분할을 생성하지 못합니다. 마지막으로 비례 집계 전략을 사용하는 그림 (a)는 향상된 세부 정보와 균형 잡힌 일관성을 제공합니다. 

최종 생각

제로샷 비지도 분할은 여전히 ​​컴퓨터 비전 프레임워크의 가장 큰 장애물 중 하나이며, 기존 모델은 비제로샷 비지도 적응 또는 외부 리소스에 의존합니다. 이러한 장애물을 극복하기 위해 우리는 안정적인 확산 모델의 self-attention 레이어가 적절한 주석 없이 제로샷 설정에서 모든 입력을 분할할 수 있는 모델을 구성할 수 있는 방법에 대해 이야기했습니다. 이러한 self-attention 레이어는 다음과 같은 고유한 개념을 보유하고 있기 때문입니다. 사전 훈련된 안정적인 확산 모델이 학습하는 객체입니다. 우리는 또한 Stable Diffusion 프레임워크의 잠재력을 활용하여 모든 이미지에서 제로샷 전송을 구현할 수 있는 일반 분할 모델을 구축하는 것을 목표로 하는 새로운 포스트 프레싱 전략인 DiffSeg에 대해서도 이야기했습니다. 알고리즘은 Inter-Attention 유사성 및 Intra-Attention 유사성을 사용하여 Attention 지도를 유효한 분할 마스크에 반복적으로 병합하여 인기 있는 벤치마크에서 최고 수준의 성능을 달성합니다.