객체 분할은 현대 컴퓨터 비전의 기본이자 매우 중요한 분야입니다. 이는 객체 위치 파악 및 식별과 같은 광범위한 시각적 구성 요소가 필요한 애플리케이션에서 중요한 역할을 하며 실시간, 빠르고 정확한 분할을 요구합니다. 이러한 중요성으로 인해 객체 분할은 지속적으로 뜨거운 연구 주제가 되었으며, 인스턴스 분할, 의미론적 분할, 팬옵틱 분할과 같은 영역에서 상당한 작업이 수행되었습니다.

객체 분할의 발전과 함께, SAM(Segment Anything Model)은 뛰어난 분할 능력을 보여주는 주목할 만한 도구로 부상했으며, 다양한 컴퓨터 비전 애플리케이션에 빠르게 도입되고 있습니다. 사전 훈련된 SAM 아키텍처를 사용하는 프레임워크는 후속 비전 작업에서 인상적인 성능을 달성했습니다. 그러나 분할 작업에서 뛰어난 성능과 높은 정확도에도 불구하고, SAM의 복잡하고 무거운 아키텍처는 상당한 연산 능력을 요구하여 연산 능력이 제한된 장치에서 구현하는 데 어려움을 겪습니다.

SAM의 계산적 어려움을 해결하기 위해 연구진은 기존 프레임워크의 제로샷 성능을 유지하면서도 더 가벼운 Tiny Segment Anything Model(TinySAM)을 개발했습니다. TinySAM은 온라인 하드 프롬프트를 활용한 전단계 지식 증류(full-stage knowledge distillation) 기법을 사용하여 더욱 효율적인 학습 모델을 구축합니다. 프롬프트 가능한 분할 작업에 맞춰 조정된 학습 후 양자화는 계산 부담을 더욱 줄여줍니다. 또한, TinySAM은 계층적 분할을 목표로 설계되어 성능 저하 없이 추론 속도를 거의 두 배로 향상시킵니다.

이 기사에서는 TinySAM 프레임워크를 자세히 살펴보고 다른 최첨단 분할 프레임워크와 비교하여 기본 원칙, 아키텍처 및 성능을 살펴봅니다. 이러한 측면을 더 자세히 살펴보겠습니다.

TinySAM : 효율적인 세그먼트 무엇이든 모델

Segment Anything 모델은 11만 개 이상의 이미지와 3억 개가 넘는 이미지 마스크를 저장하는 대규모 분할 데이터세트와 결합된 칭찬할 만한 분할 기능 덕분에 여러 컴퓨터 비전 애플리케이션의 급속한 발전에 도움이 되었습니다. 임의의 범주와 모양으로 개체를 분할하는 작업에 대한 탁월한 성능으로 인해 이미지 인페인팅, 개체 추적, XNUMXD 비전 등과 같은 다운스트림 작업을 수행하는 프레임워크의 기반 역할을 합니다. 게다가 Segment Anything 모델은 또한 놀라운 기능을 제공합니다. 제로샷 세분화 의료 연구 및 의료 영상 산업을 포함하여 제한된 양의 데이터를 사용하는 민감한 산업에 도움이 되는 성능입니다. 

다양한 다운스트림 비전 작업에 대해 Segment Anything 모델이 제공하는 뛰어난 분할 기능에 의문을 제기할 수는 없지만 복잡한 아키텍처 과부하, 높은 계산 요구 사항 및 상당한 운영 비용 측면에서 단점이 있습니다. 최신 GPU에서 실행되는 시스템의 경우 SAM 모델의 추론 시간은 2×1024 이미지에 대해 최대 1024초까지 걸릴 수 있습니다. 결과적으로, 계산 능력이 제한된 장치에서 SAM 애플리케이션을 구현하는 것은 매우 어려운 작업입니다. 이러한 장애물을 극복하기 위해 MobileSAM 및 FastSAM과 같은 최근 연구에서는 계산 효율성이 더 높은 SAM 모델을 개발하려고 시도했습니다. MobileSAM 프레임워크는 이미지 인코더의 무거운 구성 요소를 TinyViT 프레임워크의 아키텍처로 대체하려고 시도하는 반면 FastSAM 모델은 세그먼트 작업을 하나의 범주만 포함하는 인스턴스 분할 작업으로 전환합니다. 욜로V8 모델. 이러한 방법은 계산 요구 사항을 줄이는 측면에서 어느 정도 성공할 수 있었지만 특히 다운스트림 제로샷 작업에서는 성능을 유지할 수 없었습니다. 

TinySAM 또는 Tiny Segment Anything 모델은 제로샷 다운스트림 작업의 성능을 방해하지 않고 현재 SAM 모델의 계산 요구 사항을 줄이려는 시도입니다. 또한 TinySAM 프레임워크는 컴팩트한 학생 네트워크의 능력을 향상시키기 위해 아키텍처에 전체 단계 지식 증류 방법을 구현할 것을 제안합니다. TinySAM 프레임워크는 다양한 단계의 교사 네트워크 감독 하에 엔드투엔드 방식으로 학생 네트워크를 정제합니다. 성능을 더욱 향상시키기 위해 프레임워크에서는 추가 온라인 하드 프롬프트 샘플링 전략을 구현하여 증류 프로세스에서 하드 예제에 더 많이 집중할 수 있습니다. 또한 계산 비용을 추가로 줄이기 위해 TinySAM 프레임워크는 훈련 후 양자화 구성 요소에 신속한 분할 작업을 제공합니다. 

Segment Anything 모델의 계산 요구 사항의 주요 부분은 모델이 이미지의 모든 것을 분할하기 위해 그리드 프롬프트 지점에서 대규모 마스크를 생성하기 때문입니다. 이 분할 전략의 계산 요구 사항을 극복하기 위해 TinySAM 프레임워크는 성능 저하 없이 추론 속도를 거의 두 배로 높이는 계층적 세그먼트 모든 전략을 사용합니다. TinySAM 프레임워크는 아키텍처에 이러한 방법을 사용하여 계산 요구 사항을 크게 줄이고 효율적인 세그먼트 작업에 대한 새로운 제한을 설정합니다. 

TinySAM : 아키텍처 및 방법론

TinySAM 프레임워크의 아키텍처와 방법론에 대해 이야기하기 전에 먼저 이전 버전인 SAM 프레임워크를 살펴보는 것이 중요합니다. Segment Anything 모델은 도입된 이래로 다양한 다운스트림 비전 및 객체 분할 작업 전반에 걸쳐 놀라운 성능, 다양성 및 일반화 기능을 보여주었습니다. 

SAM 모델의 핵심은 프롬프트 인코더, 이미지 인코더, 마스크 디코더의 세 가지 하위 네트워크로 구성됩니다. 프롬프트 인코더의 주요 목적은 임의 모양의 마스크, 입력 지점 및 상자, 위치 정보가 포함된 자유 형식 텍스트를 인코딩하는 것입니다. 이미지 인코더는 입력 이미지를 임베딩으로 추출하는 강력한 ViT 또는 비전 변환기 기반 네트워크입니다. 모델은 다양한 네트워크를 사용하여 기하학적 프롬프트와 텍스트 프롬프트를 처리합니다. 마지막으로 마스크 디코더에는 프롬프트의 출력을 수신하는 양방향 변환기와 최종 마스크 예측을 생성하는 이미지 인코더가 포함되어 있습니다. 데이터세트를 통해 SAM 프레임워크는 모양과 범주에 관계없이 개체에 대한 놀라운 고품질 분할 기능을 보여줍니다. 더욱이, 세그먼트 무엇이든 모델 객체 제안, 가장자리 감지, 텍스트-마스크 예측 및 인스턴스 분할을 포함한 제로샷 다운스트림 비전 작업 전반에 걸쳐 놀라운 성능과 효율성을 보여줍니다. 고품질 분할 기능과 유연한 프롬프트 제공으로 인해 SAM 프레임워크는 비전 애플리케이션의 기반을 형성합니다. 즉, 매개 변수가 많아 전통적인 SAM 아키텍처의 높은 계산 요구 사항을 무시할 수 없으므로 개발자가 리소스가 제한된 장치에 SAM 기반 응용 프로그램을 배포하는 것이 거의 불가능합니다. 

지식 증류

지식 증류는 훈련 단계에서 컴팩트 네트워크의 성능을 향상시키는 중요한 접근 방식입니다. 교사 네트워크의 출력을 사용하여 경량 학생 네트워크의 훈련을 감독하는 지식 증류 방법입니다. 지식 증류 방법은 중간 기능을 위한 증류와 네트워크 출력을 위한 증류라는 두 가지 하위 범주로 나눌 수 있으며, 지식 증류에 관한 대부분의 연구 작업은 이미지 분류 작업에 중점을 둡니다. 

다음 그림은 제로샷 인스턴스 분할 작업에 대한 성능 개요와 함께 TinySAM 프레임워크의 일반 아키텍처를 보여줍니다. 

첫 번째 단계에서 TinySAM 프레임워크는 SAM 프레임워크용으로 특별히 설계된 지식 증류를 구현하고, 증류 프로세스를 더욱 활성화하기 위해 모델은 온라인 하드 프롬프트 샘플링을 사용하여 교사 네트워크에서 학생 네트워크로 하드 지식을 마이닝합니다. 두 번째 단계에서 TinySAM 프레임워크는 훈련 후 양자화 방법을 신속한 분할 작업에 적용하고 이를 경량 학생 네트워크에 구현합니다. 마지막으로, 모델은 분할 작업을 위해 설계된 계층적 세그먼트 모든 추론 모드를 구현하여 정확도 손실을 무시할 수 있는 수준으로 추론 속도를 두 배로 늘립니다. 

전체 단계 지식 증류

앞서 언급했듯이 Segment Anything 모델은 핵심에 프롬프트 인코더, 이미지 인코더, 마스크 디코더의 세 가지 하위 네트워크로 구성되어 있으며 이미지 인코더 구성 요소는 비전 변환기에 구축되어 있으며 높은 계산 요구 사항을 갖습니다. 이 문제를 해결하기 위해 MobileSAM 프레임워크는 비전 변환기를 TinyViT 또는 Tiny Vision Transformer로 교체했지만 상당한 성능 저하로 인해 대체가 효과적이지 않았습니다. 성능 저하를 방지하기 위해 TinySAM 프레임워크는 경량 이미지 인코더를 학습 수준에서 다중 지식 수준으로 안내하는 전체 단계 지식 증류 방법을 구현합니다. TinySAM 프레임워크는 실제 라벨과 예측 결과 사이의 일반적인 손실 외에도 다음 그림에 표시된 것처럼 다양한 단계에서 수많은 증류 손실을 발생시킵니다. 

정량화

모델 양자화(Model Quantization)는 컴퓨터 비전 프레임워크에서 널리 사용되는 접근 방식이며, 출력 품질을 크게 저하시키지 않고 계산 복잡성과 저장 요구 사항을 줄이기 위해 더 높은 대역폭에서 더 낮은 대역폭으로 가중치 또는 활성화를 양자화하여 모델을 압축하는 데 사용됩니다. 

TinySAM에서 양자화의 주요 목표는 스케일링 계수를 최적화하는 데 중요한 역할을 하는 행렬 곱셈과 양자화된 행렬 사이의 거리를 측정하기 위한 메트릭과 스케일링 계수를 사용하여 부동 소수점 텐서를 비트 정수 텐서에 투영하는 것입니다. 

계층적 세그먼트 무엇이든 가능

Segment Anything 모델은 점을 그리드로 샘플링하여 이미지의 모든 것을 분할하는 자동 마스크 생성기를 사용할 것을 제안합니다. 그러나 조밀한 포인트 그리드를 사용하면 지나치게 세분화된 분할 출력이 발생하고 프로세스에 막대한 계산 요구 사항이 필요하며 높은 운영 비용이 발생하는 것으로 나타났습니다. 또한 한쪽 끝에서는 완전한 객체에 대한 샘플링 포인트가 너무 많으면 객체의 다른 섹션이 별도의 마스크로 잘못 분할될 수 있는 반면, 다른 쪽에서는 모든 모드 추론에 소요되는 시간 비용이 주로 다음과 같은 이유 때문에 발생합니다. 이미지 인코더가 크게 축소되었습니다. 모든 모드의 운영 비용을 줄이기 위해 TinySAM 프레임워크는 계층적 마스크 생성 접근 방식을 사용하며 다음 이미지에 표시된 원래 SAM 프레임워크와의 전략 차이가 있습니다. 

원래 SAM 프레임워크에 구현된 접근 방식과 달리 TinySAM 모델은 각 측면에서 25% 포인트만 사용하므로 원래 설정에서 사용 가능한 포인트의 1/16만 활용합니다. 그런 다음 모델은 이러한 프롬프트를 사용하여 마스크 디코더와 프롬프트 인코더를 추론하고 출력을 얻습니다. 그런 다음 모델은 특정 임계값을 초과하는 신뢰도로 일부 마스크를 필터링하고 해당 위치를 잠재적인 최종 예측을 위한 영역으로 마스킹합니다. 모델은 이러한 영역을 신뢰도가 높은 인스턴스의 분할 결과로 처리하므로 포인트 프롬프트를 생성할 필요가 없습니다. 이 전략은 객체의 지나치게 세분화된 분할을 방지하는 데 도움이 될 뿐만 아니라 운영 비용과 계산 요구 사항을 크게 줄이는 데도 도움이 됩니다. 그런 다음 프레임워크는 이 두 라운드의 결과를 병합하고 사후 처리하여 최종 마스크를 얻습니다. 

TinySAM : 실험 및 결과

증류 프로세스를 가속화하기 위해 TinySAM 프레임워크는 교사 네트워크의 이미지 임베딩을 미리 계산하고 저장하므로 모델이 더 이상 훈련 단계 동안 교사 네트워크의 무거운 이미지 인코더를 반복적으로 계산할 필요가 없습니다. 훈련 후 양자화를 위해 TinySAM 프레임워크는 컨볼루션 및 디컨볼루션 계층 모두에 채널별 스케일링 인자를 사용하는 모델을 사용하여 모든 행렬 곱셈 계층, 컨볼루션 계층, 디컨볼루션 계층 및 선형 계층을 양자화합니다. 행렬 곱셈 레이어의 경우 모델은 헤드 방향 스케일링 인자를 구현하는 반면, 선형 레이어의 경우 모델은 선형 방향 스케일링 인자를 구현합니다. 이 모델은 또한 제로샷 다운스트림 작업에 대한 평가도 수행합니다. 

제로샷 설정의 인스턴스 분할 작업의 경우 TinySAM 프레임워크는 이전 모델인 Segment Anything Model의 실험 설정을 따르고 인스턴스 분할을 위해 Vision Transformer Det-H 또는 VitDet-H 프레임워크의 객체 감지 결과를 사용합니다. 다음 이미지에서 볼 수 있듯이 TinySAM 프레임워크는 인스턴스 분할 정확도 및 FLOP 점수 측면에서 기존 방법보다 성능이 뛰어납니다. 

또한 TinySAM 모델의 정성적 성능은 상자 프롬프트를 나타내는 녹색 상자가 있는 제로샷 인스턴스 분할에 대한 다음 이미지에서 보여줍니다. 

제로샷 포인트 유효 마스크 평가 측면에서 TinySAM 모델은 다양한 데이터 세트에서 MobileSAM 프레임워크보다 훨씬 뛰어난 성능을 발휘하며 프레임워크에서 프롬프트로 활용되는 포인트 수가 적을 때 훨씬 더 나은 결과를 제공합니다. 

또한 다음 표에는 계층적 모든 모드 전략의 결과로 달성된 계산 요구 사항의 가속화 및 감소 결과가 요약되어 있습니다. 모델은 공정한 비교를 위해 동일한 안정성 점수와 임계값을 다양한 전략으로 적용했으며, 그 결과는 아래에 요약되어 있습니다. 

최종 생각

이 기사에서는 모든 작업을 분할하기 위한 경계를 넓히고 원래 SAM 프레임워크와 동등한 수준의 계산 요구 사항과 정확성을 갖춘 효율적인 모델 아키텍처를 얻는 제안된 프레임워크인 TinySAM에 대해 설명했습니다. TinySAM 또는 원래 프레임워크의 제로샷 성능을 유지하고 제공하는 Tiny Segment Anything 모델입니다. TinySAM 프레임워크는 먼저 온라인 하드 프롬프트를 사용하여 경량 학생 모델을 추출하는 전체 단계 지식 추출 방법을 구현합니다. 그런 다음 TinySAM 프레임워크는 훈련 후 양자화를 신속한 분할 작업에 적용하여 계산 요구 사항을 줄이는 데 더욱 도움이 됩니다. 또한 프레임워크는 성능에 영향을 주지 않고 추론 속도를 거의 두 배로 높이는 모든 것을 계층적으로 분할하는 것을 목표로 합니다.