Jedním z hlavních problémů modelů počítačového vidění je generování kvalitních segmentačních masek. Nedávné pokroky ve velkém měřítku dohlíženého tréninku umožnily segmentaci bez dozoru napříč různými styly obrazů. Kromě toho trénink bez dozoru zjednodušil segmentaci bez potřeby rozsáhlých anotací. Přesto zůstává konstrukce rámcu počítačového vidění schopného segmentovat cokoliv v nastavení bez dozoru bez anotací složitým úkolem. Sémantická segmentace, základní koncept v modelech počítačového vidění, zahrnuje rozdělení obrazu na menší regiony s uniformními sémantikami. Tato technika vytváří základ pro řadu následných úkolů, jako je lékařské zobrazování, editace obrazu, autonomní řízení a mnoho dalších.

Pro pokrok ve vývoji modelů počítačového vidění je důležité, aby segmentace obrazu nebyla omezena na pevnou sadu dat s omezenými kategoriemi. Místo toho by měla fungovat jako všestranný základní úkol pro různé další aplikace. Nicméně, vysoká cena sběru popisků na pixelové bázi představuje významnou výzvu, omezující pokrok metod segmentace bez dozoru a dohlížené, které vyžadují žádné anotace a postrádají předchozí přístup k cíli. Tento článek bude diskutovat, jak samo-pozornostní vrstvy ve stabilních difuzních modelech mohou usnadnit vytvoření modelu schopného segmentovat jakýkoli vstup v nastavení bez dozoru, i bez řádných anotací. Tyto samo-pozornostní vrstvy přirozeně chápou koncepty objektů, které se naučí předem trénovaný stabilní difuzní model.

DiffSeg: Vylepšený algoritmus pro segmentaci bez dozoru

Sémantická segmentace je proces, který rozděluje obraz na různé sekce, přičemž každá sekce sdílí podobné sémantiky. Tato technika vytváří základ pro řadu následných úkolů. Tradičně, úkoly počítačového vidění bez dozoru závisely na dohlížené sémantické segmentaci, využívající velké sady dat s anotovanými a označenými kategoriemi. Nicméně, implementace nesupervizované sémantické segmentace v nastavení bez dozoru zůstává výzvou. Zatímco tradiční dohlížené metody jsou efektivní, jejich cena popisku na pixelové bázi je často prohibitive, zdůrazňující potřebu vývoje nesupervizovaných metod segmentace v méně restriktivním nastavení bez dozoru, kde model nevyžaduje anotovaná data ani předchozí znalost dat.

Pro řešení této limitace, DiffSeg představuje novou strategii post-processing, využívající schopností rámcu Stabilní difuze k vytvoření obecného modelu segmentace, který může implementovat přenos bez dozoru na jakýkoli obraz. Rámce Stabilní difuze prokázaly svou efektivitu při generování obrazů s vysokým rozlišením na základě podmínek promptů. Pro generované obrazy, tyto rámce mohou produkovat segmentační masky pomocí odpovídajících textových promptů, obvykle zahrnujících pouze dominantní objekty popředí.

Naproti tomu, DiffSeg je inovativní metoda post-processing, která vytváří segmentační masky pomocí tensorů pozornosti ze samo-pozornostních vrstev v difuzním modelu. Algoritmus DiffSeg se skládá ze tří klíčových komponent: iterativní slučování pozornosti, agregace pozornosti a potlačení maximálního počtu, jak je znázorněno na následujícím obrázku.

Algoritmus DiffSeg zachovává vizuální informace napříč několika rozlišeními agregací 4D tensorů pozornosti se spatialní konzistencí a využívá iterativního procesu slučování pozornosti výběrem kotvičních bodů. Tyto kotviče slouží jako výchozí bod pro slučování masek pozornosti se stejnými objekty, které jsou nakonec absorbovány. Rámec DiffSeg řídí proces slučování pomocí metody KL divergence pro měření podobnosti mezi dvěma mapami pozornosti.

Ve srovnání s metodami nesupervizované segmentace založenými na shlukování, vývojáři nemusí specifikovat počet shluků předem v algoritmu DiffSeg, a dokonce ani bez předchozích znalostí, algoritmus DiffSeg může produkovat segmentaci bez využití dalších zdrojů. Celkově, algoritmus DiffSeg je „Novou nesupervizovanou a bezdozorovou metodou segmentace, která využívá předem trénovaný stabilní difuzní model a může segmentovat obrazy bez dalších zdrojů nebo předchozích znalostí.“

DiffSeg: Základní koncepty

DiffSeg je novým algoritmem, který staví na znalostech modelů difuze, nesupervizované segmentace a segmentace bez dozoru.

Modely difuze

Algoritmus DiffSeg staví na znalostech z předem trénovaných modelů difuze. Modely difuze jsou jedním z nejoblíbenějších generativních rámců pro modely počítačového vidění a učí se forward a reverse difuzní proces z obrazu s náhodným gaussovským šumem. Stabilní difuze je nejpopulárnější variantou modelů difuze a používá se pro širokou škálu úkolů, včetně dohlížené segmentace, klasifikace bez dozoru, sémantického対応ení a otevřené segmentace. Nicméně, problémem modelů difuze je, že spoléhají na vysoké dimenzionální vizuální funkce, aby tyto úkoly provedly, a často vyžadují další trénink, aby tyto funkce plně využily.

Nesupervizovaná segmentace

Algoritmus DiffSeg je úzce spojen s nesupervizovanou segmentací, moderní praxí AI, která cílem generovat husté segmentační masky bez použití anotací. Nicméně, aby dosáhla dobrých výsledků, modely nesupervizované segmentace potřebují некоторou předchozí nesupervizovanou přípravu na cílové sadě dat. Nesupervizovaná segmentace založená na AI může být rozdělena do dvou kategorií: shlukování pomocí předem trénovaných modelů a shlukování založené na invariantnosti. V první kategorii, rámce využívají diskriminativní funkce, které se naučily předem trénované modely, aby generovaly segmentační masky, zatímco rámce ve druhé kategorii používají obecný algoritmus shlukování, který optimalizuje vzájemnou informaci mezi dvěma obrazy, aby segmentoval obrazy do sémantických shluků a aby se vyhnul degenerované segmentaci.

Segmentace bez dozoru

Algoritmus DiffSeg je úzce spojen se segmentačními rámci bez dozoru, metodou, která má schopnost segmentovat cokoliv bez předchozího tréninku nebo znalosti dat. Modely segmentace bez dozoru prokázaly výjimečné schopnosti přenosu bez dozoru v nedávné době, i když vyžadují some textové vstupy a prompty. Na rozdíl od toho, algoritmus DiffSeg využívá difuzní model k generování segmentace bez dotazování a syntézy více obrazů a bez znalosti obsahu objektu.

DiffSeg: Metoda a architektura

Algoritmus DiffSeg využívá samo-pozornostních vrstev v předem trénovaném stabilním difuzním modelu k generování kvalitních segmentačních úkolů.

Stabilní difuzní model

Stabilní difuze je jedním z fundamentálních konceptů v rámci DiffSeg. Stabilní difuze je generativní AI rámec a jeden z nejoblíbenějších modelů difuze. Jedním z hlavních charakteristik modelu difuze je forward a reverse pas. V forward pasu, malá část gaussovského šumu je přidána k obrazu iterativně na každém časovém kroku, dokud obraz nestane gaussovským šumovým obrazem. Naopak, v reverse pasu, difuzní model iterativně odstraňuje šum v gaussovském šumovém obrazu, aby obnovil původní obraz bez gaussovského šumu.

Rámec Stabilní difuze využívá encoder-decoder a U-Net design s pozornostní vrstvou, kde encoder komprimuje obraz do latentního prostoru s menším prostorovým rozměrem a decoder dekomprimuje obraz. Architektura U-Net se skládá z hromady modulárních bloků, kde každý blok se skládá z jedné z následujících dvou komponent: Transformer Layer a ResNet layer.

Komponenty a architektura

Samo-pozornostní vrstvy v difuzních modelech seskupují informace inherentních objektů ve formě spatialních map pozornosti a DiffSeg je novou metodou post-processing, která slučuje tenzory pozornosti do platné segmentační masky, se třemi hlavními komponentami: agregací pozornosti, potlačením maximálního počtu a iterativním slučováním pozornosti.

Agregace pozornosti

Pro vstupní obraz, který prochází U-Net vrstvami a Encoderem, stabilní difuzní model generuje celkem 16 tensorů pozornosti, s 5 tensorů pro každou z dimenzí. Hlavním cílem generování 16 tensorů je agregovat tyto tenzory pozornosti s různými rozlišeními do tensoru s nejvyšší možným rozlišením. K tomu, algoritmus DiffSeg zachází s 4 dimenzemi odlišně.

Ze čtyř dimenzí, poslední 2 dimenze v senzorech pozornosti mají odlišná rozlišení, ale jsou spatialně konzistentní, protože 2D spatialní mapa rámce DiffSeg odpovídá korelaci mezi lokalizacemi a spatialními lokalizacemi. Výsledkem je, že rámec DiffSeg vzorkuje tyto dvě dimenze všech map pozornosti na nejvyšší rozlišení, 64 x 64. Naopak, první 2 dimenze indikují lokalizaci referenci map pozornosti, jak je demonstrováno na následujícím obrázku.

Jako tyto dimenze odkazují na lokalizaci map pozornosti, mapy pozornosti potřebují být agregovány odpovídajícím způsobem. Kromě toho, aby se zajistilo, že agregovaná mapa pozornosti má platnou distribuci, rámec normalizuje distribuci po agregaci, přičemž každá mapa pozornosti je přiřazena váha proporcionální k jejímu rozlišení.

Iterativní slučování pozornosti

Zatímco hlavním cílem agregace pozornosti bylo vypočítat tensor pozornosti, hlavním cílem je slučovat mapy pozornosti v tensoru do zásobníku objektových návrhů, kde každý návrh obsahuje buď kategorii stuff nebo aktivaci jediného objektu. Navrhovaná řešení pro dosažení tohoto cíle je implementace algoritmu K-Means na platné distribuci tensorů, aby se našly shluky objektů. Nicméně, použití algoritmu K-Means není optimálním řešením, protože algoritmus K-Means vyžaduje, aby uživatel specifikoval počet shluků předem. Kromě toho, implementace algoritmu K-Means může vést k odlišným výsledkům pro stejný obraz, protože je závislý na inicializaci. Aby se překonala tato překážka, rámec DiffSeg navrhuje generovat vzorkovací mřížku pro vytváření návrhů slučováním map pozornosti iterativně.

Potlačení maximálního počtu

Předchozí krok iterativního slučování pozornosti vede k seznamu objektových návrhů ve formě pravděpodobnostních map pozornosti, kde každý objektový návrh obsahuje aktivaci objektu. Rámec DiffSeg využívá potlačení maximálního počtu k převodu seznamu objektových návrhů na platnou segmentační masku, a proces je efektivní, protože každý prvek v seznamu je již mapa pravděpodobnostní distribuce. Pro každou spatialní lokalizaci napříč všemi mapami, algoritmus bere index největší pravděpodobnosti a přiřazuje členství na základě indexu odpovídající mapy.

DiffSeg: Experimenty a výsledky

Rámce, které pracují na nesupervizované segmentaci, využívají dvě segmentační benchmarky, konkrétně Cityscapes a COCO-stuff-27. Benchmark Cityscapes je sada pro samořízené vozidlo s 27 mid-level kategoriemi, zatímco benchmark COCO-stuff-27 je kurátorská verze původní sady COCO-stuff, která slučuje 80 věcí a 91 kategorií do 27 kategorií. Kromě toho, aby se analyzovala segmentační výkonnost, rámec DiffSeg využívá průměrnou intersekci nad unií (mIoU) a pixelovou přesnost (ACC), a protože algoritmus DiffSeg není schopen poskytnout sémantickou značku, využívá algoritmus Hungarian matching k přiřazení ground truth masky ke každé předpovězené masce. Pokud počet předpovězených masek přesahuje počet ground truth masek, rámec vezme v úvahu nepárovatelné předpovězené úkoly jako falešné negativy.

Kromě toho, rámec DiffSeg také zdůrazňuje následující tři práce, aby běžel interference: Závislost jazyka nebo LD, Nesupervizovaná adaptace nebo UA a Pomocný obraz nebo AX. Závislost jazyka znamená, že metoda potřebuje deskriptivní textové vstupy, aby usnadnila segmentaci pro obraz, Nesupervizovaná adaptace odkazuje na požadavek, aby metoda využila nesupervizované trénink na cílové sadě dat, zatímco Pomocný obraz odkazuje na to, že metoda potřebuje další vstup, buď jako syntetické obrazy, nebo jako pool referenčních obrazů.

Výsledky

Na benchmarku COCO, rámec DiffSeg zahrnuje dvě baseline K-Means, K-Means-S a K-Means-C. Benchmark K-Means-C zahrnuje 6 shluků, které jsou vypočteny průměrováním počtu objektů v obrazech, které vyhodnocují, zatímco benchmark K-Means-S využívá specifický počet shluků pro každý obraz na základě počtu objektů v ground truth obrazu, a výsledky na obou těchto benchmarcích jsou demonstrovány na následujícím obrázku.

Jak je vidět, baseline K-Means překonává existující metody, což demonstruje benefit použití samo-pozornostních tensorů. Co je zajímavé, je, že baseline K-Means-S překonává baseline K-Means-C, což naznačuje, že počet shluků je fundamentálním hyper-parametrem, a jeho ladění je důležité pro každý obraz. Kromě toho, i když se spoléhá na stejné tenzory pozornosti, rámec DiffSeg překonává baseline K-Means, což prokazuje schopnost rámce DiffSeg nejen poskytovat lepší segmentaci, ale také vyhnout se nevýhodám, které představuje použití baseline K-Means.

Na sadě dat Cityscapes, rámec DiffSeg dodává výsledky podobné rámcům, které využívají vstup s nižším rozlišením 320, zatímco překonává rámce, které berou vyšší vstupní rozlišení 512, napříč přesností a mIoU.

Jak je zmíněno dříve, rámec DiffSeg využívá několik hyper-parametrů, jak je demonstrováno na následujícím obrázku.

Agregace pozornosti je jedním z fundamentálních konceptů, které rámec DiffSeg využívá, a účinky použití různých agregovaných vah jsou demonstrovány na následujícím obrázku s konstantním rozlišením obrazu.

Jak je vidět, vysoké rozlišení map v Fig (b) s 64 x 64 mapami poskytují nejpodrobnější segmentace, i když segmentace mají některé viditelné trhliny, zatímco nižší rozlišení 32 x 32 mapy tendují k přehnanému segmentování detailů, i když výsledkem jsou vylepšené koherentní segmentace. V Fig (d), nízké rozlišení mapy nejsou schopny generovat žádnou segmentaci, protože celý obraz je sloučen do jediného objektu s existujícím nastavením hyper-parametrů. Nakonec, Fig (a), která využívá proporcionální agregaci strategie, vede k vylepšeným detailům a vyvážené konzistenci.

Závěrečné myšlenky

Segmentace bez dozoru je stále jednou z největších překážek pro rámce počítačového vidění, a existující modely buď spoléhají na nesupervizovanou adaptaci nebo na externí zdroje. Aby se překonala tato překážka, jsme diskutovali, jak samo-pozornostní vrstvy ve stabilních difuzních modelech mohou umožnit konstrukci modelu, který může segmentovat jakýkoli vstup v nastavení bez dozoru bez řádných anotací, protože tyto samo-pozornostní vrstvy obsahují inherentní koncepty objektů, které se naučil předem trénovaný stabilní difuzní model. Také jsme diskutovali o DiffSeg, novém strategii post-processing, která cílem využít potenciál rámcu Stabilní difuze k vytvoření obecného modelu segmentace, který může implementovat přenos bez dozoru na jakýkoli obraz. Algoritmus DiffSeg spoléhá na Inter-Attention Similarity a Intra-Attention Similarity k iterativnímu slučování map pozornosti do platných segmentačních masek, aby dosáhl stavu umění na populárních benchmarcích.