Modely a platformy AI
DiffSeg: Nesupervizovaná segmentace typu zero-shot pomocí modelu Stable Diffusion
Klíčové bodyDiffSeg vytváří segmentační masky z vrstev self-attention modelu Stable Diffusion bez…
Zobrazit více
- DiffSeg vytváří segmentační masky z vrstev self-attention modelu Stable Diffusion bez nutnosti trénování nebo použití popisků.
- Jeho novátorský proces slučování se vyhýbá nutnosti určovat počet shluků, na rozdíl od tradičních neřízených metod.
- Algoritmus dosahuje špičkových výsledků v zero-shot segmentaci na benchmarkových datech jako Cityscapes a COCO-stuff.
Jedním z hlavních problémů modelů počítačového vidění je generování kvalitních segmentačních masek. Nedávné pokroky ve velkém měřítku dohlíženého tréninku umožnily segmentaci bez trénovacích příkladů cílové úlohy (zero-shot) napříč různými styly obrazů. Kromě toho trénink bez dozoru zjednodušil segmentaci bez potřeby rozsáhlých anotací. Přesto zůstává vytvoření rámce počítačového vidění schopného segmentovat cokoliv v režimu zero-shot bez anotací složitým úkolem. Sémantická segmentace, základní koncept v modelech počítačového vidění, zahrnuje rozdělení obrazu na menší regiony s uniformními sémantikami. Tato technika vytváří základ pro řadu následných úkolů, jako je lékařské zobrazování, editace obrazu, autonomní řízení a mnoho dalších.
Pro pokrok ve vývoji modelů počítačového vidění je důležité, aby segmentace obrazu nebyla omezena na pevnou sadu dat s omezenými kategoriemi. Místo toho by měla fungovat jako všestranný základní úkol pro různé další aplikace. Nicméně, vysoká cena sběru popisků na pixelové bázi představuje významnou výzvu, omezující pokrok metod segmentace typu zero-shot a metod s dohledem, které vyžadují žádné anotace a postrádají předchozí přístup k cíli. Tento článek bude diskutovat, jak vrstvy self-attention v modelech Stable Diffusion mohou usnadnit vytvoření modelu schopného segmentovat jakýkoli vstup v režimu zero-shot, i bez řádných anotací. Tyto vrstvy self-attention přirozeně chápou koncepty objektů, které se naučí předem trénovaný stabilní difuzní model.
DiffSeg: Vylepšený algoritmus pro segmentaci typu zero-shot
Sémantická segmentace je proces, který rozděluje obraz na různé sekce, přičemž každá sekce sdílí podobné sémantiky. Tato technika vytváří základ pro řadu následných úkolů. Tradičně, úlohy počítačového vidění typu zero-shot závisely na dohlížené sémantické segmentaci, využívající velké sady dat s anotovanými a označenými kategoriemi. Nicméně, implementace nesupervizované sémantické segmentace v režimu zero-shot zůstává výzvou. Zatímco tradiční dohlížené metody jsou efektivní, jejich cena popisku na pixelové bázi je často neúnosná, zdůrazňující potřebu vývoje nesupervizovaných metod segmentace v méně omezujícím režimu zero-shot, kde model nevyžaduje anotovaná data ani předchozí znalost dat.
Pro řešení této limitace, DiffSeg představuje novou strategii následného zpracování, využívající schopností modelu Stable Diffusion k vytvoření obecného modelu segmentace, který může implementovat přenos typu zero-shot na jakýkoli obraz. Rámce Stabilní difuze prokázaly svou efektivitu při generování obrazů s vysokým rozlišením na základě podmínek promptů. Pro generované obrazy, tyto rámce mohou produkovat segmentační masky pomocí odpovídajících textových promptů, obvykle zahrnujících pouze dominantní objekty popředí.
Naproti tomu, DiffSeg je inovativní metoda následného zpracování, která vytváří segmentační masky pomocí tensorů pozornosti ze samo-pozornostních vrstev v difuzním modelu. Algoritmus DiffSeg se skládá ze tří klíčových komponent: iterativní slučování pozornosti, agregace pozornosti a potlačení nemaximálních hodnot (non-maximum suppression), jak je znázorněno na následujícím obrázku.

Algoritmus DiffSeg zachovává vizuální informace napříč několika rozlišeními agregací 4D tensorů pozornosti se prostorové konzistencí a využívá iterativního procesu slučování pozornosti výběrem kotevních bodů. Tyto kotevní body slouží jako výchozí místa pro slučování masek pozornosti, přičemž kotevní body náležející témuž objektu se postupně sloučí. Rámec DiffSeg řídí proces slučování pomocí metody KL divergence pro měření podobnosti mezi dvěma mapami pozornosti.
Ve srovnání s metodami nesupervizované segmentace založenými na shlukování, vývojáři nemusí specifikovat počet shluků předem v algoritmu DiffSeg, a dokonce ani bez předchozích znalostí, algoritmus DiffSeg může produkovat segmentaci bez využití dalších zdrojů. Celkově, algoritmus DiffSeg je „Novou nesupervizovanou metodou typu zero-shot segmentace, která využívá předem trénovaný stabilní difuzní model a může segmentovat obrazy bez dalších zdrojů nebo předchozích znalostí.“
DiffSeg: Základní koncepty
DiffSeg je novým algoritmem, který staví na znalostech modelů difuze, nesupervizované segmentace a segmentace typu zero-shot.
Modely difuze
Algoritmus DiffSeg staví na znalostech z předem trénovaných modelů difuze. Modely difuze jsou jedním z nejoblíbenějších generativních rámců pro modely počítačového vidění a učí se dopředný a zpětný difuzní proces z obrazu s náhodným gaussovským šumem. Stabilní difuze je nejpopulárnější variantou modelů difuze a používá se pro širokou škálu úkolů, včetně dohlížené segmentace, klasifikace typu zero-shot, sémantického přiřazování, segmentace s malým počtem anotací a segmentace s otevřeným slovníkem. Nicméně, problémem modelů difuze je, že spoléhají na vysoké dimenzionální vizuální příznaky, aby tyto úkoly provedly, a často vyžadují další trénink, aby tyto příznaky plně využily.
Nesupervizovaná segmentace
Algoritmus DiffSeg je úzce spojen s nesupervizovanou segmentací, moderní praxí AI, jejímž cílem je generovat husté segmentační masky bez použití anotací. Nicméně, aby dosáhla dobrých výsledků, modely nesupervizované segmentace potřebují předchozí trénink bez dohledu na cílové datové sadě. Nesupervizovaná segmentace založená na AI může být rozdělena do dvou kategorií: shlukování pomocí předem trénovaných modelů a shlukování založené na invariantnosti. V první kategorii, rámce využívají diskriminační příznaky, které se naučily předem trénované modely, aby generovaly segmentační masky, zatímco rámce ve druhé kategorii používají obecný algoritmus shlukování, který optimalizuje vzájemnou informaci mezi dvěma obrazy, aby segmentoval obrazy do sémantických shluků a aby se vyhnul degenerované segmentaci.
Segmentace typu zero-shot
Algoritmus DiffSeg je úzce spojen se segmentačními rámci typu zero-shot, metodou se schopností segmentovat cokoliv bez předchozího tréninku na cílových datech nebo jejich znalosti. Modely segmentace typu zero-shot prokázaly výjimečné schopnosti přenosu typu zero-shot v nedávné době, i když vyžadují určité textové vstupy a prompty. Na rozdíl od toho, algoritmus DiffSeg využívá difuzní model k generování segmentace bez dotazování a syntézy více obrazů a bez znalosti obsahu objektu.
DiffSeg: Metoda a architektura
Algoritmus DiffSeg využívá samo-pozornostních vrstev v předem trénovaném stabilním difuzním modelu k generování kvalitních segmentačních úkolů.
Stabilní difuzní model
Stabilní difuze je jedním z fundamentálních konceptů v rámci DiffSeg. Stabilní difuze je generativní AI rámec a jeden z nejoblíbenějších modelů difuze. Jednou z hlavních charakteristik modelu difuze je dopředný a zpětný průchod. Při dopředném průchodu, malá část gaussovského šumu je přidána k obrazu iterativně na každém časovém kroku, dokud se obraz nestane gaussovským šumovým obrazem. Naopak, při zpětném průchodu, difuzní model iterativně odstraňuje šum v gaussovském šumovém obrazu, aby obnovil původní obraz bez gaussovského šumu.
Rámec Stabilní difuze využívá encoder-decoder a U-Net design s pozornostní vrstvou, kde encoder komprimuje obraz do latentního prostoru s menším prostorovým rozměrem a decoder dekomprimuje obraz. Architektura U-Net se skládá z hromady modulárních bloků, kde každý blok se skládá z jedné z následujících dvou komponent: Transformer Layer a ResNet layer.
Komponenty a architektura
Samo-pozornostní vrstvy v difuzních modelech seskupují informace inherentních objektů ve formě prostorovéch map pozornosti a DiffSeg je novou metodou následného zpracování, která slučuje tenzory pozornosti do platné segmentační masky, se třemi hlavními komponentami: agregací pozornosti, potlačením nemaximálních hodnot a iterativním slučováním pozornosti.
Agregace pozornosti
Pro vstupní obraz, který prochází U-Net vrstvami a Encoderem, stabilní difuzní model generuje celkem 16 tensorů pozornosti, s 5 tenzory pro každou z dimenzí. Hlavním cílem generování 16 tensorů je agregovat tyto tenzory pozornosti s různými rozlišeními do tensoru s nejvyšším možným rozlišením. K tomu, algoritmus DiffSeg zachází s 4 dimenzemi odlišně.
Ze čtyř dimenzí, poslední 2 dimenze v tenzorech pozornosti mají odlišná rozlišení, ale jsou prostorově konzistentní, protože 2D prostorová mapa rámce DiffSeg odpovídá korelaci mezi lokalizacemi a prostorovémi lokalizacemi. Výsledkem je, že rámec DiffSeg vzorkuje tyto dvě dimenze všech map pozornosti na nejvyšší rozlišení, 64 x 64. Naopak, první 2 dimenze indikují lokalizaci referenci map pozornosti, jak je demonstrováno na následujícím obrázku.

Jako tyto dimenze odkazují na lokalizaci map pozornosti, mapy pozornosti potřebují být agregovány odpovídajícím způsobem. Kromě toho, aby se zajistilo, že agregovaná mapa pozornosti má platnou distribuci, rámec normalizuje distribuci po agregaci, přičemž každé mapě pozornosti je přiřazena váha proporcionální k jejímu rozlišení.
Iterativní slučování pozornosti
Zatímco hlavním cílem agregace pozornosti bylo vypočítat tensor pozornosti, hlavním cílem je slučovat mapy pozornosti v tensoru do zásobníku objektových návrhů, kde každý návrh obsahuje buď kategorii ploch či materiálů (stuff) nebo aktivaci jediného objektu. Navrhovaná řešení pro dosažení tohoto cíle je implementace algoritmu K-Means na platné distribuci tensorů, aby se našly shluky objektů. Nicméně, použití algoritmu K-Means není optimálním řešením, protože algoritmus K-Means vyžaduje, aby uživatel specifikoval počet shluků předem. Kromě toho, implementace algoritmu K-Means může vést k odlišným výsledkům pro stejný obraz, protože je závislý na inicializaci. Aby se překonala tato překážka, rámec DiffSeg navrhuje generovat vzorkovací mřížku pro vytváření návrhů slučováním map pozornosti iterativně.
Potlačení maximálního počtu
Předchozí krok iterativního slučování pozornosti vede k seznamu objektových návrhů ve formě pravděpodobnostních map pozornosti, kde každý objektový návrh obsahuje aktivaci objektu. Rámec DiffSeg využívá potlačení nemaximálních hodnot (non-maximum suppression) k převodu seznamu objektových návrhů na platnou segmentační masku, a proces je efektivní, protože každý prvek v seznamu je již mapa pravděpodobnostní distribuce. Pro každou prostorovou polohu napříč všemi mapami, algoritmus bere index největší pravděpodobnosti a přiřazuje členství na základě indexu odpovídající mapy.
DiffSeg: Experimenty a výsledky
Rámce, které pracují na nesupervizované segmentaci, využívají dva segmentační benchmarky, konkrétně Cityscapes a COCO-stuff-27. Benchmark Cityscapes je sada pro samořízené vozidlo s 27 mid-level kategoriemi, zatímco benchmark COCO-stuff-27 je kurátorská verze původní sady COCO-stuff, která slučuje 80 kategorií objektů (things) a 91 kategorií ploch či materiálů (stuff) do 27 kategorií. Kromě toho, aby se analyzovala segmentační výkonnost, rámec DiffSeg využívá průměrný poměr průniku a sjednocení (mIoU) a pixelovou přesnost (ACC), a protože algoritmus DiffSeg není schopen poskytnout sémantickou značku, využívá algoritmus Hungarian matching k přiřazení ground truth masky ke každé předpovězené masce. Pokud počet předpovězených masek přesahuje počet ground truth masek, rámec vezme v úvahu nepárovatelné předpovězené masky jako falešné negativy.
Kromě toho, rámec DiffSeg také zdůrazňuje následující tři požadavky pro inferenci: Jazyková závislost nebo LD, Nesupervizovaná adaptace nebo UA a Pomocný obraz nebo AX. Jazyková závislost znamená, že metoda potřebuje deskriptivní textové vstupy, aby usnadnila segmentaci pro obraz, Nesupervizovaná adaptace odkazuje na požadavek, aby metoda využila nesupervizovaný trénink na cílové sadě dat, zatímco Pomocný obraz odkazuje na to, že metoda potřebuje další vstup, buď jako syntetické obrazy, nebo jako pool referenčních obrazů.
Výsledky
Na benchmarku COCO, rámec DiffSeg zahrnuje dvě baseline K-Means, K-Means-S a K-Means-C. Benchmark K-Means-C zahrnuje 6 shluků, které jsou vypočteny průměrováním počtu objektů v obrazech, které vyhodnocují, zatímco benchmark K-Means-S využívá specifický počet shluků pro každý obraz na základě počtu objektů v ground truth obrazu, a výsledky na obou těchto benchmarcích jsou demonstrovány na následujícím obrázku.

Jak je vidět, baseline K-Means překonává existující metody, což demonstruje benefit použití samo-pozornostních tensorů. Co je zajímavé, je, že baseline K-Means-S překonává baseline K-Means-C, což naznačuje, že počet shluků je fundamentálním hyper-parametrem, a jeho ladění je důležité pro každý obraz. Kromě toho, i když se spoléhá na stejné tenzory pozornosti, rámec DiffSeg překonává baseline K-Means, což prokazuje schopnost rámce DiffSeg nejen poskytovat lepší segmentaci, ale také vyhnout se nevýhodám, které představuje použití baseline K-Means.
Na sadě dat Cityscapes, rámec DiffSeg dodává výsledky podobné rámcům, které využívají vstup s nižším rozlišením 320, zatímco překonává rámce, které berou vyšší vstupní rozlišení 512, napříč přesností a mIoU.

Jak je zmíněno dříve, rámec DiffSeg využívá několik hyper-parametrů, jak je demonstrováno na následujícím obrázku.

Agregace pozornosti je jedním z fundamentálních konceptů, které rámec DiffSeg využívá, a účinky použití různých agregovaných vah jsou demonstrovány na následujícím obrázku s konstantním rozlišením obrazu.

Jak je vidět, vysoké rozlišení map v Fig (b) s 64 x 64 mapami poskytují nejpodrobnější segmentace, i když segmentace mají některé viditelné trhliny, zatímco nižší rozlišení 32 x 32 mapy tendují k přehnanému segmentování detailů, i když výsledkem jsou vylepšené koherentní segmentace. V Fig (d), nízké rozlišení mapy nejsou schopny generovat žádnou segmentaci, protože celý obraz je sloučen do jediného objektu s existujícím nastavením hyper-parametrů. Nakonec, Fig (a), která využívá proporcionální agregaci strategie, vede k vylepšeným detailům a vyvážené konzistenci.
Závěrečné myšlenky
Nesupervizovaná segmentace typu zero-shot je stále jednou z největších překážek pro rámce počítačového vidění, a existující modely buď spoléhají na adaptaci bez dohledu na cílových datech, která již není typu zero-shot, nebo na externí zdroje. Pro překonání této překážky jsme popsali, jak vrstvy self-attention v modelech Stable Diffusion mohou umožnit konstrukci modelu, který může segmentovat jakýkoli vstup v režimu zero-shot bez řádných anotací, protože tyto vrstvy self-attention obsahují inherentní koncepty objektů, které se naučil předem trénovaný stabilní difuzní model. Také jsme diskutovali o DiffSeg, nové strategii následného zpracování, jejímž cílem je využít potenciál modelu Stable Diffusion k vytvoření obecného modelu segmentace, který může implementovat přenos typu zero-shot na jakýkoli obraz. Algoritmus DiffSeg spoléhá na Inter-Attention Similarity a Intra-Attention Similarity k iterativnímu slučování map pozornosti do platných segmentačních masek, aby dosáhl špičkových výsledků na populárních benchmarcích.












