Model Segment Anything – Počítačové vidění dostává obrovský impuls

Počítačové vidění (CV) dosáhlo 99% přesnosti z 50% za posledních 10 let. Předpokládá se, že tato technologie bude dále vylepšena na bezprecedentní úrovni pomocí moderních algoritmů a technik segmentace obrazu. Nedávno laboratoř FAIR společnosti Meta vydala Model Segment Anything (SAM) – revoluční model v segmentaci obrazu. Tento pokročilý model může produkovat podrobné masky objektů z vstupních podnětů, čímž zvedá počítačové vidění na nové výšky. Může potenciálně změnit, jak interagujeme s digitální technologií v této éře.

Podívejme se na segmentaci obrazu a stručně prozkoumejme, jak SAM ovlivňuje počítačové vidění.

Co je segmentace obrazu a jaké jsou její typy?

Segmentace obrazu je proces v počítačovém vidění, který rozděluje obraz na několik regionů nebo segmentů, z nichž každý reprezentuje jiný objekt nebo oblast obrazu. Tento přístup umožňuje odborníkům izolovat specifické části obrazu, aby získali smysluplné informace.

Modely segmentace obrazu jsou trénovány tak, aby zlepšovaly výstup rozpoznáním důležitých detailů obrazu a snížením složitosti. Tyto algoritmy účinně rozlišují mezi různými regiony obrazu na základě funkcí, jako je barva, textura, kontrast, stíny a hrany.

Segmentací obrazu můžeme zaměřit naši analýzu na regiony zájmu pro získání smysluplných detailů. Níže jsou uvedeny různé techniky segmentace obrazu.

• Sémantická segmentace zahrnuje označování pixelů do sémantických tříd.
• Instance segmentace jde dále a detekuje a vymezuje každý objekt v obraze.
• Panoptická segmentace přiřazuje jedinečné instance ID pixelům jednotlivých objektů, což vede k komplexnějšímu a kontextovějšímu označování všech objektů v obraze.

Segmentace je implementována pomocí modelů hlubokého učení založených na obrazech. Tyto modely získávají všechny cenné datové body a funkce z trénovací sady. Poté tyto údaje převádějí na vektory a matice, aby pochopily komplexní funkce. Některé z nejčastěji používaných modelů hlubokého učení pro segmentaci obrazu jsou:

• Convolutional Neural Networks (CNNs)
• Fully Connected Networks (FCNs)
• Recurrent Neural Networks (RNNs)

Jak funguje segmentace obrazu?

V počítačovém vidění se většina modelů segmentace obrazu skládá z encoder-decoder sítě. Encoder kóduje latentní prostor reprezentace vstupních dat, které decoder dekóduje, aby vytvořil segmentační mapy, nebo jinými slovy, mapy, které vymezují umístění každého objektu v obraze.

Obvykle se segmentační proces skládá ze 3 fází:

• Encoder obrazu, který transformuje vstupní obraz do matematického modelu (vektorů a matic) pro zpracování.
• Encoder agreguje vektory na více úrovních.
• Rychlý dekodér masky bere image embeddingy jako vstup a produkuje masku, která vymezuje různé objekty v obraze zvlášť.

Stav segmentace obrazu

Od roku 2014 se objevila vlna algoritmů segmentace založených na hlubokém učení, jako je CNN+CRF a FCN, které dosáhly významného pokroku v oblasti. V roce 2015 se objevil U-Net a Deconvolution Network, které zlepšily přesnost segmentačních výsledků.

Poté v roce 2016 Instance Aware Segmentation, V-Net a RefineNet dále zlepšily přesnost a rychlost segmentace. V roce 2017 Mark-RCNN a FC-DenseNet zavedly detekci objektů a hustou predikci do segmentačních úkolů.

V roce 2018 Panoptic Segmentation, Mask-Lab a Context Encoding Networks byly v centru pozornosti, protože tyto přístupy řešily potřebu segmentace na úrovni instance. V roce 2019 Panoptic FPN, HRNet a Criss-Cross Attention zavedly nové přístupy pro segmentaci na úrovni instance.

V roce 2020 pokračoval trend s představením Detecto RS, Panoptic DeepLab, PolarMask, CenterMask, DC-NAS a Efficient Net + NAS-FPN. Nakonec v roce 2023 máme SAM, o kterém budeme dále diskutovat.

Model Segment Anything (SAM) – Obecná segmentace obrazu

Zdroj obrazu

Model Segment Anything (SAM) je nový přístup, který může provádět interaktivní a automatické segmentační úkoly v jednom modelu. Předtím interaktivní segmentace umožňovala segmentovat libovolnou třídu objektů, ale vyžadovala, aby osoba vedla metodu iterativním уточňováním masky.

Automatická segmentace v SAM umožňuje segmentaci specifických kategorií objektů definovaných předem. Jeho rozšiřitelné rozhraní je velmi flexibilní. Jako výsledek SAM může řešit širokou škálu segmentačních úkolů pomocí vhodného podnětu, jako jsou kliknutí, rámečky, text a další.

SAM je trénován na rozmanité a přehledné datové sadě více než 1 miliardy masek, což umožňuje rozpoznat nové objekty a obrazy, které nejsou dostupné v trénovací sadě. Tento moderní rámec bude široce revolucionizovat modely CV v aplikacích jako samořídící auta, bezpečnost a rozšířená realita.

SAM může detekovat a segmentovat objekty kolem auta v samořídících autech, jako jsou další vozidla, chodci a dopravní značky. V rozšířené realitě SAM může segmentovat reálné prostředí, aby umístil virtuální objekty do vhodných míst, vytvářející tak více realistický a atraktivní uživatelský zážitek.

Výzvy segmentace obrazu v roce 2023

Zvyšující se výzkum a vývoj v segmentaci obrazu také přinášejí významné výzvy. Některé z hlavních výzev segmentace obrazu v roce 2023 zahrnují:

• Zvyšující se složitost datových sad, zejména pro 3D segmentaci obrazu
• Vývoj interpretovatelných hlubokých modelů
• Použití nesupervizovaných učících modelů, které minimalizují lidskou intervenci
• Potřebu reálných a paměťově efektivních modelů
• Vyřazení úzkých míst 3D bodových mračen

Budoucnost počítačového vidění

Globální trh počítačového vidění ovlivňuje několik odvětví a má být podle odhadů větší než $41 miliard do roku 2030. Moderní techniky segmentace obrazu, jako je Model Segment Anything, v kombinaci s dalšími algoritmy hlubokého učení, dále posílí základnu počítačového vidění v digitálním prostředí. Proto budeme svědky více robustních modelů počítačového vidění a inteligentních aplikací v budoucnu.

Chcete-li se dozvědět více o AI a ML, prozkoumejte Unite.ai – vaší jedinou zastávkou pro všechny dotazy týkající se technologií a jejich současného stavu.