Model Segment Anything – Wizualna percepcja komputera zyskuje ogromny przyrost

Wizualna percepcja komputera (CV) osiągnęła 99% dokładności z 50% w ciągu 10 lat. Technologia ta ma się dalej poprawiać do niezwykłego poziomu dzięki nowoczesnym algorytmom i technikom segmentacji obrazu. Niedawno laboratorium FAIR firmy Meta wydało Model Segment Anything (SAM) – przełom w segmentacji obrazu. Ten zaawansowany model może tworzyć szczegółowe maski obiektów z podanych wskazówek, wprowadzając wizualną percepcję komputera na nowe wysokości. Może potencjalnie rewolucjonizować sposób, w jaki wchodzimy w interakcje z cyfrową technologią w tej erze.

Przejdźmy do segmentacji obrazu i odkryjmy, jak SAM wpływa na wizualną percepcję komputera.

Czym jest segmentacja obrazu i jakie są jej typy?

Segmentacja obrazu jest procesem w wizualnej percepcji komputera, który dzieli obraz na wiele regionów lub segmentów, z których każdy reprezentuje inny obiekt lub obszar obrazu. Podejście to pozwala ekspertom na izolowanie konkretnych części obrazu w celu uzyskania znaczących informacji.

Modele segmentacji obrazu są szkolone, aby poprawiać wyniki, rozpoznając istotne szczegóły obrazu i redukując złożoność. Te algorytmy skutecznie różnicują między różnymi regionami obrazu na podstawie cech takich jak kolor, tekstura, kontrast, cienie i krawędzie.

Dzięki segmentacji obrazu możemy skoncentrować naszą analizę na obszarach zainteresowania, aby uzyskać szczegółowe informacje. Poniżej znajdują się różne techniki segmentacji obrazu.

• Semantyczna segmentacja obejmuje oznaczanie pikseli w klasy semantyczne.
• Segmentacja instancji idzie dalej, wykrywając i wyznaczając każdy obiekt na obrazie.
• Panoptyczna segmentacja przypisuje unikalne identyfikatory instancji do poszczególnych pikseli obiektów, co skutkuje bardziej wszechstronnym i kontekstowym oznaczaniem wszystkich obiektów na obrazie.

Segmentacja jest wdrażana za pomocą modeli głębokiego uczenia się opartych na obrazie. Te modele pobierają wszystkie cenne punkty danych i cechy z zestawu szkoleniowego. Następnie przekształcają te dane w wektory i macierze, aby zrozumieć złożone cechy. Niektóre z powszechnie stosowanych modeli głębokiego uczenia się w segmentacji obrazu to:

• Sieci neuronowe zwane (CNN)
• Sieci całkowicie połączone (FCN)
• Sieci neuronowe rekurencyjne (RNN)

Jak działa segmentacja obrazu?

W wizualnej percepcji komputera większość modeli segmentacji obrazu składa się z sieci kodera-dekodera. Koder koduje latentną przestrzeń reprezentacji danych wejściowych, którą dekoder dekoduje w celu utworzenia map segmentacji, czyli map określających położenie każdego obiektu na obrazie.

Zwykle proces segmentacji składa się z 3 etapów:

• Koder obrazu, który przekształca obraz wejściowy w model matematyczny (wektory i macierze) do przetwarzania.
• Koder agreguje wektory na wielu poziomach.
• Szybki dekoder maski pobiera wejściowe osadzenia obrazu i wytwarza maskę, która zarysowuje różne obiekty na obrazie oddzielnie.

Stan segmentacji obrazu

Od 2014 roku pojawiła się fala algorytmów segmentacji opartych na głębokim uczeniu się, takich jak CNN+CRF i FCN, które poczyniły znaczne postępy w tej dziedzinie. W 2015 roku nastąpił wzrost U-Net i Deconvolution Network, co poprawiło dokładność wyników segmentacji.

Następnie w 2016 roku Instance Aware Segmentation, V-Net i RefineNet dalej poprawiły dokładność i szybkość segmentacji. Do 2017 roku Mark-RCNN i FC-DenseNet wprowadziły wykrywanie obiektów i gęste przewidywanie do zadań segmentacji.

W 2018 roku Panoptic Segmentation, Mask-Lab i Context Encoding Networks znalazły się w centrum uwagi, ponieważ te podejścia dotyczyły potrzeby segmentacji na poziomie instancji. Do 2019 roku Panoptic FPN, HRNet i Criss-Cross Attention wprowadziły nowe podejścia do segmentacji na poziomie instancji.

W 2020 roku trend ten kontynuował się z wprowadzeniem Detecto RS, Panoptic DeepLab, PolarMask, CenterMask, DC-NAS i Efficient Net + NAS-FPN. Wreszcie w 2023 roku mamy SAM, o którym będziemy dyskutować dalej.

Model Segment Anything (SAM) – ogólnego przeznaczenia segmentacja obrazu

Źródło obrazu

Model Segment Anything (SAM) to nowe podejście, które może wykonywać interaktywne i automatyczne zadania segmentacji w jednym modelu. Poprzednio interaktywna segmentacja pozwalała na segmentację dowolnej klasy obiektów, ale wymagała od osoby kierowania tą metodą przez iteracyjne udoskonalanie maski.

Automatyczna segmentacja w SAM pozwala na segmentację określonych kategorii obiektów zdefiniowanych wcześniej. Jego interfejs jest bardzo elastyczny. W rezultacie SAM może rozwiązywać szeroki zakres zadań segmentacji przy użyciu odpowiedniej wskazówki, takiej jak kliknięcia, pudełka, tekst itp.

SAM jest szkolony na różnorodnym i przemyślanym zbiorze danych ponad 1 miliarda masek, co pozwala mu rozpoznać nowe obiekty i obrazy niedostępne w zestawie szkoleniowym. Ten nowoczesny framework w znacznym stopniu rewolucjonizuje modele CV w aplikacjach takich jak samochody autonomiczne, bezpieczeństwo i rzeczywistość rozszerzona.

SAM może wykrywać i segmentować obiekty wokół samochodu w samochodach autonomicznych, takich jak inne pojazdy, piesi i znaki drogowe. W rzeczywistości rozszerzonej SAM może segmentować środowisko rzeczywiste, aby umieścić obiekty wirtualne w odpowiednich miejscach, tworząc bardziej realistyczne i angażujące UX.

Wyzwania segmentacji obrazu w 2023 roku

Rosnące badania i rozwój w segmentacji obrazu przynoszą również znaczne wyzwania. Niektóre z najważniejszych wyzwań segmentacji obrazu w 2023 roku to:

• Rozwijająca się złożoność zbiorów danych, szczególnie w przypadku segmentacji obrazu 3D
• Tworzenie modeli głębokiego uczenia się, które są interpretowalne
• Użycie modeli uczenia się nienadzorowanego, które minimalizują interwencję ludzką
• Potrzeba modeli w czasie rzeczywistym i efektywnych pod względem pamięci
• Wyeliminowanie wąskich gardeł segmentacji chmury punktów 3D

Przyszłość wizualnej percepcji komputera

Globalny rynek wizualnej percepcji komputera wpływa na wiele branż i ma osiągnąć ponad $41 miliard do 2030 roku. Nowoczesne techniki segmentacji obrazu, takie jak Model Segment Anything, połączone z innymi algorytmami głębokiego uczenia się, dalej wzmocnią strukturę wizualnej percepcji komputera w krajobrazie cyfrowym. Zatem zobaczymy bardziej