Ulepszanie usuwania tła AI bez kosztownej anotacji ludzkiej

Naukowcy odkryli, że AI może czysto wycinać ludzi z filmów bez drogiej anotacji ludzkiej, poprawiając jakość i stabilność

Większość z nas doświadczyła bycia “wyciętą” z tła przez proste filtry zmiany tła na platformach wideokonferencyjnych – i zauważyliśmy ograniczenia takich systemów, które są szkolone na najczęstszych typach przypadków, które można znaleźć w wideokonferencji, i nie są zwykle odporne na coś “nieoczekiwanego” – lub nawet na przewidywalne obiekty, takie jak palce:

Typowy przykład systemu wyodrębniania pierwszego planu szkolonego przez AI, który wycina zbyt dużo źródłowego obiektu. Źródło

Najłatwiejszym rozwiązaniem, które staje się coraz bardziej popularne w obliczu modeli języka i widzenia (VLM), które nie są specjalnie szkolone do takich zadań, jest dostosowanie istniejącego modelu do danych, które będą najprawdopodobniej spotkane przez system:

Dwa duże, starannie anotowane zestawy danych podstawowe rozwiązania przedstawionego w artykule z 2020 roku "Real-Time High-Resolution Background Matting". Źródło

Jednak takie dane muszą być anotowane przez ludzi, przy pewnym koszcie i czasie, przez ludzi; i w każdym przypadku, wynika to w bardzo specyficzne i niespecjalizowane narzędzie, które kosztuje dużo pieniędzy i zwykle nie może być używane do szerszego zakresu zadań.

Pomimo tego, rozwijanie “ukierunkowanych” modeli tego typu jest obecnie najkrótszą drogą do skutecznej inferencji w różnych dziedzinach, nie tylko w matowaniu wideo i obrazu (tj. usuwaniu tła / pierwszego planu). Do tej pory wiele nieszkolonych rozwiązań po prostu przeniosło problem w innym miejscu.

Nawet dziś, mimo rozpowszechnienia filtrów wspomaganych przez AI na platformach takich jak Zoom, ta ostatnia continues to recommend zielony ekran jako optymalne rozwiązanie do usuwania tła — uciążliwe i nieco „profesjonalne” rozwiązanie, przy którym większość z nas mogłaby czuć się trochę skrępowana.

Wyciąć to!

Lately, interest has grown in using the Segment Anything (SAM), aby zapewnić zautomatyzowaną i precyzyjną ekstrakcję. Ponieważ SAM został opracowany, aby wspomagać annotation zamiast zapewnić ostre kontury na poziomie akceptowalnym w procesie tworzenia efektów wizualnych, jego domyślne granice nie wystarczają do samodzielnego rozwiązania tego problemu:

Kliknij, aby odtworzyć, jeśli to konieczne. Przykład szorstkich granic utworzonych przez model Segment Anything – idealny do anotacji, ale nie wystarczająco dobry dla VFX drop-out. Źródło 

Niedawne rozwiązanie z Chin proponuje bardziej zaawansowany sposób wykorzystania modeli SAM do uzyskania lepszej ekstrakcji: łączy bazowy moduł śledzący, taki jak SAM, z mostem proponującym regiony i wyspecjalizowanymi głowicami mattingu. Dzięki temu system może iteracyjnie dopracowywać szczegóły krawędzi i radzić sobie z trudnymi granicami, takimi jak włosy w ruchu:

Kliknij, aby odtworzyć, jeśli to konieczne. Z witryny pomocniczej wspierającej nowy artykuł, połączenie dodatkowych filmów, demonstrujących zaawansowanie metody autorów do ekstrakcji. Źródło 

Co kluczowe, nowy system złożony trenuje wyłącznie na obrazach, a nie na filmach, i nie wymaga dodatkowych adnotacji wykonywanych przez ludzi — traditional hindrance against progress in this, and diverse other AI domains.

Przykłady drobiazgowego matowania obrazu i wideo uzyskane za pomocą nowej metody, z trudnymi przypadkami, takimi jak włosy, przejrzystość i ruch, przedstawionymi obok sekwencji w środowisku, w którym metoda produkuje – zdaniem autorów – czystsze, bardziej stabilne wyniki niż poprzednie podejścia. Źródło

Autorzy przygotowali trzy modele eksperymentalne i twierdzą, że osiągnęli w tym zadaniu nowy najlepszy wynik, zachowując przy tym większą zdolność modelu bazowego do uogólniania. Metoda daje więc model ogólnego przeznaczenia z dodatkowymi możliwościami, a nie odizolowane narzędzie do jednego zadania.

The authors state:

„Kompleksowe eksperymenty pokazują, że SAM2Matting osiąga najnowocześniejsze wyniki (SOTA) zarówno w mattingu obrazów, jak i wideo, przy czym matting wideo oceniano ściśle w trybie zero-shot.

„Obszerne wyniki z rzeczywistych warunków dodatkowo potwierdzają dużą zdolność uogólniania na scenariusze otwartego świata z szybkim ruchem, złożonym tłem i obiektami połączonymi z celem (np. mężczyzną jadącym na rowerze).

„Ponadto nasze komponenty mattingu są lekkie i wydajne, dzięki czemu wariant SAM2.1-Tiny działa z szybkością 40 kl./s na 200-klatkowym filmie 1080p, wykorzystując mniej niż 5 GB pamięci GPU”.

The new paper is titled SAM2Matting: Generalized Image and Video Matting, a jej autorami jest czworo badaczy z Uniwersytetu Fudan i Szanghajskiego Uniwersytetu Finansów i Ekonomii. Praca ma GitHub repository, które w chwili pisania udostępniło punkty kontrolne różnych wariantów, kod inferencyjny oraz interaktywną demonstrację, a także zapowiedziało publikację kodu treningowego. Dodatkowo dostępne jest project site.

Metoda

Metoda autorów oddziela śledzenie od wydobywania drobnych szczegółów. Moduł segmentacji obiektów wideo (VOS) tworzy dla każdej klatki zgrubną maskę spójną w czasie, a wyspecjalizowany potok mattingu dopracowuje granice:

Przegląd potoku, w którym elastyczne wprowadzenie i wejście wideo są wprowadzane do śledzenia obiektu wideo w celu wytworzenia grubego maska, który jest udoskonalany przez wykrywacz ROI i przekonwertowany w trimap przed tym, jak predictor wieloskalowy generuje ostateczne drobiazgowe matowanie.

Następnie detektor obszaru zainteresowania (ROI) identyfikuje regiony zawierające drobne szczegóły lub półprzezroczystość i przekształca je w trimap (maskę trzech obszarów, rozdzielającą pierwszy plan, tło i obszary niepewne), która kieruje dopracowaniem. Następnie Progressive Alpha Predictor tworzy końcową matę za pomocą wieloskalowej kaskady od zgrubnego do dokładnego wyniku

Konwencjonalne systemy mattingu zazwyczaj wyznaczają obszary zainteresowania przy użyciu prostych morphological operations, or by directly reusing the mask — podejść, które mogą pomijać drobne szczegóły albo obejmować obszary niewymagające dopracowania:

Porównanie standardowego przetwarzania opartego na masce z trimapami o wysokiej jakości, pokazujące, jak proste operacje morfologiczne produkują grube, jednolite granice, które pomijają drobiazgowe struktury, takie jak włosy i przejrzystość, prowadząc do utraty szczegółów w ostatecznym matowaniu.

Oprocentowanie składane

Proponowany detektor obszaru zainteresowania traktuje natomiast ten etap jako zadanie klasyfikacji piksel po pikselu (czyli każdy piksel obrazu jako osobną decyzję i przypisuje mu etykietę zależnie od tego, czy należy do obszaru kluczowego dla mattingu). Łączy maskę VOS, bieżącą klatkę i wieloskalowe cechy obrazu, aby dokładniej wyodrębnić obszary kluczowe dla mattingu.

W nowym podejściu przewidywany ROI jest najpierw przekształcany w pseudo-trimapę, która oddziela pewny pierwszy plan i tło od obszarów niepewnych. Maska modułu śledzącego przypisuje znane obszary, a ROI jest oznaczany jako niejednoznaczny, dzięki czemu dalsze przetwarzanie może skupić się na granicach wymagających dopracowania szczegółów.

Za dopracowanie odpowiada następnie Progressive Alpha Predictor, który traktuje matting jako stepwise process, przekazując wyniki pośrednie od skali zgrubnej do coraz dokładniejszej. Każdy etap wykorzystuje obraz, trimapę i poprzednią estymację, aby stopniowo wyostrzać strukturę i odzyskiwać drobne szczegóły.

Na ostatnim etapie wynik o najwyższej rozdzielczości jest skalowany w górę, aby utworzyć gotową matę. Ogólne kształty można dzięki temu ustalić wcześnie, a drobniejsze elementy, takie jak włosy i przezroczystość, dopracować w kolejnych przebiegach.

Podczas treningu autorzy zamrozili moduł śledzący VOS, a trenowali only the matting components na wysokiej jakości danych obrazowych — umożliwiając dopracowanie drobnych szczegółów bez pogorszenia spójności śledzenia. Następnie nadzór stosowano dla każdej klatki, a obszary zainteresowania wyprowadzane z referencyjnej maski alfa służyły do kierowania uczeniem. Detektor ROI trenowano przy użyciu funkcji straty zaprojektowanych tak, aby sprzyjać dokładnej klasyfikacji granic i ograniczać poszarpane artefakty.

For alpha estymacji funkcje straty stosowano na wielu skalach, aby stopniowo poprawiać szczegóły, wraz z dodatkowym ograniczeniem utrzymującym przewidywaną matę w zgodzie z pierwotną maską — co pomaga zachować strukturę i prevent hollow or broken regions in the final output.

Dane i testy

W początkowych testach wykorzystano osiem zbiorów danych do mattingu obrazów: I-HIM50K; P3M-10k; CelebAHairMask-HQ; AIM-500; Distinctions-646; AM-2K; UHRIM; and RefMatte; opracowano też trzy warianty podejścia „Sam2Matting” jako moduły śledzące VOS, wykorzystujące odpowiednio SAM2.1-Tiny; SAM2.1-Base+; and the concept-focused SAM3.

Komponent śledzący został zamrożony, a optymalizowano wyłącznie komponenty mattingu. Wszystkie wersje trenowano przez pięć epochs across four NVIDIA A6000 GPUs, each with a VRAM allocation of 48GB. A batch size of 32 was used, under the AdamW optimizer. Metrics used were Mean Absolute Difference (MAD); Mean Squared Error (MSE); Gradient (Grad); Connectivity (Conn); and dtSSD (for video matting only).

Testy ilościowe

Autorzy rozpoczęli od ilościowych testów nowych systemów w mattingu obrazów, wykorzystując zestawy testowe P3M-500-NP; AM-2K (‘GFM’ in results); MAM (‘Matte Anything’, in results); E2E-HIM; Lightweight; and PPM-100 (‘MODNet’, in results):

Wyniki ilościowe na benchmarkach matowania obrazu w P3M-500-NP, AM-2K test i PPM-100, z niższymi wartościami wskazującymi lepszą wydajność we wszystkich metrykach, i najlepsze, drugie i trzecie wyniki wyróżnione na czerwono, pomarańczowo i żółto odpowiednio. Proszę odnieść się do oryginalnego artykułu, aby uzyskać lepszą rozdzielczość.

Of these results, the paper states:

„Jak pokazano [powyżej], wszystkie trzy warianty SAM2Matting konsekwentnie przewyższają wcześniejsze rozwiązania bazowe według różnych miar. Na przykład wariant SAM2.1-Tiny osiąga na P3M-500-NP wynik MAD niższy o 11,48 niż MAM”.

Autorzy utrzymują, że wyniki we wszystkich testach wskazują, iż przewaga ich podejścia wynika z podstawowej koncepcji, a nie z poziomu selekcji danych.

For video matting, SAM2Matting was evaluated on V-HIM60 and VideoMatte in a zero-shot setting, against the video-trained systems MatAnyone2, MatAnyone, MaGGIe, FTP-VM, and RVM, przy czym stałą poprawę odnotowano zarówno w podzbiorach średnich, jak i trudnych.

We wszystkich testach trzy warianty odnotowują mniejsze błędy MAD, MSE, Grad, Conn i dtSSD. SAM3 osiąga najlepsze wyniki ogólne, a najniższe wartości dtSSD wskazują najwyraźniej na większą spójność między klatkami:

Wyniki ilościowe na benchmarkach matowania wideo w V-HIM60 i VideoMatte, oceniane w ustawieniu zero-shot, z niższymi błędami we wszystkich metrykach, i najlepsze, drugie i trzecie wyniki wyróżnione na czerwono, pomarańczowo i żółto odpowiednio.

Autorzy twierdzą, że wyniki te są efektem rozdzielonej architektury, w której moduł śledzący VOS zachowuje strukturę czasową, a moduły mattingu koncentrują się na szczegółach granic. Pozwala to modelom trenowanym na obrazach przewyższać w pełni nadzorowane podejścia wideo.

Testy jakościowe

W jakościowych testach mattingu postaci autorzy stwierdzili, że Sam2Matting przewyższa konkurencyjne rozwiązania bazowe:

Porównanie jakościowe na matowaniu ludzi i wideo w środowisku, gdzie SAM2Matting zachowuje drobiazgowe pasma włosów i półprzezroczyste regiony bardziej dokładnie niż RVM i MatAnyone, produkując czystsze granice i mniej brakujących struktur w trudnych obszarach.

Jak pokazano poniżej, istniejące systemy mattingu wideo, takie jak MatAnyone2 i MaGGIe, trenowane na zbiorach danych specyficznych dla domeny i często skupionych na ludziach, miały trudności z uogólnianiem na nagrania z rzeczywistych warunków, zwłaszcza przy szybko poruszających się obiektach, takich jak rosnące korzenie, półprzezroczyste motyle i szybko kapiąca woda:

Porównanie jakościowe na sekwencjach w środowisku, gdzie SAM2Matting zachowuje drobiazgowe struktury i spójność czasową bardziej skutecznie niż MatAnyone2 i MaGGIe, szczególnie dla nie-ludzkich obiektów, szybkiego ruchu i półprzezroczystych elementów, takich jak woda, szkło i skrzydła owadów. Proszę odnieść się do oryginalnego artykułu, aby uzyskać lepszą rozdzielczość.

SAM2Matting potrafił natomiast zachować stabilne śledzenie i bardziej niezawodnie wydobywać drobne szczegóły w tych trudnych scenariuszach.

Na koniec, jak pokazuje poniższy rysunek, SAM2Matting skutecznie radził sobie z obiektami połączonymi z innymi przedmiotami, na przykład osobami jadącymi na rowerach lub trzymającymi kijki narciarskie, jednocześnie tłumiąc pobliskie elementy tła dzięki opisanemu wcześniej ograniczeniu spójności maty i maski.

Porównanie jakościowe na sekwencjach z obiektami przywiązanych i tłem, gdzie SAM2Matting zachowuje struktury, takie jak rowery i kije narciarskie, bardziej dokładnie niż MatAnyone2, podczas gdy tłumi pobliskie rozpraszające tło i utrzymuje czystsze sylwetki w ramach.

Wnioski

Osiągnięcia opisane w nowej pracy pokazują, jak bardzo ekstrakcja — jedno z najstarszych zadań widzenia komputerowego — pozostaje nierozwiązana i odporna na uogólnione podejścia. Podobnie jak w wielu innych modelach wizyjnych problem polega na tym, że algorytmy ekstrakcji trzymają się wiedzy dziedzinowej, zamiast łatwo dostosowywać się do niewidzianych i nieznanych obiektów; to zadanie wystawia zdolność modelu do uogólniania na skrajną próbę.

Choć nowa praca stanowi krok w kierunku uniezależnienia od takich danych, wciąż pozostaje wiele do zrobienia, zważywszy jak mocno zadanie to weszło do codziennego życia za pośrednictwem komunikatorów wideo.

Pierwotnie opublikowane w poniedziałek, 13 lipca 2026