Kąt Andersona
Usuwanie obiektów i osób z wideo za pomocą sztucznej inteligencji

Kluczowe punktyEffectErase wprowadza nowatorski zbiór danych oraz metodę usuwania obiektów i ich…
Zobacz więcej
- EffectErase wprowadza nowatorski zbiór danych oraz metodę usuwania obiektów i ich efektów ubocznych, takich jak cienie, z nagrań wideo.
- System jednocześnie trenuje zadania usuwania i wstawiania, aby skupić się na tych samych obszarach poddanych modyfikacji, zapewniając spójność.
- EffectErase przewyższa wcześniejsze metody poprzez bezpośrednie modelowanie powiązań czasowo-przestrzennych między obiektami a ich wizualnymi efektami ubocznymi.
Nie, dziecko nie zostanie na zdjęciu, jeśli AI będzie miała coś do powiedzenia.
Usuwanie osób i przedmiotów ze zdjęć oraz filmów to popularny kierunek badań nad AI dla efektów wizualnych. Powstaje coraz więcej wyspecjalizowanych zbiorów danych i systemów do tego zadania. Najnowszym przykładem, pochodzącym z Instytutu Big Data Uniwersytetu Fudan w Chinach, jest EffectErase, system usuwania obiektów z wideo uwzględniający także ich wpływ na otoczenie. Według autorów w testach wyraźnie przewyższa on najlepsze dotychczasowe metody:
Przykłady działania EffectErase zestawione z materiałów na stronie projektu. Uwaga: podlinkowana strona zawiera wiele niezoptymalizowanych filmów w wysokiej rozdzielczości, które odtwarzają się automatycznie i mogą wpływać na stabilność przeglądarki. Film na YouTube osadzony na końcu artykułu jest bardziej przystępnym i pełniejszym źródłem informacji. Źródło
W ramach pracy stworzono i uporządkowano częściowo nowy zbiór danych obejmujący niemal 350 oryginalnych scen rzeczywistych i syntetycznych. Zostały one nagrane specjalnym sprzętem lub pozyskane i dostosowane do procesu opartego na otwartym środowisku Blender 3D, z wykorzystaniem publicznych repozytoriów*.
Hybrydowy zbiór Video Object Removal (VOR) stanowi podstawę aplikacji EffectErase, zbudowanej na systemie generowania wideo Wan2.1. W pracy zdefiniowano też dwa nowe, powiązane zestawy testowe: VOR Eval i VOR Wild – odpowiednio dla przykładów z dostępnymi i niedostępnymi poprawnymi danymi referencyjnymi.
(Choć pracy towarzyszy strona projektu, jest ona przeciążona licznymi filmami w wysokiej rozdzielczości i trudno ją załadować. Jeśli korzystanie z niej sprawia trudności, można obejrzeć fragmenty, które zebrałem w filmie osadzonym powyżej.)

Porównanie wielkości nowego zbioru danych z podobnymi wcześniejszymi zbiorami. Źródło
Badacze twierdzą, że ich metoda osiąga czołowe wyniki zarówno według miar ilościowych, jak i w jakościowej ocenie przeprowadzonej przez ludzi.
Zauważają, że wcześniejsze prace nie zawsze skutecznie usuwały efekty towarzyszące obiektom, takie jak cienie i odbicia. Ich zbiór danych przygotowano starannie, aby zaradzić temu problemowi:

Przykłady metod, które koncentrują się na usuwanym obiekcie, pomijając pośrednie ślady jego obecności, takie jak odbicia i cienie.
Nowa praca nosi tytuł EffectErase: Joint Video Object Removal and Insertion for High-Quality Effect Erasing i została przygotowana przez czterech badaczy z Wydziału Informatyki i Sztucznej Inteligencji Uniwersytetu Fudan.
Metoda
Hybrydowy zbiór VOR zaprojektowano tak, aby obejmował na tyle szeroki zakres sytuacji, by uwzględnić wszystkie konsekwencje usunięcia osoby lub przedmiotu z filmu:

Pary klatek ze zbioru VOR pokazują, że usuwanie obiektów musi obejmować nie tylko widoczny przedmiot, lecz także wywołane przez niego efekty. Przykłady dotyczą przesłaniania, cieni, zmian oświetlenia, odbić i fizycznych odkształceń. Każdą klatkę wejściową z obiektem zestawiono z odpowiadającym jej czystym tłem po usunięciu. Więcej przykładów znajduje się w filmie na YouTube osadzonym na końcu artykułu.
Autorzy określili pięć reprezentatywnych rodzajów zakłóceń, z którymi trzeba sobie poradzić: przesłanianie, w tym różne postacie przesłaniania przez szkło i dym; cienie; oświetlenie (na przykład gdy usuwany obiekt tworzy lub zmienia drogę światła); odbicia; oraz odkształcenia (na przykład wgłębienie pozostawione przez osobę na poduszce, które nie powinno pozostać po usunięciu tej osoby).

Proces budowy zbioru VOR łączy syntetyczne sceny z Blendera z rzeczywistymi nagraniami. Dane syntetyczne powstają z wybranych środowisk 3D, obiektów i trajektorii kamer, a nagrania rzeczywiste rejestruje się w zróżnicowanych scenach i uzupełnia ruchem typu Ken Burns. Segmentacja SAM2 oraz ręczne poprawki dają następnie dopasowane trójki nagrań pierwszego planu, tła i odpowiadających im masek.
Do pozyskania oryginalnych danych rzeczywistych badacze używali nieruchomych kamer, nagrywając te same sceny z obiektem i bez niego, w różnych środowiskach, porach dnia i warunkach pogodowych.
Dla danych syntetycznych renderowano wiele punktów widzenia i tworzono scenariusze z kilkoma obiektami. Celowo uwzględniano złożone i trudne ruchy kamery, jakie mogą wystąpić w rzeczywistych nagraniach. Badacze uważają tę metodę za bardziej zaawansowaną i pracochłonną niż sposób tworzenia podobnego pod innymi względami zbioru Remove Objects with Side Effects in Videos (ROSE).
Aby zwiększyć różnorodność ruchu, efekt Kena Burnsa zastosowano do par nagrań. Dodano kontrolowane panoramowanie, przybliżenia i niewielkie ruchy przypominające nagrywanie z ręki według 14 ustalonych reguł. Dla każdej pary losowano pięć wzorców ruchu, zachowując obszar kadrowania wewnątrz oryginalnej klatki.
Skalę i różnorodność zwiększono również przez łączenie obiektów syntetycznych z różnymi ustawieniami kamer. Maski tworzono, ręcznie wskazując punkty na klatkach kluczowych, propagując segmentację za pomocą Segment Anything 2 (SAM2), oczyszczając i poprawiając wyniki oraz zestawiając zweryfikowane trójki pierwszego planu, tła i masek do trenowania.
Końcowy zbiór obejmuje 145 godzin rzeczywistych i syntetycznych nagrań w 60 000 parach filmów, z 366 klasami obiektów w 443 scenach.
Sieć EffectErase przetwarza materiał za pomocą wariacyjnego autoenkodera (VAE†), a Wan2.1 odpowiada za odszumianie reprezentacji ukrytej. Na tej podstawie EffectErase buduje trzy elementy: wspólne uczenie usuwania i wstawiania, które trenuje obie operacje na tych samych obszarach; sterowanie obszarami zależne od zadania (TARG), które wykorzystuje tokeny obiektu i zadania wraz z mechanizmem cross-attention do modelowania przestrzennych i czasowych związków między obiektami a ich efektami oraz do przełączania zadań; i funkcja straty spójności efektów, która dopasowuje obszary efektów między usuwaniem a wstawianiem:

Schemat systemu EffectErase. Podczas treningu pary filmów koduje się we wspólnej przestrzeni ukrytej, łączy z szumem i przetwarza transformerem dyfuzyjnym sterowanym przez cross-attention uwzględniające zadanie. Funkcja straty spójności efektów dopasowuje obszary usuwania i wstawiania, aby obie operacje skupiały się na tym samym miejscu.
Usuwanie i wstawianie trenuje się wspólnie, z wykorzystaniem tej samej podstawowej architektury dyfuzyjnej. Model uczy się dzięki temu uwzględniać te same obszary objęte zmianami i wskazówki strukturalne.
Filmy zawierające obiekt, filmy przedstawiające samo tło oraz maski są najpierw kodowane w przestrzeni ukrytej. Następnie dodaje się szum na potrzeby treningu dyfuzyjnego, a model uczy się odtwarzać czyste reprezentacje zgodnie ze wskazówkami dla danego zadania. Lekki adapter łączy zaszumione cechy z warunkami usuwania lub wstawiania. Oba zadania mogą dzięki temu współdzielić sygnały nadzorujące i pozostają osobno sterowalne.
Sterowanie obszarami zależne od zadania tworzy sygnał dla danego zadania, łącząc tokeny językowe z cechami wizualnymi obiektu na pierwszym planie, wyodrębnionymi za pomocą CLIP. Ogólny token obiektu zastępuje się reprezentacją wektorową pochodzącą z rzeczywistej zawartości obrazu. Połączona reprezentacja trafia do podstawowego modelu przez cross-attention. Pozwala to śledzić zmiany obiektu i jego efektów wizualnych w przestrzeni i czasie oraz elastycznie przełączać usuwanie i wstawianie.
Funkcja straty spójności efektów wymusza skupienie usuwania i wstawiania na tych samych zmienionych obszarach, ponieważ oba zadania dotyczą tego samego obiektu i jego efektów wizualnych. Mapy uwagi z każdej gałęzi łączy się w miękkie mapy obszarów i dopasowuje do mapy różnic obliczonej z nagrań obiektu i tła, co pozwala uwzględnić subtelne zmiany, takie jak oświetlenie i cienie. Ta dodatkowa funkcja straty pomaga wstawianiu kierować usuwaniem i zachowuje spójność obu zadań.
Dane i testy
Badacze porównali swoją metodę z różnymi metodami uzupełniania obrazów, uzupełniania wideo i usuwania obiektów: OmniPaint; ObjectClear; VACE; DiffuEraser; ProPainter; ROSE; oraz MiniMax-Remover.
Wan2.1 dostrojono przy użyciu LoRA†† na zbiorze VOR w rozdzielczości 832×480 pikseli. Do treningu losowano sekwencje 81 kolejnych klatek ( praktyczny limit dla WAN, po którego przekroczeniu zwykle pojawiają się błędy). Trening obejmował 129 000 iteracji przy rozmiarze partii 8, na ośmiu GPU H100, z których każdy miał 80 GB pamięci VRAM. Współczynnik uczenia ustawiono na 1×102, a rangę LoRA na 256.
Syntetyczna kolekcja ROSE-Benchmark była jedynym zewnętrznym zbiorem danych objętym testami. Dwa pozostałe to VOR-Eval, czyli część zbioru VOR przeznaczona do testowania; oraz VOR-Wild, zestaw testowy ze 195 rzeczywistymi filmami zebranymi z internetu, zawierającymi poruszające się obiekty.
Wykorzystano następujące miary: Peak Signal-to-Noise Ratio (PSNR); Structural Similarity Index (SSIM); Learned Perceptual Image Patch Similarity (LPIPS); oraz Fréchet Video Distance (FVD). Przeprowadzono również badanie z udziałem użytkowników obejmujące 195 filmów wygenerowanych na podstawie VOR-Wild, uwzględniając średnie oceny 20 ochotników.
Autorzy opracowali też QScore, miarę wykorzystującą multimodalny model Qwen-VL do oceny jakości filmów po usunięciu obiektów pod kątem pozostałych artefaktów i nieusuniętych efektów w otoczeniu, takich jak cienie i zmiany oświetlenia:

Porównanie ilościowe na zestawach ROSE i VOR. Najlepsze wyniki pogrubiono, a drugie w kolejności podkreślono.
Autorzy tak komentują te wyniki:
„[Obecne] metody uzupełniania obrazów działają na pojedynczych klatkach, wykorzystując modele 2D bez modelowania czasu, dlatego nie zachowują spójności czasowej filmów.
Nowsze [metody] uzupełniania wideo nie modelują jawnie efektów towarzyszących obiektom, co prowadzi do nienaturalnych wyników usuwania. Istniejące [metody] usuwania obiektów z wideo nie modelują przestrzennych i czasowych korelacji między obiektem a jego efektami, dlatego często pozostawiają artefakty i ślady usuniętych obiektów.
„Ogólnie EffectErase osiąga czołowe wyniki we wszystkich zbiorach danych i miarach oceny. Uzyskuje najlepsze wyniki w mierze jakości wideo FVD, co pokazuje większą płynność i spójność generowanych filmów w czasie.
„Nasza metoda uzyskuje również najwyższy QScore i oceny użytkowników, co dodatkowo potwierdza jej skuteczność w tworzeniu wizualnie przekonujących wyników usuwania.”
Na potrzeby oceny jakościowej w pracy przedstawiono obrazy statyczne, pokazane bezpośrednio poniżej. Wyniki w ruchu można zobaczyć na stronie projektu i w towarzyszącej prezentacji wideo na YouTube:

Porównanie jakościowe na VOR-Eval dla przesłaniania, cieni, oświetlenia, odbić i odkształceń. Metody uzupełniania mają trudności z usuwaniem efektów poza maską, a modele usuwania często zostawiają widoczne artefakty. EffectErase dokładniej usuwa zarówno obiekty docelowe, jak i ich efekty. Obrazy w wyższej rozdzielczości znajdują się w oryginalnej pracy, a przykłady wideo na stronie projektu.
Zachęcamy też do obejrzenia różnych powiązanych przykładów na stronie projektu, których podgląd znajduje się poniżej, oraz oficjalnego filmu na YouTube osadzonego na końcu artykułu:
Kliknij, aby odtworzyć. Przykładowe porównanie ze strony projektu EffectErase. Wyższa rozdzielczość (z wcześniejszymi zastrzeżeniami) i kolejne przykłady są dostępne na tej stronie.
Autorzy komentują:
„[Metody] uzupełniania wideo często tworzą artefakty w obszarach maski i nie usuwają całkowicie efektów wywołanych przez usuwane obiekty. Wcześniejsze metody usuwania obiektów, takie jak [ROSE] i [MinMax-Remover], dobrze usuwają obiekty docelowe, ale nadal mają trudności z ich efektami, zwłaszcza w przypadkach przesłaniania, cieni, oświetlenia, odbić i odkształceń.
„EffectErase skutecznie usuwa natomiast zarówno obiekty docelowe, jak i ich efekty, dając czyste, spójne wyniki wysokiej jakości.”
Na zakończenie badacze zauważają, że metodę można również przystosować do wstawiania zamiast usuwania, bez dodatkowego treningu:

Wyniki wstawiania obiektów do wideo. EffectErase wstawia obiekty, zachowując zawartość tła i tworząc spójne między klatkami efekty wywołane przez te obiekty, takie jak cienie i odbicia.
Przykłady wyników wstawiania można zobaczyć w filmie na YouTube z podanym czasem rozpoczęcia. Ten sam film osadzono również na końcu artykułu bez wskazania czasu.
Wnioski
Przegląd podobnych projektów w literaturze pokazuje, że wielu badaczy nadal liczy na to, iż ogólne modele VFX ostatecznie zintegrują tę funkcję z uniwersalnym modelem przypominającym „skrzynkę narzędziową”, przeznaczonym do wielu efektów, a nie tylko do tego konkretnego zadania.
Jednak wychodząc z założenia, że wszechstronność może ograniczać specjalizację, rozsądne wydaje się oczekiwanie, że wyspecjalizowane systemy, takie jak EffectErase, zachowają przewagę nad ogólniejszymi metodami. Zastrzeżenie jest takie, że różnica może z czasem zmaleć na tyle, iż nie będzie uzasadniać dodatkowego wysiłku trenowania osobnego modelu.
* Wobec rosnących obaw o pochodzenie materiałów i własność intelektualną należałoby oczekiwać podania wszystkich takich źródeł. Jeśli jednak dostępne materiały nowej pracy wskazują źródło modeli 3D, nie udało mi się znaleźć tego odwołania.
† Podane źródło wydaje się ogólnym tekstem objaśniającym z 2013 roku; nie opisano konkretnego zastosowanego VAE.
†† To opis zaczerpnięty z pracy, którego znaczenie jest niejasne, ponieważ dostrajanie i LoRA są różnymi procesami o bardzo różnych wymaganiach.
Opublikowano po raz pierwszy w sobotę 21 marca 2026 r.












