Odstranění objektů a lidí z videa pomocí AI

Ne, dítě na fotografii nezůstane, pokud do toho bude mít co mluvit AI.

Odstraňování lidí a předmětů z obrázků a videí je oblíbeným směrem výzkumu AI pro vizuální efekty. Vzniká stále více specializovaných datových sad a systémů, které tento problém řeší. Nejnovějším příkladem z Institutu velkých dat na čínské univerzitě Fudan je EffectErase, systém pro odstraňování objektů z videa, který zohledňuje i jejich vliv na okolí. Podle autorů v testech výrazně překonává dosavadní nejlepší metody:

Ukázky metody EffectErase sestavené z materiálů na webu projektu. Upozornění: odkazovaný web obsahuje mnoho neoptimalizovaných videí ve vysokém rozlišení s automatickým přehráváním, která mohou ovlivnit stabilitu prohlížeče. Video z YouTube vložené na konci článku nabízí přístupnější a úplnější přehled.  Zdroj

Práce zahrnovala vytvoření a sestavení částečně nové datové sady s téměř 350 původními skutečnými a syntetickými scénami. Ty byly buď natočeny speciálním vybavením, nebo získány a upraveny pro pracovní postup založený na otevřeném prostředí Blender 3D s využitím veřejných repozitářů*.

Hybridní datová sada Video Object Removal (VOR) tvoří základ aplikace EffectErase, postavené na systému pro generování videa Wan2.1. Práce také definuje dvě nové související testovací sady: VOR Eval a VOR Wild – pro vzorky s dostupnými, respektive nedostupnými správnými referenčními daty.

(Ačkoli práci doprovází web projektu, je přetížený množstvím videí ve vysokém rozlišení a obtížně se načítá. Pokud se vám špatně používá, můžete se podívat na úryvky, které jsem sestavil do videa vloženého výše.)

Srovnání rozsahu nové datové sady s podobnými dřívějšími sadami. Zdroj

Výzkumníci tvrdí, že jejich přístup dosahuje špičkových výsledků jak podle kvantitativních metrik, tak při kvalitativním hodnocení lidmi.

Upozorňují, že dřívější práce nedokázaly vždy odstranit doprovodné vlivy objektu, například stíny a odrazy. Jejich datová sada byla pečlivě vytvořena právě k nápravě tohoto nedostatku:

Příklady dřívějších přístupů, které sledují jen odstraňovaný objekt a přehlížejí nepřímé stopy, jako jsou odrazy a stíny.

Nová výzkumná práce nese název EffectErase: Joint Video Object Removal and Insertion for High-Quality Effect Erasing a pochází od čtyř výzkumníků z Fakulty informatiky a umělé inteligence univerzity Fudan.

Metoda

Hybridní sada VOR byla navržena tak, aby pokrývala dostatečně široké spektrum situací a zahrnula všechny důsledky odstranění osoby nebo předmětu z videa:

Dvojice snímků ze sady VOR ukazují, že odstranění musí zahrnout nejen viditelný předmět, ale také jeho vlivy na okolí. Příklady zachycují zakrytí, stíny, změny osvětlení, odrazy a fyzické deformace. Vstupní snímek s objektem je vždy vedle odpovídajícího čistého pozadí po odstranění. Další ukázky jsou ve videu z YouTube na konci článku.

Autoři vymezují pět reprezentativních typů rušivých vlivů, které je nutné řešit: zakrytí, včetně různých forem zakrytí sklem a kouřem; stíny; osvětlení (například když odstraňovaný objekt vytváří nebo mění dráhu světla); odrazy; a deformace (například prohlubeň po člověku na polštáři, která by neměla zůstat po odstranění dané osoby).

Postup tvorby sady VOR kombinuje syntetické scény z Blenderu se skutečnými záběry. Syntetická data vznikají z vybraných 3D prostředí, objektů a trajektorií kamery. Skutečné záběry se natáčejí v různých scénách a doplňují pohybem podle Kena Burnse. Segmentace SAM2 a ruční úpravy pak vytvářejí zarovnané trojice videí popředí, pozadí a odpovídajících masek.

Pro původní skutečná data výzkumníci používali pevné kamery k natáčení stejných scén s objektem a bez něj, v různých prostředích, denních dobách a povětrnostních podmínkách.

Pro syntetická data vykreslili více pohledů a vytvořili situace s několika objekty. Záměrně zahrnuli složité a náročné pohyby kamery, které mohou nastat i v reálných záběrech. Podle nich je tento postup pokročilejší a pracnější než způsob tvorby jinak podobné datové sady Remove Objects with Side Effects in Videos (ROSE).

Pro zvýšení rozmanitosti pohybu byl na dvojice skutečných záběrů použit efekt Kena Burnse. Přidal řízené panorámování, změny přiblížení a drobné pohyby připomínající ruční kameru podle 14 předem stanovených pravidel. Pro každou dvojici se vybralo pět pohybových vzorů a výřez zůstal uvnitř původního snímku.

Rozsah a rozmanitost dále rozšířili kombinováním syntetických objektů s různými nastaveními kamery. Masky vytvářeli ručním zadáváním bodových pokynů do klíčových snímků, šířením segmentace pomocí Segment Anything 2 (SAM2), čištěním a úpravou výsledků a sestavováním ověřených trojic popředí, pozadí a masek pro trénování.

Výsledná kolekce obsahuje 145 hodin skutečných a syntetických záběrů v 60 000 dvojicích videí a pokrývá 366 tříd objektů ve 443 scénách.

Síť EffectErase přijímá materiál prostřednictvím variačního autoenkodéru (VAE^†), zatímco Wan2.1 zajišťuje odšumování latentní reprezentace. Na tomto základu EffectErase staví tři složky: společné učení odstraňování a vkládání, které trénuje oba úkoly na stejných oblastech; vedení oblastí podle úkolu (TARG), které kombinuje tokeny objektu a úkolu s mechanismem cross-attention pro modelování prostorových a časových vazeb mezi objekty a jejich vlivy a pro přepínání úkolů; a ztrátová funkce konzistence vlivů, která zarovnává oblasti vlivů mezi odstraňováním a vkládáním:

Schéma systému EffectErase. Při trénování se dvojice videí zakódují do společného latentního prostoru, spojí se šumem a zpracují difuzním transformerem řízeným cross-attention přizpůsobenou úkolu. Ztrátová funkce konzistence vlivů zarovnává oblasti odstranění a vložení, aby oba úkoly sledovaly stejné místo.

Odstraňování a vkládání se trénují společně na sdílené difuzní architektuře, aby se model naučil sledovat stejné ovlivněné oblasti a strukturální vodítka.

Videa s objektem, videa se samotným pozadím a masky se nejprve zakódují do latentního prostoru. Pak se přidá šum pro difuzní trénování a model se učí obnovovat čisté reprezentace podle pokynů pro daný úkol. Lehký adaptér spojuje zašuměné příznaky s podmínkami odstraňování nebo vkládání. Oba úkoly tak mohou sdílet trénovací dohled, ale zůstávají samostatně ovladatelné.

Vedení oblastí podle úkolu vytváří signál pro daný úkol kombinováním jazykových tokenů s vizuálními příznaky získanými z objektu v popředí pomocí CLIP. Obecný token objektu nahradí vektorová reprezentace odvozená ze skutečného obsahu obrázku. Spojená reprezentace se do základní architektury zavádí přes cross-attention. Model tak může sledovat proměny objektu a jeho vizuálních vlivů v prostoru i čase a pružně přepínat mezi odstraňováním a vkládáním.

Ztrátová funkce konzistence vlivů nutí odstraňování a vkládání sledovat stejné změněné oblasti, protože oba úkoly pracují se stejným objektem a jeho vizuálními vlivy. Mapy pozornosti z obou větví se spojí do měkkých map oblastí a zarovnají s rozdílovou mapou vypočtenou z videí objektu a pozadí, aby zachytily i jemné změny, jako jsou osvětlení a stíny. Tato doplňková ztrátová funkce umožňuje vkládání vést odstraňování a zachovává vzájemnou konzistenci obou úkolů.

Data a testy

Výzkumníci svůj přístup porovnali s různými metodami doplňování obrázků, doplňování videí a odstraňování objektů: OmniPaint; ObjectClear; VACE; DiffuEraser; ProPainter; ROSE; a MiniMax-Remover.

Wan2.1 byl doladěn pomocí LoRA^†† na sadě VOR v rozlišení 832×480 pixelů. Pro trénování byly náhodně vybírány úseky 81 po sobě jdoucích snímků ( praktický limit pro WAN, po jehož překročení se obvykle objevují chyby). Trénování probíhalo 129 000 iterací s velikostí dávky 8 na osmi GPU H100, každém s 80 GB paměti VRAM. Rychlost učení byla nastavena na 1×10² a hodnost LoRA na 256.

Syntetická kolekce ROSE-Benchmark byla jedinou testovanou externí datovou sadou. Dalšími dvěma byly VOR-Eval, část datové sady VOR vyčleněná pro testování; a VOR-Wild, testovací sada se 195 skutečnými videi získanými z internetu, která obsahují pohybující se objekty.

Použity byly následující metriky: Peak Signal-to-Noise Ratio (PSNR); Structural Similarity Index (SSIM); Learned Perceptual Image Patch Similarity (LPIPS); a Fréchet Video Distance (FVD). Proběhla také uživatelská studie se 195 videi vygenerovanými z VOR-Wild, při níž se zohlednily průměrné známky od 20 dobrovolníků.

Autoři navíc vytvořili QScore, metriku využívající multimodální model Qwen-VL k hodnocení kvality videa po odstranění objektů podle zbylých artefaktů nebo neodstraněných vlivů na prostředí, například stínů a světelných efektů:

Kvantitativní srovnání na sadách ROSE a VOR. Nejlepší výsledky jsou tučně, druhé nejlepší jsou podtržené.

Autoři k výsledkům uvádějí:

„[Současné] metody doplňování obrázků pracují s jednotlivými snímky pomocí 2D modelů bez časového modelování, a proto nedokážou zachovat časovou konzistenci videí.

Novější [metody] doplňování videa výslovně nemodelují doprovodné vlivy objektů, což vede k nepřirozeným výsledkům odstraňování. Stávajícím [metodám] odstraňování objektů z videa chybí modelování prostorových a časových korelací mezi objektem a jeho vlivy, a proto často vytvářejí artefakty a zanechávají stopy odstraněných objektů.

„Celkově EffectErase dosahuje špičkových výsledků na všech datových sadách a hodnoticích metrikách. Získává nejlepší skóre v metrice kvality videa FVD, což ukazuje vyšší časovou plynulost a konzistenci generovaných videí.

„Naše metoda má také nejvyšší QScore a uživatelská hodnocení, což dále dokládá její schopnost vytvářet vizuálně přesvědčivé výsledky odstraňování.“

Pro kvalitativní hodnocení práce nabízí statické výsledky, které jsou přímo níže. Pohyblivé výsledky jsou k dispozici na webu projektu a v doprovodné videoprezentaci na YouTube:

Kvalitativní srovnání na VOR-Eval pro zakrytí, stíny, osvětlení, odrazy a deformace. Metody doplňování mají potíže s odstraněním vlivů mimo masku, zatímco modely odstraňování často zanechávají viditelné artefakty. EffectErase odstraňuje cílové objekty i jejich vlivy čistěji. Vyšší rozlišení nabízí původní práce a videoukázky web projektu.

Čtenáře odkazujeme také na různé související ukázky na webu projektu, z nichž jednu najdete níže, a na oficiální video z YouTube vložené na konci článku:

Kliknutím přehrajete. Ukázkové srovnání z webu projektu EffectErase. Vyšší rozlišení (s dříve uvedenými výhradami) i další příklady najdete na webu.

Autoři komentují:

„[Metody] doplňování videa často vytvářejí artefakty v maskovaných oblastech a nedokážou úplně odstranit vlivy způsobené odstraněnými objekty. Dřívější přístupy, jako [ROSE] a [MinMax-Remover], dobře odstraňují cílové objekty, ale stále mají potíže s jejich doprovodnými vlivy, zvláště při zakrytí, stínech, osvětlení, odrazech a deformacích.

„EffectErase naproti tomu účinně odstraňuje cílové objekty i jejich vlivy a vytváří čisté, soudržné a kvalitní výsledky.“

Na závěr výzkumníci uvádějí, že metodu lze přizpůsobit také vkládání místo odstraňování, bez dalšího trénování:

Výsledky vkládání objektů do videa. EffectErase vkládá objekty se zachováním obsahu pozadí a vytváří jejich vlivy, například stíny a odrazy, konzistentně mezi snímky.

Videoukázky výsledků vkládání jsou v YouTube videu s odkazem na konkrétní čas. Stejné video je vloženo také na konci článku, bez časového určení.

Závěr

Pohled na podobné projekty v odborné literatuře ukazuje, že mnozí stále doufají, že obecné modely VFX tuto funkci časem začlení do univerzálního modelu ve stylu „sady nástrojů“, určeného pro řadu efektů, nikoli pouze pro tento konkrétní úkol.

Vycházíme-li však z myšlenky, že všestrannost může být na úkor specializace, zdá se rozumné předpokládat, že specializované systémy jako EffectErase si udrží náskok před obecnějšími přístupy. Výhradou je, že se rozdíl může časem zmenšit natolik, že nebude ospravedlňovat další úsilí potřebné k trénování samostatného modelu.

* S rostoucími obavami o původ materiálů a duševní vlastnictví by se slušelo uvést všechny takové zdroje. Pokud ale dostupné materiály nové práce uvádějí zdroj 3D modelů, tuto citaci se mi nepodařilo najít.

^† Uvedený odkaz se zdá být obecným vysvětlujícím textem z roku 2013; konkrétní použitý VAE není popsán.

^†† Tento popis je převzatý z práce a významově nejasný, protože dolaďování a LoRA jsou různé procesy s velmi odlišnými nároky.

Poprvé publikováno v sobotu 21. března 2026