Sletning af objekter og personer fra video med AI

Nej, barnet bliver ikke i billedet, hvis AI har noget at sige til det.

Fjernelse af personer og objekter fra billeder og video er en populær undergren af forskning i VFX-centreret AI-litteratur, med en voksende mængde dedikerede datasæt og rammer, der adresserer udfordringen. Den seneste af disse, fra Institute of Big Data ved Kinas Fudan University, er EffectErase, et ‘effekt-bevidst’ video-objekt-fjernelsessystem, som forfatterne hævder, forbedrer betydeligt på den nuværende tilstand i tests:

Sammensat fra materiale på projektets website, eksempler på EffectErase-metoden (vær opmærksom på, at selvom vi leverer en link, indeholder kilde-sitet så mange hi-res og ikke-optimerede autoplay-videoer, at det kan påvirke stabiliteten af din webbrowser. Den tilhørende YouTube-video er en nemmere og mere komplet reference og er indlejret i slutningen af denne artikel).  Kilde

Det nye arbejde indebar oprettelse/kurering af et semi-nyt datasæt, der består af næsten 350 originale realverden- og syntetiserede scener (ved hjælp af offentlige repositorier*), der enten er optaget med dedikeret udstyr eller hentet og genbrugt i en arbejdsgang bygget omkring det åbne kilde-3D-rammeværk Blender.

Det hybride Video Object Removal (VOR) datasæt danner grundlag for EffectErase-applikationen selv, der er bygget over Wan2.1 video-genereringssystemet. Systemet definerer også to nye relaterede benchmarks: VOR Eval og VOR Wild – henholdsvis for prøver med og uden ground truth.

(Selvom artiklen har en tilhørende projekt-side, er den ret overbelastet med multiple hi-res-videoer og svær at indlæse; så venligst se på uddragene, jeg har kurateret i den indlejrede video ovenfor, hvis du finder projekt-siden svær at bruge)

En sammenligning af mængder på tværs af sammenlignelige tidligere datasæt, i forhold til det nye tilbud. Kilde

Forskerne hævder, at deres tilgang giver state-of-the-art-præstation, både i kvantitative metrikker og i kvalitative resultater, som er vurderet gennem en menneskestudie.

De bemærker, at tidligere arbejder ikke altid har lykkes i at fjerne bifaldende effekter af et objekt, såsom skygger og refleksioner, og at deres datasæt er blevet omhyggeligt oprettet for at afhjælpe denne mangel:

Eksempler på tidligere tilganges fiasko i at se ud over objekterne, der skal fjernes, til sekundære indikationer, såsom refleksioner og skygger.

Den nye artikel har titlen EffectErase: Joint Video Object Removal and Insertion for High-Quality Effect Erasing, og kommer fra fire forskere ved Fudan Universitys College of Computer Science and Artificial Intelligence.

Metode

Det hybride VOR-datasæt var designet til at omfatte en bred nok skala af scenarier, så det dækker alle implikationerne af at forsøge at fjerne en person eller et objekt fra en video:

Parrede billeder fra VOR-datasættet viser, hvordan objekt-fjernelse skal udvides til at omfatte de indbyrdes effekter, med eksempler, der viser okklusion, skygge, lysændringer, refleksion og fysisk deformation, hver præsenteret som input (objekt til stede) sammen med den tilsvarende rene baggrund efter fjernelse. For yderligere eksempler, se den tilhørende YouTube-video, der er indlejret i slutningen af denne artikel.

De fem repræsentative typer af ‘forstyrrelser’, der skal behandles, er defineret af forfatterne som okklusion, herunder forskellige typer af glas- og røg-okklusion; skygger; lys (for eksempel, når et objekt, der skal fjernes, skaber eller ændrer lysvejen); refleksion; og deformation (for eksempel, aftrykket af en bruger på en pude, som ikke skal overleve personens fjernelse).

Datasæt-konstruktionspipeline for VOR, der kombinerer Blender-genererede syntetiske scener med virkelige optagelser, hvor syntetisk data er bygget fra kuraterede 3D-miljøer, objekter og kamera-traektorier, og virkeligt optagelser er optaget over diverse scener, suppleret med Ken Burns-bevægelse. SAM2-segmentering og manuel finjustering producerer derefter alignede forgrund- og baggrundsvideo-tripletter med tilsvarende masker.

For de virkelige originale data brugte forskerne faste kameraer til at optage ‘med’ og ‘uden’ scener, der dækker en bred vifte af miljøer, tidspunkter og vejrforhold.

For de syntetiske data blev multiple perspektiver renderet, og multi-objekt-scener oprettet, der indeholdt bevidst komplekse og udfordrende typer af kamera-bevægelse, som kunne optræde i virkelige optagelser; og forskerne bemærker, at denne tilgang er mere sofistikeret og krævende end den, der blev brugt til det ellers lignende Remove Objects with Side Effects in Videos (ROSE) datasæt.

For at øge bevægelses-diversitet blev Ken Burns-effekten anvendt på kamera-optagelser, der tilføjede kontrollerede pans, zoom og let håndholdt bevægelse under fjorten foruddefinerede regler, med fem bevægelsesmønstre pr. par, mens croppen blev holdt inden for den originale ramme.

Størrelse og diversitet blev yderligere udvidet ved at kombinere syntetiske objekter med multiple kamera-opstillinger. Masker blev genereret ved at placere manuelle punkt-prompter på nøgle-billeder, propagere segmentering med Segment Anything 2 (SAM2), rense og finjustere resultaterne og samle validerede forgrund-, baggrund- og mask-tripletter til træning.

Den endelige samling omfatter 145 timer video på tværs af 60.000 parrede videoer, virkelige og syntetiske, der dækker 366 objekt-klasser i 443 scener.

EffectErase-netværket selv indtager materiale via en Variational Auto-Encoder (VAE^†), med latent støjhåndtering håndteret af Wan2.1. Over denne ryg, opererer EffectErase Removal-Insertion Joint Learning, der træner begge opgaver sammen på de samme regioner; Task-Aware Region Guidance (TARG), der bruger objekt- og opgave-token med cross-attention til at modellere rumligt-temporale sammenhænge mellem objekter og deres effekter og tillade opgave-skift; og Effect Consistency Loss, der aligner effekt-regioner på tværs af fjernelses- og indsættelses-opgaver:

Schema for EffectErase-rammeværket. Under træning bliver parrede videoer kodet i et fælles latent rum, fusioneret med støj og behandlet af en diffusionstransformer guidet af opgave-bevidst cross-attention, mens en effekt-konsistens-tab alignerer fjernelses- og indsættelses-regioner, så begge opgaver fokuserer på samme område.

I sig selv er fjernelses- og indsættelses-processerne trænet sammen, ved hjælp af et fælles diffusion-ryg, så modellen lærer at fokusere på samme berørte regioner og strukturelle hints.

Videoer med objekter, baggrund-videoer og masker bliver først kodet i et latent rum; støj bliver derefter tilføjet for diffusionstræning, og modellen lærer at genskabe rene repræsentationer under opgave-specifik guidance. En letvægts-adapter fusionerer derefter de støjende funktioner med fjernelses- eller indsættelses-betingelser, hvilket tillader begge opgaver at dele supervision, mens de forbliver kontrollerbare.

Task-Aware Region Guidance skaber en opgave-specifik signal ved at kombinere sprog-token med visuelle funktioner, der er ekstraheret fra forgrund-objektet, ved hjælp af CLIP, erstatter en generisk objekt-token med en indlejring, der er afledt fra den faktiske billedindhold. Denne fusionerede repræsentation bliver injiceret i ryggen via cross-attention, hvilket tillader modellen at spore, hvordan et objekt og dets visuelle effekter udvikler sig over rum og tid, mens det tillader fleksibelt skift mellem fjernelse og indsættelse.

Effect Consistency Loss tvinger fjernelses- og indsættelses-processerne til at fokusere på samme ændrede områder, da begge opgaver handler om samme objekt og dets visuelle effekter. Attention-kort fra hver gren bliver kombineret i bløde region-kort, og aligneret med en forskels-kort beregnet fra objekt- og baggrund-videoer, så subtile ændringer som lys og skygger bliver bevaret. Denne ekstra tab hjælper indsættelse med at guide fjernelse og holder begge opgaver konsistente.

Data og tests

Forskerne testede deres tilgang mod forskellige inpainting-, video-inpainting- og objekt-fjernelsesmetoder: OmniPaint; ObjectClear; VACE; DiffuEraser; ProPainter; ROSE; og MiniMax-Remover.

Wan2.1 blev finjusteret med LoRA^†† ved hjælp af VOR-datasættet i en opløsning på 832x480px. 81 på hinanden følgende billeder (den effektive grænse for WAN, hvor fejl begynder at optræde) blev tilfældigt udvalgt til træning, der fandt sted i 129.000 iterationer med en batch-størrelse på 8, på otte H100-GPU’er, hver med 80GB VRAM. Læringsraten var sat til 1×10², og LoRA-ranken til 256.

ROSE-Benchmark syntetisk samling var den eneste eksterne datasæt, der blev testet; de to andre var VOR-Eval, VOR datasæt test split; og VOR-Wild, en test-sæt bestående af 195 virkelige videoer hentet fra internettet, der viser ‘dynamiske objekter’.

Metrikker, der blev brugt, var Peak Signal-to-Noise Ratio (PSNR); Structural Similarity Index (SSIM); Lærte Perceptual Image Patch Similarity (LPIPS); og Fréchet Video Distance (FVD). En brugerstudie af 195 genererede videoer fra VOR-Wild blev også overvejet, med gennemsnitlige vurderinger fra 20 frivillige taget i betragtning.

Derudover udviklede forfatterne QScore, en metrik, der udnytter Qwen-VL multimodal-modellen, for at evaluere kvaliteten af objekt-fjernet video-udgang, i forhold til rest-effekter eller manglende miljø-fjernelse, såsom skygger og lys-effekter:

Kvantitativ sammenligning på ROSE og VOR-benchmarks, med bedste og næstbedste resultater vist i fed og understreget, henholdsvis.

Med hensyn til disse resultater bemærker forfatterne:

‘[Nuværende] billed-inpainting metoder opererer på enkelt billeder ved hjælp af 2D-modeller uden temporal modellering, og derfor ikke kan opretholde temporal konsistens i videoer.

Seneste video-inpainting [metoder] modellerer ikke explicit objekt-side-effekter, hvilket resulterer i unaturlige fjernelses-resultater. Eksisterende video-objekt-fjernelses [metoder] mangler rumligt-temporalt korrelations-modellering mellem objektet og dets side-effekter, og producerer derfor ofte artefakter og rester af de fjernede objekter.

‘I alt opnår EffectErase state-of-the-art-præstation på tværs af alle datasæt og evaluering-metrikker. Det opnår de bedste resultater på video-kvalitets-metrikken FVD, hvilket demonstrerer overlegen temporal glatthed og konsistens af de genererede videoer.

‘Vores metode opnår også den højeste QScore og bruger-vurderinger, hvilket yderligere demonstrerer dets effektivitet i at producere visuelt overbevisende fjernelses-resultater.’

For den kvalitative evaluering er statiske resultater tilgængelige i artiklen (vist) direkte nedenfor, samt mobile resultater, der er tilgængelige på projekt-siden og den tilhørende YouTube-video-præsentation:

Kvalitativ sammenligning på VOR-Eval over okklusion, skygge, lys, refleksion og deformation-tilfælde. Inpainting-metoder kæmper for at fjerne effekter uden for masken, mens fjernelses-modeller ofte efterlader synlige artefakter. EffectErase fjerner både mål-objekter og deres associerede effekter mere renligt. Se kilde-artiklen for bedre opløsning og projekt-siden for video-eksempler.

Vi henviser også læseren til diverse relaterede eksempler på projekt-siden, forhåndsvist nedenfor, samt den officielle YouTube-video, der er indlejret i slutningen af denne artikel:

Klik for at afspille. En eksempel-sammenligning fra EffectErase-projekt-siden. Se projekt-siden for bedre opløsning (med de ovennævnte forbehold) og for yderligere eksempler.

Forfatterne kommenterer:

‘Video-inpainting [metoder] producerer ofte artefakter i maskerede regioner og kan ikke fuldstændigt fjerne side-effekterne, der skyldes de fjernede objekter. Tidligere objekt-fjernelses-tilgange, såsom [ROSE] og [MinMax-Remover], fungerer godt til at fjerne mål-objekter, men kæmper stadig med side-effekter, især i okklusion, skygge, lys, refleksion og deformation-scenarier.

‘Til gengæld fjerner EffectErase både mål-objekter og deres associerede effekter effektivt, hvilket resulterer i rene, kohærente og høj-kvalitets-resultater.’

I afslutning bemærker forskerne, at deres metode også kan tilpasses til indsættelse i stedet for fjernelse, uden behov for yderligere træning:

Video-objekt-indsættelses-resultater. EffectErase indsætter objekter, mens den bevarede baggrund-indhold og genererer konsistente objekt-induceret effekter, såsom skygger og refleksioner på tværs af billeder.

Video-resultater for indsættelses-opgaven kan ses i den (tidsspecifikke) YouTube-video-eksempler (også indlejret uden tidsspecifikationer i slutningen af artiklen).

Konklusion

Et kig på lignende projekter i litteraturen afslører, at mange stadig håber, at generelle VFX-modeller vil kunne foldede denne type funktionalitet ind i en generel ‘værktøjs’-model, designet til en række effekter, snarere end kun denne specifikke opgave.

Men på ‘jack of all trades’-princippet synes det rimeligt at antage, at dedikerede systemer som EffectErase vil fortsætte med at have en fordel over mere generelle tilgange; med den forbehold, at forskellen måske en dag vil kontrahere nok til at gøre forskellen ikke værd at bemøde.

* Man ville håbe, at med voksende bekymringer omkring IP-proveniens-problemer, at alle sådanne kilder ville blive citeret; men hvis de tilgængelige materialer fra det nye arbejde nævner kilden til de 3D-modeller, kunne jeg ikke lokalisere denne reference.

^† Referencen, der er givet, synes at være en generisk forklarende tekst fra 2013, med den specifikke VAE ikke detaljeret.

^†† Taget fra artiklen, er dette en semantisk uklar beskrivelse, da finjustering og LoRA er forskellige processer med meget forskellige krav.

Først publiceret lørdag, 21. marts 2026