Andersons vinkel

Sletning af objekter og personer fra video med AI

Martin Anderson
Føj Unite.AI til dine foretrukne kilder på Google
AI-generated stylized image depicting a magician robot showing an empty cabinet with a lady's tiara at the bottom. GPT-1.5
NøglepunkterEffectErase introducerer en ny datasæt og metode til at fjerne objekter og deres…
Vis mere
  • EffectErase introducerer en ny datasæt og metode til at fjerne objekter og deres sekundære effekter som skygger fra video.
  • Systemet træner samtidigt fjernelses- og indsættelsesopgaver for at fokusere på de samme påvirkede områder for konsistens.
  • EffectErase overgår tidligere metoder ved eksplicit at modellere rum-tidsmæssige forbindelser mellem objekter og deres visuelle sideeffekter.

Nej, barnet bliver ikke på billedet, hvis AI får noget at skulle have sagt.

 

At fjerne personer og genstande fra billeder og video er et populært forskningsområde inden for AI til visuelle effekter. Stadig flere specialiserede datasæt og rammeværker tager fat på opgaven. Det nyeste eksempel, fra instituttet for big data ved Fudan-universitetet i Kina, er EffectErase, et system til at fjerne objekter fra video, som også tager hensyn til deres påvirkning af omgivelserne. Ifølge forfatterne klarer det sig i test markant bedre end de bedste eksisterende metoder:

Eksempler på EffectErase-metoden sammensat af materiale fra projektets hjemmeside. Bemærk, at den side, vi linker til, indeholder mange højopløselige, ikke optimerede videoer med automatisk afspilning, som kan påvirke browserens stabilitet. YouTube-videoen nederst i artiklen giver en mere tilgængelig og fuldstændig præsentation.  Kilde

Arbejdet omfattede opbygning og sammenstilling af et datasæt med delvist nyt materiale og næsten 350 originale virkelige og syntetiske scener. De blev enten optaget med særligt udstyr eller hentet og genbrugt i en arbejdsgang baseret på Blender 3D med åben kildekode og offentlige arkiver*.

Det kombinerede datasæt Video Object Removal (VOR) danner grundlag for EffectErase-applikationen, der bygger på videogenereringssystemet Wan2.1. Arbejdet definerer også to nye tilhørende benchmarks: VOR Eval og VOR Wild – til eksempler med henholdsvis uden korrekte referencedata.

(Selvom forskningsartiklen har en tilhørende projekthjemmeside, er den overbelastet med højopløselige videoer og svær at indlæse. Hvis hjemmesiden er vanskelig at bruge, kan du se de uddrag, jeg har samlet i videoen ovenfor.)

Sammenligning af det nye datasæts størrelse med lignende tidligere datasæt. Kilde: https://arxiv.org/pdf/2603.19224

Sammenligning af det nye datasæts størrelse med lignende tidligere datasæt. Kilde

Forskerne hævder, at deres metode giver resultater på højeste niveau både ifølge kvantitative mål og ved kvalitative vurderinger udført af mennesker.

De bemærker, at tidligere arbejde ikke altid har fjernet effekter, som følger med et objekt, eksempelvis skygger og refleksioner. Deres datasæt er omhyggeligt udformet for at afhjælpe denne mangel:

Eksempler på tidligere metoder, som kun ser på objektet, der skal fjernes, og overser indirekte spor som refleksioner og skygger.

Eksempler på tidligere metoder, som kun ser på objektet, der skal fjernes, og overser indirekte spor som refleksioner og skygger.

Den nye forskningsartikel har titlen EffectErase: Joint Video Object Removal and Insertion for High-Quality Effect Erasing og er skrevet af fire forskere fra fakultetet for datalogi og kunstig intelligens ved Fudan-universitetet.

Metode

Det kombinerede VOR-datasæt blev udformet til at dække en tilstrækkeligt bred vifte af situationer til at omfatte alle følgerne af at fjerne en person eller genstand fra en video:

Billedpar fra VOR viser, at fjernelsen skal omfatte både det synlige objekt og de effekter, det skaber. Eksemplerne viser okklusion, skygger, lysændringer, refleksioner og fysiske deformationer. Inputbilledet med objektet vises ved siden af den tilsvarende rene baggrund efter fjernelsen.

Billedpar fra VOR viser, at fjernelsen skal omfatte både det synlige objekt og de effekter, det skaber. Eksemplerne viser okklusion, skygger, lysændringer, refleksioner og fysiske deformationer. Inputbilledet med objektet vises ved siden af den tilsvarende rene baggrund efter fjernelsen. Flere eksempler findes i YouTube-videoen nederst i artiklen.

Forfatterne definerer fem repræsentative typer forstyrrelser, som skal håndteres: okklusion, herunder forskellige former for tildækning gennem glas og røg; skygger; belysning (eksempelvis når objektet, som skal fjernes, skaber eller ændrer lysets bane); refleksioner; og deformation (eksempelvis en persons aftryk i en pude, som ikke bør blive tilbage, når personen er fjernet).

Arbejdsgangen til at opbygge VOR kombinerer syntetiske Blender-scener med virkelige optagelser. Syntetiske data skabes med udvalgte 3D-miljøer, objekter og kamerabaner. Virkelige optagelser laves i forskellige scener og udvides med Ken Burns-bevægelse. SAM2-segmentering og manuelle rettelser giver derefter justerede tripletter med forgrunds-, baggrunds- og tilhørende maskevideoer.

Arbejdsgangen til at opbygge VOR kombinerer syntetiske Blender-scener med virkelige optagelser. Syntetiske data skabes med udvalgte 3D-miljøer, objekter og kamerabaner. Virkelige optagelser laves i forskellige scener og udvides med Ken Burns-bevægelse. SAM2-segmentering og manuelle rettelser giver derefter justerede tripletter med forgrunds-, baggrunds- og tilhørende maskevideoer.

Til de originale virkelige data brugte forskerne faste kameraer til at optage de samme scener med og uden objektet i forskellige miljøer, på forskellige tidspunkter af døgnet og under forskellige vejrforhold.

Til de syntetiske data blev flere perspektiver renderet og scener med flere objekter skabt. Forskerne inkluderede bevidst komplekse og udfordrende kamerabevægelser, som kan forekomme i virkelige optagelser. De beskriver metoden som mere avanceret og arbejdskrævende end fremgangsmåden bag det ellers lignende datasæt Remove Objects with Side Effects in Videos (ROSE).

For at øge variationen i bevægelser blev Ken Burns-effekten anvendt på optagelsespar. Kontrollerede panoreringer, zoom og små bevægelser, der efterligner håndholdt kamera, blev tilføjet efter 14 foruddefinerede regler. Fem bevægelsesmønstre blev udvalgt for hvert par, og beskæringen blev holdt inden for originalbilledet.

Omfanget og variationen blev udvidet ved at kombinere syntetiske objekter med forskellige kameraindstillinger. Masker blev skabt ved manuelt at angive punktprompter på nøglebilleder, føre segmenteringen videre med Segment Anything 2 (SAM2), rense og forbedre resultaterne og samle validerede tripletter med forgrund, baggrund og masker til træning.

Den endelige samling omfatter 145 timers virkelige og syntetiske optagelser i 60.000 videopar. Den dækker 366 objektklasser i 443 scener.

EffectErase-netværket modtager materialet gennem en variationel autoencoder (VAE†), mens Wan2.1 håndterer støjfjernelsen i den latente repræsentation. På dette grundlag tilføjer EffectErase tre komponenter: Removal-Insertion Joint Learning, der træner fjernelse og indsættelse sammen på de samme områder; Task-Aware Region Guidance (TARG), der kombinerer objekt- og opgavetokens med cross-attention for at modellere forbindelser i rum og tid mellem objekter og deres effekter og gøre opgaveskift muligt; samt Effect Consistency Loss, der tilpasser effektområderne mellem fjernelse og indsættelse:

Oversigt over EffectErase-rammeværket. Under træning kodes videopar i et fælles latent rum, kombineres med støj og behandles af en diffusionstransformer styret af opgavetilpasset cross-attention. En tabsfunktion for effekternes overensstemmelse tilpasser fjernelses- og indsættelsesområderne, så begge opgaver fokuserer på samme sted.

Oversigt over EffectErase-rammeværket. Under træning kodes videopar i et fælles latent rum, kombineres med støj og behandles af en diffusionstransformer styret af opgavetilpasset cross-attention. En tabsfunktion for effekternes overensstemmelse tilpasser fjernelses- og indsættelsesområderne, så begge opgaver fokuserer på samme sted.

Fjernelse og indsættelse trænes sammen med en fælles diffusionsarkitektur, så modellen lærer at følge de samme påvirkede områder og strukturelle holdepunkter.

Videoer med objektet, videoer med kun baggrunden og masker kodes først i et latent rum. Derefter tilføjes støj til diffusionstræningen, og modellen lærer at genskabe rene repræsentationer under opgavespecifik vejledning. En let adapter kombinerer de støjfyldte egenskaber med betingelser for fjernelse eller indsættelse. De to opgaver kan derfor dele træningssignaler og stadig styres hver for sig.

Task-Aware Region Guidance skaber et opgavespecifikt signal ved at kombinere sprogtokens med visuelle egenskaber udtrukket fra forgrundsobjektet med CLIP. Et generelt objekttoken erstattes af en embedding afledt af billedets faktiske indhold. Den kombinerede repræsentation sendes ind i grundmodellen gennem cross-attention. Modellen kan dermed følge objektets og dets visuelle effekters udvikling i rum og tid og skifte fleksibelt mellem fjernelse og indsættelse.

Effect Consistency Loss tvinger fjernelse og indsættelse til at fokusere på de samme ændrede områder, fordi begge opgaver håndterer det samme objekt og dets visuelle effekter. Attentionkort fra hver gren kombineres til bløde områdekort og tilpasses et differenskort beregnet fra objekt- og baggrundsvideoerne. Dermed medtages også små ændringer som belysning og skygger. Denne ekstra tabsfunktion lader indsættelsen vejlede fjernelsen og holder opgaverne indbyrdes konsistente.

Data og test

Forskerne sammenlignede deres metode med forskellige metoder til billedudfyldning, videoudfyldning og objektfjernelse: OmniPaint; ObjectClear; VACE; DiffuEraser; ProPainter; ROSE; og MiniMax-Remover.

Wan2.1 blev finjusteret med LoRA†† på VOR-datasættet i en opløsning på 832×480 pixels. Sekvenser med 81 sammenhængende billeder (den praktiske grænse for WAN, som typisk giver fejl, hvis den overskrides) blev udvalgt tilfældigt til træning. Træningen varede 129.000 iterationer med en batchstørrelse på 8, på otte H100-GPU’er med 80 GB VRAM hver. Læringsraten blev sat til 1×102, og LoRA-rangen til 256.

Den syntetiske samling ROSE-Benchmark var det eneste eksterne datasæt, der blev testet. De to andre var VOR-Eval, VOR-datasættets testdel; og VOR-Wild, et testsæt med 195 virkelige videoer hentet fra internettet, som indeholder objekter i bevægelse.

Følgende mål blev anvendt: Peak Signal-to-Noise Ratio (PSNR); Structural Similarity Index (SSIM); Learned Perceptual Image Patch Similarity (LPIPS); og Fréchet Video Distance (FVD). Der blev også udført en brugerundersøgelse af 195 videoer genereret fra VOR-Wild, hvor gennemsnitsvurderingerne fra 20 frivillige indgik.

Forfatterne udviklede desuden QScore, et mål, som bruger den multimodale model Qwen-VL til at vurdere kvaliteten af videoer efter objektfjernelse ud fra tilbageværende artefakter eller miljøeffekter, der ikke er fjernet, såsom skygger og belysningseffekter:

Kvantitativ sammenligning på ROSE og VOR. De bedste og næstbedste resultater er vist med henholdsvis fed skrift og understregning.

Kvantitativ sammenligning på ROSE og VOR. De bedste og næstbedste resultater er vist med henholdsvis fed skrift og understregning.

Forfatterne skriver om resultaterne:

»[Nuværende] metoder til billedudfyldning behandler enkeltbilleder med 2D-modeller uden tidsmodellering og kan derfor ikke opretholde tidsmæssig konsistens i videoer.

Nyere [metoder] til videoudfyldning modellerer ikke udtrykkeligt effekterne, der følger med objekter, og giver derfor unaturlige fjernelsesresultater. Eksisterende [metoder] til objektfjernelse i video mangler modellering af forbindelser i rum og tid mellem objektet og dets effekter og skaber derfor ofte artefakter og efterlader spor af de fjernede objekter.

»Samlet set opnår EffectErase resultater på højeste niveau på alle datasæt og evalueringsmål. Systemet får de bedste resultater på videokvalitetsmålet FVD, hvilket viser bedre flydende bevægelser og konsistens over tid i de genererede videoer.

»Vores metode får også højest QScore og brugervurderinger, hvilket yderligere viser dens evne til at skabe visuelt overbevisende fjernelsesresultater.«

Til den kvalitative vurdering viser forskningsartiklen stillbilleder, gengivet direkte nedenfor. Bevægelige resultater findes på projektets hjemmeside og i den tilhørende videopræsentation på YouTube:

Kvalitativ sammenligning på VOR-Eval for okklusion, skygger, belysning, refleksioner og deformation. Udfyldningsmetoder har svært ved at fjerne effekter uden for masken, mens fjernelsesmodeller ofte efterlader synlige artefakter. EffectErase fjerner både målobjekterne og deres effekter renere. Se originalartiklen for højere opløsning og projektets hjemmeside for videoeksempler.

Kvalitativ sammenligning på VOR-Eval for okklusion, skygger, belysning, refleksioner og deformation. Udfyldningsmetoder har svært ved at fjerne effekter uden for masken, mens fjernelsesmodeller ofte efterlader synlige artefakter. EffectErase fjerner både målobjekterne og deres effekter renere. Se originalartiklen for højere opløsning og projektets hjemmeside for videoeksempler.

Vi henviser også til forskellige relevante eksempler på projektets hjemmeside, med en forhåndsvisning nedenfor, samt den officielle YouTube-video nederst i artiklen:

Klik for at afspille. Et sammenligningseksempel fra EffectErases projekthjemmeside. Se hjemmesiden for højere opløsning (med de tidligere nævnte forbehold) og flere eksempler.

Forfatterne kommenterer:

»[Metoder] til videoudfyldning skaber ofte artefakter i maskerede områder og fjerner ikke fuldstændigt de effekter, som de fjernede objekter forårsager. Tidligere objektfjernelsesmetoder, såsom [ROSE] og [MinMax-Remover], fjerner målobjekterne godt, men har stadig problemer med effekterne, især ved okklusion, skygger, belysning, refleksioner og deformation.

»EffectErase fjerner derimod effektivt både målobjekterne og deres effekter og giver rene, sammenhængende resultater af høj kvalitet.«

Til sidst bemærker forskerne, at metoden også kan tilpasses til indsættelse i stedet for fjernelse uden yderligere træning:

Resultater af indsættelse af objekter i video. EffectErase indsætter objekter med bevaret baggrundsindhold og skaber effekter fra objekterne, som skygger og refleksioner, konsistent mellem billederne.

Resultater af indsættelse af objekter i video. EffectErase indsætter objekter med bevaret baggrundsindhold og skaber effekter fra objekterne, som skygger og refleksioner, konsistent mellem billederne.

Videoeksempler på indsættelsesopgaven findes i YouTube-videoen med angivet starttid. Den samme video er også indlejret nederst i artiklen uden tidsangivelse.

Konklusion

En gennemgang af lignende projekter i forskningslitteraturen viser, at mange stadig håber, at generelle VFX-modeller med tiden kan indarbejde denne funktion i en generel »værktøjskassemodel« til forskellige effekter frem for kun denne ene opgave.

Men med tanke på, at alsidighed kan gå ud over specialisering, virker det rimeligt at antage, at specialiserede systemer som EffectErase vil bevare et forspring i forhold til mere generelle metoder. Forbeholdet er, at forskellen med tiden kan blive så lille, at den ikke retfærdiggør det ekstra arbejde med at træne en særskilt model.

 

* Med voksende bekymring for materialets oprindelse og immaterielle rettigheder kunne man ønske, at alle sådanne kilder blev angivet. Men hvis det tilgængelige materiale fra det nye arbejde oplyser kilden til 3D-modellerne, kunne jeg ikke finde den henvisning.

† Den angivne reference ser ud til at være en generel forklarende tekst fra 2013; den konkrete VAE-model er ikke beskrevet.

†† Denne beskrivelse er hentet fra forskningsartiklen og er uklar i sin betydning, da finjustering og LoRA er forskellige processer med meget forskellige krav.

Først udgivet lørdag den 21. marts 2026 

Forfatter inden for maskinlæring, domænespecialist i menneskelig billedsyntese. Tidligere chef for forskningsindhold hos Metaphysic.ai, indtil den blev opløst i DNEGs Brahma.ai.
Websted: martinanderson.ai
Kontakt: martin@martinanderson.ai