Andersons vinkel

Fjerning av objekter og personer fra video med AI

Martin Anderson
Legg til Unite.AI blant dine foretrukne kilder på Google
AI-generated stylized image depicting a magician robot showing an empty cabinet with a lady's tiara at the bottom. GPT-1.5
Viktige punkterEffectErase introduser en ny datasett og metode for å fjerne objekter og deres…
Vis mer
  • EffectErase introduser en ny datasett og metode for å fjerne objekter og deres sekundære effekter som skygger fra video.
  • Systemet trener samtidig fjerning- og innsettingsprosesser for å fokusere på de samme påvirkede områdene for konsistens.
  • EffectErase overgår tidligere metoder ved å eksplisitt modellere spatiotemporale koblinger mellom objekter og deres visuelle bivirkninger.

Nei, barnet blir ikke værende på bildet hvis AI får bestemme.

 

Å fjerne personer og gjenstander fra bilder og videoer er et populært forskningsområde innen AI for visuelle effekter. Stadig flere spesialiserte datasett og rammeverk utvikles for denne utfordringen. Det nyeste eksemplet, fra instituttet for stordata ved Fudan-universitetet i Kina, er EffectErase, et system som fjerner objekter fra video og samtidig tar hensyn til hvordan de påvirker omgivelsene. Ifølge forfatterne overgår systemet de beste eksisterende metodene klart i tester:

Eksempler på EffectErase-metoden satt sammen av materiale fra prosjektets nettsted. Merk at det lenkede nettstedet inneholder mange høyoppløselige, ikke optimaliserte videoer som spilles av automatisk og kan påvirke nettleserens stabilitet. YouTube-videoen nederst i artikkelen gir en mer tilgjengelig og fullstendig presentasjon.  Kilde

Arbeidet omfattet opprettelse og sammenstilling av et datasett med delvis nytt materiale, med nesten 350 originale virkelige og syntetiske scener. Disse ble enten tatt opp med eget utstyr eller hentet inn og tilpasset en arbeidsflyt bygget rundt Blender 3D med åpen kildekode, med bruk av offentlige arkiver*.

Det kombinerte datasettet Video Object Removal (VOR) danner grunnlaget for EffectErase-applikasjonen, som bygger på videogenereringssystemet Wan2.1. Arbeidet definerer også to nye, tilhørende testsett: VOR Eval og VOR Wild – for eksempler med henholdsvis uten korrekte referansedata.

(Selv om forskningsartikkelen har et tilhørende prosjektnettsted, er det overbelastet med høyoppløselige videoer og vanskelig å laste. Hvis nettstedet er tungvint å bruke, kan du se utdragene jeg har samlet i videoen ovenfor.)

Sammenligning av størrelsen på det nye datasettet med lignende tidligere datasett. Kilde: https://arxiv.org/pdf/2603.19224

Sammenligning av størrelsen på det nye datasettet med lignende tidligere datasett. Kilde

Forskerne hevder at metoden gir resultater på toppnivå både etter kvantitative mål og i kvalitative vurderinger utført av mennesker.

De påpeker at tidligere arbeid ikke alltid har klart å fjerne effekter som følger med et objekt, som skygger og refleksjoner. Datasettet deres er nøye utformet for å rette opp denne svakheten:

Eksempler på tidligere metoder som bare ser på objektet som skal fjernes, og overser indirekte spor som refleksjoner og skygger.

Eksempler på tidligere metoder som bare ser på objektet som skal fjernes, og overser indirekte spor som refleksjoner og skygger.

Den nye forskningsartikkelen har tittelen EffectErase: Joint Video Object Removal and Insertion for High-Quality Effect Erasing og er skrevet av fire forskere ved fakultetet for informatikk og kunstig intelligens ved Fudan-universitetet.

Metode

Det kombinerte VOR-datasettet ble utformet for å dekke et tilstrekkelig bredt spekter av situasjoner til å omfatte alle følgene av å fjerne en person eller gjenstand fra en video:

Bildepar fra VOR viser at fjerningen må omfatte både det synlige objektet og effektene det skaper. Eksemplene viser tildekking, skygger, lysendringer, refleksjoner og fysiske deformasjoner. Inndatabildet med objektet vises ved siden av den tilsvarende rene bakgrunnen etter fjerning.

Bildepar fra VOR viser at fjerningen må omfatte både det synlige objektet og effektene det skaper. Eksemplene viser tildekking, skygger, lysendringer, refleksjoner og fysiske deformasjoner. Inndatabildet med objektet vises ved siden av den tilsvarende rene bakgrunnen etter fjerning. Flere eksempler finnes i YouTube-videoen nederst i artikkelen.

Forfatterne definerer fem representative typer forstyrrelser som må håndteres: tildekking, inkludert ulike former for tildekking gjennom glass og røyk; skygger; belysning (for eksempel når objektet som skal fjernes skaper eller endrer lysets bane); refleksjoner; og deformasjon (for eksempel avtrykket en person etterlater i en pute, som ikke bør bli igjen etter at personen er fjernet).

Arbeidsflyten for å bygge VOR kombinerer syntetiske scener fra Blender med virkelige opptak. Syntetiske data lages med utvalgte 3D-miljøer, objekter og kamerabaner. Virkelige opptak gjøres i ulike scener og utvides med Ken Burns-bevegelse. SAM2-segmentering og manuell bearbeiding gir deretter justerte tripletter med forgrunns-, bakgrunns- og tilhørende maskevideoer.

Arbeidsflyten for å bygge VOR kombinerer syntetiske scener fra Blender med virkelige opptak. Syntetiske data lages med utvalgte 3D-miljøer, objekter og kamerabaner. Virkelige opptak gjøres i ulike scener og utvides med Ken Burns-bevegelse. SAM2-segmentering og manuell bearbeiding gir deretter justerte tripletter med forgrunns-, bakgrunns- og tilhørende maskevideoer.

For de originale virkelige dataene brukte forskerne faste kameraer til å filme de samme scenene med og uten objektet, i ulike miljøer, på forskjellige tider av døgnet og under ulike værforhold.

For syntetiske data ble flere perspektiver rendret og situasjoner med flere objekter laget. Forskerne inkluderte bevisst komplekse og utfordrende kamerabevegelser som kan forekomme i virkelige opptak. De beskriver metoden som mer avansert og arbeidskrevende enn den som ble brukt for det ellers lignende datasettet Remove Objects with Side Effects in Videos (ROSE).

For å øke variasjonen i bevegelser ble Ken Burns-effekten brukt på opptakspar. Kontrollerte panoreringer, zoom og små bevegelser som etterligner håndholdt kamera, ble lagt til etter 14 forhåndsdefinerte regler. Fem bevegelsesmønstre ble valgt for hvert par, og utsnittet ble holdt innenfor originalbildet.

Omfanget og variasjonen ble utvidet ved å kombinere syntetiske objekter med ulike kamerainnstillinger. Masker ble laget ved å angi punktbaserte instrukser manuelt på nøkkelbilder, føre segmenteringen videre med Segment Anything 2 (SAM2), rydde opp i og forbedre resultatene og sette sammen validerte tripletter med forgrunn, bakgrunn og masker til trening.

Den endelige samlingen omfatter 145 timer med virkelige og syntetiske opptak i 60 000 videopar. Den dekker 366 objektklasser i 443 scener.

EffectErase-nettverket tar inn materialet gjennom en variasjonsautoenkoder (VAE†), mens Wan2.1 håndterer støyfjerningen i den latente representasjonen. På dette grunnlaget bygger EffectErase tre komponenter: Removal-Insertion Joint Learning, som trener fjerning og innsetting sammen på de samme områdene; Task-Aware Region Guidance (TARG), som kombinerer objekt- og oppgavetokener med cross-attention for å modellere sammenhenger i rom og tid mellom objekter og deres effekter og muliggjøre oppgavebytte; og Effect Consistency Loss, som samordner effektområdene for fjerning og innsetting:

Oversikt over EffectErase-rammeverket. Under trening kodes videopar i et felles latent rom, kombineres med støy og behandles av en diffusjonstransformer styrt av oppgavetilpasset cross-attention. En tapsfunksjon for samsvar mellom effektene samordner fjernings- og innsettingsområdene slik at begge oppgavene fokuserer på samme sted.

Oversikt over EffectErase-rammeverket. Under trening kodes videopar i et felles latent rom, kombineres med støy og behandles av en diffusjonstransformer styrt av oppgavetilpasset cross-attention. En tapsfunksjon for samsvar mellom effektene samordner fjernings- og innsettingsområdene slik at begge oppgavene fokuserer på samme sted.

Fjerning og innsetting trenes sammen med en felles diffusjonsarkitektur, slik at modellen lærer å følge de samme berørte områdene og strukturelle holdepunktene.

Videoer med objektet, videoer med bare bakgrunnen og masker kodes først i et latent rom. Støy legges til for diffusjonstreningen, og modellen lærer å gjenopprette rene representasjoner med oppgavespesifikk veiledning. En lett adapter kombinerer de støyfylte egenskapene med vilkår for fjerning eller innsetting. Oppgavene kan dermed dele treningssignaler og samtidig styres hver for seg.

Task-Aware Region Guidance lager et oppgavespesifikt signal ved å kombinere språktokener med visuelle egenskaper hentet ut fra forgrunnsobjektet med CLIP. Et generelt objekttoken erstattes av en embedding utledet fra bildets faktiske innhold. Den kombinerte representasjonen sendes inn i grunnmodellen gjennom cross-attention. Modellen kan dermed følge hvordan objektet og dets visuelle effekter endrer seg i rom og tid, og veksle fleksibelt mellom fjerning og innsetting.

Effect Consistency Loss tvinger fjerning og innsetting til å fokusere på de samme endrede områdene, siden begge oppgavene håndterer samme objekt og dets visuelle effekter. Oppmerksomhetskart fra hver gren kombineres til myke områdekart og tilpasses et differansekart beregnet fra objekt- og bakgrunnsvideoene. Dermed blir også små endringer som belysning og skygger tatt med. Denne ekstra tapsfunksjonen lar innsettingsoppgaven veilede fjerningen og holder oppgavene konsistente med hverandre.

Data og tester

Forskerne sammenlignet metoden med ulike metoder for bildefylling, videofylling og objektfjerning: OmniPaint; ObjectClear; VACE; DiffuEraser; ProPainter; ROSE; og MiniMax-Remover.

Wan2.1 ble finjustert med LoRA†† på VOR-datasettet med en oppløsning på 832×480 piksler. Sekvenser med 81 sammenhengende bilder (den praktiske grensen for WAN, som ofte gir feil hvis den overskrides) ble valgt tilfeldig til trening. Treningen varte i 129 000 iterasjoner med en batchstørrelse på 8, på åtte H100-GPU-er med 80 GB VRAM hver. Læringsraten ble satt til 1×102, og LoRA-rangen til 256.

Den syntetiske samlingen ROSE-Benchmark var det eneste eksterne datasettet som ble testet. De to andre var VOR-Eval, VOR-datasettets testdel; og VOR-Wild, et testsett med 195 virkelige videoer hentet fra internett som inneholder objekter i bevegelse.

Følgende mål ble brukt: Peak Signal-to-Noise Ratio (PSNR); Structural Similarity Index (SSIM); Learned Perceptual Image Patch Similarity (LPIPS); og Fréchet Video Distance (FVD). Det ble også gjennomført en brukerstudie med 195 videoer generert fra VOR-Wild, der gjennomsnittsvurderingene fra 20 frivillige ble tatt med.

Forfatterne utviklet dessuten QScore, et mål som bruker den multimodale modellen Qwen-VL til å vurdere kvaliteten på videoer etter objektfjerning ut fra gjenværende artefakter eller miljøeffekter som ikke er fjernet, som skygger og belysningseffekter:

Kvantitativ sammenligning på ROSE og VOR. De beste og nest beste resultatene vises med henholdsvis fet skrift og understreking.

Kvantitativ sammenligning på ROSE og VOR. De beste og nest beste resultatene vises med henholdsvis fet skrift og understreking.

Forfatterne skriver om resultatene:

«[Dagens] metoder for bildefylling behandler enkeltbilder med 2D-modeller uten tidsmodellering og klarer derfor ikke å opprettholde tidsmessig konsistens i videoer.

Nyere [metoder] for videofylling modellerer ikke uttrykkelig effektene som følger med objektene, noe som gir unaturlige fjerningsresultater. Eksisterende [metoder] for objektfjerning i video mangler modellering av sammenhenger i rom og tid mellom objektet og effektene det skaper. Derfor lager de ofte artefakter og etterlater spor av de fjernede objektene.

«Samlet oppnår EffectErase resultater på toppnivå på alle datasett og evalueringsmål. Systemet får best resultat på videokvalitetsmålet FVD, noe som viser at de genererte videoene har bedre flyt og konsistens over tid.

«Metoden vår får også høyest QScore og brukervurderinger, noe som ytterligere viser at den kan gi visuelt overbevisende fjerningsresultater.»

For den kvalitative vurderingen viser forskningsartikkelen stillbilder, gjengitt rett nedenfor. Bevegelige resultater finnes på prosjektets nettsted og i den tilhørende videopresentasjonen på YouTube:

Kvalitativ sammenligning på VOR-Eval for tildekking, skygger, belysning, refleksjoner og deformasjon. Fyllingsmetoder har vansker med å fjerne effekter utenfor masken, mens fjerningsmodeller ofte etterlater synlige artefakter. EffectErase fjerner både målobjektene og effektene deres renere. Se originalartikkelen for høyere oppløsning og prosjektets nettsted for videoeksempler.

Kvalitativ sammenligning på VOR-Eval for tildekking, skygger, belysning, refleksjoner og deformasjon. Fyllingsmetoder har vansker med å fjerne effekter utenfor masken, mens fjerningsmodeller ofte etterlater synlige artefakter. EffectErase fjerner både målobjektene og effektene deres renere. Se originalartikkelen for høyere oppløsning og prosjektets nettsted for videoeksempler.

Vi viser også til ulike relaterte eksempler på prosjektets nettsted, med en forhåndsvisning nedenfor, og til den offisielle YouTube-videoen nederst i artikkelen:

Klikk for å spille av. Et sammenligningseksempel fra EffectErases prosjektnettsted. Se nettstedet for høyere oppløsning (med forbeholdene ovenfor) og flere eksempler.

Forfatterne kommenterer:

«[Metoder] for videofylling lager ofte artefakter i maskerte områder og klarer ikke å fjerne alle effektene som skyldes de fjernede objektene. Tidligere objektfjerningsmetoder, som [ROSE] og [MinMax-Remover], fjerner målobjektene godt, men har fortsatt problemer med effektene deres, særlig ved tildekking, skygger, belysning, refleksjoner og deformasjon.

«EffectErase fjerner derimot effektivt både målobjektene og effektene deres og gir rene, sammenhengende resultater av høy kvalitet.»

Til slutt påpeker forskerne at metoden også kan tilpasses innsetting i stedet for fjerning, uten ytterligere trening:

Resultater fra innsetting av objekter i video. EffectErase setter inn objekter samtidig som bakgrunnsinnholdet bevares, og lager effekter som objektene skaper, for eksempel skygger og refleksjoner, konsistent mellom bildene.

Resultater fra innsetting av objekter i video. EffectErase setter inn objekter samtidig som bakgrunnsinnholdet bevares, og lager effekter som objektene skaper, for eksempel skygger og refleksjoner, konsistent mellom bildene.

Videoeksempler på innsettingsoppgaven finnes i YouTube-videoen med angitt starttid. Samme video er også lagt inn nederst i artikkelen uten tidsangivelse.

Konklusjon

En gjennomgang av lignende prosjekter i forskningslitteraturen viser at mange fortsatt håper at generelle VFX-modeller etter hvert kan samle denne funksjonaliteten i en generell «verktøykassemodell» for flere typer effekter, i stedet for bare denne ene oppgaven.

Men med tanke på at allsidighet kan gå på bekostning av spesialisering, virker det rimelig å anta at spesialiserte systemer som EffectErase vil beholde et forsprang på mer generelle metoder. Forbeholdet er at forskjellen etter hvert kan bli så liten at den ikke forsvarer det ekstra arbeidet med å trene en separat modell.

 

* Med økende bekymring for materialets opphav og immaterielle rettigheter skulle man ønske at alle slike kilder ble oppgitt. Men hvis det tilgjengelige materialet fra det nye arbeidet oppgir kilden til 3D-modellene, klarte jeg ikke å finne den henvisningen.

† Referansen som oppgis, ser ut til å være en generell forklarende tekst fra 2013; den konkrete VAE-modellen er ikke beskrevet.

†† Denne beskrivelsen er hentet fra forskningsartikkelen og er uklar i betydningen, siden finjustering og LoRA er ulike prosesser med svært ulike krav.

Først publisert lørdag 21. mars 2026 

Skribent innen maskinlæring, domenespesialist i menneskelig bildesyntese. Tidligere leder for forskningsinnhold hos Metaphysic.ai, frem til oppløsningen i DNEG's Brahma.ai.
Nettsted: martinanderson.ai
Kontakt: martin@martinanderson.ai