Radera objekt och personer från video med AI

Nej, barnet blir inte kvar i bilden om AI får bestämma.

Att ta bort personer och föremål från bilder och videor är ett populärt forskningsområde inom AI för visuella effekter. Allt fler specialiserade dataset och ramverk utvecklas för uppgiften. Det senaste exemplet, från institutet för stordata vid Fudanuniversitetet i Kina, är EffectErase, ett system för att ta bort objekt ur video som också tar hänsyn till deras effekter på omgivningen. Enligt författarna överträffar det tydligt tidigare toppresultat i tester:

Exempel på EffectErase-metoden, sammanställda från material på projektets webbplats. Observera att den länkade webbplatsen innehåller många högupplösta, icke optimerade videor som spelas upp automatiskt och kan påverka webbläsarens stabilitet. YouTube-videon som är inbäddad i slutet av artikeln ger en mer lättillgänglig och heltäckande presentation.  Källa

I arbetet skapades och sammanställdes ett dataset som delvis består av nytt material. Det omfattar nästan 350 ursprungliga verkliga och syntetiska scener, antingen inspelade med särskild utrustning eller hämtade och återanvända i ett arbetsflöde byggt kring Blender 3D med öppen källkod, med hjälp av offentliga arkiv*.

Det kombinerade datasetet Video Object Removal (VOR) ligger till grund för EffectErase-applikationen, som bygger på videogenereringssystemet Wan2.1. Arbetet definierar också två nya tillhörande jämförelsetester: VOR Eval och VOR Wild – för prover med respektive utan korrekta referensdata.

(Även om artikeln har en tillhörande projektwebbplats, är den överlastad med högupplösta videor och svår att ladda. Om webbplatsen är svår att använda kan du därför se de utdrag jag har sammanställt i videon ovan.)

En jämförelse av det nya datasetets omfattning med liknande tidigare dataset. Källa

Forskarna hävdar att deras metod når toppresultat både enligt kvantitativa mått och vid kvalitativ bedömning av människor.

De påpekar att tidigare arbeten inte alltid lyckats ta bort objektens följdeffekter, exempelvis skuggor och reflektioner, och att deras dataset har utformats noggrant för att åtgärda denna brist:

Exempel på hur tidigare metoder missar spår utöver själva objektet som ska tas bort, såsom reflektioner och skuggor.

Den nya forskningsartikeln har titeln EffectErase: Joint Video Object Removal and Insertion for High-Quality Effect Erasing och har skrivits av fyra forskare vid Fudanuniversitetets fakultet för datavetenskap och artificiell intelligens.

Metod

VOR-datasetet kombinerar verkliga och syntetiska data och utformades för att täcka ett tillräckligt brett spektrum av situationer för att fånga alla följder av att ta bort en person eller ett föremål ur en video:

Bildpar från VOR-datasetet visar att objektborttagning måste omfatta både det synliga objektet och dess effekter. Exemplen visar ocklusion, skuggor, belysningsförändringar, reflektioner och fysisk deformation. Indatabilden där objektet finns visas bredvid motsvarande rena bakgrund efter borttagning. Fler exempel finns i YouTube-videon i slutet av artikeln.

Författarna definierar fem representativa typer av störningar som måste hanteras: ocklusion, inklusive olika former av ocklusion genom glas och rök; skuggor; belysning (exempelvis när föremålet som ska tas bort skapar eller förändrar ljusets väg); reflektioner; och deformation (exempelvis en persons avtryck i en kudde, som inte bör finnas kvar efter att personen har tagits bort).

Arbetsflödet för att skapa VOR-datasetet kombinerar syntetiska scener från Blender med verkliga inspelningar. Syntetiska data byggs av utvalda 3D-miljöer, objekt och kamerabanor. Verkliga videor spelas in i olika miljöer och utökas med Ken Burns-rörelse. SAM2-segmentering och manuell bearbetning ger sedan inbördes justerade tripletter med förgrunds-, bakgrunds- och maskvideor.

För egna verkliga data använde forskarna fasta kameror för att spela in samma vyer med och utan objektet, i många miljöer, vid olika tider på dygnet och under olika väderförhållanden.

För syntetiska data renderades flera perspektiv och scener med flera objekt skapades. Avsiktligt komplexa och svåra kamerarörelser som kan förekomma i verkliga inspelningar ingick. Forskarna beskriver metoden som mer avancerad och arbetskrävande än den som användes för det i övrigt liknande datasetet Remove Objects with Side Effects in Videos (ROSE).

För att öka variationen i rörelser användes Ken Burns-effekten på inspelade bildpar. Kontrollerade panoreringar, zoomningar och små rörelser som efterliknar handhållen kamera lades till enligt 14 fördefinierade regler. Fem rörelsemönster valdes för varje par, och beskärningen hölls inom originalbilden.

Omfattningen och variationen ökades ytterligare genom att kombinera syntetiska objekt med olika kamerainställningar. Masker skapades genom att manuellt ange punktprompter i nyckelbilder, föra segmenteringen vidare med Segment Anything 2 (SAM2), städa upp och förfina resultaten samt sammanställa validerade tripletter med förgrund, bakgrund och mask för träningen.

Den slutliga samlingen omfattar 145 timmar verklig och syntetisk video i 60 000 videopar. Den täcker 366 objektklasser i 443 scener.

EffectErase-nätverket tar in materialet via en variationsautoenkoder (VAE^†), medan Wan2.1 hanterar brusreduceringen i den latenta representationen. På denna grund bygger EffectErase tre komponenter: Removal-Insertion Joint Learning, som tränar borttagning och infogning tillsammans på samma områden; Task-Aware Region Guidance (TARG), som använder objekt- och uppgiftstoken tillsammans med cross-attention för att modellera kopplingar i rum och tid mellan objekt och deras effekter och möjliggöra byte av uppgift; samt Effect Consistency Loss, som får effektområdena att sammanfalla vid borttagning och infogning:

Översikt över EffectErase-ramverket. Under träningen kodas videopar i ett gemensamt latent rum, kombineras med brus och bearbetas av en diffusionstransformer som styrs av uppgiftsanpassad cross-attention. En förlustfunktion för effektöverensstämmelse justerar områdena för borttagning och infogning så att uppgifterna fokuserar på samma plats.

Borttagning och infogning tränas tillsammans med en gemensam diffusionsmodell som bas, så att modellen lär sig att uppmärksamma samma påverkade områden och strukturella ledtrådar.

Videor med objektet, videor med enbart bakgrunden och masker kodas först i ett latent rum. Brus läggs sedan till för diffusionsträningen, och modellen lär sig att återställa rena representationer med uppgiftsspecifik vägledning. En lätt adapter kombinerar de brusiga egenskaperna med villkor för borttagning eller infogning. Därmed kan uppgifterna dela träningssignaler samtidigt som de förblir var för sig styrbara.

Task-Aware Region Guidance skapar en uppgiftsspecifik signal genom att kombinera språktoken med visuella egenskaper hos förgrundsobjektet, extraherade med CLIP. En generell objekttoken ersätts av en inbäddning härledd från bildens faktiska innehåll. Den kombinerade representationen förs in i basmodellen via cross-attention. Modellen kan därmed följa hur objektet och dess visuella effekter förändras i rum och tid och växla flexibelt mellan borttagning och infogning.

Effect Consistency Loss tvingar borttagnings- och infogningsprocesserna att fokusera på samma förändrade områden, eftersom båda hanterar samma objekt och dess visuella effekter. Uppmärksamhetskartorna från varje gren kombineras till mjuka regionkartor och anpassas till en differenskarta beräknad från objekt- och bakgrundsvideorna. Därmed fångas även subtila förändringar som belysning och skuggor. Denna extra förlustterm låter infogningsuppgiften vägleda borttagningen och håller uppgifterna inbördes konsekventa.

Data och tester

Forskarna jämförde sin metod med olika metoder för bildkomplettering, videokomplettering och objektborttagning: OmniPaint; ObjectClear; VACE; DiffuEraser; ProPainter; ROSE; och MiniMax-Remover.

Wan2.1 finjusterades med LoRA^†† på VOR-datasetet med upplösningen 832×480 pixlar. Sekvenser med 81 på varandra följande bildrutor (den praktiska gränsen för WAN, över vilken fel brukar uppstå) valdes slumpmässigt för träning. Träningen pågick i 129 000 iterationer med en batchstorlek på 8, på åtta H100-GPU:er med 80 GB VRAM vardera. Inlärningshastigheten sattes till 1×10², och LoRA-rangen till 256.

Den syntetiska samlingen ROSE-Benchmark var det enda externa datasetet som testades. De andra två var VOR-Eval, VOR-datasetets testdel; och VOR-Wild, en testuppsättning med 195 verkliga videor insamlade från internet, där rörliga objekt förekommer.

Följande mått användes: Peak Signal-to-Noise Ratio (PSNR); Structural Similarity Index (SSIM); Learned Perceptual Image Patch Similarity (LPIPS); och Fréchet Video Distance (FVD). Även en användarstudie med 195 genererade videor från VOR-Wild genomfördes, där de genomsnittliga betygen från 20 frivilliga beaktades.

Dessutom tog författarna fram QScore, ett mått som använder den multimodala modellen Qwen-VL för att bedöma kvaliteten på videor efter objektborttagning utifrån kvarvarande artefakter eller miljöeffekter som inte tagits bort, såsom skuggor och belysningseffekter:

Kvantitativ jämförelse på ROSE och VOR. De bästa och näst bästa resultaten visas med fetstil respektive understrykning.

Författarna kommenterar resultaten så här:

”[Nuvarande] bildkompletteringsmetoder arbetar med enskilda bildrutor med hjälp av 2D-modeller utan tidsmässig modellering och lyckas därför inte upprätthålla tidsmässig konsekvens i video.

Nyare [metoder] för videokomplettering modellerar inte uttryckligen objektens följdeffekter, vilket ger onaturliga borttagningsresultat. Befintliga [metoder] för objektborttagning i video saknar modellering av kopplingarna i rum och tid mellan objektet och dess följdeffekter och lämnar därför ofta artefakter och spår av de borttagna objekten.

”Sammantaget uppnår EffectErase toppresultat på alla dataset och utvärderingsmått. Systemet får bäst resultat på videokvalitetsmåttet FVD, vilket visar att de genererade videorna har överlägsen följsamhet och konsekvens över tid.

”Vår metod får också högst QScore och användarbetyg, vilket ytterligare visar att den kan ge visuellt övertygande borttagningsresultat.”

För den kvalitativa utvärderingen visar artikeln stillbilder, som återges direkt nedan. Rörliga resultat finns på projektets webbplats och i den tillhörande videopresentationen på YouTube:

Kvalitativ jämförelse på VOR-Eval för ocklusion, skuggor, belysning, reflektioner och deformation. Kompletteringsmetoder har svårt att ta bort effekter utanför masken, medan borttagningsmodeller ofta lämnar synliga artefakter. EffectErase tar bort både målobjekten och deras effekter renare. Se forskningsartikeln för högre upplösning och projektets webbplats för videoexempel.

Vi hänvisar också till projektets webbplats för fler varierade exempel. En förhandsvisning finns nedan, och den officiella YouTube-videon är inbäddad i slutet av artikeln:

Klicka för att spela upp. Ett jämförelseexempel från EffectErases projektwebbplats. Se webbplatsen för högre upplösning (med förbehållen ovan) och fler exempel.

Författarna kommenterar:

”[Metoder] för videokomplettering skapar ofta artefakter i maskerade områden och lyckas inte helt ta bort de följdeffekter som de borttagna objekten orsakar. Tidigare objektborttagningsmetoder, såsom [ROSE] och [MinMax-Remover], tar bort målobjekten väl men har fortfarande svårt med deras följdeffekter, särskilt vid ocklusion, skuggor, belysning, reflektioner och deformation.

”EffectErase tar däremot effektivt bort både målobjekten och deras effekter, vilket ger rena, sammanhängande resultat av hög kvalitet.”

Avslutningsvis konstaterar forskarna att metoden även kan anpassas för infogning i stället för borttagning, utan ytterligare träning:

Resultat från infogning av objekt i video. EffectErase infogar objekt med bibehållen bakgrund och genererar effekter som objekten orsakar, såsom skuggor och reflektioner, konsekvent mellan bildrutorna.

Videoexempel på infogningsuppgiften finns i YouTube-videon med angiven starttid. Samma video är också inbäddad utan tidsangivelse i slutet av artikeln.

Slutsats

En genomgång av liknande projekt i forskningslitteraturen visar att många fortfarande hoppas att generella VFX-modeller så småningom ska kunna integrera denna funktion i en allmän ”verktygslådemodell” för en rad effekter, snarare än bara denna specifika uppgift.

Men med tanke på att bred kompetens kan gå ut över specialisering verkar det rimligt att anta att specialiserade system som EffectErase kommer att behålla ett försprång gentemot mer generella metoder. Förbehållet är att skillnaden så småningom kan bli så liten att den inte motiverar det extra arbetet med att träna en separat modell.

* Med den växande oron för materialets ursprung och immateriella rättigheter skulle man önska att alla sådana källor angavs. Men om källan till 3D-modellerna anges i det nya arbetets tillgängliga material lyckades jag inte hitta den hänvisningen.

^† Den angivna referensen verkar vara en allmän förklarande text från 2013, utan att den specifika VAE-modellen beskrivs.

^†† Denna formulering är hämtad från forskningsartikeln och är oklar till sin innebörd, eftersom finjustering och LoRA är olika processer med mycket olika krav.

Först publicerad lördagen den 21 mars 2026