Voorwerpen en personen uit video’s verwijderen met AI

Nee, het kind blijft niet op de foto, als AI iets te zeggen heeft.

Het verwijderen van personen en voorwerpen uit afbeeldingen en video’s is een populair onderzoeksgebied in VFX-georiënteerde AI-literatuur, met een groeiend aantal gewijd datasets en frameworks die deze uitdaging aanpakken. De laatste hiervan, van het Institute of Big Data van de Fudan University in China, is EffectErase, een ‘effect-gevoelig’ videosysteem voor het verwijderen van objecten dat, volgens de auteurs, aanzienlijk verbeterd is ten opzichte van de huidige stand van zaken in tests:

Samengesteld uit materiaal op de projectwebsite, voorbeelden van de EffectErase-methode (houd er rekening mee dat wij een link bieden, maar de bronwebsite bevat veel hoge resolutie- en niet-geoptimaliseerde autoplay-video’s die de stabiliteit van uw webbrowser kunnen beïnvloeden. De bijgevoegde YouTube-video is een eenvoudigere en volledigere referentie en is ingesloten aan het einde van dit artikel).  Bron

Het nieuwe werk omvatte de creatie/curatie van een semi-nieuwe dataset van bijna 350 originele real-world- en gesynthesiseerde scènes (met behulp van openbare repositories*), die zijn opgenomen met speciale apparatuur of zijn opgenomen en opnieuw zijn doorgestuurd naar een workflow die is gebouwd rond het open source Blender 3D-framework.

De hybride Video Object Removal (VOR)-dataset vormt de basis voor de EffectErase-toepassing zelf, die is gebouwd op het Wan2.1-videosysteem. Het systeem definieert ook twee nieuwe gerelateerde benchmarks: VOR Eval en VOR Wild – respectievelijk voor monsters met en zonder ground truth.

(Hoewel het artikel een bijbehorende projectsite heeft, is deze overbelast met meerdere hoge resolutie-video’s en moeilijk te laden; dus verwijzen wij u naar de door ons gecureerde fragmenten in de ingesloten video hierboven, als u de projectsite moeilijk te gebruiken vindt)

Een vergelijking van hoeveelheden over vergelijkbare eerdere datasets, met betrekking tot de nieuwe aanbieding. Bron

De onderzoekers beweren dat hun benadering state-of-the-art-prestaties oplevert, zowel in kwantitatieve metingen als in kwalitatieve resultaten zoals beoordeeld door een menselijke studie.

Zij merken op dat eerdere werken niet altijd zijn geslaagd in het verwijderen van adjunct-effecten van een object, zoals schaduwen en reflecties, en dat hun dataset zorgvuldig is gemaakt om deze tekortkoming te verhelpen:

Voorbeelden van eerdere benaderingen die niet verder gaan dan het object dat moet worden verwijderd, naar secundaire indicaties zoals reflecties en schaduwen.

Het nieuwe artikel heet EffectErase: Joint Video Object Removal and Insertion for High-Quality Effect Erasing, en komt van vier onderzoekers van de College of Computer Science and Artificial Intelligence van de Fudan University.

Methode

De hybride VOR-dataset was ontworpen om een breed genoeg spectrum van scenario’s te omvatten om alle implicaties van het verwijderen van een persoon of object uit een video te dekken:

Gepaarde frames uit de VOR-dataset laten zien hoe objectverwijdering verder moet gaan dan het zichtbare onderwerp naar zijn geïnduceerde effecten, met voorbeelden die occlusie, schaduw, lichtverschuivingen, reflecties en fysieke vervorming laten zien, elk gepresenteerd als invoer (object aanwezig) naast de overeenkomstige schone achtergrond na verwijdering. Voor verdere voorbeelden, zie de ingesloten YouTube-video aan het einde van dit artikel.

De vijf representatieve typen ‘interferentie’ die moeten worden aangepakt, worden door de auteurs gedefinieerd als occlusie, inclusief verschillende soorten glas- en rookocclusie; schaduwen; licht (bijvoorbeeld wanneer een object dat moet worden verwijderd licht creëert of verandert); reflectie; en vervorming (bijvoorbeeld de afdruk van een gebruiker op een kussen, die niet zou moeten overleven na het verwijderen van de persoon).

Datasetconstructiepijplijn voor VOR, waarbij Blender-gegenereerde synthetische scènes worden gecombineerd met real-world-opnames, waarbij synthetische gegevens zijn gebouwd uit gecureerde 3D-omgevingen, objecten en cameratrajecten, en echte opnames zijn opgenomen in diverse scènes, aangevuld met Ken Burns-beweging. SAM2-segmentatie en handmatige verfijning produceren vervolgens gealigneerde voorgrond- en achtergrondvideo-triplets met overeenkomstige maskers.

Voor de real-world-gegevens gebruikten de onderzoekers vaste camera’s om ‘met’ en ‘zonder’ scènes op te nemen die een breed scala aan omgevingen, tijden van de dag en weersomstandigheden dekten.

Voor de gesynthesiseerde gegevens werden meerdere gezichtspunten gegenereerd en multi-object-scenario’s gecreëerd, met opzettelijk complexe en uitdagende soorten camerabewegingen, zoals die in real-world-opnames zouden kunnen voorkomen; en de onderzoekers merken op dat deze benadering meer geavanceerd en inspannend is dan die gebruikt voor de anderszins soortgelijke Remove Objects with Side Effects in Videos (ROSE)-dataset.

Om de bewegingsdiversiteit te vergroten, werd de Ken Burns-effect toegepast op camera-opnames, met gecontroleerde pans, zooms en lichte handmatige bewegingen onder veertien vooraf gedefinieerde regels, met vijf bewegingspatronen per paar, waarbij de oogst binnen het oorspronkelijke kader bleef.

Schaal en diversiteit werden verder uitgebreid door synthetische objecten te combineren met meerdere camerainstellingen; maskers werden gegenereerd door handmatige punt-prompt op sleutelframes te plaatsen, segmentatie te propageren met Segment Anything 2 (SAM2), resultaten te reinigen en te verfijnen, en gevalideerde voorgrond-, achtergrond- en masker-triplets te assembleren voor training.

De definitieve collectie bestaat uit 145 uur video over 60.000 gepaarde video’s, real en synthetisch, die 366 objectklassen in 443 scènes dekken.

Het EffectErase-netwerk zelf neemt materiaal in via een Variational Auto-Encoder (VAE^†), met latent ruisbehandeling door Wan2.1. Over deze backbone werkt EffectErase Removal-Insertion Joint Learning, dat beide taken samen traint op dezelfde regio’s; Task-Aware Region Guidance (TARG), dat object- en taaktokens met cross-attention gebruikt om ruimtelijke en temporele links tussen objecten en hun effecten te modelleren en taakwisseling toe te staan; en Effect Consistency Loss, dat effectregio’s uitlijnt over verwijderings- en insertietaken:

Schema voor het EffectErase-framework. Tijdens training worden gepaarde video’s gecodeerd in een gedeelde latent ruimte, gefuseerd met ruis en verwerkt door een diffusietransformer die wordt geleid door taak-gevoelige cross-attention, terwijl een effectconsistentie-verlies effectregio’s uitlijnt zodat beide taken zich op hetzelfde gebied richten.

Zelfstandig zijn de verwijderings- en insertieprocessen getraind met een gedeelde diffusie-backbone, zodat het model leert om zich te concentreren op dezelfde beïnvloede regio’s en structurele hints.

Video’s met objecten, achtergrondvideo’s en maskers worden eerst gecodeerd in een latent ruimte; ruis wordt vervolgens toegevoegd voor diffusietraining, en het model leert om schone representaties te herstellen onder taak-specifieke leiding. Een lichtgewicht adapter fuseert vervolgens de lawaaierige functies met verwijderings- of insertievoorwaarden, waardoor beide taken gedeelde supervisie kunnen delen, terwijl ze nog steeds controleerbaar blijven.

Task-Aware Region Guidance creëert een taak-specifieke signaal door taaltokens te combineren met visuele functies die zijn geëxtraheerd uit het voorgrondobject, met behulp van CLIP, waarbij een generieke objecttoken wordt vervangen door een insluiting die is afgeleid van de daadwerkelijke beeldinhoud. Deze gefuseerde representatie wordt geïnjecteerd in de backbone via cross-attention, waardoor het model kan volgen hoe een object en zijn visuele effecten evolueren in ruimte en tijd, terwijl het flexibele schakeling tussen verwijdering en insertie mogelijk maakt.

Effect Consistency Loss dwingt verwijderings- en insertieprocessen om zich te concentreren op dezelfde gewijzigde gebieden, aangezien beide taken te maken hebben met hetzelfde object en zijn visuele effecten. Aandachtkaarten van elke tak worden vervolgens samengevoegd tot zachte regiokaarten, en uitgelijnd met een verschilkaart die is berekend uit de object- en achtergrondvideo’s, zodat subtiele veranderingen zoals licht en schaduwen worden behouden. Deze extra verlies helpt insertie om verwijdering te leiden en houdt beide taken consistent.

Gegevens en tests

De onderzoekers testten hun benadering tegen verschillende inpainting-, video-inpainting- en objectverwijderingsmethoden: OmniPaint; ObjectClear; VACE; DiffuEraser; ProPainter; ROSE; en MiniMax-Remover.

Wan2.1 werd fijngesteld met LoRA^†† met behulp van de VOR-dataset op een resolutie van 832x480px. 81 opeenvolgende frames (de effectieve limiet voor WAN, waarbuiten fouten de neiging hebben te optreden) werden willekeurig geselecteerd voor training, die plaatsvond gedurende 129.000 iteraties bij een batchgrootte van 8, op acht H100-GPU’s, elk met 80GB VRAM. De leerfactor werd ingesteld op 1×10², en de LoRA-rang op 256.

De ROSE-Benchmark-synthetische collectie was de enige externe dataset die werd getest; de andere twee waren VOR-Eval, de VOR-datasettest split; en VOR-Wild, een testset bestaande uit 195 echte video’s die van internet zijn gescraped, met ‘dynamische objecten’.

De gebruikte metrieken waren Peak Signal-to-Noise Ratio (PSNR); Structural Similarity Index (SSIM); Learned Perceptual Image Patch Similarity (LPIPS); en Fréchet Video Distance (FVD). Een gebruikersstudie van 195 gegenereerde video’s uit VOR-Wild werd ook overwogen, met gemiddelde beoordelingen van 20 vrijwilligers in aanmerking genomen.

Bovendien ontwikkelden de auteurs QScore, een metriek die de Qwen-VL-multimodale model gebruikt, om de kwaliteit van object-verwijderde video-uitvoer te evalueren, in termen van resterende artefacten of gemiste milieuverwijderingen, zoals schaduwen en lichteffecten:

Kwantitatieve vergelijking op ROSE- en VOR-benchmarks, met de beste en tweede beste resultaten weergegeven in vet en onderstreept, respectievelijk.

Met betrekking tot deze resultaten merken de auteurs op:

‘[Huidige] beeldinpaintingmethoden werken op individuele frames met 2D-modellen zonder temporele modellering en zijn daarom niet in staat om temporele consistentie in video’s te behouden.

Recente video-inpainting [methoden] modelleren geen objectzijeffecten expliciet, waardoor onnatuurlijke verwijderingsresultaten ontstaan. Bestaande video-objectverwijderings [methoden] ontbreken spatiotemporele correlatiemodellering tussen het object en zijn zijeffecten en produceren daarom vaak artefacten en resterende sporen van de verwijderde objecten.

‘Al met al bereikt EffectErase state-of-the-art-prestaties over alle datasets en evaluatiemetingen. Het behaalt de beste scores op de video-kwaliteitsmeting FVD, waarmee het superieure temporele gladheid en consistentie van de gegenereerde video’s aantoont.

‘Onze methode behaalt ook de hoogste QScore- en gebruikersfeedbackbeoordelingen, waarmee het zijn effectiviteit in het produceren van visueel overtuigende verwijderingsresultaten verder aantoont.’

Voor de kwalitatieve evaluatie worden statische resultaten aangeboden in het artikel (getoond) recht hieronder, evenals bewegende resultaten die beschikbaar zijn op de projectsite en de bijbehorende YouTube-video-presentatie:

Kwalitatieve vergelijking op VOR-Eval over occlusie, schaduw, licht, reflectie en vervorming. Inpaintingmethoden hebben moeite om effecten buiten het masker te verwijderen, terwijl verwijderingsmodellen vaak zichtbare artefacten achterlaten. EffectErase verwijdert zowel het doelobject als zijn geassocieerde effecten schoner. Verwijzen naar de bron van het artikel voor betere resolutie en naar de projectsite voor videovoorbeelden.

Wij verwijzen de lezer ook naar diverse verwante voorbeelden op de projectsite, die hieronder worden voorbeeldig getoond, evenals de officiële YouTube-video die is ingesloten aan het einde van dit artikel:

Klik om af te spelen. Een voorbeeldvergelijking van de EffectErase-projectsite. Verwijzen naar de site voor betere resolutie (met de eerder genoemde voorzorgsmaatregelen) en voor verdere voorbeelden.

De auteurs merken op:

‘Video-inpainting [methoden] produceren vaak artefacten in gemaskeerde regio’s en falen om de zijeffecten die door de verwijderde objecten worden veroorzaakt volledig te verwijderen. Eerdere objectverwijderingsbenaderingen, zoals [ROSE] en [MinMax-Remover], presteren goed bij het verwijderen van doelobjecten, maar hebben nog steeds moeite met zijeffecten, vooral in occlusie-, schaduw-, licht-, reflectie- en vervormingsscenario’s.

‘In tegenstelling tot EffectErase verwijdert EffectErase zowel het doelobject als zijn geassocieerde effecten effectief, waardoor schone, samenhangende en hoogwaardige resultaten ontstaan.’

Ten slotte merken de onderzoekers op dat hun methode ook kan worden aangepast voor insertietaken in plaats van verwijderingstaken, zonder dat hiervoor aanvullende training nodig is:

Video-objectinsertie-resultaten. EffectErase voegt objecten toe terwijl het achtergrondinhoud behoudt en consistent object-geïnduceerde effecten zoals schaduwen en reflecties over frames heen genereert.

Videoresultaten voor de insertietaken zijn te zien in de (tijdspecifieke) YouTube-videovoorbeelden (ook ingesloten zonder tijdstempels aan het einde van het artikel).

Conclusie

Een blik op soortgelijke projecten in de literatuur onthult dat velen nog steeds hopen dat algemene VFX-modellen uiteindelijk in staat zullen zijn om deze functionaliteit op te nemen in een algemeen ‘toolkit’-model dat is ontworpen voor een reeks effecten, in plaats van alleen voor deze specifieke taak.

Hoewel, op het principe van ‘jack of all trades’, het redelijk lijkt om aan te nemen dat toegewijde systemen zoals EffectErase hun voorsprong zullen behouden ten opzichte van meer algemene benaderingen; met de kanttekening dat de kloof uiteindelijk klein genoeg kan worden om het verschil niet langer de moeite waard te maken om een afzonderlijk model te trainen.

* Een zou hopen, met groeiende zorgen over IP-provenance-problemen, dat alle dergelijke bronnen zouden worden vermeld; maar als de beschikbare materialen van het nieuwe werk de bron van de 3D-modellen vermelden, kon ik deze referentie niet vinden.

^† De vermelde referentie lijkt een algemene verklarende tekst uit 2013 te zijn, met de specifieke VAE niet gedetailleerd.

^†† Genomen uit het artikel, dit is een semantisch onduidelijke beschrijving, aangezien fijne afstemming en LoRA verschillende processen zijn met zeer verschillende eisen.

Publicatie op zaterdag 21 maart 2026