Voorwerpen en personen uit video’s verwijderen met AI

Nee, het kind blijft niet op de foto staan als AI het voor het zeggen heeft.

Personen en voorwerpen verwijderen uit afbeeldingen en video’s is een populair onderzoeksgebied binnen AI voor visuele effecten. Steeds meer gespecialiseerde datasets en frameworks richten zich op deze uitdaging. Het nieuwste voorbeeld, van het instituut voor big data van de Chinese Fudan-universiteit, is EffectErase, een systeem dat bij het verwijderen van voorwerpen uit video ook rekening houdt met hun effecten op de omgeving. Volgens de auteurs presteert het in tests aanzienlijk beter dan de beste bestaande methoden:

Voorbeelden van de EffectErase-methode, samengesteld uit materiaal op de projectwebsite. Let op: de gelinkte website bevat veel niet-geoptimaliseerde video’s in hoge resolutie die automatisch afspelen en de stabiliteit van de browser kunnen beïnvloeden. De YouTube-video aan het einde van dit artikel biedt een toegankelijker en vollediger overzicht.  Bron

Voor dit onderzoek werd een dataset samengesteld die deels uit nieuw materiaal bestaat, met bijna 350 oorspronkelijke echte en synthetische scènes. Die werden opgenomen met speciale apparatuur of verkregen en hergebruikt in een workflow rond het opensourceframework Blender 3D, met gebruik van openbare repositories*.

De hybride dataset Video Object Removal (VOR) vormt de basis voor de EffectErase-toepassing, die is gebouwd op het videogeneratiesysteem Wan2.1. Het onderzoek definieert ook twee nieuwe bijbehorende benchmarks: VOR Eval en VOR Wild – voor voorbeelden met respectievelijk zonder juiste referentiegegevens.

(Hoewel het onderzoek een bijbehorende projectwebsite heeft, is die door de vele video’s in hoge resolutie zwaar belast en moeilijk te laden. Als de website lastig te gebruiken is, kunt u daarom de fragmenten bekijken die ik in de video hierboven heb samengebracht.)

Vergelijking van de omvang van de nieuwe dataset met die van vergelijkbare eerdere datasets. Bron

De onderzoekers stellen dat hun aanpak topprestaties levert, zowel volgens kwantitatieve maatstaven als bij kwalitatieve beoordeling door mensen.

Zij wijzen erop dat eerder werk er niet altijd in slaagde bijkomende effecten van een voorwerp, zoals schaduwen en reflecties, te verwijderen. Hun dataset is zorgvuldig samengesteld om dit tekort te verhelpen:

Voorbeelden van eerdere methoden die alleen naar het te verwijderen voorwerp kijken en indirecte sporen, zoals reflecties en schaduwen, missen.

De nieuwe onderzoekspaper is getiteld EffectErase: Joint Video Object Removal and Insertion for High-Quality Effect Erasing en is geschreven door vier onderzoekers van de faculteit Informatica en Kunstmatige Intelligentie van de Fudan-universiteit.

Methode

De hybride VOR-dataset is ontworpen om voldoende uiteenlopende situaties te omvatten om alle gevolgen van het verwijderen van een persoon of voorwerp uit een video te bestrijken:

Beeldparen uit de VOR-dataset laten zien dat objectverwijdering verder moet gaan dan het zichtbare voorwerp en ook de effecten ervan moet meenemen. De voorbeelden tonen occlusie, schaduwen, veranderende verlichting, reflecties en fysieke vervorming. De invoer met het voorwerp staat steeds naast de bijbehorende schone achtergrond na verwijdering. Meer voorbeelden staan in de YouTube-video aan het einde van dit artikel.

De auteurs onderscheiden vijf representatieve soorten verstoringen die moeten worden aangepakt: occlusie, waaronder verschillende vormen van afscherming door glas en rook; schaduwen; verlichting (bijvoorbeeld wanneer het te verwijderen voorwerp de baan van het licht creëert of verandert); reflecties; en vervorming (bijvoorbeeld de afdruk van een persoon in een kussen, die niet mag achterblijven nadat de persoon is verwijderd).

Het proces voor het opbouwen van de VOR-dataset combineert synthetische Blender-scènes met echte opnamen. De synthetische gegevens worden gemaakt met geselecteerde 3D-omgevingen, voorwerpen en camerabanen. De echte beelden worden in uiteenlopende scènes opgenomen en uitgebreid met Ken Burns-bewegingen. SAM2-segmentatie en handmatige verfijning leveren vervolgens uitgelijnde drietallen van voorgrond-, achtergrond- en bijbehorende maskervideo’s op.

Voor de oorspronkelijke echte gegevens gebruikten de onderzoekers vaste camera’s om dezelfde scènes met en zonder het voorwerp vast te leggen, in verschillende omgevingen, op verschillende tijdstippen en onder uiteenlopende weersomstandigheden.

Voor de synthetische gegevens werden meerdere gezichtspunten gerenderd en situaties met meerdere voorwerpen gemaakt. Daarbij werden bewust complexe, lastige camerabewegingen opgenomen die ook in echte beelden kunnen voorkomen. Volgens de onderzoekers is dit geavanceerder en arbeidsintensiever dan de aanpak voor de verder vergelijkbare dataset Remove Objects with Side Effects in Videos (ROSE).

Om meer variatie in beweging te krijgen, werd het Ken Burns-effect toegepast op opgenomen beeldparen. Gecontroleerde pan- en zoombewegingen en lichte bewegingen alsof de camera uit de hand werd bediend, werden toegevoegd volgens veertien vooraf vastgelegde regels. Per paar werden vijf bewegingspatronen gekozen, waarbij de uitsnede binnen het oorspronkelijke beeld bleef.

De omvang en variatie werden verder vergroot door synthetische voorwerpen te combineren met meerdere camera-instellingen. Maskers werden gemaakt door handmatig puntprompts op sleutelframes te plaatsen, de segmentatie verder te verspreiden met Segment Anything 2 (SAM2), de resultaten op te schonen en te verfijnen en gevalideerde drietallen van voorgrond, achtergrond en masker voor de training samen te stellen.

De uiteindelijke verzameling bestaat uit 145 uur echte en synthetische video in 60.000 videoparen, met 366 objectklassen in 443 scènes.

Het EffectErase-netwerk verwerkt het materiaal via een variationele auto-encoder (VAE^†), terwijl Wan2.1 de ruis uit de latente representatie verwijdert. Op deze basis voegt EffectErase drie onderdelen toe: Removal-Insertion Joint Learning, waarbij verwijdering en invoeging samen op dezelfde gebieden worden getraind; Task-Aware Region Guidance (TARG), dat object- en taaktokens combineert met cross-attention om ruimtelijke en temporele verbanden tussen voorwerpen en hun effecten te modelleren en wisselen van taak mogelijk te maken; en Effect Consistency Loss, dat de effectgebieden voor verwijdering en invoeging op elkaar afstemt:

Schema van het EffectErase-framework. Tijdens de training worden videoparen gecodeerd in een gedeelde latente ruimte, gecombineerd met ruis en verwerkt door een diffusietransformer met taakgerichte cross-attention. Een verliesfunctie voor de consistentie van effecten stemt de verwijderings- en invoeggebieden op elkaar af, zodat beide taken zich op hetzelfde gebied richten.

Verwijdering en invoeging worden samen getraind met een gedeeld diffusiemodel als basis, zodat het model op dezelfde beïnvloede gebieden en structurele aanwijzingen leert te letten.

Video’s met het voorwerp, video’s met alleen de achtergrond en maskers worden eerst gecodeerd in een latente ruimte. Voor de diffusietraining wordt ruis toegevoegd en leert het model schone representaties te herstellen onder taakgerichte begeleiding. Een lichte adapter combineert de kenmerken met ruis met de voorwaarden voor verwijdering of invoeging. Zo kunnen beide taken trainingssignalen delen en toch afzonderlijk bestuurbaar blijven.

Task-Aware Region Guidance maakt een taakgericht signaal door taaltokens te combineren met visuele kenmerken die met CLIP uit het voorgrondobject zijn gehaald. Een algemene objecttoken wordt vervangen door een embedding die is afgeleid van de daadwerkelijke beeldinhoud. Deze gecombineerde representatie wordt via cross-attention aan het basismodel doorgegeven. Zo kan het model volgen hoe een voorwerp en zijn visuele effecten in ruimte en tijd veranderen en flexibel wisselen tussen verwijdering en invoeging.

Effect Consistency Loss dwingt de processen voor verwijdering en invoeging zich op dezelfde veranderde gebieden te richten, omdat beide taken hetzelfde voorwerp en zijn visuele effecten behandelen. Aandachtskaarten van beide takken worden samengevoegd tot zachte gebiedskaarten en afgestemd op een verschilkaart die uit de object- en achtergrondvideo’s wordt berekend. Daardoor worden ook subtiele veranderingen, zoals verlichting en schaduwen, meegenomen. Deze extra verliesfunctie helpt de invoegtaak de verwijdertaak te sturen en houdt de taken onderling consistent.

Gegevens en tests

De onderzoekers vergeleken hun aanpak met verschillende methoden voor beeldinpainting, videoinpainting en objectverwijdering: OmniPaint; ObjectClear; VACE; DiffuEraser; ProPainter; ROSE; en MiniMax-Remover.

Wan2.1 werd met LoRA^†† verder getraind op de VOR-dataset met een resolutie van 832×480 pixels. Voor de training werden willekeurig reeksen van 81 opeenvolgende frames gekozen (de praktische limiet voor WAN, waarboven doorgaans fouten optreden). De training duurde 129.000 iteraties met een batchgrootte van 8, op acht H100-GPU’s met elk 80 GB VRAM. De leersnelheid werd ingesteld op 1×10², en de LoRA-rang op 256.

De synthetische verzameling ROSE-Benchmark was de enige externe dataset die werd getest. De andere twee waren VOR-Eval, het VOR-datasetdeel voor tests; en VOR-Wild, een testset met 195 echte video’s die van internet zijn verzameld en waarin bewegende voorwerpen voorkomen.

De gebruikte maatstaven waren: Peak Signal-to-Noise Ratio (PSNR); Structural Similarity Index (SSIM); Learned Perceptual Image Patch Similarity (LPIPS); en Fréchet Video Distance (FVD). Ook werd een gebruikersonderzoek uitgevoerd met 195 video’s die uit VOR-Wild waren gegenereerd, waarbij de gemiddelde beoordelingen van twintig vrijwilligers werden meegenomen.

Verder ontwikkelden de auteurs QScore, een maatstaf die het multimodale model Qwen-VL gebruikt om de kwaliteit van video’s na objectverwijdering te beoordelen aan de hand van achtergebleven artefacten en niet-verwijderde omgevingseffecten, zoals schaduwen en lichteffecten:

Kwantitatieve vergelijking op de ROSE- en VOR-benchmarks. De beste resultaten zijn vetgedrukt en de op één na beste onderstreept.

Over deze resultaten merken de auteurs op:

“[Huidige] methoden voor beeldinpainting verwerken afzonderlijke frames met 2D-modellen zonder temporele modellering en kunnen daardoor de temporele consistentie van video’s niet behouden.

Recente [methoden] voor videoinpainting modelleren de bijkomende effecten van voorwerpen niet expliciet, wat tot onnatuurlijke verwijderingsresultaten leidt. Bestaande [methoden] voor objectverwijdering uit video missen modellering van ruimtelijke en temporele verbanden tussen het voorwerp en zijn effecten. Daardoor ontstaan vaak artefacten en blijven sporen van verwijderde voorwerpen achter.

“Over het geheel genomen bereikt EffectErase topprestaties op alle datasets en evaluatiemaatstaven. Het behaalt de beste scores op de videokwaliteitsmaatstaf FVD, wat de superieure vloeiendheid en consistentie van de gegenereerde video’s door de tijd heen aantoont.

“Onze methode behaalt ook de hoogste QScore en gebruikersbeoordelingen, wat verder aantoont dat zij visueel overtuigende verwijderingsresultaten kan produceren.”

Voor de kwalitatieve evaluatie staan stilstaande resultaten in de paper, direct hieronder weergegeven. Bewegende resultaten zijn beschikbaar op de projectwebsite en in de bijbehorende videopresentatie op YouTube:

Kwalitatieve vergelijking op VOR-Eval voor occlusie, schaduwen, verlichting, reflecties en vervorming. Inpaintingmethoden hebben moeite om effecten buiten het masker te verwijderen, terwijl verwijderingsmodellen vaak zichtbare artefacten achterlaten. EffectErase verwijdert de doelobjecten en hun effecten schoner. Zie de oorspronkelijke paper voor een hogere resolutie en de projectwebsite voor videovoorbeelden.

We verwijzen de lezer ook naar uiteenlopende verwante voorbeelden op de projectwebsite, met een voorproefje hieronder, en naar de officiële YouTube-video aan het einde van dit artikel:

Klik om af te spelen. Een vergelijking van de EffectErase-projectwebsite. Zie de website voor een hogere resolutie (met de eerder genoemde voorbehouden) en meer voorbeelden.

De auteurs schrijven:

“[Methoden] voor videoinpainting produceren vaak artefacten in gemaskeerde gebieden en verwijderen de bijkomende effecten van verwijderde voorwerpen niet volledig. Eerdere methoden voor objectverwijdering, zoals [ROSE] en [MinMax-Remover], verwijderen de doelobjecten goed, maar hebben nog altijd moeite met hun effecten, vooral bij occlusie, schaduwen, verlichting, reflecties en vervorming.

“EffectErase verwijdert daarentegen zowel de doelobjecten als hun bijkomende effecten effectief en levert daarmee schone, samenhangende resultaten van hoge kwaliteit op.”

Tot slot merken de onderzoekers op dat hun methode ook kan worden aangepast voor invoeging in plaats van verwijdering, zonder aanvullende training:

Resultaten van het invoegen van voorwerpen in video. EffectErase voegt voorwerpen toe, behoudt de achtergrond en genereert de bijbehorende effecten, zoals schaduwen en reflecties, consistent over de frames heen.

Videoresultaten van de invoegtaak zijn te zien in de voorbeelden in de YouTube-video met de betreffende starttijd. De video is ook zonder tijdsaanduiding aan het einde van het artikel ingesloten.

Conclusie

Een blik op vergelijkbare projecten in de onderzoeksliteratuur laat zien dat velen nog hopen dat algemene VFX-modellen deze functionaliteit uiteindelijk kunnen opnemen in een algemeen “gereedschapskistmodel” voor verschillende effecten, in plaats van alleen deze specifieke taak.

Uitgaande van het idee dat een alleskunner minder gespecialiseerd is, lijkt het echter redelijk om aan te nemen dat gespecialiseerde systemen zoals EffectErase een voorsprong zullen houden op algemenere benaderingen. De kanttekening is dat de kloof uiteindelijk zo klein kan worden dat het verschil de extra inspanning om een afzonderlijk model te trainen niet meer waard is.

* Gezien de groeiende zorgen over de herkomst van materiaal en intellectuele-eigendomsrechten zou men hopen dat al deze bronnen worden vermeld. Maar als de beschikbare materialen van het nieuwe onderzoek de bron van de 3D-modellen vermelden, heb ik die verwijzing niet kunnen vinden.

^† De opgegeven referentie lijkt een algemene toelichtende tekst uit 2013 te zijn; het specifieke VAE-model wordt niet beschreven.

^†† Deze beschrijving komt uit de paper en is onduidelijk van betekenis, omdat finetuning en LoRA verschillende processen zijn met zeer uiteenlopende eisen.

Voor het eerst gepubliceerd op zaterdag 21 maart 2026