De Weg naar Beter AI-Gebaseerde Video-Editing

De video/beeldsynthese-onderzoekssector produceert regelmatig video-editingarchitecturen, en de afgelopen negen maanden zijn dergelijke uitgaven nog vaker geworden. Dat gezegd hebbende, vertegenwoordigen de meeste hiervan slechts incrementele verbeteringen ten opzichte van de stand van de techniek, aangezien de kernuitdagingen aanzienlijk zijn.

Echter, een nieuwe samenwerking tussen China en Japan deze week heeft enkele voorbeelden opgeleverd die een nadere beschouwing van de aanpak verdienen, zelfs als het geen baanbrekend werk is.

In de onderstaande video (van de projectsite van het paper, dat – waarschuwing – uw browser kan belasten) zien we dat, hoewel de deepfaking-mogelijkheden van het systeem in de huidige configuratie niet bestaan, het systeem een goede job doet om de identiteit van de jonge vrouw in de afbeelding op een overtuigende en significante manier te veranderen, op basis van een videomasker (onderaan links):

Klik om af te spelen. Gebaseerd op de semantische segmentatiemasker die in de onderste linkerhoek wordt weergegeven, wordt de oorspronkelijke (bovenste linker) vrouw getransformeerd in een opvallend andere identiteit, hoewel dit proces de identiteitswissel die in de prompt wordt aangegeven niet bereikt. Source: https://yxbian23.github.io/project/video-painter/ (let op dat de site op het moment van schrijven geneigd was om mijn browser te crashen). Raadpleeg de bronvideo’s, als u ze kunt openen, voor betere resolutie en detail, of bekijk de voorbeelden in de projectoverzichtsvideo op https://www.youtube.com/watch?v=HYzNfsD3A0s

Masker-gebaseerde bewerking van deze soort is goed gevestigd in statische latent diffusiemodellen, met behulp van tools zoals ControlNet. Echter, het behouden van achtergrondconsistentie in video is veel moeilijker, zelfs wanneer gemaskeerde gebieden het model flexibiliteit bieden, zoals hieronder wordt laten zien:

Klik om af te spelen. Een verandering van soort, met de nieuwe VideoPainter-methode. Raadpleeg de bronvideo’s, als u ze kunt openen, voor betere resolutie en detail, of bekijk de voorbeelden in de projectoverzichtsvideo op https://www.youtube.com/watch?v=HYzNfsD3A0s

De auteurs van het nieuwe werk beschouwen hun methode in relatie tot Tencent’s eigen BrushNet-architectuur (die we vorig jaar hebben behandeld), en tot ControlNet, die beiden een dubbele-branch-architectuur behandelen die in staat is om de voorgrond- en achtergrondgeneratie te isoleren.

Echter, het rechtstreeks toepassen van deze methode op de zeer productieve Diffusion Transformers (DiT)-aanpak voorgesteld door OpenAI’s Sora, brengt bijzondere uitdagingen met zich mee, zoals de auteurs opmerken”

‘[Rechtstreeks] toepassen [van de architectuur van BrushNet en ControlNet] op video DiT’s presenteert verschillende uitdagingen: [Ten eerste, gezien] Video DiT’s robuuste generatieve basis en zware modelgrootte, zou het repliceren van de volledige/half-giant Video DiT-backbone als context-encoder onnodig en computationeel prohibitief zijn.

‘[Ten tweede, in tegenstelling tot] BrushNet’s pure convolutionele controle-branch, bevatten DiT’s tokens in gemaskeerde gebieden inherent achtergrondinformatie vanwege globale aandacht, waardoor de onderscheiding tussen gemaskeerde en ongemaskeerde gebieden in DiT-backbones wordt gecompliceerd.

‘[Ten slotte,] ontbreekt het ControlNet aan functie-injectie over alle lagen, waardoor dichtheid achtergrondcontrole voor inpainting-taken wordt belemmerd.’

Daarom hebben de onderzoekers een plug-and-play-aanpak ontwikkeld in de vorm van een dubbele-branch-framework met de naam VideoPainter.

VideoPainter biedt een dubbele-branch-video-inpainting-framework dat pre-getrainde DiT’s versterkt met een lichtgewicht context-encoder. Deze encoder neemt slechts 6% van de backbone-parameters in beslag, wat de auteurs beweren dat het een efficiëntere aanpak is dan conventionele methoden.

Het model stelt drie sleutelinnovaties voor: een gestroomlijnde twee-laags context-encoder voor efficiënte achtergrondrichting; een masker-selectieve functie-integratiesysteem dat gemaskeerde en ongemaskeerde tokens scheidt; en een inpainting-regio-ID-resampling-techniek die identiteitsconsistentie over lange videosequenties behoudt.

Door bevriezing van zowel de pre-getrainde DiT als de context-encoder en het introduceren van een ID-Adapter, zorgt VideoPainter ervoor dat inpainting-regio-tokens van eerdere clips blijven bestaan tijdens een video, waardoor flickering en inconsistenties worden verminderd.

Het framework is ook ontworpen voor plug-and-play-compatibiliteit, waardoor gebruikers het naadloos kunnen integreren in bestaande video-generatie- en bewerkingsworkflows.

Om het werk te ondersteunen, dat CogVideo-5B-I2V gebruikt als generatieve engine, hebben de auteurs een dataset gecureerd die ze beweren de grootste video-inpainting-dataset tot nu toe is. Genoemd VPData, bestaat de collectie uit meer dan 390.000 clips, voor een totale videoduur van meer dan 886 uur. Ze hebben ook een gerelateerd benchmarking-framework genoemd VPBench ontwikkeld.

Klik om af te spelen. Van de projectwebsitevoorbeelden zien we de segmentatiecapaciteiten die worden aangedreven door de VPData-collectie en de VPBench-testsuite. Raadpleeg de bronvideo’s, als u ze kunt openen, voor betere resolutie en detail, of bekijk de voorbeelden in de projectoverzichtsvideo op https://www.youtube.com/watch?v=HYzNfsD3A0s

Het nieuwe werk heeft de titel VideoPainter: Any-length Video Inpainting and Editing with Plug-and-Play Context Control en komt van zeven auteurs bij de Tencent ARC Lab, The Chinese University of Hong Kong, The University of Tokyo en de University of Macau.

Behalve de eerdergenoemde projectsite, hebben de auteurs ook een meer toegankelijke YouTube-overzicht en een Hugging Face-pagina uitgebracht.

Methode

De gegevensverzamelpijplijn voor VPData bestaat uit verzameling, annotatie, splitsing, selectie en onderschrift:

Schema voor de dataset-constructiepijplijn. Source: https://arxiv.org/pdf/2503.05639

De broncollecties die voor deze compilatie werden gebruikt, kwamen van Videvo en Pexels, met een initiële oogst van ongeveer 450.000 video’s.

Meerdere bijdragende bibliotheken en methoden maakten deel uit van het voorverwerkingsstadium: het Recognize Anything-framework werd gebruikt om open-set video-tagging te bieden, belast met het identificeren van primaire objecten; Grounding Dino werd gebruikt voor de detectie van begrenzingsvakken rond de geïdentificeerde objecten; en het Segment Anything Model 2 (SAM 2)-framework werd gebruikt om deze grove selecties te verfijnen tot hoge-kwaliteit maskersegmentaties.

Om scène-overgangen te beheren en consistentie in video-inpainting te garanderen, gebruikt VideoPainter PySceneDetect om clips te identificeren en te segmenteren op natuurlijke breakpoints, waardoor de disruptieve verschuivingen die vaak worden veroorzaakt door het volgen van hetzelfde object vanuit meerdere hoeken worden vermeden. De clips werden verdeeld in 10-seconde-intervallen, met alles wat korter was dan zes seconden werd verworpen.

Voor gegevensselectie werden drie filtercriteria toegepast: esthetische kwaliteit, beoordeeld met de Laion-Aesthetic Score Predictor; bewegingssterkte, gemeten via optische stroom met behulp van RAFT; en inhoudsveiligheid, geverifieerd via Stable Diffusion’s Safety Checker.

Een belangrijke beperking in bestaande video-segmentatiedatasets is het ontbreken van gedetailleerde tekstuele annotaties, die essentieel zijn voor het leiden van generatieve modellen:

De onderzoekers benadrukken het ontbreken van video-onderschriften in vergelijkbare collecties.

Daarom omvat het VideoPainter-gegevenscuratieproces diverse toonaangevende visie-taalmodellen, waaronder CogVLM2 en Chat GPT-4o om sleutelbeeld-onderschriften en gedetailleerde beschrijvingen van gemaskeerde gebieden te genereren.

VideoPainter versterkt pre-getrainde DiT’s door een aangepaste lichtgewicht context-encoder in te voeren die achtergrondcontextextractie scheidt van voorgrondgeneratie, zoals te zien is in de rechterbovenhoek van de onderstaande schema:

Conceptueel schema voor VideoPainter. VideoPainter’s context-encoder verwerkt lawaaierige latenten, gedownsamplede maskers en gemaskeerde video-latenten via VAE, en integreert alleen achtergrondtokens in de pre-getrainde DiT om ambiguïteit te voorkomen. De ID Resample Adapter zorgt voor identiteitsconsistentie door gemaskeerde regio-tokens te concatenen tijdens training en ze opnieuw te bemonsteren vanuit eerdere clips tijdens inferentie.

In plaats van de backbone te belasten met redundante verwerking, werkt deze encoder op een gestroomlijnde invoer: een combinatie van lawaaierige latent, gemaskeerde video-latent (geëxtraheerd via een variational autoencoder, of VAE), en gedownsamplede maskers.

De lawaaierige latent biedt generatiecontext, en de gemaskeerde video-latent komt overeen met de bestaande DiT-distributie, met als doel de compatibiliteit te verbeteren.

In plaats van grote delen van het model te dupliceren, wat de auteurs zeggen dat in eerdere werken is gebeurd, integreert VideoPainter alleen de eerste twee lagen van de DiT. Deze geëxtraheerde functies worden opnieuw ingevoerd in de bevroren DiT op een gestructureerde, groepswijze manier – vroege-laagfuncties informeren de eerste helft van het model, terwijl latere functies de tweede helft verfijnen.

Bovendien zorgt een token-selectief mechanisme ervoor dat alleen achtergrond-relevante functies opnieuw worden geïntegreerd, waardoor verwarring tussen gemaskeerde en ongemaskeerde gebieden wordt voorkomen. Deze aanpak, zo beweren de auteurs, stelt VideoPainter in staat om hoge trouw in achtergrondbehoud te behouden terwijl de voorgrond-inpainting-efficiëntie wordt verbeterd.

De auteurs merken op dat de methode die zij voorstellen ondersteuning biedt voor diverse stijlmethode, waaronder de meest populaire, Low Rank Adaptation (LoRA).

Gegevens en Tests

VideoPainter werd getraind met behulp van het CogVideo-5B-I2V-model, samen met de tekst-naar-video-equivalent. De gecureerde VPData-corpus werd gebruikt bij 480x720px, bij een leer tempo van 1×10^-5.

De ID Resample Adapter werd getraind voor 2.000 stappen, en de context-encoder voor 80.000 stappen, beide met behulp van de AdamW-optimizer. De training vond plaats in twee stadia met behulp van 64 NVIDIA V100-GPU’s (hoewel het paper niet specificert of deze 16 GB of 32 GB VRAM hadden).

Voor benchmarking werd Davis gebruikt voor willekeurige maskers, en de auteurs’ eigen VPBench voor segmentatie-gebaseerde maskers.

De VPBench-dataset bevat objecten, dieren, mensen, landschappen en diverse taken, en bestrijkt vier acties: toevoegen, verwijderen, veranderen, en wisselen. De collectie bevat 45 6-seconde video’s, en negen video’s die gemiddeld 30 seconden duren.

Acht metrics werden gebruikt voor het proces. Voor Masked Region Preservation, gebruikten de auteurs Peak Signal-to-Noise Ratio (PSNR); Learned Perceptual Similarity Metrics (LPIPS); Structural Similarity Index (SSIM); en Mean Absolute Error (MAE).

Voor tekst-alignment, gebruikten de onderzoekers CLIP Similarity om zowel de semantische afstand tussen de clip’s onderschrift en de daadwerkelijke waargenomen inhoud te evalueren, als om de nauwkeurigheid van gemaskeerde gebieden te evalueren.

Om de algemene kwaliteit van de uitvoervideo’s te beoordelen, werd Fréchet Video Distance (FVD) gebruikt.

Voor een kwantitatieve vergelijking van video-inpainting, stelden de auteurs hun systeem tegenover eerdere benaderingen ProPainter, COCOCO en Cog-Inp (CogVideoX). De test bestond uit het inpainten van de eerste frame van een clip met behulp van image-inpainting-modellen, en vervolgens het gebruiken van een image-to-video (I2V)-backbone om de resultaten te propageren in een latent blend-operatie, in overeenstemming met een methode voorgesteld door een 2023-paper uit Israël.

Aangezien de projectwebsite op het moment van schrijven niet helemaal functioneert, en aangezien de projectgerelateerde YouTube-video mogelijk niet alle voorbeelden bevat die op de projectsite staan, is het moeilijk om videoforbeelden te vinden die specifiek zijn voor de resultaten die in het paper worden beschreven. Daarom zullen we enkele statische resultaten laten zien die in het paper worden gepresenteerd, en het artikel afsluiten met enkele extra videoforbeelden die we hebben weten te extraheren van de projectsite.

Kwantitatieve vergelijking van VideoPainter vs. ProPainter, COCOCO, en Cog-Inp op VPBench (segmentatie-maskers) en Davis (willekeurige maskers). Metrics omvatten gemaskeerde regio-bewaring, tekst-alignment, en video-kwaliteit. Rood = beste, Blauw = tweede beste.

Van deze kwalitatieve resultaten, merken de auteurs op:

‘In de segmentatie-gebaseerde VPBench, vertonen ProPainter en COCOCO de slechtste prestaties over de meeste metrics, voornamelijk vanwege de onmogelijkheid om volledig gemaskeerde objecten in te kleuren en de moeilijkheid van de enkele-backbone-architectuur om de concurrerende achtergrondbehoud en voorgrondgeneratie in evenwicht te brengen.

‘In de random mask-benchmark Davis, toont ProPainter verbetering door gedeeltelijke achtergrondinformatie te benutten. Echter, VideoPainter bereikt optimale prestaties over zowel segmentatie (standaard en lange lengte) als random maskers door zijn dubbele-branch-architectuur, die effectief achtergrondbehoud en voorgrondgeneratie ontkoppelt.’

De auteurs presenteren vervolgens enkele statische voorbeelden van kwalitatieve tests, waarvan we een selectie hieronder laten zien. In alle gevallen verwijzen we de lezer naar de projectsite en YouTube-video voor betere resolutie.

Een vergelijking met inpainting-methoden in eerdere kaders.

Klik om af te spelen. Voorbeelden die door ons zijn samengesteld uit de ‘resultaten’-video’s op de projectsite.  

Met betrekking tot deze kwalitatieve ronde voor video-inpainting, merken de auteurs op:

‘VideoPainter vertoont consistent uitzonderlijke resultaten in video-coherentie, kwaliteit en tekst-alignment. Opvallend is dat ProPainter faalt in het genereren van volledig gemaskeerde objecten, omdat het alleen afhankelijk is van achtergrondpixel-propagatie in plaats van generatie.

‘Terwijl COCOCO basale functionaliteit demonstreert, faalt het om consistentie in ingekleurde regio’s te behouden (inconsistent vaartuigverschijningen en abrupte terreinveranderingen) vanwege zijn enkele-backbone-architectuur die probeert achtergrondbehoud en voorgrondgeneratie in evenwicht te brengen.

‘Cog-Inp bereikt basale inpainting-resultaten; echter, de onmogelijkheid van zijn blending-operatie om maskergrenzen te detecteren leidt tot significante artefacten.

‘Bovendien kan VideoPainter coherente video’s genereren die langer duren dan een minuut, terwijl het ID-consistentie behoudt door onze ID-resampling.’

De onderzoekers testten ook de mogelijkheid van VideoPainter om onderschriften te verrijken en betere resultaten te behalen met deze methode, waarbij ze het systeem tegen UniEdit, DiTCtrl en ReVideo zetten.

Video-editing resultaten tegen drie eerdere benaderingen.

De auteurs merken op:

‘Voor zowel standaard als lange video’s in VPBench, bereikt VideoPainter superieure prestaties, zelfs de eind-tot-eind ReVideo overtreffend. Dit succes kan worden toegeschreven aan zijn dubbele-branch-architectuur, die uitstekend achtergrondbehoud en voorgrondgeneratie mogelijk maakt, waardoor hoge trouw in niet-bewerkte regio’s wordt behouden en bewerkte regio’s dicht bij de bewerkingsinstructies liggen, aangevuld door inpainting-regio-ID-resampling die ID-consistentie in lange video’s behoudt.’

Hoewel het paper statische kwalitatieve voorbeelden bevat voor deze metric, zijn ze niet verhelderend, en we verwijzen de lezer in plaats daarvan naar de diverse voorbeelden die zijn verspreid over de verschillende video’s die voor dit project zijn gepubliceerd.

Tenslotte werd een menselijke studie uitgevoerd, waarbij dertig gebruikers werden gevraagd om 50 willekeurig geselecteerde generaties van de VPBench- en bewerkingsonderdelen te evalueren. De voorbeelden benadrukten achtergrondbehoud, tekst-alignment en algemene video-kwaliteit.

Resultaten van de gebruikersstudie voor VideoPainter.

De auteurs stellen:

‘VideoPainter vertoont significante prestaties, met hogere voorkeurspercentages over alle evaluatiecriteria in beide taken.’

Ze geven echter toe dat de kwaliteit van VideoPainter’s generaties afhankelijk is van het basismodel, dat kan worstelen met complexe beweging en fysica; en ze merken op dat het ook slecht presteert met lage kwaliteit maskers of misgealigneerde onderschriften.

Conclusie

VideoPainter lijkt een waardevolle toevoeging aan de literatuur. Typisch voor recente oplossingen, heeft het echter aanzienlijke rekenvereisten. Bovendien vallen veel van de voorbeelden die zijn geselecteerd voor presentatie op de projectsite verre van de beste voorbeelden; het zou daarom interessant zijn om dit framework te zien concurreren met toekomstige inzendingen en een bredere reeks eerdere benaderingen.

* Het is de moeite waard om te vermelden dat ‘video-editing’ in deze zin niet betekent ‘diverse clips in een sequentie assembleren’, wat de traditionele betekenis van deze term is; maar eerder rechtstreeks veranderen of op de een of andere manier modificeren van de interne inhoud van bestaande video-clips, met behulp van machine learning-technieken

Publicatie op maandag 10 maart 2025