Veien til bedre AI-basert videoediting

Video-/bildeforskningssektoren utgir jevnt videoeditingsarkitekturer, og de siste ni månedene har utgivelsene blitt enda hyppigere. Det må imidlertid sies at de fleste av disse representerer bare inkrementelle fremgang i forhold til nåværende tilstand, ettersom de grunnleggende utfordringene er betydelige.

En ny samarbeidsprosjekt mellom Kina og Japan denne uken har imidlertid produsert noen eksempler som fortjener en nærmere undersøkelse av tilnærmingen, selv om det ikke nødvendigvis er et banebrytende arbeid.

I videoen nedenfor (fra prosjektets nettsted, som – advares – kan belaste nettleseren) ser vi at selv om systemets deepfaking-egenskaper ikke eksisterer i den nåværende konfigurasjonen, gjør systemet en fin jobb med å plausibelt og betydelig endre identiteten til den unge kvinnen på bildet, basert på en videomask (nederst til venstre):

Klikk for å spille. Basert på den semantiske segmenteringsmasken visualisert i nedre venstre hjørne, blir den opprinnelige (øverste venstre) kvinnen transformert til en merkbart annerledes identitet, selv om denne prosessen ikke oppnår identitetsskiftet indikert i prompten. Source: https://yxbian23.github.io/project/video-painter/ (Vær oppmerksom på at på tidspunktet for skriving, denne autoplaying- og video-stuffed-nettstedet var tilbøyelig til å krasje nettleseren min). Vennligst se på kildevideoene, hvis du kan nå dem, for bedre oppløsning og detalj, eller sjekk ut eksemplene på prosjektets oversiktsvideo på https://www.youtube.com/watch?v=HYzNfsD3A0s

Mask-basert redigering av denne typen er vel etablert i statiske latent diffusjonsmodeller, som bruker verktøy som ControlNet. Det å opprettholde bakgrunnskonsistens i video er imidlertid mye mer utfordrende, selv når maskerte områder gir modellen kreativ fleksibilitet, som vist nedenfor:

Klikk for å spille. En endring av art, med den nye VideoPainter-metoden. Vennligst se på kildevideoene, hvis du kan nå dem, for bedre oppløsning og detalj, eller sjekk ut eksemplene på prosjektets oversiktsvideo på https://www.youtube.com/watch?v=HYzNfsD3A0s

Forfatterne av det nye arbeidet betrakter sin metode i forhold til både Tencents eget BrushNet-arkitektur (som vi dekket i fjor) og ControlNet, som begge behandler en dual-branch-arkitektur som kan isolere forgrunns- og bakgrunns-generering.

Men å bruke denne metoden direkte på den svært produktive Diffusion Transformers (DiT)-tilnærmingen forslagt av OpenAI’s Sora, bringer spesielle utfordringer, som forfatterne påpeker”

‘[Direkte] anvendelse [av arkitekturen til BrushNet og ControlNet] til video-DiTs presenterer flere utfordringer: [Først og fremst, gitt] Video DiTs robuste generative grunnlag og tung modellstørrelse, ville det å replikere hele/halv-stor Video DiT-bakke som kontekst-encoder være unødvendig og komputasjonelt prohibitivt.

‘[For det andre, i motsetning til] BrushNets rene konvolusjonelle kontroll-branch, inneholder DiTs tokens i maskerte områder i seg selv bakgrunnsinformasjon på grunn av global oppmerksomhet, noe som kompliserer skillet mellom maskerte og umaskerte områder i DiT-bakke.

‘[Til slutt,] mangler ControlNet funksjonsinjeksjon over alle lag, noe som hindrer tett bakgrunnskontroll for inpainting-oppdrag.’

Derfor har forskerne utviklet en plug-and-play-tilnærming i form av en dual-branch-ramme kalt VideoPainter.

VideoPainter tilbyr en dual-branch video-inpainting-ramme som forbedrer forhånds-trente DiTs med en lett kontekst-encoder. Denne encoderen står for bare 6% av bakke-parametrene, som forfatterne hevder gjør tilnærmingen mer effektiv enn konvensjonelle metoder.

Modellen foreslår tre nøkkel-innovasjoner: en strømlinje-formet to-lags kontekst-encoder for effektiv bakgrunnsveiledning; et mask-selectivt funksjons-integreringssystem som skiller maskerte og umaskerte tokens; og en inpainting-region ID-resampling-teknikk som opprettholder identitets-konsistens over lange video-sekvenser.

Ved å fryse både forhånds-trente DiT og kontekst-encoder mens en ID-Adapter introduseres, sikrer VideoPainter at inpainting-region-tokens fra tidligere klipp består gjennom en video, reduserer flimring og inkonsistens.

Rammen er også designet for plug-and-play-kompatibilitet, som tillater brukerne å integrere den sammen med eksisterende video-genererings- og redigerings-workflows.

For å støtte arbeidet, som bruker CogVideo-5B-I2V som sin generative motor, har forfatterne kuratert det de hevder er den største video-inpainting-datasetet hittil. Tittelen VPData, samlingen består av over 390 000 klipp, for en total video-varighet på over 886 timer. De har også utviklet en relatert benchmark-ramme kalt VPBench.

Klikk for å spille. Fra prosjektets nettsted-eksempler, ser vi segmenterings-egenskapene drevet av VPData-samlingen og VPBench-test-suiten. Vennligst se på kildevideoene, hvis du kan nå dem, for bedre oppløsning og detalj, eller sjekk ut eksemplene på prosjektets oversiktsvideo på https://www.youtube.com/watch?v=HYzNfsD3A0s

Det nye arbeidet har tittelen VideoPainter: Any-length Video Inpainting and Editing with Plug-and-Play Context Control, og kommer fra syv forfattere ved Tencent ARC Lab, The Chinese University of Hong Kong, The University of Tokyo og University of Macau.

Foruten det nevnte prosjekt-nettstedet, har forfatterne også lansert en mer tilgjengelig YouTube-oversikt, samt en Hugging Face-side.

Metode

Datainnsamling-pipeline for VPData består av innsamling, annotering, splitting, valg og kapittelering:

Skjema for datasett-konstruksjon-pipeline. Source: https://arxiv.org/pdf/2503.05639

Kilde-samlingene som ble brukt for denne kompilasjonen kom fra Videvo og Pexels, med en initial høst på rundt 450 000 videoer.

Flere bidragende biblioteker og metoder bestod av for-prosessering-stadiet: Recognize Anything-rammen ble brukt for å gi åpen-sett video-merking, oppgaven var å identifisere primær-objekter; Grounding Dino ble brukt for å detektere begrensning-bokser rundt de identifiserte objektene; og Segment Anything Model 2 (SAM 2)-rammen ble brukt til å finjustere disse grove valgene til høykvalitets mask-segmenteringer.

For å håndtere scenetransisjoner og sikre konsistens i video-inpainting, bruker VideoPainter PySceneDetect for å identifisere og segmentere klipp ved naturlige brytningspunkter, og unngår de disruptive skiftene som ofte forårsakes av å spore det samme objektet fra flere vinkler. Klippene ble delt inn i 10-sekunders-intervaller, og alt som var kortere enn seks sekunder ble forkastet.

For data-valg, ble tre filter-kriterier brukt: estetisk kvalitet, vurdert med Laion-Aesthetic Score Predictor; bevegelses-styrke, målt via optisk strøm ved hjelp av RAFT; og innhold-sikkerhet, verifisert gjennom Stable Diffusions Sikkerhets-sjekker.

En stor begrensning i eksisterende video-segmenterings-datasett er mangelen på detaljerte tekst-annoteringer, som er avgjørende for å guide generative modeller:

Forskerne understreker mangelen på video-tekst-annotering i sammenlignbare samlinger.

Derfor inkorporerer VideoPainter-data-kurering-prosessen diverse ledende visjon-språk-modeller, inkludert CogVLM2 og Chat GPT-4o for å generere nøkkel-ramme-baserte tekster og detaljerte beskrivelser av maskerte områder.

VideoPainter forbedrer forhånds-trente DiTs ved å introdusere en custom lett kontekst-encoder som skiller bakgrunns-kontekst-utvinning fra forgrunns-generering, sett til øverste høyre i illustrativt skjema nedenfor:

Konseptuelt skjema for VideoPainter. VideoPainters kontekst-encoder prosesserer støyende latenter, nedskalerte masker og maskerte video-latenter via VAE, integrerer bare bakgrunns-tokens i forhånds-trente DiT for å unngå tvetydighet. ID Resample Adapter sikrer identitets-konsistens ved å konkatenerer maskerte region-tokens under trening og resampling dem fra tidligere klipp under inferens.

I stedet for å belaste bakken med redundant prosessering, opererer denne encoderen på en strømlinje-formet inndata: en kombinasjon av støyende latent, maskert video-latent (utvunnet via en variational autoencoder, eller VAE), og nedskalerte masker.

Den støyende latenten gir genererings-kontekst, og den maskerte video-latenten stemmer overens med DiTs eksisterende distribusjon, med mål om å forbedre kompatibilitet.

I stedet for å duplisere store deler av modellen, som forfatterne påstår har skjedd i tidligere arbeider, integrerer VideoPainter bare de første to lagene av DiT. Disse utvunne egenskapene reintroduceres i den frosne DiT på en strukturert, gruppevis måte – tidlige egenskaper informerer den første halvdelen av modellen, mens senere egenskaper finjusterer den andre halvdelen.

I tillegg sikrer en token-selectiv mekanisme at bare bakgrunns-relevante egenskaper reintegreres, og forhindrer forvirring mellom maskerte og umaskerte områder. Denne tilnærmingen, som forfatterne hevder, tillater VideoPainter å opprettholde høy trofasthet i bakgrunns-bevarelse samtidig som den forbedrer forgrunns-inpainting-effektivitet.

Forfatterne påpeker at metoden de foreslår støtter diverse stilisering-metoder, inkludert den mest populære, Low Rank Adaptation (LoRA).

Data og tester

VideoPainter ble trent ved hjelp av CogVideo-5B-I2V-modellen, samt dens tekst-til-video-ekvivalent. Den kuraterte VPData-korpusen ble brukt på 480x720px, med en læringshastighet på 1×10^-5.

ID Resample Adapter ble trent i 2 000 steg, og kontekst-encoderen i 80 000 steg, begge ved hjelp av AdamW-optimerings-algoritmen. Treningen skjedde i to steg ved hjelp av en formidabel 64 NVIDIA V100-GPUer (selv om papiret ikke spesifiserer om disse hadde 16GB eller 32GB med VRAM).

For benchmarking, ble Davis brukt for tilfeldige masker, og forfatternes eget VPBench for segmenterings-baserte masker.

VPBench-datasettet har objekter, dyr, mennesker, landskap og diverse oppgaver, og dekker fire handlinger: legg til, fjern, endre, og bytt. Samlingen består av 45 seks-sekunders-videoer, og ni videoer som varer i gjennomsnitt 30 sekunder.

Åtte metrikker ble brukt for prosessen. For maskert region-bevarelse, ble Peak Signal-to-Noise Ratio (PSNR) brukt; Learned Perceptual Similarity Metrics (LPIPS); Structural Similarity Index (SSIM); og Mean Absolute Error (MAE).

For tekst-justering, ble CLIP Similarity brukt både for å evaluere semantisk avstand mellom klippets tekst og dens faktiske opplevde innhold, og også for å evaluere nøyaktigheten av maskerte områder.

For å vurdere den generelle kvaliteten på utgangs-videoene, ble Fréchet Video Distance (FVD) brukt.

For en kvantitativ sammenligning av video-inpainting, satte forfatterne sitt system mot tidligere tilnærminger ProPainter, COCOCO og Cog-Inp (CogVideoX). Testen bestod av å inpainte den første rammen av en klipp ved hjelp av bilde-inpainting-modeller, og deretter bruke en bilde-til-video (I2V)-bakke for å propagere resultater inn i en latent blanding-operasjon, i henhold til en metode foreslått av en 2023-papir fra Israel.

Siden prosjekt-nettstedet ikke er fullstendig funksjonelt på tidspunktet for skriving, og siden prosjektets tilhørende YouTube-video kanskje ikke viser hele mengden av eksempler pakket inn i prosjekt-nettstedet, er det ganske vanskelig å finne video-eksempler som er svært spesifikke for resultater som er omtalt i papiret. Derfor vil vi vise delvis statiske resultater presentert i papiret, og lukke artikkelen med noen ekstra video-eksempler som vi klarte å trekke ut fra prosjekt-nettstedet.

Kvantitativ sammenligning av VideoPainter mot ProPainter, COCOCO og Cog-Inp på VPBench (segmenterings-masker) og Davis (tilfeldige masker). Metrikker dekker maskert region-bevarelse, tekst-justering og video-kvalitet. Rød = best, Blå = nest beste.

Av disse kvalitative resultater kommenterer forfatterne:

‘I segmenterings-basert VPBench, utviser ProPainter og COCOCO den dårligste ytelsen over de fleste metrikkene, hovedsakelig på grunn av evnen til å inpainte fullstendig maskerte objekter og enkelt-bakke-arkitekturens vanskelighet med å balansere bakgrunns-bevarelse og forgrunns-generering, henholdsvis.

‘I den tilfeldige masken-benchmarken Davis, viser ProPainter forbedring ved å utnytte delvis bakgrunnsinformasjon. Imidlertid oppnår VideoPainter optimal ytelse over både segmentering (standard og lang lengde) og tilfeldige masker gjennom sin dual-branch-arkitektur som effektivt skiller bakgrunns-bevarelse og forgrunns-generering.’

Forfatterne presenterer deretter statiske eksempler på kvalitative tester, som vi viser nedenfor. I alle tilfeller henviser vi leseren til prosjekt-nettstedet og YouTube-videoen for bedre oppløsning.

En sammenligning mot inpainting-metoder i tidligere rammer.

Klikk for å spille. Eksempler konkatenerer av oss fra ‘resultater’-videoene på prosjekt-nettstedet.

Med hensyn til denne kvalitative runden for video-inpainting, kommenterer forfatterne:

‘VideoPainter viser konsistent eksepsjonelle resultater i video-kohesjon, kvalitet og justering med tekst-tekst. Merkverdig, feiler ProPainter i å generere fullstendig maskerte objekter fordi det bare avhenger av bakgrunns-piksels-propagasjon istedenfor generering.

‘ Mens COCOCO demonstrerer grunnleggende funksjonalitet, feiler det i å opprettholde konsistent ID i inpaintede områder (inkonsistente fartøy-utseender og abrupte terreng-endringer) på grunn av sin enkelt-bakke-arkitektur som forsøker å balansere bakgrunns-bevarelse og forgrunns-generering.

‘Cog-Inp oppnår grunnleggende inpainting-resultater; imidlertid fører blending-operasjonens evne til å ikke kunne detektere mask-grenser til betydelige artefakter.

‘I tillegg kan VideoPainter generere kohesive videoer som overstiger en minutt mens den opprettholder ID-konsistens gjennom vår ID-resampling.’

Forskerne testet også VideoPainters evne til å forbedre tekster og oppnå forbedrede resultater ved denne metoden, og satte systemet mot UniEdit, DiTCtrl og ReVideo.

Video-redigering-resultater mot tre tidligere tilnærminger.

Forfatterne kommenterer:

‘For både standard og lange videoer i VPBench, oppnår VideoPainter overlegen ytelse, og overstiger til og med end-to-end ReVideo. Denne suksessen kan tilskrives dens dual-branch-arkitektur, som sikrer utmerket bakgrunns-bevarelse og forgrunns-genererings-egenskaper, opprettholder høy trofasthet i ikke-redigerte regioner samtidig som redigerte regioner tett justerer med redigerings-instruksjoner, komplementert med inpainting-region ID-resampling som opprettholder ID-konsistens i lange videoer.’

Selv om papiret viser statiske kvalitative eksempler for denne metrikken, er de upplysende, og vi henviser leseren til de diverse eksemplene spredt over de ulike videoene publisert for dette prosjektet.

Til slutt ble en menneske-studie gjennomført, der tretti brukere ble bedt om å evaluere 50 tilfeldig valgte generasjoner fra VPBench- og redigerings-undersettene. Eksemplene viste bakgrunns-bevarelse, justering til prompt og generell video-kvalitet.

Resultater fra bruker-studien for VideoPainter.

Forfatterne påstår:

‘VideoPainter overgikk betydelig eksisterende baseline, og oppnådde høyere preferanse-rater over alle evaluering-kriterier i begge oppgaver.’

De innrømmer imidlertid at kvaliteten på VideoPainters generasjoner avhenger av basis-modellen, som kan streve med kompleks bevegelse og fysikk; og de observerer at det også fungerer dårlig med lavkvalitets-masker eller feiljusterte tekster.

Konklusjon

VideoPainter ser ut til å være en verdifull tillegg til litteraturen. Typisk for nyere løsninger, har den imidlertid betydelige beregnings-krav. I tillegg er mange av eksemplene valgt for presentasjon på prosjekt-nettstedet langt ifra de beste eksemplene; det ville derfor være interessant å se denne rammen sammenlignet med fremtidige inngrep og en bredere rekke tidligere tilnærminger.

* Det er verdt å nevne at ‘video-redigering’ i denne sammenhengen ikke betyr ‘å samle diverse klipp inn i en sekvens’, som er den tradisjonelle betydningen av denne betegnelsen; men heller direkte å endre eller på noen måte modifisere det indre innholdet av eksisterende video-klipp, ved hjelp av maskinlærings-teknikker

Publisert mandag, 10. mars 2025. Oppdatert lørdag, 25. juli 2026 for å erstatte video.