La Strada per un Migliore Editing Video Basato su Intelligenza Artificiale

Il settore della ricerca sulla sintesi di video/immagini produce regolarmente architetture di editing video, e negli ultimi nove mesi, queste uscite sono diventate ancora più frequenti. Tuttavia, la maggior parte di esse rappresenta solo progressi incrementali rispetto allo stato dell’arte, poiché le sfide fondamentali sono sostanziali.

Tuttavia, una nuova collaborazione tra Cina e Giappone di questa settimana ha prodotto alcuni esempi che meritano un esame più approfondito dell’approccio, anche se non è necessariamente un lavoro fondamentale.

Nel video in basso (dal sito del progetto associato al paper, che – avvertimento – potrebbe rallentare il vostro browser) vediamo che, mentre le capacità di deepfaking del sistema sono inesistenti nella configurazione attuale, il sistema fa un ottimo lavoro nel modificare in modo plausibile e significativo l’identità della giovane donna nell’immagine, in base a una maschera video (in basso a sinistra):

Fare clic per riprodurre. Basato sulla maschera di segmentazione semantica visualizzata in basso a sinistra, la donna originale (in alto a sinistra) viene trasformata in un’identità notevolmente diversa, anche se questo processo non raggiunge lo scambio di identità indicato nel prompt. Fonte: https://yxbian23.github.io/project/video-painter/ (si prega di notare che al momento della scrittura, questo sito con autoplay e pieno di video era incline a bloccare il mio browser). Si prega di fare riferimento ai video di origine, se possibile, per una migliore risoluzione e dettaglio, o controllare gli esempi al video di panoramica del progetto su https://www.youtube.com/watch?v=HYzNfsD3A0s

L’editing basato su maschera di questo tipo è ben consolidato nei modelli di diffusione latente statici, utilizzando strumenti come ControlNet. Tuttavia, mantenere la coerenza dello sfondo in video è molto più difficile, anche quando le aree mascherate forniscono al modello flessibilità creativa, come mostrato di seguito:

Fare clic per riprodurre. Un cambio di specie, con il nuovo metodo VideoPainter. Si prega di fare riferimento ai video di origine, se possibile, per una migliore risoluzione e dettaglio, o controllare gli esempi al video di panoramica del progetto su https://www.youtube.com/watch?v=HYzNfsD3A0s

Gli autori del nuovo lavoro considerano il loro metodo in relazione all’architettura BrushNet di Tencent (che abbiamo trattato l’anno scorso), e a ControlNet, entrambi i quali trattano di un’architettura a doppio ramo in grado di isolare la generazione dello sfondo e del primo piano.

Tuttavia, applicare questo metodo direttamente all’approccio Diffusion Transformers (DiT) proposto da OpenAI’s Sora, presenta particolari sfide, come notano gli autori”

‘[Applicare direttamente] [l’architettura di BrushNet e ControlNet] ai video DiT presenta diverse sfide: [in primo luogo, data] la solida base generativa di Video DiT e la grande dimensione del modello, replicare l’intero/semi-gigante Video DiT come encoder di contesto sarebbe inutile e computazionalmente proibitivo.

‘[In secondo luogo, a differenza] del ramo di controllo puramente convoluzionale di BrushNet, i token di DiT nelle aree mascherate contengono intrinsecamente informazioni di sfondo a causa dell’attenzione globale, complicando la distinzione tra aree mascherate e non mascherate nei backbone di DiT.

‘[Infine,] ControlNet manca di iniezione di funzionalità in tutti i livelli, ostacolando il controllo denso dello sfondo per i compiti di inpainting.’

Pertanto, i ricercatori hanno sviluppato un approccio plug-and-play sotto forma di un framework a doppio ramo intitolato VideoPainter.

VideoPainter offre un framework di inpainting video a doppio ramo che migliora i pre-addestrati DiT con un encoder di contesto leggero. Questo encoder rappresenta solo il 6% dei parametri del backbone, che gli autori affermano rende l’approccio più efficiente dei metodi convenzionali.

Il modello propone tre innovazioni chiave: un encoder di contesto a due livelli semplificato per una guida efficiente dello sfondo; un sistema di integrazione delle funzionalità selettive della maschera che separa i token mascherati e non mascherati; e una tecnica di campionamento dell’ID di regione di inpainting che mantiene la coerenza dell’identità lungo sequenze video lunghe.

Facendo congelare sia il pre-addestrato DiT che l’encoder di contesto mentre si introduce un ID-Adapter, VideoPainter assicura che i token di regione di inpainting dai clip precedenti persistano lungo un video, riducendo il flicker e le incoerenze.

Il framework è anche progettato per la compatibilità plug-and-play, consentendo agli utenti di integrarlo senza problemi nei flussi di lavoro di generazione e editing video esistenti.

Per supportare il lavoro, che utilizza CogVideo-5B-I2V come motore generativo, gli autori hanno curato quello che affermano essere il più grande set di dati di inpainting video fino ad oggi. Intitolato VPData, la raccolta consiste in oltre 390.000 clip, per una durata video totale di oltre 886 ore. Hanno anche sviluppato un framework di benchmarking associato intitolato VPBench.

Fare clic per riprodurre. Dal sito del progetto, vediamo le capacità di segmentazione alimentate dalla raccolta VPData e dal set di test VPBench. Si prega di fare riferimento ai video di origine, se possibile, per una migliore risoluzione e dettaglio, o controllare gli esempi al video di panoramica del progetto su https://www.youtube.com/watch?v=HYzNfsD3A0s

Il nuovo lavoro è intitolato VideoPainter: Inpainting e Editing Video di Qualsiasi Lunghezza con Controllo di Contesto Plug-and-Play, e proviene da sette autori del Tencent ARC Lab, The Chinese University of Hong Kong, The University of Tokyo e The University of Macau.

Oltre al sito del progetto, gli autori hanno anche rilasciato una panoramica più accessibile su YouTube, nonché una pagina su Hugging Face.

Metodo

La pipeline di raccolta dei dati per VPData consiste nella raccolta, annotazione, divisione, selezione e didascalia:

Schema per la pipeline di costruzione del set di dati. Fonte: https://arxiv.org/pdf/2503.05639

Le raccolte di origine utilizzate per questa compilazione provenivano da Videvo e Pexels, con un raccolto iniziale di circa 450.000 video.

Molte librerie e metodi contribuirono allo stadio di pre-elaborazione: il framework Recognize Anything fu utilizzato per fornire un tagging video open-set, incaricato di identificare gli oggetti principali; Grounding Dino fu utilizzato per la rilevazione di box di delimitazione intorno agli oggetti identificati; e il framework Segment Anything Model 2 (SAM 2) fu utilizzato per raffinare queste selezioni grezze in segmentazioni di maschera di alta qualità.

Per gestire le transizioni di scena e assicurare la coerenza nell’inpainting video, VideoPainter utilizza PySceneDetect per identificare e segmentare i clip in punti di interruzione naturali, evitando gli spostamenti disruptivi spesso causati dal tracciamento dello stesso oggetto da più angolazioni. I clip furono divisi in intervalli di 10 secondi, con qualsiasi cosa più breve di 6 secondi scartata.

Per la selezione dei dati, tre criteri di filtro furono applicati: qualità estetica, valutata con il Laion-Aesthetic Score Predictor; forza del movimento, misurata tramite flusso ottico utilizzando RAFT; e sicurezza del contenuto, verificata tramite il Safety Checker di Stable Diffusion.

Una delle principali limitazioni nei set di dati di segmentazione video esistenti è la mancanza di annotazioni testuali dettagliate, che sono cruciali per guidare i modelli generativi:

Gli autori sottolineano la mancanza di video con didascalia in raccolte comparabili.

Pertanto, il processo di cura dei dati di VideoPainter incorpora modelli di visione-linguaggio leader, tra cui CogVLM2 e Chat GPT-4o, per generare didascalie basate su keyframe e descrizioni dettagliate di aree mascherate.

VideoPainter migliora i pre-addestrati DiT introducendo un encoder di contesto leggero personalizzato che separa l’estrazione del contesto di sfondo dalla generazione del primo piano, visibile in alto a destra dello schema illustrativo qui sotto:

Schema concettuale per VideoPainter. L’encoder di contesto di VideoPainter elabora latenti rumorosi, maschere campionate e latenti video mascherati tramite VAE, integrando solo token di sfondo nel pre-addestrato DiT per evitare ambiguità. L’ID Resample Adapter assicura la coerenza dell’identità concatenando token di regione di inpainting durante l’addestramento e campionandoli da clip precedenti durante l’inferenza.

Invece di gravare il backbone con un’elaborazione ridondante, questo encoder opera su un input semplificato: una combinazione di latente rumoroso, latente video mascherato (estratto tramite un autoencoder variazionale, o VAE) e maschera campionata.

Il latente rumoroso fornisce il contesto di generazione, e il latente video mascherato si allinea con la distribuzione esistente di DiT, mirando a migliorare la compatibilità.

Piuttosto che duplicare grandi sezioni del modello, che gli autori affermano sia accaduto in lavori precedenti, VideoPainter integra solo i primi due livelli di DiT. Queste funzionalità estratte vengono ri-introdotti nel DiT congelato in modo strutturato e per gruppi – le funzionalità dei livelli iniziali informano la prima metà del modello, mentre le funzionalità successive raffinano la seconda metà.

Inoltre, un meccanismo selettivo dei token assicura che solo le funzionalità rilevanti per lo sfondo vengano ri-integrate, prevenendo la confusione tra aree mascherate e non mascherate. Questo approccio, affermano gli autori, consente a VideoPainter di mantenere un’elevata fedeltà nella conservazione dello sfondo mentre migliora l’efficienza dell’inpainting del primo piano.

Gli autori notano che il metodo che propongono supporta diversi metodi di stilizzazione, tra cui il più popolare, Low Rank Adaptation (LoRA).

Dati e Test

VideoPainter è stato addestrato utilizzando il modello CogVideo-5B-I2V, insieme al suo equivalente testo-video. Il set di dati VPData curato è stato utilizzato a 480x720px, a un tasso di apprendimento di 1×10^-5.

L’ID Resample Adapter è stato addestrato per 2.000 passi, e l’encoder di contesto per 80.000 passi, entrambi utilizzando l’ottimizzatore AdamW. L’addestramento ha avuto luogo in due fasi utilizzando 64 NVIDIA V100 GPU (anche se il paper non specifica se avevano 16GB o 32GB di VRAM).

Per il benchmarking, Davis è stato utilizzato per maschere casuali, e il VPBench degli autori per maschere di segmentazione.

Il set di dati VPBench presenta oggetti, animali, esseri umani, paesaggi e diverse attività, e copre quattro azioni: aggiungere, rimuovere, cambiare e scambiare. La raccolta presenta 45 video da 6 secondi, e nove video della durata media di 30 secondi.

Otto metriche sono state utilizzate per il processo. Per la conservazione della regione mascherata, gli autori hanno utilizzato il Peak Signal-to-Noise Ratio (PSNR); le Learned Perceptual Similarity Metrics (LPIPS); l’indice di similarità strutturale (SSIM); e il Mean Absolute Error (MAE).

Per l’allineamento del testo, i ricercatori hanno utilizzato la somiglianza CLIP sia per valutare la distanza semantica tra la didascalia del clip e il suo contenuto effettivo, sia per valutare l’accuratezza delle aree mascherate.

Per valutare la qualità generale dei video di output, è stato utilizzato il Fréchet Video Distance (FVD).

Per un confronto quantitativo per l’inpainting video, gli autori hanno messo il loro sistema contro approcci precedenti come ProPainter, COCOCO e Cog-Inp (CogVideoX). Il test ha consistito nell’inpainting del primo frame di un clip utilizzando modelli di inpainting di immagini, e poi utilizzando un backbone immagine-video (I2V) per propagare i risultati in un’operazione di blending latente, in accordo con un metodo proposto da un paper del 2023 da Israele.

Dal momento che il sito del progetto non è completamente funzionale al momento della scrittura, e dal momento che il video di YouTube del progetto potrebbe non presentare l’intera gamma di esempi stipati nel sito del progetto, è abbastanza difficile localizzare esempi video molto specifici per i risultati descritti nel paper. Pertanto, mostreremo risultati statici parziali presentati nel paper, e chiuderemo l’articolo con alcuni esempi video aggiuntivi che siamo riusciti a estrarre dal sito del progetto.

Confronto quantitativo di VideoPainter vs. ProPainter, COCOCO e Cog-Inp su VPBench (maschere di segmentazione) e Davis (maschere casuali). Le metriche coprono la conservazione della regione mascherata, l’allineamento del testo e la qualità del video. Rosso = migliore, blu = secondo migliore.

Di questi risultati qualitativi, gli autori commentano:

‘Nel VPBench basato su segmentazione, ProPainter e COCOCO mostrano le peggiori prestazioni in quasi tutte le metriche, principalmente a causa dell’incapacità di inpaintare oggetti completamente mascherati e della difficoltà dell’architettura a doppio ramo nel bilanciare la conservazione dello sfondo e la generazione del primo piano.

‘Nel benchmark delle maschere casuali Davis, ProPainter mostra un miglioramento sfruttando le informazioni di sfondo parziali. Tuttavia, VideoPainter raggiunge prestazioni ottimali sia nella segmentazione (standard e lunga) che nelle maschere casuali, grazie alla sua architettura a doppio ramo che decoppia efficacemente la conservazione dello sfondo e la generazione del primo piano.’

Gli autori presentano quindi esempi statici di test qualitativi, dei quali presentiamo una selezione qui sotto. In tutti i casi, si prega di fare riferimento al sito del progetto e al video di YouTube per una migliore risoluzione.

Un confronto con i metodi di inpainting nei framework precedenti.

Fare clic per riprodurre. Esempi concatenati da noi dai video dei ‘risultati’ nel sito del progetto.

Riguardo a questo round di confronto qualitativo per l’inpainting video, gli autori commentano:

‘VideoPainter mostra costantemente risultati eccezionali nella coerenza del video, qualità e allineamento con il testo. Notabilmente, ProPainter fallisce nel generare oggetti completamente mascherati perché si basa solo sulla propagazione dei pixel di sfondo invece di generare.

‘Mentre COCOCO dimostra una funzionalità di base, fallisce nel mantenere una coerenza dell’identità nelle aree inpaintate (aspetti di nave inconsistenti e cambiamenti di terreno improvvisi) a causa della sua architettura a singolo ramo che tenta di bilanciare la conservazione dello sfondo e la generazione del primo piano.

‘Cog-Inp raggiunge risultati di inpainting di base; tuttavia, l’incapacità dell’operazione di blending di rilevare i confini delle maschere conduce a significativi artifact.

‘Inoltre, VideoPainter può generare video coerenti che superano il minuto mentre mantiene la coerenza dell’identità attraverso il nostro ID resampling.’

I ricercatori hanno inoltre testato la capacità di VideoPainter di aumentare le didascalie e ottenere risultati migliorati con questo metodo, mettendo il sistema contro UniEdit, DiTCtrl e ReVideo.

Risultati di editing video contro tre approcci precedenti.

Gli autori commentano:

‘Per entrambi i video standard e lunghi in VPBench, VideoPainter raggiunge prestazioni superiori, superando addirittura l’approccio end-to-end ReVideo. Questo successo può essere attribuito alla sua architettura a doppio ramo, che assicura un’eccellente conservazione dello sfondo e generazione del primo piano, mantenendo un’elevata fedeltà nelle aree non modificate mentre assicura che le aree modificate si allineino strettamente con le istruzioni di editing, complementate dall’inpainting dell’ID di regione che mantiene la coerenza dell’identità in video lunghi.’

Sebbene il paper presenti esempi statici qualitativi per questa metrica, sono poco illuminanti, e si prega di fare riferimento al sito del progetto e al video di YouTube per una migliore risoluzione.

Infine, è stato condotto uno studio su utenti umani, in cui trenta utenti sono stati invitati a valutare 50 generazioni casuali selezionate da VPBench e dal subset di editing. Gli esempi hanno messo in evidenza la conservazione dello sfondo, l’allineamento con il prompt e la qualità generale del video.

Risultati dello studio su utenti per VideoPainter.

Gli autori affermano:

‘VideoPainter supera significativamente le baseline esistenti, raggiungendo tassi di preferenza più alti in tutti i criteri di valutazione in entrambi i compiti.’

Tuttavia, ammettono che la qualità delle generazioni di VideoPainter dipende dal modello di base, che può lottare con motion complesse e fisica; e notano che si esegue anche male con maschere di bassa qualità o didascalie non allineate.

Conclusione

VideoPainter sembra un’aggiunta degna alla letteratura. Tipico delle soluzioni recenti, tuttavia, ha esigenze computazionali sostanziali. Inoltre, molti degli esempi scelti per la presentazione nel sito del progetto si discostano notevolmente dai migliori esempi; sarebbe quindi interessante vedere questo framework confrontato con future entrate e un’ampia gamma di approcci precedenti.

* È importante notare che ‘editing video’ in questo senso non significa ‘assemblare clip diversi in una sequenza’, che è il significato tradizionale di questo termine; ma piuttosto modificare direttamente o in qualche modo alterare il contenuto interno di clip video esistenti, utilizzando tecniche di apprendimento automatico

Pubblicato per la prima volta lunedì, 10 marzo 2025. Aggiornato sabato, 25 luglio 2026 per sostituire il video.