Eliminazione di oggetti e persone da video con l’intelligenza artificiale

No, il bambino non resterà nella foto, se l’AI avrà voce in capitolo.

Rimuovere persone e oggetti da immagini e video è un filone di ricerca molto seguito nell’AI per gli effetti visivi. Sempre più dataset e framework dedicati affrontano questa sfida. L’esempio più recente, dell’Istituto di Big Data dell’Università Fudan in Cina, è EffectErase, un sistema di rimozione degli oggetti dai video che considera anche i loro effetti sulla scena. Secondo gli autori, nei test supera nettamente i migliori metodi esistenti:

Esempi del metodo EffectErase, montati utilizzando i materiali del sito del progetto. Attenzione: il sito collegato contiene molti video ad alta risoluzione, non ottimizzati e con riproduzione automatica, che possono compromettere la stabilità del browser. Il video YouTube incorporato alla fine dell’articolo offre un riferimento più accessibile e completo.  Fonte

Il lavoro ha comportato la creazione e la selezione di un dataset in parte nuovo, con quasi 350 scene originali reali e sintetiche. Sono state registrate con attrezzature dedicate oppure reperite e riutilizzate in un flusso di lavoro basato sul framework open source Blender 3D, utilizzando repository pubblici*.

Il dataset ibrido Video Object Removal (VOR) costituisce la base dell’applicazione EffectErase, costruita sul sistema di generazione video Wan2.1. Il lavoro definisce anche due nuovi benchmark collegati: VOR Eval e VOR Wild – rispettivamente per campioni con e senza dati corretti di riferimento.

(Sebbene il lavoro abbia un sito di progetto dedicato, quest’ultimo è sovraccarico di video ad alta risoluzione ed è difficile da caricare. Se risulta poco agevole da usare, si possono consultare gli estratti che ho montato nel video incorporato sopra.)

Confronto tra le dimensioni del nuovo dataset e quelle di dataset precedenti analoghi. Fonte

I ricercatori affermano che il loro approccio raggiunge risultati allo stato dell’arte sia nelle metriche quantitative sia nella valutazione qualitativa effettuata da persone.

Osservano che i lavori precedenti non sono sempre riusciti a eliminare gli effetti associati a un oggetto, come ombre e riflessi. Il loro dataset è stato preparato con cura per rimediare a questa lacuna:

Esempi di metodi precedenti che si fermano all’oggetto da rimuovere senza considerare indizi indiretti, come riflessi e ombre.

Il nuovo studio si intitola EffectErase: Joint Video Object Removal and Insertion for High-Quality Effect Erasing ed è opera di quattro ricercatori della facoltà di Informatica e Intelligenza Artificiale dell’Università Fudan.

Metodo

Il dataset ibrido VOR è stato progettato per coprire una gamma di situazioni sufficientemente ampia da comprendere tutte le conseguenze della rimozione di una persona o di un oggetto da un video:

Le coppie di fotogrammi del dataset VOR mostrano che la rimozione deve comprendere non soltanto il soggetto visibile, ma anche gli effetti che provoca. Gli esempi riguardano occlusione, ombre, cambiamenti di illuminazione, riflessi e deformazioni fisiche. L’immagine in ingresso con l’oggetto è affiancata allo sfondo pulito corrispondente dopo la rimozione. Altri esempi sono nel video YouTube incorporato alla fine dell’articolo.

Gli autori definiscono cinque tipi rappresentativi di interferenza da gestire: occlusione, comprese diverse forme di occlusione dovute a vetro e fumo; ombre; illuminazione (per esempio, quando l’oggetto da rimuovere crea o modifica il percorso della luce); riflessi; e deformazione (per esempio, l’impronta di una persona su un cuscino, che non dovrebbe restare dopo la rimozione della persona).

Il processo di costruzione di VOR combina scene sintetiche generate in Blender con riprese reali. I dati sintetici utilizzano ambienti 3D, oggetti e traiettorie della camera selezionati; le riprese reali sono registrate in scene diverse e arricchite con movimenti Ken Burns. La segmentazione SAM2 e le correzioni manuali producono poi terne allineate di video del primo piano, dello sfondo e delle maschere corrispondenti.

Per i dati reali originali, i ricercatori hanno utilizzato camere fisse per registrare le stesse scene con e senza l’oggetto, in ambienti, momenti della giornata e condizioni meteorologiche diversi.

Per i dati sintetici sono state renderizzate più prospettive e create situazioni con diversi oggetti, includendo deliberatamente movimenti di camera complessi e difficili che possono verificarsi nelle riprese reali. Secondo i ricercatori, l’approccio è più sofisticato e laborioso di quello usato per il dataset, per altri aspetti simile, Remove Objects with Side Effects in Videos (ROSE).

Per aumentare la varietà del movimento, l’effetto Ken Burns è stato applicato alle coppie di riprese. Sono state introdotte panoramiche e variazioni di zoom controllate, insieme a piccoli movimenti simili alle riprese a mano, secondo 14 regole predefinite. Per ogni coppia sono stati campionati cinque schemi di movimento, mantenendo il ritaglio all’interno del fotogramma originale.

La scala e la varietà sono state ampliate combinando oggetti sintetici con diverse configurazioni della camera. Le maschere sono state create indicando manualmente punti di guida sui fotogrammi chiave, propagando la segmentazione con Segment Anything 2 (SAM2), ripulendo e perfezionando i risultati e componendo terne validate di primo piano, sfondo e maschere per l’addestramento.

La raccolta finale comprende 145 ore di video reali e sintetici in 60.000 coppie, con 366 classi di oggetti in 443 scene.

La rete EffectErase acquisisce il materiale attraverso un autoencoder variazionale (VAE^†), mentre Wan2.1 gestisce la rimozione del rumore dalla rappresentazione latente. Su questa base EffectErase aggiunge tre componenti: Removal-Insertion Joint Learning, che addestra insieme rimozione e inserimento sulle stesse regioni; Task-Aware Region Guidance (TARG), che combina token dell’oggetto e del compito con cross-attention per modellare i legami spaziali e temporali tra gli oggetti e i loro effetti e consentire il cambio di compito; ed Effect Consistency Loss, che allinea le regioni interessate dagli effetti nelle operazioni di rimozione e inserimento:

Schema del framework EffectErase. Durante l’addestramento, le coppie di video vengono codificate in uno spazio latente condiviso, combinate con rumore ed elaborate da un transformer di diffusione guidato da cross-attention adattata al compito. Una funzione di perdita per la coerenza degli effetti allinea le regioni di rimozione e inserimento, affinché i due compiti si concentrino sulla stessa area.

Rimozione e inserimento vengono addestrati insieme, utilizzando la stessa struttura di diffusione di base, perché il modello impari a seguire le stesse regioni interessate e gli stessi indizi strutturali.

I video con l’oggetto, quelli con il solo sfondo e le maschere vengono prima codificati in uno spazio latente. Si aggiunge quindi rumore per l’addestramento alla diffusione e il modello impara a recuperare rappresentazioni pulite sotto una guida specifica per il compito. Un adattatore leggero combina le caratteristiche rumorose con le condizioni di rimozione o inserimento, permettendo ai due compiti di condividere la supervisione pur restando controllabili separatamente.

Task-Aware Region Guidance crea un segnale specifico per il compito combinando token linguistici con caratteristiche visive estratte dall’oggetto in primo piano tramite CLIP. Un token generico dell’oggetto viene sostituito con un embedding derivato dal contenuto effettivo dell’immagine. La rappresentazione combinata viene introdotta nella struttura di base attraverso cross-attention. Il modello può così seguire l’evoluzione dell’oggetto e dei suoi effetti visivi nello spazio e nel tempo, passando flessibilmente dalla rimozione all’inserimento.

Effect Consistency Loss impone ai processi di rimozione e inserimento di concentrarsi sulle stesse aree modificate, perché entrambi trattano lo stesso oggetto e i suoi effetti visivi. Le mappe di attenzione dei due rami vengono combinate in mappe regionali con valori continui e allineate con una mappa delle differenze calcolata dai video dell’oggetto e dello sfondo, così da considerare anche variazioni sottili come illuminazione e ombre. Questa funzione di perdita aggiuntiva permette all’inserimento di guidare la rimozione e mantiene coerenti i due compiti.

Dati e test

I ricercatori hanno confrontato il loro approccio con diversi metodi di inpainting delle immagini, inpainting video e rimozione degli oggetti: OmniPaint; ObjectClear; VACE; DiffuEraser; ProPainter; ROSE; e MiniMax-Remover.

Wan2.1 è stato affinato con LoRA^†† utilizzando VOR alla risoluzione di 832×480 pixel. Per l’addestramento sono state estratte casualmente sequenze di 81 fotogrammi consecutivi (il limite pratico di WAN, oltre il quale tendono a verificarsi errori). L’addestramento è durato 129.000 iterazioni, con una dimensione del batch di 8, su otto GPU H100 dotate ciascuna di 80 GB di VRAM. Il tasso di apprendimento è stato fissato a 1×10², e il rango LoRA a 256.

La raccolta sintetica ROSE-Benchmark è stata l’unico dataset esterno sottoposto a test. Gli altri due erano VOR-Eval, la parte del dataset VOR riservata ai test; e VOR-Wild, un insieme di test con 195 video reali raccolti da Internet, contenenti oggetti in movimento.

Sono state utilizzate le seguenti metriche: Peak Signal-to-Noise Ratio (PSNR); Structural Similarity Index (SSIM); Learned Perceptual Image Patch Similarity (LPIPS); e Fréchet Video Distance (FVD). È stato svolto anche uno studio con utenti su 195 video generati da VOR-Wild, considerando la media delle valutazioni di 20 volontari.

Gli autori hanno inoltre ideato QScore, una metrica che sfrutta il modello multimodale Qwen-VL per valutare la qualità dei video dopo la rimozione degli oggetti, sulla base degli artefatti residui o degli effetti ambientali non eliminati, come ombre ed effetti di illuminazione:

Confronto quantitativo sui benchmark ROSE e VOR. I risultati migliori sono in grassetto e i secondi migliori sono sottolineati.

A proposito di questi risultati, gli autori osservano:

«I metodi [attuali] di inpainting delle immagini lavorano su singoli fotogrammi con modelli 2D privi di modellazione temporale e quindi non riescono a mantenere la coerenza temporale nei video.

I [metodi] recenti di inpainting video non modellano esplicitamente gli effetti associati agli oggetti, producendo risultati di rimozione innaturali. I [metodi] esistenti di rimozione degli oggetti dai video non modellano le correlazioni spaziali e temporali tra l’oggetto e i suoi effetti e spesso producono artefatti e tracce residue degli oggetti rimossi.

«Nel complesso, EffectErase raggiunge risultati allo stato dell’arte su tutti i dataset e le metriche di valutazione. Ottiene i punteggi migliori nella metrica di qualità video FVD, dimostrando una maggiore fluidità e coerenza temporale dei video generati.

«Il nostro metodo ottiene anche il QScore e le valutazioni degli utenti più alti, dimostrando ulteriormente la sua efficacia nel produrre risultati di rimozione visivamente convincenti».

Per la valutazione qualitativa, il lavoro presenta risultati statici, riprodotti direttamente qui sotto. I risultati in movimento si trovano sul sito del progetto e nella relativa presentazione video su YouTube:

Confronto qualitativo su VOR-Eval per occlusione, ombre, illuminazione, riflessi e deformazioni. I metodi di inpainting faticano a rimuovere gli effetti fuori dalla maschera, mentre i modelli di rimozione spesso lasciano artefatti visibili. EffectErase rimuove più nettamente sia gli oggetti sia gli effetti associati. Si rimanda al lavoro originale per una risoluzione maggiore e al sito del progetto per esempi video.

Rimandiamo il lettore anche ai diversi esempi pertinenti sul sito del progetto, di cui uno è mostrato in anteprima qui sotto, e al video YouTube ufficiale incorporato alla fine dell’articolo:

Fare clic per riprodurre. Un esempio di confronto dal sito del progetto EffectErase. Per una risoluzione maggiore (con le avvertenze già citate) e altri esempi, consultare il sito.

Gli autori commentano:

«I [metodi] di inpainting video producono spesso artefatti nelle aree mascherate e non eliminano completamente gli effetti provocati dagli oggetti rimossi. I precedenti approcci di rimozione degli oggetti, come [ROSE] e [MinMax-Remover], rimuovono bene gli oggetti interessati, ma hanno ancora difficoltà con i loro effetti, soprattutto nei casi di occlusione, ombre, illuminazione, riflessi e deformazione.

«EffectErase rimuove invece efficacemente sia gli oggetti sia i loro effetti, producendo risultati puliti, coerenti e di alta qualità».

In conclusione, i ricercatori osservano che il metodo può essere adattato anche all’inserimento anziché alla rimozione, senza ulteriori addestramenti:

Risultati dell’inserimento di oggetti nei video. EffectErase inserisce gli oggetti mantenendo il contenuto dello sfondo e generando in modo coerente tra i fotogrammi gli effetti prodotti dagli oggetti, come ombre e riflessi.

Gli esempi video del compito di inserimento si possono vedere nel video YouTube con il punto di avvio specificato. Lo stesso video è incorporato anche alla fine dell’articolo, senza indicazione temporale.

Conclusione

Una rassegna dei progetti simili nella letteratura mostra che molti sperano ancora che i modelli VFX generalisti possano integrare questa funzione in un modello generale simile a una «cassetta degli attrezzi», pensato per una gamma di effetti anziché per questo solo compito.

Tuttavia, considerando che la versatilità può andare a scapito della specializzazione, sembra ragionevole supporre che sistemi dedicati come EffectErase conserveranno un vantaggio rispetto agli approcci più generali. La riserva è che il divario potrebbe prima o poi ridursi tanto da non giustificare lo sforzo aggiuntivo necessario per addestrare un modello separato.

* Con la crescente attenzione alla provenienza dei materiali e ai diritti di proprietà intellettuale, ci si augurerebbe che tutte queste fonti fossero citate. Ma se i materiali disponibili del nuovo lavoro riportano la fonte dei modelli 3D, non sono riuscito a trovare quel riferimento.

^† Il riferimento fornito sembra essere un testo esplicativo generale del 2013; non viene specificato quale VAE sia stato utilizzato.

^†† Questa descrizione è tratta dal lavoro ed è semanticamente poco chiara, perché il fine-tuning e LoRA sono processi diversi con requisiti molto differenti.

Pubblicato per la prima volta sabato 21 marzo 2026