Eliminazione di oggetti e persone da video con l’intelligenza artificiale

No, il bambino non rimane nell’immagine, se l’intelligenza artificiale ha qualcosa a che fare con questo.

Rimuovere persone e oggetti da immagini e video è un filone di ricerca popolare nella letteratura VFX-centric dell’intelligenza artificiale, con un numero crescente di dataset e framework dedicati che affrontano la sfida. L’ultimo di questi, dell’Istituto di Big Data dell’Università Fudan in Cina, è EffectErase, un sistema di rimozione di oggetti video “consapevole degli effetti” che, secondo gli autori, migliora notevolmente lo stato dell’arte nei test:

Assemblato da materiale sul sito del progetto, esempi del metodo EffectErase (si prega di notare che, mentre forniamo un link, il sito di origine contiene molti video ad alta risoluzione e non ottimizzati in autoplay che potrebbero influire sulla stabilità del browser web. Il video YouTube allegato è una referenza più facile e completa e viene incorporato alla fine dell’articolo). Fonte

Il nuovo lavoro ha comportato la creazione/curazione di un dataset semi-novello che comprende quasi 350 scene reali e sintetiche originali (utilizzando repository pubbliche*), catturate con attrezzature dedicate o acquisite e riutilizzate in un flusso di lavoro basato sul framework open source Blender 3D.

Il dataset ibrido di rimozione di oggetti video (VOR) costituisce la base per l’applicazione EffectErase stessa, che è costruita sul sistema di generazione video Wan2.1. Il sistema definisce anche due nuove prove correlate: VOR Eval e VOR Wild – rispettivamente, per campioni con e senza verità di base.

(Sebbene il paper abbia un sito del progetto allegato, è piuttosto sovraccarico di molti video ad alta risoluzione e difficile da caricare; quindi, si prega di fare riferimento agli estratti che ho curato nel video incorporato sopra, se si trova difficile utilizzare il sito del progetto)

Un confronto delle quantità tra dataset precedenti comparabili, rispetto alla nuova offerta. Fonte

I ricercatori affermano che il loro approccio produce prestazioni allo stato dell’arte, sia in termini di metriche quantitative che di risultati qualitativi come giudicati attraverso uno studio condotto su esseri umani.

Essi notano che i lavori precedenti non hanno sempre avuto successo nel rimuovere gli effetti aggiuntivi di un oggetto, come ombre e riflessi, e che il loro dataset è stato creato con cura per porre rimedio a questo difetto:

Esempi di approcci precedenti che non riescono a guardare oltre l’oggetto cercato per la rimozione, a indicazioni secondarie come riflessi e ombre.

Il nuovo paper è intitolato EffectErase: Joint Video Object Removal and Insertion for High-Quality Effect Erasing e proviene da quattro ricercatori del College di Informatica e Intelligenza Artificiale dell’Università Fudan.

Metodo

Il dataset ibrido VOR è stato progettato per abbracciare un’ampia gamma di scenari in modo da coprire tutte le implicazioni del tentativo di rimuovere una persona o un oggetto da un video:

Frame accoppiati dal dataset VOR illustrano come la rimozione di oggetti debba estendersi oltre il soggetto visibile ai suoi effetti indotti, con esempi che mostrano occlusione, ombra, spostamenti di luce, riflessi e deformazione fisica, ciascuno presentato come input (oggetto presente) accanto al corrispondente sfondo pulito dopo la rimozione. Per ulteriori esempi, si veda il video YouTube incorporato alla fine dell’articolo.

I cinque tipi rappresentativi di “interferenza” da affrontare sono definiti dagli autori come occlusione, comprese varie tipologie di occlusione da vetro e fumo; ombre; illuminazione (ad esempio, quando un oggetto da rimuovere crea o altera il percorso della luce); riflessi; e deformazione (ad esempio, l’impronta di un utente su un cuscino, che non dovrebbe sopravvivere alla rimozione della persona).

Pipeline di costruzione del dataset VOR, che combina scene sintetiche generate con Blender con catture del mondo reale, dove i dati sintetici sono costruiti a partire da ambienti 3D curati, oggetti e traiettorie della telecamera, e le riprese reali sono registrate in vari scenari, aumentate con il movimento Ken Burns. La segmentazione SAM2 e il raffinamento manuale producono quindi triplette di video allineate con maschere corrispondenti.

Per i dati originali del mondo reale, i ricercatori hanno utilizzato telecamere fisse per registrare scene “con” e “senza” che coprono una vasta gamma di ambienti, ore del giorno e condizioni meteorologiche.

Per i dati sintetici, sono stati resi multipli punti di vista e creati scenari multi-oggetto, caratterizzati da movimenti della telecamera complessi e impegnativi, come potrebbero verificarsi in riprese del mondo reale; e i ricercatori osservano che questo approccio è più sofisticato e impegnativo rispetto a quello utilizzato per il dataset ROSE.

Per aumentare la diversità del movimento, è stato applicato l’effetto Ken Burns alle coppie di riprese della telecamera, aggiungendo panorami, zoom e movimenti leggeri della telecamera sotto quattordici regole predefinite, con cinque modelli di movimento campionati per coppia mentre si manteneva la crop all’interno del frame originale.

La scala e la diversità sono state ulteriormente espanse combinando oggetti sintetici con più configurazioni della telecamera, le maschere sono state generate posizionando punti di riferimento manuali sui frame chiave, propagando la segmentazione con Segment Anything 2 (SAM2), pulendo e raffinando i risultati, e assemblando triplette di video allineate con maschere validate per l’addestramento.

La raccolta finale comprende 145 ore di video su 60.000 video accoppiati, reali e sintetici, coprendo 366 classi di oggetti in 443 scenari.

La rete EffectErase stessa inghiotte il materiale attraverso un’autoencoder variazionale (VAE^†), con il rumore di denoising gestito da Wan2.1. Su questo backbone, EffectErase opera Removal-Insertion Joint Learning, che addestra entrambi i compiti insieme sulle stesse aree; Task-Aware Region Guidance (TARG), che utilizza token di oggetto e task con cross-attention per modellare collegamenti spaziotemporali tra oggetti e i loro effetti e consentire il passaggio tra task; e Effect Consistency Loss, che allinea le aree degli effetti allineate tra i compiti di rimozione e inserimento:

Schema del framework EffectErase. Durante l’addestramento, i video accoppiati vengono codificati in uno spazio latente condiviso, fusi con rumore e processati da un trasformatore di diffusione guidato da cross-attention consapevole del task, mentre una perdita di coerenza degli effetti allinea le aree di rimozione e inserimento in modo che entrambi i compiti si concentrino sulla stessa area.

In sé, i processi di rimozione e inserimento sono addestrati insieme, utilizzando un backbone di diffusione condiviso, in modo che il modello impari a concentrarsi sulle stesse aree e sugli stessi indizi strutturali.

I video con oggetti, i video di sfondo solo e le maschere vengono prima codificati in uno spazio latente; il rumore viene quindi aggiunto per l’addestramento alla diffusione, e il modello impara a recuperare rappresentazioni pulite sotto la guida del task. Un adattatore leggero fonde quindi le caratteristiche rumorose con le condizioni di rimozione o inserimento, consentendo a entrambi i compiti di condividere la supervisione, rimanendo controllabili.

Task-Aware Region Guidance crea un segnale specifico del task combinando token linguistici con caratteristiche visive estratte dall’oggetto in primo piano, utilizzando CLIP, sostituendo un token di oggetto generico con un embedding derivato dal contenuto dell’immagine effettivo. Questa rappresentazione fusa viene iniettata nel backbone attraverso cross-attention, consentendo al modello di tracciare come un oggetto e i suoi effetti visivi evolvono nello spazio e nel tempo, consentendo anche il passaggio flessibile tra rimozione e inserimento.

Effect Consistency Loss costringe i processi di rimozione e inserimento a concentrarsi sulle stesse aree modificate, poiché entrambi i compiti trattano lo stesso oggetto e i suoi effetti visivi. Le mappe di attenzione da ogni ramo vengono combinate in mappe di regioni morbide, e allineate con una mappa di differenza calcolata dai video dell’oggetto e dello sfondo, in modo che siano preservate le modifiche sottili come l’illuminazione e le ombre. Questa perdita aggiuntiva aiuta l’inserimento a guidare la rimozione e mantiene entrambi i compiti coerenti.

Dati e test

I ricercatori hanno testato il loro approccio contro vari metodi di inpainting, inpainting video e rimozione di oggetti: OmniPaint; ObjectClear; VACE; DiffuEraser; ProPainter; ROSE; e MiniMax-Remover.

Wan2.1 è stato adattato con LoRA^†† utilizzando il dataset VOR a una risoluzione di 832x480px. 81 frame consecutivi (il limite efficace per WAN, oltre il quale tendono a verificarsi errori) sono stati campionati casualmente per l’addestramento, che ha avuto luogo per 129.000 iterazioni a un batch size di 8, su otto GPU H100, ciascuna con 80GB di VRAM. La velocità di apprendimento è stata impostata su 1×10², e il rank LoRA su 256.

La raccolta di test ROSE-Benchmark sintetica è stata l’unico dataset esterno testato; gli altri due sono stati VOR-Eval, la divisione di test del dataset VOR; e VOR-Wild, un set di test composto da 195 video reali raccolti da Internet, che presentano “oggetti dinamici”.

Le metriche utilizzate sono state Peak Signal-to-Noise Ratio (PSNR); Structural Similarity Index (SSIM); Learned Perceptual Image Patch Similarity (LPIPS); e Fréchet Video Distance (FVD). Uno studio condotto su esseri umani di 195 video generati da VOR-Wild è stato anche considerato, con valutazioni medie di 20 volontari prese in considerazione.

Inoltre, gli autori hanno ideato QScore, una metrica che sfrutta il modello multimodale Qwen-VL per valutare la qualità dell’output video con oggetti rimossi, in termini di artefatti residui o mancate rimozioni ambientali, come ombre e effetti di luce:

Confronto quantitativo sui benchmark ROSE e VOR, con i risultati migliori e secondi migliori mostrati in grassetto e sottolineato, rispettivamente.

Riguardo a questi risultati, gli autori notano:

‘[I] metodi di inpainting di immagini operano su singoli frame utilizzando modelli 2D senza modellazione temporale, e quindi falliscono nel mantenere la coerenza temporale nei video.

I recenti metodi di inpainting video non modellano esplicitamente gli effetti collaterali degli oggetti, risultando in esiti di rimozione innaturali. I metodi di rimozione di oggetti video esistenti mancano di modellazione della correlazione spaziotemporale tra l’oggetto e i suoi effetti, e di conseguenza spesso producono artefatti e tracce residue degli oggetti rimossi.

‘Nel complesso, EffectErase raggiunge prestazioni allo stato dell’arte in tutti i dataset e le metriche di valutazione. Ottiene i punteggi migliori sulla metrica di qualità video FVD, dimostrando una maggiore fluidità temporale e coerenza dei video generati.

‘Il nostro metodo raggiunge anche i punteggi QScore e le valutazioni degli utenti più alti, dimostrando ulteriormente la sua efficacia nel produrre risultati di rimozione convincenti visivamente.’

Per la valutazione qualitativa, i risultati statici sono offerti nel paper (mostrati) direttamente sotto, nonché risultati in movimento disponibili nel sito del progetto e nel video YouTube allegato:

Confronto qualitativo su VOR-Eval attraverso casi di occlusione, ombra, luce, riflessi e deformazione. I metodi di inpainting faticano a rimuovere gli effetti al di fuori della maschera, mentre i modelli di rimozione spesso lasciano artefatti visibili. EffectErase rimuove sia gli oggetti target che i loro effetti associati in modo più pulito. Si prega di fare riferimento al paper di origine per una risoluzione migliore e al sito del progetto per esempi video.

Ci riferiamo anche al lettore per esempi diversi sul sito del progetto, in anteprima qui sotto, nonché al video YouTube ufficiale incorporato alla fine dell’articolo:

Fare clic per riprodurre. Un confronto di esempio dal sito del progetto EffectErase. Si prega di fare riferimento al sito per una risoluzione migliore (con le citate limitazioni) e per ulteriori esempi.

Gli autori commentano:

‘I metodi di inpainting video spesso producono artefatti nelle aree mascherate e falliscono nel rimuovere completamente gli effetti collaterali causati dagli oggetti rimossi. Gli approcci di rimozione di oggetti precedenti, come [ROSE] e [MinMax-Remover], si comportano bene nella rimozione degli oggetti target ma ancora lottano con gli effetti collaterali, specialmente in scenari di occlusione, ombra, luce, riflessi e deformazione.

‘Al contrario, EffectErase rimuove efficacemente sia gli oggetti target che i loro effetti associati, risultando in esiti puliti, coerenti e di alta qualità.’

In chiusura, i ricercatori osservano che il loro metodo può anche essere adattato per compiti di inserimento anziché rimozione, senza la necessità di ulteriore addestramento:

Risultati di inserimento di oggetti video. EffectErase inserisce oggetti preservando il contenuto di sfondo e generando effetti indotti dagli oggetti consistenti come ombre e riflessi attraverso i frame.

I risultati video per il compito di inserimento possono essere visti nel (video YouTube specifico del tempo) (anche incorporato senza timestamp alla fine dell’articolo).

Conclusione

Un’occhiata a progetti simili nella letteratura rivela che molti stanno ancora sperando che modelli VFX general-purpose possano eventualmente incorporare questo tipo di funzionalità in un “toolkit” generale progettato per una gamma di effetti, piuttosto che solo per questo compito specifico.

Tuttavia, sul principio del “giocatore di tutti i giochi”, sembra ragionevole supporre che sistemi dedicati come EffectErase continueranno a mantenere un vantaggio su approcci più generali; con la cautela che il divario potrebbe eventualmente contrarsi abbastanza da rendere la differenza non più degna dell’extra sforzo di addestrare un modello discreto.

* Si spera, con crescenti preoccupazioni intorno alle questioni di provenienza dei diritti, che tutte queste fonti siano citate; ma se i materiali disponibili del nuovo lavoro elencano la fonte dei modelli 3D, non sono riuscito a trovare questo riferimento.

^† Il riferimento fornito sembra essere un testo esplicativo generico del 2013, con il VAE specifico non dettagliato.

^†† Preso dal paper, questa è una descrizione semanticamente poco chiara, poiché l’adattamento e LoRA sono processi diversi con esigenze molto diverse.

Pubblicato per la prima volta sabato 21 marzo 2026