Miglioramento della rimozione dello sfondo AI senza costosa annotazione umana

Una nuova ricerca mostra che l’AI può tagliare pulito le persone da un video senza costosa etichettatura umana, migliorando la qualità e la stabilità

La maggior parte di noi avrà provato l’esperienza di essere “tagliati fuori” da uno sfondo attraverso semplici filtri di alterazione/occultamento dello sfondo su piattaforme di video chat – e potremmo aver notato i limiti di tali sistemi, che sono stati addestrati sui tipi di casi più frequenti che si verificano in una conferenza video, e non sono solitamente robusti rispetto a qualcosa di “inaspettato” – o anche a oggetti prevedibili, come le dita:

Un esempio tipico di un sistema di estrazione del primo piano addestrato con l’AI che taglia troppo del soggetto sorgente. Fonte

La soluzione più semplice, e che sta diventando sempre più popolare di fronte ai modelli di visione del linguaggio (VLM) che non sono stati addestrati specificamente per tali compiti, è quella di addestrare un modello esistente su dati che è probabile che il sistema incontri:

Due dataset ad alta volumetria e annotati con estrema cura sostengono le soluzioni offerte nel paper del 2020 ‘Real-Time High-Resolution Background Matting’. Fonte

Tuttavia, tali dati devono essere annotati, a un certo costo e con un certo dispendio di tempo, da parte degli esseri umani; e in ogni caso, ciò risulta in uno strumento molto specifico e non generalizzato, che costa molto denaro e non può essere utilizzato per una vasta gamma di compiti.

Nonostante ciò, lo sviluppo di modelli “mirati” di questo tipo è attualmente il percorso più breve per ottenere un’inferenza efficace in una varietà di domini, non solo nella matting di video e immagini (ovvero, rimozione dello sfondo/prime piani). Fino ad oggi, molte delle soluzioni non supervisionate offerte hanno più o meno semplicemente spostato il problema da un lato all’altro.

Anche adesso, nonostante la diffusione di filtri AI potenziati su piattaforme come Zoom, quest’ultima continua a raccomandare uno schermo verde come soluzione ottimale per la rimozione dello sfondo – una soluzione onerosa e un po’ “professionale” che potrebbe rendere la maggior parte di noi un po’ imbarazzati.

Taglia fuori!

Di recente, è cresciuto l’interesse per l’utilizzo della famiglia di modelli Segment Anything (SAM) per fornire un’estrazione automatizzata e fine-grana:

Fai clic per riprodurre, se necessario. Un esempio dei bordi grezzi creati da un modello Segment Anything – ideale per l’annotazione, ma non sufficiente per il dropout VFX. Fonte 

Una recente offerta proveniente dalla Cina ha proposto un modo più sofisticato di utilizzare i modelli SAM per ottenere processi di estrazione superiori – sposando un tracciatore fondamentale come SAM con un ponte di proposta di regione con teste di matting dedicate. In questo modo, il sistema è in grado di raffinare i dettagli dei bordi in modo iterativo e di risolvere bordi impegnativi, come i capelli in movimento:

Fai clic per riprodurre, se necessario. Dal sito web ancillare che supporta il nuovo paper, un amalgama di video supplementari, che dimostrano la sofisticatezza del metodo degli autori per l’estrazione. Fonte 

Crucialmente, il nuovo sistema composito si addestra solo su immagini, non su video, e non richiede alcuna annotazione umana aggiuntiva – l’ostacolo tradizionale contro il progresso in questo, e in diversi altri domini dell’AI.

Esempi di matting di immagini e video fine-grana ottenuti con il nuovo metodo, con casi impegnativi come capelli, trasparenza e movimento mostrati accanto a sequenze in-the-wild, dove il metodo produce – gli autori sostengono – risultati più puliti e stabili rispetto agli approcci precedenti. Fonte

Con tre modelli sperimentali prodotti per il lavoro, gli autori affermano di aver ottenuto nuove prestazioni di stato dell’arte in questo compito, mantenendo le capacità di generalizzazione più elevate del modello di base, il che significa che il metodo produce un modello tuttofare con capacità aggiuntive, piuttosto che uno strumento isolato mirato a un singolo compito.

Gli autori affermano:

‘Esperienze complete mostrano che SAM2Matting raggiunge prestazioni di stato dell’arte (SOTA) su entrambi il matting di immagini e video, con il matting video valutato in modo strettamente zero-shot.

‘Risultati estensivi in-the-wild dimostrano ulteriormente la sua forte generalizzazione a scenari del mondo aperto con movimento rapido, sfondi complessi e attaccamenti di bersagli (ad es. uomo in bicicletta).

‘Inoltre, i nostri componenti di matting sono leggeri ed efficienti, consentendo alla variante SAM2.1-Tiny di eseguire 40 FPS su un video 1080p da 200 frame utilizzando meno di 5 GB di memoria GPU.’

Il nuovo paper è intitolato SAM2Matting: Matting di immagini e video generalizzato, e proviene da quattro autori di Fudan University e Shanghai University of Finance and Economics. Il lavoro ha un repository GitHub, che al momento della scrittura ha rilasciato checkpoint di varianti diverse, codice di inferenza e una demo interattiva, con la promessa di rilasciare il codice di addestramento. Inoltre, c’è un sito web del progetto.

Metodo

Il metodo degli autori separa il tracciamento dalla estrazione dei dettagli utilizzando un tracciatore di segmentazione di oggetti video (VOS) per produrre una maschera grezza temporale coerente per ogni frame, mentre una pipeline di matting dedicata raffina i bordi:

Panoramica della pipeline, dove un prompt flessibile e un flusso di video di input alimentano un tracciatore di segmentazione di oggetti video per produrre una maschera grezza, che viene raffinata da un rilevatore di ROI e convertita in un trimap prima che un predittore multi-scala progressivo generi il matte di dettaglio finale.

Un rilevatore di ROI identifica quindi le regioni con dettagli fini o semi-trasparenti, convertendole in un trimap (una maschera a tre regioni che divide il primo piano, lo sfondo e le aree incerte) che guida il raffinamento, dopo di che un Progressivo Alpha Predictor genera il matte finale attraverso una cascata da grossolano a fine su più scale

I sistemi di matting convenzionali derivano solitamente le regioni di interesse utilizzando operazioni morfologiche semplici, o riutilizzando direttamente la maschera – approcci che possono trascurare i dettagli fini o includere aree che non richiedono il raffinamento:

Confronto dell’elaborazione standard basata sulla maschera con trimap di riferimento, mostrando come le operazioni morfologiche semplici producono bordi uniformi e grezzi che mancano di strutture fini come capelli e trasparenza, portando alla perdita di dettagli nel matte finale.

Interesse Composto

Al contrario, il rilevatore di ROI proposto tratta questo passaggio come un compito di classificazione pixel-wise (ovvero, trattando ogni pixel individuale dell’immagine come una decisione separata, e assegnandogli un’etichetta in base al fatto che appartenga a una regione critica per il matting o meno) che integra la maschera VOS, l’attuale frame e le caratteristiche dell’immagine multi-scala, per isolare più precisamente le regioni critiche per il matting.

Nel nuovo approccio, il ROI previsto viene prima convertito in un pseudo-trimap che separa il primo piano definito e lo sfondo dalle regioni incerte, utilizzando la maschera del tracciatore per assegnare aree note mentre marca il ROI come ambiguo, in modo che l’elaborazione successiva possa concentrarsi esplicitamente sui bordi in cui i dettagli devono essere risolti.

Il raffinamento viene quindi gestito da un Progressivo Alpha Predictor che tratta il matting come un processo stepwise, passando i risultati intermedi da scale più grossolane a scale più fini, con ogni stadio che utilizza l’immagine, il trimap e la stima precedente per raffinare progressivamente la struttura e recuperare i dettagli fini.

Allo stadio finale, l’output a risoluzione più alta viene campionato per produrre il matte completato, consentendo di stabilire forme ampie precocemente mentre elementi più fini come capelli e trasparenza vengono risolti in passaggi successivi.

Durante l’addestramento, gli autori hanno congelato il tracciatore VOS, mentre hanno addestrato solo i componenti di matting su dati di immagini di alta qualità – consentendo di raffinare i dettagli fini senza degradare la coerenza del tracciamento. La supervisione è stata applicata per frame, con regioni di interesse derivate dalla maschera di riferimento alpha, e utilizzate per guidare l’apprendimento, mentre il rilevatore di ROI è stato addestrato con perdite progettate per incoraggiare la classificazione dei bordi precisa e ridurre gli artifact jagged.

Per alpha stima, le perdite sono state applicate su più scale per migliorare progressivamente i dettagli, insieme a un vincolo aggiuntivo progettato per mantenere il matte previsto allineato con la maschera originale – aiutando a preservare la struttura e a prevenire regioni cave o rotte nel output finale.

Dati e Test

Otto dataset di matting di immagini sono stati utilizzati inizialmente per i trial: I-HIM50K; P3M-10k; CelebAHairMask-HQ; AIM-500; Distinctions-646; AM-2K; UHRIM; e RefMatte; e tre varianti dell’approccio ‘Sam2Matting’ sono state sviluppate come tracciatori VOS, rispettivamente utilizzando SAM2.1-Tiny; SAM2.1-Base+; e il concetto focalizzato SAM3.

Il componente del tracciatore è stato congelato, con solo i componenti di matting ottimizzati. Tutte le versioni sono state addestrate per cinque epoch su quattro NVIDIA A6000 GPU, ciascuna con un’allocazione di VRAM di 48GB. Una dimensione del batch di 32 è stata utilizzata, sotto l’AdamW ottimizzatore. I metrici utilizzati sono stati Mean Absolute Difference (MAD); Mean Squared Error (MSE); Gradiente (Grad); Connessione (Conn); e dtSSD (solo per il matting video).

Test Quantitativi

Gli autori hanno iniziato con test quantitativi del nuovo sistema sul matting di immagini, utilizzando i benchmark P3M-500-NP; AM-2K (‘GFM’ nei risultati); MAM (‘Matte Anything’, nei risultati); E2E-HIM; Lightweight; e PPM-100 (‘MODNet’, nei risultati):

Risultati quantitativi sulle prove di matting di immagini attraverso P3M-500-NP, AM-2K test, e PPM-100, con valori più bassi che indicano prestazioni migliori in tutti i metrici, e i risultati migliori, secondi migliori e terzi migliori evidenziati in rosso, arancione e giallo rispettivamente. Si prega di fare riferimento al paper di origine per una risoluzione migliore.

Di questi risultati, il paper afferma:

‘Come mostrato [sopra], tutte e tre le varianti di SAM2Matting superano costantemente le baseline precedenti in tutti i metrici diversi. Ad esempio, la variante SAM2.1-Tiny raggiunge un MAD inferiore di 11,48 rispetto a MAM su P3M-500-NP.’

Gli autori sostengono che i risultati in generale indicano che il loro approccio raggiunge risultati superiori attraverso il design concettuale di base, e non a causa del livello di cura dei dati.

Per il matting video, SAM2Matting è stato valutato su V-HIM60 e VideoMatte in un ambiente zero-shot, contro i sistemi video-addestrati MatAnyone2, MatAnyone, MaGGIe, FTP-VM, e RVM, con guadagni costanti segnalati in entrambe le divisioni medie e difficili.

Attraverso tutti i benchmark, le tre varianti registrano errori più bassi su MAD, MSE, Grad, Conn, e dtSSD, con SAM3 che raggiunge i risultati complessivi più forti, mentre i valori dtSSD più bassi apparentemente indicano una maggiore coerenza frame-per-frame:

Risultati quantitativi sulle prove di matting video attraverso V-HIM60 e VideoMatte, valutati in un ambiente zero-shot, mostrando errori più bassi in tutti i metrici, con i risultati migliori, secondi migliori e terzi migliori evidenziati in rosso, arancione e giallo rispettivamente.

Gli autori sostengono che questi esiti riflettono il design decoupled, in cui il tracciatore VOS preserva la struttura temporale e i moduli di matting si concentrano sui dettagli dei bordi, consentendo ai modelli addestrati su immagini di superare approcci video completamente supervisionati.

Test Qualitativi

Per il matting umano nei test qualitativi, gli autori hanno trovato che Sam2Matting supera le baseline competitive:

Confronto qualitativo sul matting video umano e in-the-wild, dove SAM2Matting conserva i capelli fini e le regioni semi-trasparenti più precisamente di RVM e MatAnyone, producendo bordi più puliti e meno strutture mancanti in aree impegnative.

Come mostrato di seguito, esistenti sistemi di matting video come MatAnyone2 e MaGGIe, addestrati su dataset specifici del dominio e spesso umano-centrici, hanno faticato a generalizzare a sequenze in-the-wild, in particolare quando gestiscono soggetti in movimento veloce come radici in crescita, farfalle semi-trasparenti e acqua che gocciola rapidamente:

Confronto qualitativo su sequenze in-the-wild, dove SAM2Matting conserva strutture fini e coerenza temporale più efficacemente di MatAnyone2 e MaGGIe, in particolare per soggetti non umani, movimento rapido e elementi semi-trasparenti come acqua, vetro e ali di insetti. Si prega di fare riferimento al paper di origine per una risoluzione migliore.

Al contrario, SAM2Matting ha dimostrato di essere in grado di mantenere un tracciamento stabile e di estrarre dettagli fini in modo più affidabile, in questi scenari impegnativi.

Infine, come mostrato nella figura seguente, SAM2Matting ha gestito efficacemente bersagli con oggetti attaccati, come persone in bicicletta o che tengono bastoni da sci, mentre sopprimeva le distrazioni dello sfondo vicino, beneficiando del vincolo di coerenza matte-mask descritto in precedenza.

Confronto qualitativo su sequenze con oggetti attaccati e distrazioni dello sfondo, dove SAM2Matting conserva strutture come biciclette e bastoni da sci più precisamente di MatAnyone2 mentre sopprime il clutter vicino e mantiene silhouettes più pulite tra i frame.

Conclusione

I risultati descritti nel nuovo paper dimostrano l’estensione in cui l’estrazione, una delle attività più antiche nella visione artificiale, rimane irrisolta e resiste agli approcci generalizzati. Come per molti altri modelli basati sulla visione, il problema rimane che gli algoritmi di estrazione aderiscono alla conoscenza del dominio invece di adattarsi facilmente a oggetti non visti e sconosciuti; questo compito in particolare mette a dura prova i limiti esterni della generalizzazione di un modello.

Mentre il nuovo lavoro rappresenta un passo avanti rispetto a questa dipendenza, c’è ancora molta strada da fare, considerando l’estensione in cui questo compito è incorporato nella nostra vita quotidiana, attraverso i portali di video chat.

Pubblicato per la prima volta lunedì, 13 luglio 2026