La maschera di immagine AI che comprende le scene

Nel documentario extra che accompagna l’uscita del DVD del 2003 di Alien³ (1992), la leggenda degli effetti visivi Richard Edlund ha ricordato con orrore il “sumo wrestling” dell’estrazione della maschera fotochimica che ha dominato il lavoro degli effetti visivi tra la fine degli anni ’30 e la fine degli anni ’80. Edlund ha descritto la natura aleatoria del processo come “sumo wrestling”, in confronto alle tecniche digitali di schermo blu/verde che hanno preso il sopravvento all’inizio degli anni ’90 (e ha ritornato a questa metafora dal momento in cui).

Estrarre un elemento in primo piano (come una persona o un modello di nave spaziale) da uno sfondo, in modo che l’immagine ritagliata possa essere compostita in una lastra di sfondo, è stato originariamente ottenuto filmando l’oggetto in primo piano contro uno sfondo uniforme blu o verde.

Processi di estrazione fotochimica laboriosi per un effetto visivo di ILM per ‘Return of the Jedi’ (1983). Fonte: https://www.youtube.com/watch?v=qwMLOjqPmbQ

Nel filmato risultante, il colore di sfondo sarebbe stato successivamente isolato chimicamente e utilizzato come modello per ristampare l’oggetto in primo piano (o persona) in una stampa ottica come un oggetto “galleggiante” in una cellula di pellicola trasparente.

Il processo era noto come sovrapposizione di separazione del colore (CSO) – sebbene questo termine sarebbe diventato più associato agli effetti video “Chromakey” grezzi in output televisivo a basso budget degli anni ’70 e anni ’80, che sono stati ottenuti con mezzi analogici piuttosto che chimici o digitali.

Una dimostrazione di sovrapposizione di separazione del colore nel 1970 per lo show per bambini britannico ‘Blue Peter’. Fonte: https://www.bbc.co.uk/archive/blue_peter_noakes_CSO/zwb9vwx

In ogni caso, sia per elementi di film che di video, in seguito il filmato estratto poteva essere inserito in qualsiasi altro filmato.

Sebbene il processo di sodio-vapore di Disney, notevolmente più costoso e proprietario, sodio-vapore (che ha selezionato il giallo, in particolare, ed è stato anche utilizzato per l’horror del 1963 di Alfred Hitchcock The Birds) ha fornito una definizione migliore e maschere più nitide, l’estrazione fotochimica è rimasta laboriosa e instabile.

Il processo di estrazione del sodio-vapore di Disney richiedeva sfondi vicini all’estremità gialla dello spettro. Qui, Angela Lansbury è sospesa su fili durante la produzione di una sequenza di effetti visivi per ‘Bedknobs and Broomsticks’ (1971). Fonte

Oltre la maschera digitale

Negli anni ’90, la rivoluzione digitale ha eliminato i prodotti chimici, ma non la necessità di schermi verdi. È stato possibile rimuovere lo sfondo verde (o qualsiasi colore) semplicemente cercando i pixel all’interno di una gamma di tolleranza di quel colore, nel software di editing dei pixel come Photoshop, e in una nuova generazione di suite di composizione video che potevano automaticamente eliminare gli sfondi colorati. Quasi nel giro di una notte, sessant’anni dell’industria della stampa ottica sono stati consegnati alla storia.

Gli ultimi dieci anni di ricerca sulla visione computerizzata accelerata dalla GPU stanno introducendo l’estrazione della maschera in una terza era, assegnando ai ricercatori il compito di sviluppare sistemi che possano estrarre maschere di alta qualità senza la necessità di schermi verdi. Su Arxiv solo, i documenti relativi alle innovazioni nell’estrazione del primo piano basata sull’apprendimento automatico sono una caratteristica settimanale.

Mettersi nell’immagine

Questo focus di interesse accademico e industriale nell’estrazione AI ha già impattato lo spazio dei consumatori: implementazioni grezze ma funzionali sono familiari a tutti nella forma di Zoom e Skype filtri che possono sostituire i nostri sfondi di soggiorno con isole tropicali, ecc., nelle chiamate di conferenza video.

Tuttavia, le migliori maschere richiedono ancora uno schermo verde, come Zoom ha notato mercoledì scorso.

A sinistra, un uomo davanti a uno schermo verde, con capelli ben estratti tramite la funzione di sfondo virtuale di Zoom. A destra, una donna davanti a una scena domestica normale, con capelli estratti algoritmicamente, con minore accuratezza e con maggiori requisiti di calcolo. Fonte: https://support.zoom.us/hc/en-us/articles/210707503-Changing-your-Virtual-Background-image

Un post successivo dalla piattaforma di supporto di Zoom avverte che l’estrazione senza schermo verde richiede anche una maggiore potenza di calcolo nel dispositivo di cattura.

La necessità di tagliare

I miglioramenti nella qualità, portabilità e economia delle risorse per i sistemi di maschera “in the wild” (ovvero isolare le persone senza la necessità di schermi verdi) sono rilevanti per molti settori e attività oltre alle sole filtri di videoconferenza.

Per lo sviluppo dei set di dati, un miglioramento della riconoscimento facciale, della testa e del corpo offre la possibilità di assicurarsi che gli elementi di sfondo estranei non vengano addestrati nei modelli di visione computerizzata dei soggetti umani; un’isolamento più accurato migliorerebbe notevolmente le tecniche di segmentazione semantica progettate per distinguere e assimilare domini (ad esempio ‘gatto’, ‘persona’, ‘barca’), e migliorerebbe i sistemi di sintesi di immagini basati su VAE e trasformatori come il nuovo DALL-E 2 di OpenAI; e migliori algoritmi di estrazione ridurrebbero la necessità di costosi rotoscoping manuale nelle costose pipeline di effetti visivi.

In realtà, l’ascesa di metodologie multimodali (di solito testo/immagine), dove un dominio come “gatto” è codificato sia come immagine che con riferimenti testuali associati, sta già facendo breccia nell’elaborazione delle immagini. Un esempio recente è l’architettura Text2Live, che utilizza l’addestramento multimodale (testo/immagine) per creare video di, tra le altre cose, cigni di cristallo e giraffe di vetro.

La maschera AI consapevole della scena

Una grande quantità di ricerca sull’estrazione automatica della maschera AI si è concentrata sul riconoscimento dei bordi e sulla valutazione dei raggruppamenti di pixel all’interno di un’immagine o di un frame video. Tuttavia, una nuova ricerca dalla Cina offre una pipeline di estrazione che migliora la delimitazione e la qualità della maschera sfruttando descrizioni testuali di una scena (un approccio multimodale che ha guadagnato trazione nel settore della ricerca sulla visione computerizzata negli ultimi 3-4 anni), affermando di aver migliorato i metodi precedenti in diversi modi.

Un esempio di estrazione SPG-IM (ultima immagine, in basso a destra), confrontato con metodi precedenti. Fonte: https://arxiv.org/pdf/2204.09276.pdf

La sfida posta per il settore della ricerca sull’estrazione è quella di produrre flussi di lavoro che richiedano un minimo di annotazione manuale e intervento umano – idealmente, nessuno. Oltre alle implicazioni di costo, i ricercatori del nuovo documento osservano che le annotazioni e le segmentazioni manuali eseguite da lavoratori esterni in diverse culture possono causare immagini etichettate o addirittura segmentate in modi diversi, portando a algoritmi incoerenti e insoddisfacenti.

Un esempio di ciò è l’interpretazione soggettiva di ciò che definisce un “oggetto in primo piano”:

Dal nuovo documento: i metodi precedenti LFM e MODNet (‘GT’ significa Ground Truth, un risultato ‘ideale’ spesso ottenuto manualmente o con metodi non algoritmici), hanno diverse e variamente efficaci interpretazioni della definizione di contenuto in primo piano, mentre il nuovo metodo SPG-IM delimita più efficacemente il ‘contenuto vicino’ attraverso il contesto della scena.

Per affrontare questo, i ricercatori hanno sviluppato una pipeline a due stadi chiamata Situational Perception Guided Image Matting (SPG-IM). L’architettura encoder/decoder a due stadi comprende la Distillazione della Percezione Situazionale (SPD) e la Maschera Guidata dalla Percezione Situazionale (SPGM).

L’architettura SPG-IM.

Prima, la SPD pre-addestra le trasformazioni di caratteristiche visive-testuali, generando didascalie appropriate alle immagini associate. Dopo di questo, la previsione della maschera in primo piano è abilitata collegando la pipeline a una nuova tecnica di previsione della salienza.

Quindi la SPGM produce una maschera alfa stimata in base all’input dell’immagine RGB grezza e della maschera generata nel primo modulo.

L’obiettivo è la guida della percezione situazionale, in cui il sistema ha una comprensione contestuale di ciò che consiste l’immagine, consentendogli di inquadrare – ad esempio – la sfida di estrarre capelli complessi da uno sfondo contro caratteristiche note di un compito specifico.

Nell’esempio seguente, SPG-IM comprende che i cavi sono intrinseci a un ‘paracadute’, dove MODNet non riesce a mantenere e definire questi dettagli. Allo stesso modo, la struttura completa dell’attrezzo da gioco è arbitrariamente persa in MODNet.

Il nuovo documento è intitolato Situational Perception Guided Image Matting e proviene da ricercatori dell’Istituto di Ricerca OPPO, PicUp.ai e Xmotors.

Maschere automatiche intelligenti

SPG-IM offre anche una Rete di Raffinamento della Trasformazione Focale Adattiva (AFT) che può elaborare i dettagli locali e il contesto globale separatamente, facilitando le “maschere intelligenti”.

Comprendere il contesto della scena, in questo caso ‘ragazza con cavallo’, può potenzialmente rendere l’estrazione del primo piano più facile dei metodi precedenti.

Il documento afferma:

‘Crediamo che le rappresentazioni visive del compito visivo-testuale, ad esempio la didascalia dell’immagine, si concentrino su segnali più semanticamente completi tra a) oggetto e oggetto e b) oggetto e ambiente, per generare descrizioni che possano coprire sia le informazioni globali che i dettagli locali. Inoltre, rispetto all’annotazione dei pixel costosa dell’estrazione dell’immagine, le etichette testuali possono essere raccolte in massa a un costo molto basso.’

La branca SPD dell’architettura è pre-addestrata congiuntamente con il decodificatore testuale basato su trasformatori dell’Università del Michigan VirTex, che apprende rappresentazioni visive da didascalie semanticamente dense.

VirTex addestra congiuntamente una rete convoluzionale e trasformatori tramite coppie di immagini e didascalie, e trasferisce le conoscenze acquisite a compiti di visione a valle come il rilevamento di oggetti. Fonte: https://arxiv.org/pdf/2006.06666.pdf

Tra gli altri test e studi di ablazione, i ricercatori hanno testato SPG-IM contro metodi basati su trimap di stato dell’arte trimap, Deep Image Matting (DIM), IndexNet, Context-Aware Image Matting (CAM), Guided Contextual Attention (GCA), FBA, e Semantic Image Mapping (SIM).

Altri framework precedenti testati includevano approcci senza trimap LFM, HAttMatting, e MODNet. Per un confronto equo, i metodi di test sono stati adattati in base alle diverse metodologie; dove il codice non era disponibile, le tecniche del documento sono state riprodotte dall’architettura descritta.

Il nuovo documento afferma:

‘Il nostro SPG-IM supera tutti i metodi senza trimap in competizione ([LFM], [HAttMatting] e [MODNet]) di una grande misura. Nel frattempo, il nostro modello mostra anche una notevole superiorità sui metodi basati su trimap e maschera guidata di stato dell’arte in termini di tutte e quattro le metriche attraverso i set di dati pubblici (ad esempio Composition-1K, Distinction-646 e Human-2K), e il nostro benchmark Multi-Object-1K.’

E continua:

‘È possibile osservare chiaramente che il nostro metodo conserva i dettagli fini (ad esempio i siti dei capelli, le texture trasparenti e i bordi) senza la guida del trimap. Inoltre, rispetto ad altri modelli senza trimap in competizione, il nostro SPG-IM può conservare una migliore completezza semantica globale.’

Pubblicato per la prima volta il 24 aprile 2022.