Migliorare la generazione di schermi verdi per la diffusione stabile

Nonostante l’entusiasmo della comunità e degli investitori intorno all’intelligenza artificiale visiva generativa, l’output di tali sistemi non è sempre pronto per l’uso nel mondo reale; un esempio è che i sistemi di intelligenza artificiale generativa tendono a produrre interi immagini (o una serie di immagini, nel caso di video), piuttosto che gli elementi individuali isolati che sono tipicamente richiesti per diverse applicazioni multimediali e per gli operatori di effetti visivi.

Un semplice esempio di ciò è il clip-art progettato per “galleggiare” su qualsiasi sfondo di destinazione selezionato dall’utente:

Lo sfondo grigio chiaro a scacchiera, forse più familiare agli utenti di Photoshop, è diventato il simbolo del canale alfa, o canale di trasparenza, anche in semplici articoli di consumo come le immagini stock.

La trasparenza di questo tipo è stata comunemente disponibile per oltre trent’anni; dal 1990, gli utenti hanno potuto estrarre elementi da video e immagini attraverso una serie sempre più sofisticata di strumenti e tecniche.

Ad esempio, la sfida di “eliminare” sfondi blu e verdi nei filmati, un tempo appannaggio di costosi processi chimici e stampanti ottiche (nonché maschere fatte a mano), sarebbe diventata il lavoro di pochi minuti in sistemi come Adobe’s After Effects e Photoshop (tra molti altri programmi e sistemi gratuiti e proprietari).

Una volta che un elemento è stato isolato, un canale alfa (effettivamente una maschera che oscura qualsiasi contenuto non pertinente) consente a qualsiasi elemento nel video di essere sovrapposto senza sforzo su nuovi sfondi, o composto con altri elementi isolati.

Esempi di canali alfa, con i loro effetti rappresentati nella riga inferiore. Fonte: https://helpx.adobe.com/photoshop/using/saving-selections-alpha-channel-masks.html

Eliminazione

Nella visione computerizzata, la creazione di canali alfa rientra nell’ambito della segmentazione semantica, con progetti open source come Meta’s Segment Anything che fornisce un metodo attivabile da prompt di testo per isolare/estrarre oggetti target, attraverso il riconoscimento di oggetti semanticamente migliorato.

Il framework Segment Anything è stato utilizzato in una vasta gamma di flussi di lavoro di estrazione e isolamento di effetti visivi, come il progetto Alpha-CLIP.

Esempi di estrazioni utilizzando Segment Anything, nel framework Alpha-CLIP: Fonte: https://arxiv.org/pdf/2312.03818

Esistono molte alternative metodi di segmentazione semantica che possono essere adattati al compito di assegnare canali alfa.

Tuttavia, la segmentazione semantica si basa su dati di addestramento che potrebbero non contenere tutte le categorie di oggetti richieste per essere estratte. Sebbene i modelli addestrati su grandi volumi di dati possano consentire il riconoscimento di un’ampia gamma di oggetti (diventando effettivamente modelli fondamentali o modelli di mondo), sono comunque limitati dalle classi che sono state addestrate per riconoscere più efficacemente.

I sistemi di segmentazione semantica come Segment Anything possono avere difficoltà a identificare certi oggetti, o parti di oggetti, come mostrato qui nell’output di prompt ambigui. Fonte: https://maucher.pages.mi.hdm-stuttgart.de/orbook/deeplearning/SAM.html

In ogni caso, la segmentazione semantica è altrettanto un post facto processo quanto una procedura di schermo verde, e deve isolare gli elementi senza il vantaggio di un’unica striscia di colore di sfondo che può essere efficacemente riconosciuta e rimossa.

Per questo motivo, è occasionalmente capitato alla comunità degli utenti che le immagini e i video potrebbero essere generati che contengono effettivamente sfondi verdi che potrebbero essere istantaneamente rimossi attraverso metodi convenzionali.

Purtroppo, i popolari modelli di diffusione latente come Stable Diffusion spesso hanno difficoltà a rendere un verde schermo veramente vivido. Ciò è dovuto al fatto che i dati di addestramento dei modelli non contengono normalmente molti esempi di questo scenario piuttosto specializzato. Anche quando il sistema ha successo, l’idea di “verde” tende a diffondersi in modo indesiderato nel soggetto in primo piano, a causa dell’intreccio di concetti:

In alto, vediamo che Stable Diffusion ha prioritizzato l’autenticità dell’immagine rispetto alla necessità di creare un’unica intensità di verde, replicando efficacemente i problemi del mondo reale che si verificano in scenari di schermo verde tradizionali. In basso, vediamo che il concetto di “verde” ha inquinato l’immagine in primo piano. Più il prompt si concentra sul concetto di “verde”, peggiore sarà questo problema. Fonte: https://stablediffusionweb.com/

Nonostante i metodi avanzati in uso, sia l’abito della donna che la cravatta dell’uomo (nelle immagini inferiori mostrate sopra) tenderebbero a “cadere” insieme allo sfondo verde – un problema che risale ai giorni della rimozione della vernice chimica fotochimica negli anni ’70 e ’80.

Come sempre, le carenze di un modello possono essere superate gettando dati specifici su un problema e dedicando notevoli risorse di addestramento. Sistemi come il LayerDiffuse di Stanford creano un modello fine-tuned in grado di generare immagini con canali alfa:

Il progetto LayerDiffuse di Stanford è stato addestrato su un milione di immagini adatte in grado di infondere nel modello capacità di trasparenza. Fonte: https://arxiv.org/pdf/2402.17113

Purtroppo, oltre alle notevoli risorse di curation e addestramento richieste per questo approccio, il dataset utilizzato per LayerDiffuse non è disponibile pubblicamente, limitando l’uso dei modelli addestrati su di esso. Anche se questo ostacolo non esistesse, questo approccio è difficile da personalizzare o sviluppare per casi d’uso specifici.

Poco dopo, nel 2024, la ricerca di Adobe ha collaborato con l’Università di Stonybrook per produrre MAGICK, un approccio di estrazione AI addestrato su immagini di diffusione create su misura.

Dall’articolo del 2024, un esempio di estrazione di canali alfa fine-grana in MAGICK. Fonte: https://openaccess.thecvf.com/content/CVPR2024/papers/Burgert_MAGICK_A_Large-scale_Captioned_Dataset_from_Matting_Generated_Images_using_CVPR_2024_paper.pdf

150.000 oggetti estratti e generati da AI sono stati utilizzati per addestrare MAGICK, in modo che il sistema sviluppasse una comprensione intuitiva dell’estrazione:

Campioni dal set di dati di addestramento di MAGICK.

Questo set di dati, come afferma l’articolo di origine, è stato molto difficile da generare per il motivo sopra menzionato – che i metodi di diffusione hanno difficoltà a creare strisce solide di colore. Pertanto, la selezione manuale delle maschere generate è stata necessaria.

Questo collo di bottiglia logistico porta nuovamente a un sistema che non può essere facilmente sviluppato o personalizzato, ma deve essere utilizzato all’interno della sua gamma di capacità inizialmente addestrata.

TKG-DM – Estrazione cromatica “nativa” per un modello di diffusione latente

Una nuova collaborazione tra ricercatori tedeschi e giapponesi ha proposto un’alternativa a tali metodi addestrati, in grado – come afferma l’articolo – di ottenere risultati migliori dei metodi sopra menzionati, senza la necessità di addestrare su set di dati appositamente curati.

TKG-DM modifica il rumore casuale che innesca un’immagine generativa in modo che sia meglio in grado di produrre uno sfondo solido e chiaveabile – in qualsiasi colore. Fonte: https://arxiv.org/pdf/2411.15580

Il nuovo metodo si avvicina al problema a livello di generazione, ottimizzando il rumore casuale da cui un’immagine è generata in un modello di diffusione latente (LDM) come Stable Diffusion.

L’approccio si basa su una precedente indagine sullo schema di colore di una distribuzione di Stable Diffusion, ed è in grado di produrre colore di sfondo di qualsiasi tipo, con meno (o nessuna) intreccio del colore di sfondo nel contenuto in primo piano, rispetto ad altri metodi.

Il rumore iniziale è condizionato da uno spostamento della media del canale che può influenzare aspetti del processo di denoising, senza intrecciare il segnale di colore nel contenuto in primo piano.

L’articolo afferma:

‘I nostri ampi esperimenti dimostrano che TKG-DM migliora i punteggi FID e mask-FID del 33,7% e del 35,9%, rispettivamente.

‘Pertanto, il nostro modello di addestramento gratuito rivaleggia con i modelli fine-tuned, offrendo una soluzione efficiente e versatile per vari compiti di creazione di contenuti visivi che richiedono un controllo preciso del primo piano e dello sfondo. ‘

Il nuovo articolo è intitolato TKG-DM: Training-free Chroma Key Content Generation Diffusion Model, e proviene da sette ricercatori tra l’Università di Hosei a Tokyo e RPTU Kaiserslautern-Landau & DFKI GmbH, a Kaiserslautern.

Metodo

Il nuovo approccio estende l’architettura di Stable Diffusion condizionando il rumore casuale iniziale Gaussian attraverso uno spostamento della media del canale (CMS), che produce modelli di rumore progettati per incoraggiare la separazione desiderata tra sfondo e primo piano nel risultato generato.

Schema per il sistema proposto.

CMS regola la media di ogni canale di colore mentre mantiene lo sviluppo generale del processo di denoising.

Gli autori spiegano:

‘Per generare l’oggetto in primo piano sullo sfondo cromato, applichiamo una strategia di selezione del rumore iniziale che combina selettivamente il rumore iniziale e il rumore del colore iniziale utilizzando una maschera Gaussian 2D.

‘Questa maschera crea una transizione graduale preservando il rumore originale nella regione del primo piano e applicando il rumore spostato di colore nella regione di sfondo.’

Il canale di colore desiderato per il colore di sfondo cromato è istanziato con un prompt di testo nullo, mentre il contenuto del primo piano effettivo è creato semanticamente dal testo dell’istruzione dell’utente.

L’auto-attenzione e l’attenzione incrociata sono utilizzate per separare i due aspetti dell’immagine (lo sfondo cromato e il contenuto in primo piano). L’auto-attenzione aiuta con la coerenza interna dell’oggetto in primo piano, mentre l’attenzione incrociata mantiene la fedeltà al prompt di testo. L’articolo sottolinea che poiché le immagini di sfondo sono generalmente meno dettagliate e enfatizzate nelle generazioni, la loro influenza più debole è relativamente facile da superare e sostituire con una striscia di colore puro.

Una visualizzazione dell’influenza dell’auto-attenzione e dell’attenzione incrociata nel processo di generazione di stile cromato.

Dati e test

TKG-DM è stato testato utilizzando Stable Diffusion V1.5 e Stable Diffusion SDXL. Le immagini sono state generate a 512x512px e 1024x1024px, rispettivamente.

Le immagini sono state create utilizzando il DDIM scheduler nativo di Stable Diffusion, con un fattore di guida di 7,5, con 50 passaggi di denoising. Il colore di sfondo target è stato il verde, ora il metodo di dropout dominante.

Il nuovo approccio è stato confrontato con DeepFloyd, sotto le impostazioni utilizzate per MAGICK; al modello di diffusione a basso rango fine-tuned GreenBack LoRA; e anche al sopra menzionato LayerDiffuse.

Per i dati, sono state utilizzate 3000 immagini dal set di dati MAGICK.

Esempi dal set di dati MAGICK, da cui sono state curate 3000 immagini per i test del nuovo sistema. Fonte: https://ryanndagreat.github.io/MAGICK/Explorer/magick_rgba_explorer.html

Per le metriche, gli autori hanno utilizzato la distanza di Fréchet (FID) per valutare la qualità del primo piano. Hanno anche sviluppato una metrica specifica del progetto chiamata m-FID, che utilizza il sistema BiRefNet per valutare la qualità della maschera risultante.

Confronti visivi del sistema BiRefNet rispetto ai metodi precedenti. Fonte: https://arxiv.org/pdf/2401.03407

Per testare l’allineamento semantico con i prompt di input, sono stati utilizzati i metodi CLIP-Sentence (CLIP-S) e CLIP-Image (CLIP-I). CLIP-S valuta la fedeltà del prompt, e CLIP-I la somiglianza visiva con la verità di riferimento.

Primo set di risultati qualitativi per il nuovo metodo, questa volta per Stable Diffusion V1.5. Si prega di fare riferimento al PDF di origine per una risoluzione migliore.

Gli autori affermano che i risultati (visualizzati sopra e sotto, SD1.5 e SDXL, rispettivamente) dimostrano che TKG-DM ottiene risultati superiori senza ingegneria dei prompt o la necessità di addestrare o fine-tuning un modello.

Risultati qualitativi SDXL. Si prega di fare riferimento al PDF di origine per una risoluzione migliore.

Essi osservano che con un prompt per incitare uno sfondo verde nelle immagini generate, Stable Diffusion 1.5 ha difficoltà a generare uno sfondo pulito, mentre SDXL (sebbene performi leggermente meglio) produce sfumature di verde chiaro instabili che potrebbero interferire con la separazione in un processo cromato.

Essi notano inoltre che mentre LayerDiffuse genera sfondi ben separati, occasionalmente perde dettagli, come numeri o lettere precise, e gli autori attribuiscono ciò alle limitazioni del set di dati. Aggiungono che la generazione della maschera occasionalmente fallisce, portando a immagini “non tagliate”.

Per i test quantitativi, sebbene LayerDiffuse abbia apparentemente il vantaggio in SDXL per FID, gli autori sottolineano che ciò è il risultato di un set di dati specializzato che costituisce effettivamente un prodotto “cotto” e non flessibile. Come menzionato in precedenza, qualsiasi oggetto o classe non coperta in quel set di dati, o coperta inadeguatamente, potrebbe non funzionare altrettanto bene, mentre ulteriore fine-tuning per accomodare classi nuove presenta all’utente un onere di curation e addestramento.

Risultati quantitativi per i confronti. L’apparente vantaggio di LayerDiffuse, come afferma l’articolo, deriva a spese della flessibilità e dell’onere di curation e addestramento dei dati.

L’articolo afferma:

‘I punteggi FID, m-FID e CLIP-I di DeepFloyd riflettono la sua somiglianza con la verità di riferimento in base ai suoi output. Tuttavia, questo allineamento gli conferisce un vantaggio intrinseco, rendendolo inadatto come benchmark equo per la qualità dell’immagine. Il suo punteggio CLIP-S più basso indica inoltre un allineamento del testo più debole rispetto ad altri modelli.

‘Nel complesso, questi risultati sottolineano la capacità del nostro modello di generare primi piani di alta qualità e allineati con il testo senza fine-tuning, offrendo una soluzione efficiente per la generazione di contenuti cromato.’

Infine, i ricercatori hanno condotto uno studio sugli utenti per valutare l’aderenza ai prompt tra i vari metodi. Cento partecipanti sono stati invitati a giudicare 30 paia di immagini da ciascun metodo, con soggetti estratti utilizzando BiRefNet e raffinamenti manuali su tutti gli esempi. L’approccio di addestramento gratuito degli autori è stato preferito in questo studio.

Risultati dello studio sugli utenti.

TKG-DM è compatibile con il sistema di terze parti ControlNet per Stable Diffusion, e gli autori sostengono che produce risultati superiori alla capacità nativa di ControlNet di ottenere questo tipo di separazione.

Conclusione

Forse il takeaway più notevole da questo nuovo articolo è l’estensione in cui i modelli di diffusione latente sono intrecciati, in contrasto con la percezione pubblica popolare che possano separare facilmente aspetti di immagini e video quando generano nuovo contenuto.

Lo studio sottolinea ulteriormente l’estensione in cui la comunità di ricerca e di hobbyisti si è rivolta al fine-tuning come a una soluzione post facto per le carenze dei modelli – una soluzione che affronterà sempre classi e tipi di oggetti specifici. In tale scenario, un modello fine-tuned funzionerà molto bene su un numero limitato di classi, o funzionerà tollerabilmente bene su un volume molto più grande di classi e oggetti possibili, in base a maggiori quantità di dati nei set di addestramento.

Pertanto è rinfrescante vedere almeno una soluzione che non si basa su tali soluzioni laboriose e argomentabilmente disoneste.

* Le riprese del film del 1978 Superman, l’attore Christopher Reeve è stato costretto a indossare un turquoise costume di Superman per le riprese con processo blu, per evitare che il costume blu iconico venisse cancellato. Il colore blu del costume è stato successivamente ripristinato attraverso la colorazione.