Modifica degli oggetti assistita da AI con Imagic di Google e ‘Erase and Replace’ di Runway

Questa settimana due nuovi algoritmi grafici guidati da AI offrono modi innovativi per gli utenti finali di apportare cambiamenti altamente granulari ed efficaci agli oggetti nelle foto.

Il primo è Imagic, di Google Research, in associazione con l’Istituto di Tecnologia di Israele e l’Istituto di Scienza Weizmann. Imagic offre la modifica fine-granulare degli oggetti tramite la fine-tuning dei modelli di diffusione.

Cambia ciò che vuoi e lascia il resto – Imagic promette la modifica granulare solo delle parti che desideri cambiare. Fonte: https://arxiv.org/pdf/2210.09276.pdf

Chiunque abbia mai cercato di cambiare solo un elemento in una ri-creazione di Stable Diffusion saprà fin troppo bene che per ogni modifica riuscita, il sistema cambierà cinque cose che ti piacevano proprio come stavano. È un limite che attualmente costringe molti degli appassionati di SD più talentuosi a passare costantemente tra Stable Diffusion e Photoshop per sistemare questo tipo di “danno collaterale”. Da questo punto di vista, i risultati di Imagic sembrano notevoli.

Al momento della stesura, Imagic manca ancora di un video promozionale e, data l’attitudine cauta di Google nel rilasciare strumenti di sintesi di immagini senza restrizioni, è incerto fino a che punto, se mai, avremo la possibilità di testare il sistema.

La seconda offerta è la funzionalità Erase and Replace di Runway ML, una nuova funzione nella sezione “AI Magic Tools” della sua suite online di utility di effetti visivi basati su apprendimento automatico.

La funzionalità Erase and Replace di Runway ML, già vista in anteprima per un sistema di editing video testo-azione. Fonte: https://www.youtube.com/watch?v=41Qb58ZPO60

Vediamo prima la versione di Runway.

Erase and Replace

Come Imagic, Erase and Replace si occupa esclusivamente di immagini fisse, anche se Runway ha anteprima la stessa funzionalità in una soluzione di editing video testo-azione che non è ancora stata rilasciata:

Sebbene chiunque possa testare la nuova funzionalità Erase and Replace sulle immagini, la versione video non è ancora disponibile pubblicamente. Fonte: https://twitter.com/runwayml/status/1568220303808991232

Sebbene Runway ML non abbia rilasciato dettagli sulle tecnologie dietro Erase and Replace, la velocità con cui è possibile sostituire una pianta con un busto di Ronald Reagan ragionevolmente convincente suggerisce che un modello di diffusione come Stable Diffusion (o, molto meno probabile, un DALL-E 2 con licenza) sia il motore che reinventa l’oggetto della tua scelta in Erase and Replace.

Sostituire una pianta con un busto di The Gipper non è proprio così veloce, ma è abbastanza veloce. Fonte: https://app.runwayml.com/

Il sistema ha alcune restrizioni di tipo DALL-E 2 – immagini o testo che attivano i filtri di Erase and Replace scateneranno un avviso sulla possibile sospensione dell’account in caso di ulteriori infrazioni – praticamente un clone boilerplate delle politiche di OpenAI per DALL-E 2.

Molti dei risultati mancano dei bordi grezzi tipici di Stable Diffusion. Runway ML sono investitori e partner di ricerca in SD, e potrebbe essere che abbiano addestrato un modello proprietario superiore al checkpoint di peso 1.4 open source che il resto di noi sta attualmente lottando (come molti altri gruppi di sviluppo, hobbysti e professionisti, che stanno attualmente addestrando o fine-tuning modelli di Stable Diffusion).

Sostituire un tavolo domestico con un ‘tavolo di ghiaccio’ in Erase and Replace di Runway ML.

Come Imagic (vedi sotto), Erase and Replace è ‘orientato agli oggetti’ – non puoi semplicemente cancellare una ‘parte vuota’ dell’immagine e riempirla con il risultato del tuo prompt di testo; in quel caso, il sistema traccerà semplicemente l’oggetto più vicino apparente lungo la linea di vista del mascheramento (come un muro o una televisione) e applicherà la trasformazione lì.

Come indica il nome, non puoi iniettare oggetti nello spazio vuoto in Erase and Replace. Qui, un tentativo di evocare il più famoso dei signori Sith si traduce in un murale strano e legato a Vader sulla TV, approssimativamente dove era stato disegnato l’area di sostituzione.

È difficile dire se Erase and Replace stia evitando l’uso di immagini protette da copyright (che sono ancora in gran parte ostruite, sebbene con successo variabile, in DALL-E 2) o se il modello utilizzato nel motore di rendering di backend non sia semplicemente ottimizzato per quel tipo di cose.

Il ‘Mural of Nicole Kidman’ leggermente NSFW indica che il modello basato presumibilmente sulla diffusione a disposizione manca della precedente reiezione sistematica di DALL-E 2 per la rappresentazione di volti realistici o contenuti osé, mentre i risultati per i tentativi di evocare opere protette da copyright vanno dall’ambiguo (‘xenomorph’) all’assurdo (‘the iron throne’). In alto a destra, l’immagine di origine.

Sarebbe interessante sapere quali metodi stia utilizzando Erase and Replace per isolare gli oggetti che è in grado di sostituire. Presumibilmente l’immagine viene eseguita attraverso una derivazione di CLIP, con gli elementi discreti individuati dal riconoscimento degli oggetti e dalla successiva segmentazione semantica. Nessuna di queste operazioni funziona altrettanto bene in un’installazione comune di Stable Diffusion.

Ma nulla è perfetto – a volte il sistema sembra cancellare e non sostituire, anche quando (come abbiamo visto nell’immagine sopra), il meccanismo di rendering sottostante sa sicuramente cosa significa un prompt di testo. In questo caso, si dimostra impossibile trasformare un tavolo da caffè in un xenomorph – piuttosto, il tavolo semplicemente scompare.

Un’iterazione più spaventosa di ‘Dov’è Waldo’, poiché Erase and Replace non riesce a produrre un alieno.

Erase and Replace sembra essere un sistema di sostituzione degli oggetti efficace, con un’ottima tecnica di inpainting. Tuttavia, non può modificare oggetti esistenti percepiti, ma solo sostituirli. Modificare effettivamente il contenuto di un’immagine esistente senza compromettere il materiale circostante è argomentabile un compito molto più difficile, legato alla lotta del settore della visione computerizzata verso la disentanglement negli spazi latenti dei framework popolari.

Imagic

È un compito che Imagic affronta. Il nuovo articolo offre numerosi esempi di modifiche che alterano con successo singoli aspetti di una foto lasciando il resto dell’immagine intatto.

In Imagic, le immagini modificate non soffrono dello stiramento, della distorsione e dell'”indovinare l’occlusione” caratteristici della marionetta deepfake, che utilizza priori limitati derivati da un’unica immagine.

Il sistema utilizza un processo in tre fasi – ottimizzazione dell’incorporamento del testo; fine-tuning del modello; e, infine, generazione dell’immagine modificata.

Imagic codifica il prompt di testo di destinazione per recuperare l’incorporamento iniziale del testo, e poi ottimizza il risultato per ottenere l’immagine di input. Dopo di che, il modello generativo viene fine-tunato sull’immagine di origine, aggiungendo una serie di parametri, prima di essere sottoposto all’interpolazione richiesta.

Non sorprende che la struttura sia basata sull’architettura testo-video di Google Imagen, sebbene i ricercatori affermino che i principi del sistema sono ampiamente applicabili ai modelli di diffusione latente.

Imagen utilizza un’architettura a tre livelli, anziché la matrice a sette livelli utilizzata per l’ultima iterazione testo-video del software. I tre moduli distinti comprendono un modello di diffusione generativo che opera a risoluzione 64x64px; un modello di super-risoluzione che scala questo output a 256x256px; e un modello di super-risoluzione aggiuntivo per portare l’output fino a 1024×1024 di risoluzione.

Imagic interviene nella prima fase di questo processo, ottimizzando l’incorporamento del testo richiesto alla fase 64px su un ottimizzatore Adam con un tasso di apprendimento statico di 0,0001.

Un capolavoro di disentanglement: coloro che hanno provato a cambiare qualcosa di semplice come il colore di un oggetto renderizzato in una diffusione, un modello GAN o NeRF sapranno quanto sia significativo che Imagic possa eseguire tali trasformazioni senza ‘strappare’ la coerenza del resto dell’immagine.

Il fine-tuning avviene quindi sul modello base di Imagen, per 1500 passi per immagine di input, condizionato sull’incorporamento rivisto. Allo stesso tempo, il livello secondario 64px>256px viene ottimizzato in parallelo sull’immagine condizionata. I ricercatori notano che un’ottimizzazione simile per l’ultimo livello 256px>1024px ha “poco o nessun effetto” sui risultati finali e quindi non l’hanno implementata.

Il documento afferma che il processo di ottimizzazione richiede circa otto minuti per ogni immagine su chip TPUV4 gemelli. Il rendering finale avviene nel core di Imagen sotto lo schema di campionamento DDIM.

In comune con processi di fine-tuning simili per DreamBooth di Google, le incorporazioni risultanti possono essere utilizzate inoltre per alimentare la stilizzazione, nonché modifiche fotorealistiche che contengono informazioni tratte dal database più ampio che alimenta Imagen (poiché, come mostra la prima colonna qui sotto, le immagini di origine non hanno il contenuto necessario per effettuare queste trasformazioni).

Movimenti e modifiche fotorealistiche flessibili possono essere ottenute tramite Imagic, mentre i codici derivati e disentangled ottenuti nel processo possono essere utilizzati altrettanto facilmente per output stilizzati.

I ricercatori hanno confrontato Imagic con lavori precedenti SDEdit, un approccio basato su GAN del 2021, una collaborazione tra l’Università di Stanford e l’Università di Carnegie Mellon; e Text2Live, una collaborazione, di aprile 2022, tra l’Istituto di Scienza Weizmann e NVIDIA.

Un confronto visivo tra Imagic, SDEdit e Text2Live.

È chiaro che gli approcci precedenti stanno faticando, ma nella riga inferiore, che coinvolge l’introduzione di un cambiamento di posa massiccio, gli incumbent falliscono completamente nel rielaborare il materiale di origine, rispetto a un successo notevole di Imagic.

Le esigenze di risorse e il tempo di formazione di Imagic per immagine, mentre sono brevi secondo gli standard di tali ricerche, lo rendono un’inclusione improbabile in un’applicazione di editing di immagini locale su computer personali – e non è chiaro fino a che punto il processo di fine-tuning potrebbe essere ridotto a livelli di consumo.

Come si presenta, Imagic è un’offerta impressionante che è più adatta agli API – un ambiente in cui Google Research, timoroso delle critiche riguardo alla facilitazione del deepfaking, potrebbe comunque sentirsi più a suo agio.

Pubblicato per la prima volta il 18 ottobre 2022.