Modifica delle immagini con Gaussian Splatting

Una nuova collaborazione tra ricercatori in Polonia e Regno Unito propone la possibilità di utilizzare il Gaussian Splatting per modificare le immagini, interpretando temporaneamente una parte selezionata dell’immagine nello spazio 3D, consentendo all’utente di modificare e manipolare la rappresentazione 3D dell’immagine e quindi applicare la trasformazione.

Per cambiare l’orientamento della testa del gatto, la sezione rilevante viene spostata nello spazio 3D tramite Gaussian Splatting e quindi manipolata dall’utente. La modifica viene quindi applicata. Il processo è analogo a varie tecniche modali nel software Adobe, che bloccano l’interfaccia fino a quando non viene completato un processo complesso corrente. Fonte: https://github.com/waczjoan/MiraGe/

Dal momento che l’elemento Gaussian Splat è rappresentato temporaneamente da una mesh di triangoli e momentaneamente entra in uno ‘stato CGI’, un motore fisico integrato nel processo può interpretare il movimento naturale, sia per cambiare lo stato statico di un oggetto, sia per produrre un’animazione.

Un motore fisico incorporato nel nuovo sistema MiraGe può eseguire interpretazioni naturali del movimento fisico, sia per animazioni che per alterazioni statiche di un’immagine.

Non è coinvolto alcun AI generativo nel processo, il che significa che non sono coinvolti Latent Diffusion Models (LDM), a differenza del sistema Firefly di Adobe, che è stato addestrato su Adobe Stock (in precedenza Fotolia).

Il sistema – chiamato MiraGe – interpreta le selezioni nello spazio 3D e inferisce la geometria creando un’immagine speculare della selezione e approssimando le coordinate 3D che possono essere incorporate in uno Splat, che quindi interpreta l’immagine in una mesh.

Click to play. Ulteriori esempi di elementi che sono stati modificati manualmente da un utente del sistema MiraGe o soggetti a deformazione basata sulla fisica.

Gli autori hanno confrontato il sistema MiraGe con approcci precedenti e hanno scoperto che raggiunge prestazioni di stato dell’arte nel compito di destinazione.

Gli utenti del sistema di modellazione zBrush saranno familiari con questo processo, poiché zBrush consente all’utente di fondamentalmente ‘appiattire’ un modello 3D e aggiungere dettagli 2D, preservando la mesh sottostante e interpretando i nuovi dettagli in esso – un ‘congelamento’ che è l’opposto del metodo MiraGe, che funziona più come le manipolazioni modali di Firefly o altri tipi di interpretazione 3D grezzi.

I Gaussian Splats parametrizzati consentono a MiraGe di creare ricostruzioni di alta qualità di aree selezionate di un’immagine 2D e applicare fisica del corpo morbido alla selezione temporaneamente 3D.

Il documento afferma:

‘[Noi] presentiamo un modello che codifica immagini 2D simulando l’interpretazione umana. In particolare, il nostro modello percepisce un’immagine 2D come un essere umano vedrebbe una fotografia o un foglio di carta, trattandola come un oggetto piatto all’interno di uno spazio 3D.

‘Questo approccio consente una modifica di immagini intuitiva e flessibile, catturando le sfumature della percezione umana mentre consente trasformazioni complesse.’

Il nuovo documento si intitola MiraGe: immagini 2D modificabili utilizzando Gaussian Splatting e proviene da quattro autori di diverse università, tra cui l’Università Jagellonica di Cracovia e l’Università di Cambridge. Il codice completo del sistema è stato rilasciato su GitHub.

Vediamo come i ricercatori hanno affrontato la sfida.

Metodo

L’approccio MiraGe utilizza la parametrizzazione Gaussian Mesh Splatting (GaMeS), una tecnica sviluppata da un gruppo che include due degli autori del nuovo documento. GaMeS consente ai Gaussian Splats di essere interpretati come mesh CGI tradizionali e di essere soggetti alla gamma standard di tecniche di modifica e deformazione che la comunità CGI ha sviluppato nel corso degli ultimi decenni.

MiraGe interpreta ‘piatti’ Gaussians nello spazio 2D e utilizza GaMeS per ‘tirare’ il contenuto nello spazio 3D abilitato da GSplat, temporaneamente.

Ogni Gaussian piatto è rappresentato come tre punti in una nuvola di triangoli, chiamata ‘zuppa di triangoli’, aprendo l’immagine inferita alla manipolazione. Fonte: https://arxiv.org/pdf/2410.01521

Possiamo vedere nell’angolo inferiore sinistro dell’immagine sopra che MiraGe crea un’immagine ‘speculare’ della sezione di un’immagine da interpretare.

Gli autori affermano:

‘[Noi] impieghiamo un approccio innovativo che utilizza due telecamere opposte posizionate lungo l’asse Y, allineate simmetricamente intorno all’origine e dirette l’una verso l’altra. La prima telecamera è incaricata di ricostruire l’immagine originale, mentre la seconda modella la riflessione speculare.

‘La fotografia è quindi concettualizzata come un foglio di carta trasparente, incorporato all’interno del contesto spaziale 3D. La riflessione può essere rappresentata in modo efficace ruotando orizzontalmente l'[immagine]. Questo setup di telecamera speculare migliora la fedeltà delle riflessioni generate, fornendo una soluzione robusta per catturare con precisione gli elementi visivi.’

Il documento nota che una volta raggiunta questa estrazione, gli aggiustamenti prospettici che sarebbero normalmente impegnativi diventano accessibili tramite la modifica diretta in 3D. Nell’esempio seguente, vediamo una selezione di un’immagine di una donna che comprende solo il suo braccio. In questo caso, l’utente ha inclinato la mano verso il basso in modo plausibile, che sarebbe un compito impegnativo semplicemente spingendo i pixel intorno.

Un esempio della tecnica di modifica MiraGe.

Tentare di fare questo utilizzando gli strumenti generativi Firefly in Photoshop significherebbe normalmente che la mano viene sostituita da una mano sintetizzata, immaginata dalla diffusione, rompendo l’autenticità della modifica. Anche i sistemi più capaci, come il ControlNet sistema ausiliario per Stable Diffusion e altri Latent Diffusion Models, come Flux, lottano per raggiungere questo tipo di modifica in un flusso di lavoro immagine-per-immagine.

Questa particolare ricerca è stata dominata da metodi che utilizzano rappresentazioni neurali implicite (INR), come SIREN e WIRE. La differenza tra una rappresentazione implicita e una rappresentazione esplicita è che le coordinate del modello non sono direttamente indirizzabili nelle INR, che utilizzano una funzione continua.

Al contrario, il Gaussian Splatting offre coordinate cartesiane X/Y/Z esplicite e indirizzabili, anche se utilizza ellissi gaussiane anziché voxel o altri metodi per rappresentare il contenuto in uno spazio 3D.

L’idea di utilizzare GSplat in uno spazio 2D è stata presentata più prominentemente, gli autori notano, nella collaborazione accademica cinese del 2024 GaussianImage, che ha offerto una versione 2D del Gaussian Splatting, consentendo tassi di inferenza di 1000fps. Tuttavia, questo modello non ha alcuna implementazione legata alla modifica delle immagini.

Dopo che la parametrizzazione GaMeS estrae l’area selezionata in una rappresentazione Gaussian/mesh, l’immagine viene ricostruita utilizzando la tecnica Material Points Method (MPM) originariamente delineata in un documento CSAIL del 2018.

In MiraGe, durante il processo di alterazione, il Gaussian Splat esiste come un proxy guida per una versione mesh equivalente, molto come i modelli CGI 3DMM sono frequentemente utilizzati come metodi di orchestrazione per tecniche di rendering neurale implicita come i Campi di Radiazione Neurale (NeRF).

Nel processo, gli oggetti bidimensionali vengono modellati nello spazio 3D e le parti dell’immagine che non sono influenzate non sono visibili all’utente finale, in modo che l’effetto contestuale delle manipolazioni non sia evidente fino a quando il processo non è concluso.

MiraGe può essere integrato nel popolare programma 3D open source Blender, che ora viene frequentemente utilizzato in flussi di lavoro che includono l’intelligenza artificiale, principalmente per scopi di immagine-per-immagine.

Un flusso di lavoro per MiraGe in Blender, che coinvolge il movimento del braccio di una figura rappresentata in un’immagine 2D.

Gli autori offrono due versioni di un approccio di deformazione basato sul Gaussian Splatting – Amorphous e Graphite.

L’approccio Amorphous utilizza direttamente il metodo GaMeS e consente all’estratto 2D di muoversi liberamente nello spazio 3D, mentre l’approccio Graphite vincola i Gaussians allo spazio 2D durante l’inizializzazione e l’addestramento.

I ricercatori hanno scoperto che sebbene l’approccio Amorphous possa gestire meglio le forme complesse rispetto al Graphite, ‘lacrime’ o artefatti di rift sono più evidenti, dove il bordo della deformazione si allinea con la parte non influenzata dell’immagine*.

Pertanto, hanno sviluppato il sopracitato sistema ‘immagine speculare’:

‘[Noi] impieghiamo un approccio innovativo che utilizza due telecamere opposte posizionate lungo l’asse Y, allineate simmetricamente intorno all’origine e dirette l’una verso l’altra.

‘La prima telecamera è incaricata di ricostruire l’immagine originale, mentre la seconda modella la riflessione speculare. L’immagine è quindi concettualizzata come un foglio di carta trasparente, incorporato all’interno del contesto spaziale 3D. La riflessione può essere rappresentata in modo efficace ruotando orizzontalmente l'[immagine].

‘Questo setup di telecamera speculare migliora la fedeltà delle riflessioni generate, fornendo una soluzione robusta per catturare con precisione gli elementi visivi.’

Il documento nota che MiraGe può utilizzare motori fisici esterni come quelli disponibili in Blender o in Taichi_Elements.

Dati e test

Per le valutazioni della qualità delle immagini nei test eseguiti per MiraGe, sono stati utilizzati il rapporto segnale/rumore (SNR) e la metrica MS-SIM.

I set di dati utilizzati sono stati il Kodak Lossless True Color Image Suite e il set di validazione DIV2K. Le risoluzioni di questi set di dati si adattavano a un confronto con il lavoro precedente più vicino, Gaussian Image. Gli altri framework rivali provati sono stati SIREN, WIRE, NVIDIA’s Instant Neural Graphics Primitives (I-NGP) e NeuRBF.

Gli esperimenti si sono svolti su un laptop NVIDIA GEFORCE RTX 4070 e su un NVIDIA RTX 2080.

MiraGe offre risultati di stato dell’arte rispetto ai framework precedenti scelti, secondo i risultati presentati nel nuovo documento.

Di questi risultati, gli autori affermano:

‘Vediamo che la nostra proposta supera le soluzioni precedenti in entrambi i set di dati. La qualità misurata da entrambe le metriche mostra un miglioramento significativo rispetto a tutti gli approcci precedenti.’

Conclusione

L’adattamento di MiraGe del Gaussian Splatting 2D è chiaramente una prima e timida incursione in ciò che potrebbe rivelarsi un’alternativa molto interessante alle incertezze e ai capricci dell’utilizzo di modelli di diffusione per apportare modifiche a un’immagine (ad esempio, tramite Firefly e altri metodi di diffusione basati su API, e tramite architetture open source come Stable Diffusion e Flux).

Sebbene ci siano molti modelli di diffusione che possono apportare modifiche minori alle immagini, gli LDM sono limitati dal loro approccio semantico e spesso ‘troppo immaginativo’ a una richiesta di modifica basata su testo.

Pertanto, la capacità di estrarre temporaneamente una parte di un’immagine nello spazio 3D, manipolarla e sostituirla nuovamente nell’immagine, utilizzando solo l’immagine originale come riferimento, sembra un compito per cui il Gaussian Splatting potrebbe essere ben adatto in futuro.

* C’è una certa confusione nel documento, in quanto cita ‘Amorphous-Mirage’ come il metodo più efficace e capace, nonostante la sua tendenza a produrre Gaussians indesiderati (artefatti), mentre sostiene che ‘Graphite-Mirage’ è più flessibile. Sembra che Amorphous-Mirage ottenga il miglior dettaglio e Graphite-Mirage la miglior flessibilità. Dal momento che entrambi i metodi sono presentati nel documento, con le loro diverse forze e debolezze, la preferenza degli autori, se presente, non sembra essere chiara al momento.

Pubblicato per la prima volta giovedì, 3 ottobre 2024