Migliorare l’accuratezza dell’editing di immagini AI

Sebbene il modello di diffusione latente di Adobe, Firefly, sia probabilmente uno dei migliori attualmente disponibili, gli utenti di Photoshop che hanno provato le sue funzionalità generative avranno notato che non è in grado di modificare facilmente le immagini esistenti – invece sostituisce completamente l’area selezionata dall’utente con immagini basate sul prompt di testo dell’utente (sebbene Firefly sia abile nell’integrare la sezione generata nel contesto dell’immagine).

Nella versione beta attuale, Photoshop può almeno incorporare un’immagine di riferimento come prompt parziale, che porta il prodotto di punta di Adobe allo stesso livello di funzionalità di cui gli utenti di Stable Diffusion godono da oltre due anni, grazie a framework di terze parti come Controlnet:

La versione beta attuale di Adobe Photoshop consente l’utilizzo di immagini di riferimento quando si generano nuovi contenuti all’interno di una selezione – anche se è un affare aleatorio al momento.

Questo illustra un problema aperto nella ricerca sulla sintesi di immagini – la difficoltà che i modelli di diffusione hanno nel modificare le immagini esistenti senza implementare una completa “ri-immaginazione” della selezione indicata dall’utente.

Sebbene questo inpaint basato sulla diffusione obbedisca al prompt dell’utente, reinventa completamente la materia dell’argomento di origine senza tenere in considerazione l’immagine originale (ad eccezione del fatto di fondere la nuova generazione con l’ambiente). Fonte: https://arxiv.org/pdf/2502.20376

Questo problema si verifica perché i modelli di diffusione generano immagini attraverso la denoising iterativa, dove ogni fase del processo è condizionata dal prompt di testo fornito dall’utente. Con il contenuto del prompt di testo convertito in token di embedding, e con un modello iperscalabile come Stable Diffusion o Flux che contiene centinaia di migliaia (o milioni) di embedding quasi corrispondenti al prompt, il processo ha una distribuzione condizionale calcolata da raggiungere; e ogni passo è un passo verso questo “obiettivo di distribuzione condizionale”.

Quindi, questo è il testo per immagine – uno scenario in cui l’utente “spera per il meglio”, poiché non c’è modo di sapere esattamente cosa sarà la generazione.

Invece, molti hanno cercato di utilizzare la potente capacità generativa di un modello di diffusione per modificare le immagini esistenti – ma ciò richiede un equilibrio tra fedeltà e flessibilità.

Quando un’immagine viene proiettata nello spazio latente del modello mediante metodi come l’inversione DDIM, l’obiettivo è quello di recuperare l’originale il più fedelmente possibile, consentendo al tempo stesso modifiche significative. Il problema è che più un’immagine viene ricostruita con precisione, più il modello aderisce alla sua struttura originale, rendendo difficile apportare modifiche importanti.

In comune con molti altri framework di editing di immagini basati sulla diffusione proposti negli ultimi anni, l’architettura Renoise ha difficoltà a fare qualsiasi cambiamento reale nell’aspetto dell’immagine, con solo un’indicazione superficiale di un papillon che appare alla base della gola del gatto.

D’altra parte, se il processo priorizza la modificabilità, il modello allenta la sua presa sull’originale, rendendo più facile introdurre cambiamenti – ma a scapito della coerenza generale con l’immagine di origine:

Missione compiuta – ma si tratta di una trasformazione piuttosto che di un aggiustamento, per la maggior parte dei framework di editing di immagini basati sull’AI.

Poiché è un problema che anche le considerevoli risorse di Adobe stanno faticando ad affrontare, allora possiamo ragionevolmente considerare che la sfida è degna di nota e potrebbe non avere soluzioni facili, se mai.

Inversione stretta

Pertanto, gli esempi in un nuovo articolo pubblicato questa settimana hanno attirato la mia attenzione, poiché il lavoro offre un miglioramento degno di nota e importante rispetto allo stato attuale dell’arte in questo settore, dimostrando la capacità di applicare modifiche sottili e raffinate alle immagini proiettate nello spazio latente di un modello – senza che le modifiche siano insignificanti o sopraffacciano il contenuto originale dell’immagine di origine:

Con l’inversione stretta applicata ai metodi di inversione esistenti, la selezione di origine viene considerata in modo più granulare e le trasformazioni si conformano al materiale originale invece di sovrascriverlo.

I ricercatori e gli appassionati di LDM potrebbero riconoscere questo tipo di risultato, poiché gran parte di esso può essere creato in un flusso di lavoro complesso utilizzando sistemi esterni come Controlnet e IP-Adapter:

In effetti, il nuovo metodo – chiamato inversione stretta – sfrutta effettivamente IP-Adapter, insieme a un modello basato su volto dedicato, per le rappresentazioni umane.

Dall’articolo originale del 2023 su IP-Adapter, esempi di creazione di modifiche adeguate al materiale di origine. Fonte: https://arxiv.org/pdf/2308.06721

Il risultato più significativo dell’inversione stretta è quindi quello di aver proceduralizzato tecniche complesse in una modalità di plug-in unica che può essere applicata a sistemi esistenti, comprese molte delle distribuzioni LDM più popolari.

Naturalmente, ciò significa che l’inversione stretta (TI), come i sistemi ausiliari che sfrutta, utilizza l’immagine di origine come fattore di condizionamento per la sua versione modificata, invece di affidarsi solo a prompt di testo accurate:

Ulteriori esempi della capacità dell’inversione stretta di applicare modifiche veramente combinate al materiale di origine.

Sebbene gli autori ammettano che il loro approccio non è immune dalla tensione tradizionale e continua tra fedeltà e modificabilità nelle tecniche di editing di immagini basate sulla diffusione, essi segnalano risultati di stato dell’arte quando iniettano TI in sistemi esistenti, rispetto alle prestazioni di base.

Il nuovo lavoro è intitolato Inversione stretta: inversione condizionata dall’immagine per la modifica di immagini reali e proviene da cinque ricercatori di Tel Aviv University e Snap Research.

Metodo

Inizialmente, un modello di linguaggio grande (LLM) viene utilizzato per generare un set di prompt di testo variati da cui un’immagine viene generata. Quindi, l’inversione DDIM viene applicata a ciascuna immagine con tre condizioni di testo: il prompt di testo utilizzato per generare l’immagine; una versione abbreviata dello stesso; e un prompt vuoto (vuoto).

Con il rumore invertito restituito da questi processi, le immagini vengono rigenerate con la stessa condizione, e senza guida senza classificatore (CFG).

Punteggi di inversione DDIM in vari metriche con impostazioni di prompt variate.

Come possiamo vedere dal grafico sopra, i punteggi in varie metriche migliorano con la lunghezza del testo aumentata. Le metriche utilizzate sono state Rapporto segnale/rumore di picco (PSNR); distanza L2; Indice di similarità strutturale (SSIM); e Similarità di patch di immagine percepita appresa (LPIPS).

Consapevole dell’immagine

In effetti, l’inversione stretta cambia il modo in cui un modello di diffusione host modifica le immagini reali condizionando il processo di inversione sull’immagine stessa piuttosto che affidarsi solo al testo.

Normalmente, invertire un’immagine nello spazio del rumore di un modello di diffusione richiede la stima del rumore iniziale che, quando denoised, ricostruisce l’input. I metodi standard utilizzano un prompt di testo per guidare questo processo; ma un prompt imperfetto può portare a errori, perdendo dettagli o alterando strutture.

L’inversione stretta utilizza invece IP Adapter per alimentare informazioni visive nel modello, in modo che ricostruisca l’immagine con maggiore accuratezza, convertendo le immagini di origine in token di condizionamento e proiettandole nel pipeline di inversione.

Questi parametri sono modificabili: aumentare l’influenza dell’immagine di origine rende la ricostruzione quasi perfetta, mentre ridurla consente modifiche più creative. Ciò rende l’inversione stretta utile sia per modifiche sottili, come cambiare il colore di una maglia, sia per modifiche più significative, come sostituire oggetti – senza gli effetti collaterali comuni di altri metodi di inversione, come la perdita di dettagli fini o aberrazioni inattese nel contenuto di sfondo.

Gli autori affermano:

‘Notiamo che l’inversione stretta può essere facilmente integrata con metodi di inversione precedenti (ad esempio, Edit Friendly DDPM, ReNoise) sostituendo il nucleo di diffusione nativo con il modello modificato da IP Adapter, e l’inversione stretta migliora costantemente tali metodi in termini di ricostruzione e modificabilità.’

Dati e test

I ricercatori hanno valutato TI sulla sua capacità di ricostruire e modificare immagini di origine del mondo reale. Tutti gli esperimenti hanno utilizzato Stable Diffusion XL con un programma di denoising DDIM come descritto nel documento originale di Stable Diffusion; e tutti i test hanno utilizzato 50 passi di denoising con una scala di guida predefinita di 7,5.

Per la condizionamento dell’immagine, IP-Adapter-plus sdxl vit-h è stato utilizzato. Per i test a pochi passi, i ricercatori hanno utilizzato SDXL-Turbo con un programma di Euler, e hanno anche condotto esperimenti con FLUX.1-dev, condizionando il modello nel caso di PuLID-Flux, utilizzando RF-Inversion a 28 passi.

PulID è stato utilizzato solo nei casi che presentavano volti umani, poiché questo è il dominio per cui PulID è stato addestrato – e sebbene sia degno di nota che un sottosistema specializzato venga utilizzato per questo tipo di prompt, il nostro interesse eccessivo per la generazione di volti umani suggerisce che affidarsi solo ai pesi più ampi di un modello di base come Stable Diffusion potrebbe non essere sufficiente per gli standard che richiediamo per questo compito specifico.

I test di ricostruzione sono stati eseguiti per la valutazione qualitativa e quantitativa. Nell’immagine seguente, vediamo esempi qualitativi per l’inversione DDIM:

Risultati qualitativi per l’inversione DDIM. Ogni riga mostra un’immagine molto dettagliata accanto alle sue versioni ricostruite, con ogni passo che utilizza condizioni progressivamente più precise durante l’inversione e la denoising. Man mano che la condizionamento diventa più preciso, la qualità della ricostruzione migliora. La colonna più a destra dimostra i migliori risultati, dove l’immagine originale stessa viene utilizzata come condizionamento, raggiungendo la massima fedeltà. CFG non è stato utilizzato in nessuna fase. Si prega di fare riferimento al documento di origine per una risoluzione e un dettaglio migliori.

Il documento afferma:

‘Questi esempi evidenziano che condizionare il processo di inversione su un’immagine migliora significativamente la ricostruzione in regioni molto dettagliate.

‘In particolare, nel terzo esempio di [l’immagine seguente], il nostro metodo ricostruisce con successo il tatuaggio sulla schiena del pugile di destra. Inoltre, la posizione della gamba del pugile è più fedelmente preservata e il tatuaggio sulla gamba diventa visibile.’

Ulteriori risultati qualitativi per l’inversione DDIM. Le condizioni descrittive migliorano l’inversione DDIM, con il condizionamento dell’immagine che supera il testo, soprattutto su immagini complesse.

Gli autori hanno anche testato l’inversione stretta come modulo di drop-in per sistemi esistenti, confrontando le versioni modificate con le prestazioni di base.

I tre sistemi testati sono stati l’inversione DDIM e la RF-Inversione; e anche ReNoise, che condivide alcuni autori con l’articolo in discussione. Poiché i risultati DDIM non hanno difficoltà a ottenere il 100% di ricostruzione, i ricercatori si sono concentrati solo sulla modificabilità.

(Le immagini dei risultati qualitativi sono formattate in un modo che è difficile da riprodurre qui, quindi ci riferiamo al lettore al PDF di origine per una copertura più completa e una risoluzione migliore, nonostante che alcune selezioni siano presentate di seguito)

A sinistra, risultati qualitativi di ricostruzione per l’inversione stretta con SDXL. A destra, ricostruzione con Flux. La disposizione di questi risultati nel lavoro pubblicato rende difficile riprodurli qui, quindi si prega di fare riferimento al PDF di origine per un’impressione più vera delle differenze ottenute.

Qui gli autori commentano:

‘Come illustrato, integrare l’inversione stretta con metodi esistenti migliora costantemente la ricostruzione. Ad esempio, il nostro metodo ricostruisce con precisione la ringhiera nella sinistra e l’uomo con la maglia blu nella destra [nella figura 5 del documento].’

Gli autori hanno anche testato il sistema in modo quantitativo. In linea con lavori precedenti, hanno utilizzato il set di convalida di MS-COCO, e notano che i risultati (illustrati di seguito) migliorano la ricostruzione in tutte le metriche per tutti i metodi.

Confronto delle metriche per le prestazioni dei sistemi con e senza inversione stretta.

Successivamente, gli autori hanno testato la capacità del sistema di modificare le foto, confrontandolo con versioni di base di approcci precedenti prompt2prompt; Edit Friendly DDPM; LED-ITS++; e RF-Inversion.

Mostrati di seguito sono una selezione dei risultati qualitativi del documento per SDXL e Flux (e ci riferiamo al lettore al layout piuttosto compresso del documento originale per ulteriori esempi).

Selezioni dai risultati qualitativi disseminati nel documento. Ci riferiamo al lettore al PDF di origine per una risoluzione e una chiarezza migliori.

Gli autori sostengono che l’inversione stretta supera costantemente le tecniche di inversione esistenti, raggiungendo un miglior equilibrio tra ricostruzione e modificabilità. I metodi standard come l’inversione DDIM e ReNoise possono recuperare un’immagine bene, il documento afferma che spesso lottano per preservare i dettagli fini quando vengono applicate modifiche.

Al contrario, l’inversione stretta sfrutta il condizionamento dell’immagine per ancorare l’output del modello più strettamente all’originale, prevenendo distorsioni indesiderate. Gli autori sostengono che anche quando gli approcci concorrenti producono ricostruzioni che appaiono accurate, l’introduzione di modifiche spesso porta a artefatti o incoerenze strutturali, e che l’inversione stretta mitiga questi problemi.

Infine, i risultati quantitativi sono stati ottenuti valutando l’inversione stretta contro il benchmark MagicBrush, utilizzando l’inversione DDIM e LEDITS++, misurati con CLIP Sim.

Confronti quantitativi dell’inversione stretta contro il benchmark MagicBrush.

Gli autori concludono:

‘In entrambi i grafici il compromesso tra conservazione dell’immagine e aderenza alla modifica di destinazione è chiaramente osservato. L’inversione stretta fornisce un controllo migliore su questo compromesso e conserva meglio l’immagine di input, allineandosi ancora con la modifica [prompt]. ‘

‘Nota che una similarità CLIP di oltre 0,3 tra un’immagine e un prompt di testo indica un allineamento plausibile tra l’immagine e il prompt.’

Conclusione

Sebbene non rappresenti una “rottura” in una delle sfide più spinose nella sintesi di immagini basata su LDM, l’inversione stretta consolida una serie di approcci ausiliari in un metodo unificato di editing di immagini basato sull’AI.

Sebbene la tensione tra modificabilità e fedeltà non sia scomparsa con questo metodo, è notevolmente ridotta, secondo i risultati presentati. Considerando che la sfida centrale che questo lavoro affronta potrebbe rivelarsi in ultima analisi intractabile se affrontata con i propri termini (piuttosto che guardare oltre le architetture basate su LDM in sistemi futuri), l’inversione stretta rappresenta un gradito miglioramento incrementale nello stato dell’arte.

Pubblicato per la prima volta venerdì, 28 febbraio 2025