Restaurazione e modifica di immagini umane con l’AI

Una nuova collaborazione tra l’Università della California Merced e Adobe offre un avanzamento nello stato dell’arte della completamento di immagini umane – il compito molto studiato di “de-oscurare” parti nascoste o occluse di immagini di persone, per scopi come prova virtuale, animazione e modifica di foto.

Oltre a riparare immagini danneggiate o modificarle a piacimento dell’utente, i sistemi di completamento di immagini umane come CompleteMe possono imporre abbigliamento nuovo (attraverso un’immagine di riferimento aggiuntiva, come nella colonna centrale di questi due esempi) in immagini esistenti. Questi esempi sono tratti dal PDF supplementare estensivo per il nuovo articolo. Fonte: https://liagm.github.io/CompleteMe/pdf/supp.pdf

Il nuovo approccio, intitolato CompleteMe: Completamento di immagini umane basato su riferimenti, utilizza immagini di input aggiuntive per “suggerire” al sistema quale contenuto sostituire la sezione nascosta o mancante della rappresentazione umana (e quindi l’applicabilità a framework di prova virtuale basati sulla moda):

Il sistema CompleteMe può adattare il contenuto di riferimento alla parte oscurata o occlusa di un’immagine umana.

Il nuovo sistema utilizza un’architettura U-Net duale e un blocco di attenzione focalizzato sulla regione (RFA) che dirige le risorse verso l’area pertinente dell’istanza di ripristino dell’immagine.

I ricercatori offrono anche un nuovo e impegnativo sistema di benchmark progettato per valutare le attività di completamento basate su riferimenti (poiché CompleteMe fa parte di una ricerca esistente e in corso nella visione artificiale, sebbene non abbia avuto uno schema di benchmark fino ad ora).

Nelle prove e in uno studio degli utenti ben scalato, il nuovo metodo si è classificato al primo posto nella maggior parte delle metriche e nel complesso. In alcuni casi, i metodi rivali sono stati completamente superati dall’approccio basato su riferimenti:

Dai materiali supplementari: il metodo AnyDoor ha particolare difficoltà a decidere come interpretare un’immagine di riferimento.

L’articolo afferma:

‘Esperienze estensive sul nostro benchmark dimostrano che CompleteMe supera i metodi attuali, sia basati su riferimenti che no, in termini di metriche quantitative, risultati qualitativi e studi sugli utenti.

‘In particolare, in scenari impegnativi che coinvolgono pose complesse, modelli di abbigliamento intricati e accessori distintivi, il nostro modello raggiunge costantemente una fedeltà visiva superiore e una coerenza semantica.’

Purtroppo, la presenza di GitHub del progetto contiene nessun codice, né promette di fornirne, e l’iniziativa, che ha anche una modesta pagina del progetto, sembra essere inquadrata come un’architettura proprietaria.

Ulteriore esempio della performance soggettiva del nuovo sistema rispetto ai metodi precedenti. Ulteriori dettagli più avanti nell’articolo.

Metodo

La struttura CompleteMe si basa su un U-Net di riferimento, che gestisce l’integrazione del materiale aggiuntivo nel processo, e un U-Net coeso, che accoglie una gamma più ampia di processi per ottenere il risultato finale, come illustrato nello schema concettuale seguente:

Lo schema concettuale per CompleteMe. Fonte: https://arxiv.org/pdf/2504.20042

Il sistema codifica prima l’immagine di input mascherata in una rappresentazione latente. Allo stesso tempo, il U-Net di riferimento elabora più immagini di riferimento – ciascuna che mostra diverse regioni del corpo – per estrarre caratteristiche spaziali dettagliate.

Queste caratteristiche passano attraverso un blocco di attenzione focalizzato sulla regione (RFA) incorporato nel U-Net “completo”, dove vengono mascherate selettivamente utilizzando maschere di regione corrispondenti, assicurando che il modello si concentri solo sulle aree pertinenti delle immagini di riferimento.

Le caratteristiche mascherate vengono quindi integrate con caratteristiche semantiche globali derivate da CLIP attraverso un’attenzione incrociata decoupled, consentendo al modello di ricostruire il contenuto mancante con sia dettagli fini che coerenza semantica.

Per migliorare la realismo e la robustezza, il processo di mascheramento dell’input combina occlusioni a griglia casuali con maschere di forma del corpo umano, ciascuna applicata con probabilità uguale, aumentando la complessità delle aree mancanti che il modello deve completare.

Solo per riferimento

I metodi precedenti per la completamento di immagini basato su riferimenti si basavano tipicamente su encoder a livello semantico. Progetti di questo tipo includono CLIP stesso e DINOv2, entrambi i quali estrarre caratteristiche globali dalle immagini di riferimento, ma spesso perdono i dettagli spaziali fini necessari per la conservazione accurata dell’identità.

Dai materiali di rilascio per l’approccio DINOV2 più vecchio, che è incluso nei test di confronto nel nuovo studio: le sovrapposizioni colorate mostrano i primi tre componenti principali dell’analisi dei componenti principali (PCA), applicata ai patch di immagine all’interno di ogni colonna, evidenziando come DINOv2 raggruppi parti di oggetti simili insieme attraverso immagini variate. Nonostante le differenze di posa, stile o rendering, le regioni corrispondenti (come ali, arti o ruote) sono costantemente abbinate, illustrando la capacità del modello di apprendere strutture basate su parti senza supervisione. Fonte: https://arxiv.org/pdf/2304.07193

CompleteMe affronta questo aspetto attraverso un U-Net di riferimento specializzato inizializzato da Stable Diffusion 1.5, ma operante senza il rumore di diffusione*.

Ogni immagine di riferimento, che copre diverse regioni del corpo, viene codificata in caratteristiche latenti dettagliate attraverso questo U-Net. Le caratteristiche semantiche globali vengono estratte separatamente utilizzando CLIP e entrambi i set di caratteristiche vengono memorizzati per un uso efficiente durante l’integrazione basata sull’attenzione. Così, il sistema può accogliere più input di riferimento in modo flessibile, conservando al tempo stesso informazioni sull’aspetto a grana fine.

Orchestrazione

Il U-Net coeso gestisce le fasi finali del processo di completamento. Adattato dalla variante di inpainting di Stable Diffusion 1.5, accetta come input l’immagine di input mascherata in forma latente, insieme a caratteristiche spaziali dettagliate tratte dalle immagini di riferimento e caratteristiche semantiche globali estratte dall’encoder CLIP.

Questi input diversi vengono combinati attraverso il blocco RFA, che svolge un ruolo critico nel dirigere l’attenzione del modello verso le aree più pertinenti del materiale di riferimento.

Prima di entrare nel meccanismo di attenzione, le caratteristiche di riferimento vengono mascherate esplicitamente per rimuovere le regioni non correlate e quindi concatenate con la rappresentazione latente dell’immagine di input, assicurando che l’attenzione sia diretta il più possibile.

Per migliorare questa integrazione, CompleteMe incorpora un meccanismo di attenzione incrociata decoupled adattato dal framework IP-Adapter:

IP-Adapter, parte del quale è incorporato in CompleteMe, è uno dei progetti più di successo e più utilizzati degli ultimi tre anni di sviluppo negli archi di modelli di diffusione latente. Fonte: https://ip-adapter.github.io/

Ciò consente al modello di elaborare caratteristiche visive spazialmente dettagliate e un contesto semantico più ampio attraverso flussi di attenzione separati, che vengono successivamente combinati, risultando in una ricostruzione coerente che, secondo gli autori, conserva sia l’identità che i dettagli a grana fine.

Valutazione

In assenza di un set di dati appropriato per il completamento di immagini umane basato su riferimenti, i ricercatori hanno proposto il proprio. Il benchmark (senza nome) è stato costruito curando selezionate coppie di immagini dal set di dati WPose progettato per il progetto UniHuman di Adobe Research del 2023.

Esempi di pose dal progetto UniHuman di Adobe Research del 2023. Fonte: https://github.com/adobe-research/UniHuman?tab=readme-ov-file#data-prep

I ricercatori hanno disegnato manualmente maschere di input per indicare le aree di inpainting, ottenendo alla fine 417 gruppi di immagini tripartiti costituiti da un’immagine di input, una maschera e un’immagine di riferimento.

Due esempi di gruppi derivati inizialmente dal set di dati di riferimento WPose e curati estensivamente dai ricercatori del nuovo articolo.

Gli autori hanno utilizzato il modello di linguaggio LLaVA per generare prompt di testo che descrivono le immagini di input.

Le metriche utilizzate sono state più estese del solito; oltre al solito Rapporto di segnale a rumore di picco (PSNR), Indice di similarità strutturale (SSIM) e Somiglianza di patch di immagine percepita appresa (LPIPS, in questo caso per la valutazione delle aree mascherate), i ricercatori hanno utilizzato DINO per i punteggi di similarità; DreamSim per la valutazione dei risultati di generazione; e CLIP.

Dati e test

Per testare il lavoro, gli autori hanno utilizzato sia il modello Stable Diffusion V1.5 predefinito che il modello di inpainting 1.5. L’encoder di immagine del sistema ha utilizzato il modello CLIP Vision, insieme a layer di proiezione – piccole reti neurali che ridisegnano o allineano gli output di CLIP per farli corrispondere alle dimensioni delle caratteristiche interne utilizzate dal modello.

La formazione è avvenuta per 30.000 iterazioni su otto GPU NVIDIA A100^†, supervisionata da errore quadratico medio (MSE), con una dimensione del batch di 64 e un tasso di apprendimento di 2×10^-5. Vari elementi sono stati eliminati casualmente durante la formazione per evitare che il sistema sovrapprendesse sui dati.

Il set di dati è stato modificato dal set di dati Parts to Whole, a sua volta basato sul set di dati DeepFashion-MultiModal.

Esempi dal set di dati Parts to Whole, utilizzato nello sviluppo dei dati curati per CompleteMe. Fonte: https://huanngzh.github.io/Parts2Whole/

Gli autori affermano:

‘Per soddisfare le nostre esigenze, abbiamo [ricostruito] le coppie di formazione utilizzando immagini oscurate con più immagini di riferimento che catturano vari aspetti dell’aspetto umano insieme alle loro etichette testuali brevi.

‘Ogni campione nei nostri dati di formazione include sei tipi di aspetto: abbigliamento superiore, abbigliamento inferiore, abbigliamento per tutto il corpo, capelli o copricapo, viso e scarpe. Per la strategia di mascheramento, applichiamo il 50% di mascheramento a griglia casuale tra 1 e 30 volte, mentre per l’altro 50%, utilizziamo una maschera di forma del corpo umano per aumentare la complessità del mascheramento.

‘Dopo la pipeline di costruzione, abbiamo ottenuto 40.000 coppie di immagini per la formazione.’

I metodi rivali precedenti non basati su riferimenti testati sono stati completamento di immagini umane oscurate (LOHC) e il modello di inpainting plug-and-play BrushNet; i modelli basati su riferimenti testati sono stati Paint-by-Example; AnyDoor; LeftRefill; e MimicBrush.

Gli autori hanno iniziato con un confronto quantitativo sulle metriche precedentemente indicate:

Risultati del confronto quantitativo iniziale.

Riguardo la valutazione quantitativa, gli autori notano che CompleteMe raggiunge i punteggi più alti nella maggior parte delle metriche percettive, tra cui CLIP-I, DINO, DreamSim e LPIPS, che sono intese a catturare l’allineamento semantico e la fedeltà dell’aspetto tra l’output e l’immagine di riferimento.

Tuttavia, il modello non supera tutte le linee di base in tutti gli aspetti. In particolare, BrushNet ottiene il punteggio più alto in CLIP-T, LeftRefill guida in SSIM e PSNR, e MimicBrush supera leggermente in CLIP-I.

Se CompleteMe mostra risultati costantemente forti nel complesso, le differenze di prestazioni sono modeste in alcuni casi e alcune metriche rimangono guidate da metodi rivali precedenti. Forse non ingiustamente, gli autori inquadrano questi risultati come prova della forza equilibrata di CompleteMe sia nelle dimensioni strutturali che percettive.

Le illustrazioni per i test qualitativi condotti per lo studio sono troppo numerose per essere riprodotte qui e rimandiamo il lettore non solo all’articolo originale, ma anche al PDF supplementare estensivo supplementare, che contiene molti esempi qualitativi aggiuntivi.

Evidenziamo gli esempi qualitativi principali presentati nel paper principale, insieme a una selezione di casi aggiuntivi tratti dal pool di immagini supplementari introdotto all’inizio di questo articolo:

Risultati qualitativi iniziali presentati nel paper principale. Si prega di fare riferimento all’articolo originale per una risoluzione migliore.

Dei risultati qualitativi mostrati sopra, gli autori commentano:

‘Date immagini di input mascherate, questi metodi non basati su riferimenti generano contenuto plausibile per le aree mascherate utilizzando priori di immagine o prompt di testo.

‘Tuttavia, come indicato nella casella rossa, non possono riprodurre dettagli specifici come tatuaggi o modelli di abbigliamento unici, poiché mancano di immagini di riferimento per guidare la ricostruzione di informazioni identiche.’

Un secondo confronto, parte del quale è mostrato di seguito, si concentra sui quattro metodi basati su riferimenti Paint-by-Example, AnyDoor, LeftRefill e MimicBrush. Qui solo un’immagine di riferimento e un prompt di testo sono stati forniti.

Confronto qualitativo con metodi basati su riferimenti. CompleteMe produce completamenti più realistici e conserva meglio i dettagli specifici dall’immagine di riferimento. Le caselle rosse evidenziano aree di particolare interesse.

Gli autori affermano:

‘Data un’immagine umana mascherata e un’immagine di riferimento, altri metodi possono generare contenuto plausibile ma spesso non riescono a conservare le informazioni di contesto dall’immagine di riferimento in modo accurato.

‘In alcuni casi, generano contenuto non pertinente o mappano in modo errato le parti corrispondenti dall’immagine di riferimento. Al contrario, CompleteMe completa efficacemente l’area mascherata conservando le informazioni identiche e mappando correttamente le parti corrispondenti del corpo umano dall’immagine di riferimento.’

Per valutare quanto bene i modelli si allineino con la percezione umana, gli autori hanno condotto uno studio sugli utenti che ha coinvolto 15 annotatori e 2.895 coppie di campioni. Ogni coppia ha confrontato l’output di CompleteMe con uno dei quattro metodi basati su riferimenti: Paint-by-Example, AnyDoor, LeftRefill o MimicBrush.

Gli annotatori hanno valutato ogni risultato in base alla qualità visiva dell’area completata e alla misura in cui conserva le caratteristiche di identità dall’immagine di riferimento – e qui, valutando la qualità complessiva e l’identità, CompleteMe ha ottenuto un risultato più definitivo:

Risultati dello studio sugli utenti.

Conclusione

Se qualcosa, i risultati qualitativi di questo studio sono indeboliti dalla loro stessa quantità, poiché un esame attento indica che il nuovo sistema è un’entrata molto efficace in questo ambito relativamente di nicchia ma molto ambito di editing di immagini neurali.

Tuttavia, richiede un po’ di cura e zoom in per apprezzare quanto bene il sistema adatti il materiale di riferimento all’area oscurata in confronto (in quasi tutti i casi) ai metodi precedenti.

Consigliamo vivamente al lettore di esaminare attentamente i risultati presentati nel materiale supplementare.

* È interessante notare come la versione V1.5 ormai obsoleta rimane una preferita dei ricercatori – in parte a causa di test di tipo legacy, ma anche perché è la meno censurata e forse la più facile da addestrare di tutte le iterazioni di Stable Diffusion, e non condivide il blocco censorio delle versioni FOSS Flux.

^† La specifica di VRAM non è stata fornita – sarebbe stata di 40GB o 80GB per scheda.

Pubblicato per la prima volta martedì 29 aprile 2025