Ridisegnare i tipi di corpo umano con l’AI

Una nuova collaborazione di ricerca dalla Cina offre un metodo innovativo per ridisegnare il corpo umano nelle immagini, utilizzando una rete neurale gemella coordinata, guidata da un modello parametrico, che consente all’utente finale di modulare il peso, l’altezza e la proporzione del corpo in un’interfaccia grafica interattiva.

Modulazione parametrica della forma del corpo, con slider che alterano le tre caratteristiche disponibili. Fonte: https://arxiv.org/pdf/2203.10496.pdf

Il lavoro offre diversi miglioramenti rispetto a un progetto simile recente di Alibaba, in quanto può alterare in modo convincente l’altezza e la proporzione del corpo, oltre al peso, e dispone di una rete neurale dedicata per il “riempimento” dello sfondo (non esistente) che può essere rivelato da immagini di corpi “più magri”. Migliora anche un metodo parametrico precedente per la ridisegnazione del corpo, eliminando la necessità di un’estesa intervento umano durante la formulazione della trasformazione.

Intitolato NeuralReshaper, la nuova architettura adatta un modello parametrico 3D umano a un’immagine sorgente, e poi utilizza le distorsioni nel modello per adattare l’immagine originale ai nuovi parametri.

Il sistema è in grado di gestire le trasformazioni del corpo su figure vestite e semivestite (ad esempio, in costume da bagno).

Trasformazioni di questo tipo sono attualmente di grande interesse per il settore di ricerca dell’intelligenza artificiale nella moda, che ha prodotto diverse piattaforme basate su StyleGAN/CycleGAN e reti neurali generali per provini virtuali che possono adattare gli articoli di abbigliamento disponibili alla forma e al tipo di corpo di un’immagine inviata dall’utente, o aiutare con la conformità visiva.

Il documento è intitolato Ridisegnazione del corpo umano in un’immagine con reti neurali profonde, e proviene da ricercatori dell’Università di Zhejiang a Hangzhou e della Scuola di media creativi della City University di Hong Kong.

SMPL Fitting

NeuralReshaper utilizza il modello Skinned Multi-Person Linear (SMPL) sviluppato dall’Istituto Max Planck per i sistemi intelligenti e dalla rinomata casa di effetti visivi Industrial Light and Magic nel 2015.

Umani parametrici SMPL dalla collaborazione Planck/ILM del 2015. Fonte: https://files.is.tue.mpg.de/black/papers/SMPL2015.pdf

Nel primo stadio del processo, un modello SMPL viene generato da un’immagine sorgente alla quale si desiderano apportare trasformazioni del corpo. L’adattamento del modello SMPL all’immagine segue la metodologia del metodo di recupero della mesh umana (HMR) proposto da università in Germania e negli Stati Uniti nel 2018.

I tre parametri per la deformazione (peso, altezza, proporzione del corpo) vengono calcolati in questo stadio, insieme a una considerazione dei parametri della camera, come la lunghezza focale. I punti di riferimento 2D e l’allineamento della sagoma generata forniscono il recinto per la deformazione sotto forma di sagoma 2D, una misura di ottimizzazione aggiuntiva che aumenta la precisione del bordo e consente un’autentica pittura dello sfondo più avanti nella pipeline.

Fasi di adattamento SMPL: a sinistra, l’immagine sorgente; seconda, il risultato di ottimizzazione ottenuto con il metodo delineato nella ricerca del 2016 guidata dall’Istituto Max Planck per i sistemi intelligenti; terza, un risultato di inferenza diretta dal modello pre-addestrato per il recupero della forma e della posizione umana; quarta, i risultati ottenuti dopo l’ottimizzazione dei punti di riferimento 2D; e infine, quinta, l’adattamento completato dopo l’ottimizzazione della sagoma (vedi sopra).

La deformazione 3D viene quindi proiettata nello spazio dell’immagine dell’architettura per facilitare un campo di deformazione denso che definirà la deformazione. Questo processo richiede circa 30 secondi per immagine.

Architettura NeuralReshaper

NeuralReshaper esegue due reti neurali in tandem: un encoder del primo piano che genera la forma del corpo trasformata, e un encoder dello sfondo che si concentra sul riempimento delle aree di sfondo “de-occluse” (nel caso, ad esempio, di dimagrire un corpo – vedi immagine sotto).

Il framework in stile U-net integra l’output dalle caratteristiche dei due encoder prima di passare il risultato a un encoder unificato che produce infine una nuova immagine dai due input. L’architettura presenta un meccanismo di guida della deformazione per abilitare l’integrazione.

Addestramento e esperimenti

NeuralReshaper è implementato in PyTorch su una sola GPU NVIDIA 1080ti con 11gb di VRAM. La rete è stata addestrata per 100 epoche con l’ottimizzatore Adam, con il generatore impostato su una perdita di destinazione di 0,0001 e il discriminatore su una perdita di destinazione di 0,0004. L’addestramento è avvenuto su un batch di 8 per un dataset esterno proprietario (tratto da COCO, MPII e LSP), e 2 per l’addestramento sul dataset DeepFashion.

A sinistra, le immagini originali, a destra, l’output riproporzionato di NeuralReshaper.

Di seguito sono riportati alcuni esempi esclusivamente dal dataset DeepFashion come addestrato per NeuralReshaper, con le immagini originali sempre a sinistra.

I tre attributi controllabili sono disgiunti e possono essere applicati separatamente.

Le trasformazioni sul dataset esterno derivato sono più impegnative, poiché richiedono frequentemente il riempimento di sfondi complessi e la delineazione chiara e convincente dei tipi di corpo trasformati:

Necessità parametrica

Come osserva il documento, le trasformazioni della stessa immagine di questo tipo rappresentano un problema mal posto nella sintesi di immagini. Molti framework di trasformazione GAN e encoder possono utilizzare immagini accoppiate (come i diversi progetti progettati per effettuare trasformazioni sketch>foto e foto>schizzo).

Tuttavia, nel caso in questione, ciò richiederebbe immagini accoppiate che ritraggono le stesse persone in diverse configurazioni fisiche, come le immagini “prima e dopo” nelle pubblicità di diete o chirurgia plastica – dati che sono difficili da ottenere o generare.

Alternativamente, le reti neurali trasformative GAN possono essere addestrate su dati molto più diversi e possono effettuare trasformazioni cercando la direzione latente tra il codice latente dell’immagine sorgente e la classe desiderata (in questo caso ‘grasso’, ‘magro’, ‘alto’, ecc.). Tuttavia, questo approccio è attualmente troppo limitato per gli scopi della ridisegnazione del corpo fine.

I campi di radiazione neurale (NeRF) sono molto più avanzati nella simulazione del corpo completo rispetto alla maggior parte dei sistemi basati su GAN, ma rimangono specifici della scena e intensivi in termini di risorse, con attualmente una capacità molto limitata di modificare i tipi di corpo in modo granulare come NeuralReshaper e progetti precedenti stanno cercando di affrontare (a parte ridimensionare l’intero corpo rispetto al suo ambiente).

Lo spazio latente del GAN è difficile da governare; i VAE da soli non affrontano ancora le complessità della riproduzione del corpo completo; e la capacità di NeRF di rimodellare realisticamente i corpi umani è ancora nascente. Pertanto, l’incorporazione di metodologie CGI “tradizionali” come SMPL sembra destinata a continuare nel settore di ricerca della sintesi di immagini umane, come un metodo per corralare e consolidare caratteristiche, classi e codici latenti le cui parametri e sfruttabilità non sono ancora fully compresi in queste tecnologie emergenti. First published 31st marzo 2022.