Creare corpi ‘migliori’ con l’AI

Una nuova ricerca dell’accademia Alibaba DAMO offre un flusso di lavoro guidato dall’AI per l’automatizzazione della rielaborazione di immagini di corpi – un raro sforzo in un settore di visione computerizzata attualmente occupato da manipolazioni basate sul viso come deepfakes e modifica del viso basata su GAN.

Inset in ‘result’ columns, the generated attention maps which define the areas to be amended. Source: https://arxiv.org/pdf/2203.04670.pdf

Gli architetti dei ricercatori utilizzano la stima della posa dello scheletro per affrontare la maggiore complessità che i sistemi di sintesi e modifica delle immagini affrontano nel concettualizzare e parametrizzare le immagini del corpo esistenti, almeno a un livello di granularità che consenta una modifica selettiva e significativa.

Estimated skeleton maps help to individuate and focus attention on areas of the body likely to be retouched, such as the upper arm area.

Il sistema consente infine all’utente di impostare parametri che possono modificare l’aspetto del peso, della massa muscolare o della distribuzione del peso in foto a figura intera o a mezza figura di persone, e può generare trasformazioni arbitrarie su sezioni del corpo vestite o svestite.

Left, the input image; middle, a heat-map of the derived attention areas; right, the transformed image.

La motivazione per il lavoro è lo sviluppo di flussi di lavoro automatizzati che potrebbero sostituire le manipolazioni digitali faticose eseguite da fotografi e artisti grafici in vari settori dei media, dalla moda ai materiali di pubblicità.

In generale, gli autori riconoscono, queste trasformazioni vengono solitamente applicate con tecniche di “warp” in Photoshop e altri editor di bitmap tradizionali, e vengono utilizzate quasi esclusivamente su immagini di donne. Di conseguenza, il set di dati personalizzato sviluppato per facilitare il nuovo processo consiste principalmente in immagini di soggetti femminili:

‘As body retouching is mainly desired by females, the majority of our collection are female photos, considering the diversity of ages, races (African:Asian:Caucasian = 0.33:0.35:0.32), poses, and garments.’

Il documento è intitolato Structure-Aware Flow Generation for Human Body Reshaping, e proviene da cinque autori associati all’accademia globale Alibaba DAMO.

Sviluppo del set di dati

Come di solito accade con i sistemi di sintesi e modifica delle immagini, l’architettura del progetto ha richiesto un set di dati personalizzato. Gli autori hanno commissionato a tre fotografi di produrre manipolazioni standard di Photoshop di immagini appropriate da un sito di fotografia stock Unsplash, risultando in un set di dati – intitolato BR-5K* – di 5.000 immagini ad alta qualità a risoluzione 2K.

Gli ricercatori sottolineano che l’obiettivo dell’addestramento su questo set di dati non è produrre caratteristiche “idealizzate” e generalizzate relative a un indice di attrattiva o aspetto desiderabile, ma piuttosto estrarre le mappe di caratteristiche centrali associate alle manipolazioni professionali di immagini del corpo.

Tuttavia, ammettono che le manipolazioni riflettono ultimately processi trasformativi che mappano una progressione da “reale” a una nozione preimpostata di “ideale”:

‘We invite three professional artists to retouch bodies using Photoshop independently, with the goal of achieving slender figures that meet the popular aesthetics, and select the best one as ground-truth.’

Poiché la struttura non si occupa di volti, questi sono stati oscurati prima di essere inclusi nel set di dati.

Architettura e concetti fondamentali

Il flusso di lavoro del sistema coinvolge l’inserimento di un ritratto ad alta risoluzione, il campionamento a una risoluzione inferiore che possa essere inserito nelle risorse di calcolo disponibili, e l’estrazione di una mappa di posa dello scheletro stimata (seconda figura da sinistra nell’immagine in basso), nonché dei Campi di affinità di parte (PAF), che sono stati innovati nel 2016 dall’Istituto di robotica dell’Università di Carnegie Mellon (vedi video incorporato direttamente in basso).

I Campi di affinità di parte aiutano a definire l’orientamento degli arti e l’associazione generale con la struttura scheletrica più ampia, fornendo al nuovo progetto uno strumento di attenzione/localizzazione aggiuntivo.

From the 2016 Part Affinity Fields paper, predicted PAFs encode limb orientation as part of a 2D vector that also includes the general position of the limb. Source: https://arxiv.org/pdf/1611.08050.pdf

Nonostante la loro apparente irrilevanza per l’aspetto del peso, le mappe dello scheletro sono utili per dirigere i processi trasformativi finali alle parti del corpo da modificare, come le braccia superiori, il retro e le cosce.

Dopo di ciò, i risultati vengono inseriti in un flusso di attenzione auto-rilevante (SASA) nel collo di bottiglia centrale del processo (vedi immagine in basso).

Il SASA regola la coerenza del generatore di flusso che alimenta il processo, i cui risultati vengono quindi passati al modulo di deformazione (secondo da destra nell’immagine in alto), che applica le trasformazioni apprese dall’addestramento sui dati del set di dati.

The Structure Affinity Self-Attention (SASA) module allocates attention to pertinent body parts, helping to avoid extraneous or irrelevant transformations.

L’immagine di output viene successivamente campionata nuovamente alla risoluzione originale 2K, utilizzando processi non dissimili dall’architettura deepfake standard del 2017 da cui sono stati derivati pacchetti popolari come DeepFaceLab; il processo di campionamento è anche comune nei framework di modifica GAN.

La rete di attenzione per lo schema è modellata dopo Compositional De-Attention Networks (CODA), una collaborazione accademica USA/Singapore del 2019 con Amazon AI e Microsoft.

Test

Il framework basato sul flusso è stato testato contro metodi basati sul flusso precedenti FAL e Animating Through Warping (ATW), nonché architetture di traduzione di immagini Pix2PixHD e GFLA, con SSIM, PSNR e LPIPS come metriche di valutazione.

Results of initial tests (arrow direction in headers indicates whether lower or higher figures are best).

Basandosi su queste metriche adottate, il sistema degli autori supera le architetture precedenti.

Selected results. Please refer to the original PDF linked in this article for higher resolution comparisons.

In aggiunta alle metriche automatizzate, i ricercatori hanno condotto uno studio utente (ultima colonna della tabella dei risultati in alto), in cui 40 partecipanti sono stati mostrati 30 domande selezionate casualmente da un pool di 100 domande relative alle immagini prodotte tramite i vari metodi. Il 70% dei rispondenti ha preferito la nuova tecnica come più “visivamente attraente”.

Sfide

Il nuovo documento rappresenta una rara escursione nella manipolazione del corpo basata sull’AI. Il settore di sintesi di immagini è attualmente molto più interessato a generare corpi modificabili tramite metodi come i Campi di radiazione neurale (NeRF), o è ossessionato dall’esplorazione dello spazio latente dei GAN e del potenziale degli autoencoder per la manipolazione del viso.

Gli autori del progetto sono attualmente limitati a produrre cambiamenti nel peso percepito, e non hanno implementato alcuna tecnica di inpainting che possa ripristinare lo sfondo rivelato quando si snellisce un’immagine di una persona.

Tuttavia, propongono che la mattonella del ritratto e la fusione dello sfondo attraverso l’inferenza testurale potrebbero risolvere facilmente il problema del ripristino delle parti del mondo che erano precedentemente nascoste nell’immagine dall'”imperfezione” umana.

A proposed solution for restoring background that’s revealed by AI-driven fat reduction.

* Though the preprint refers to supplemental material giving more details about the dataset, as well as further examples from the project, the location of this material is not made available in the paper, and the corresponding author has not yet responded to our request for access.

First published 10th marzo 2022.