Creazione di Deepfakes a corpo intero combinando più NeRF

Il settore della sintesi di immagini è densamente popolato di nuove proposte per sistemi in grado di creare video e immagini a corpo intero di giovani persone – principalmente giovani donne – in vari tipi di abbigliamento. La maggior parte delle immagini generate sono statiche; occasionalmente, le rappresentazioni si muovono, anche se non sempre molto bene.

Il ritmo di questo particolare filone di ricerca è glaciale in confronto al livello attuale di progresso in campi correlati come i modelli di diffusione latente; tuttavia, i gruppi di ricerca, la maggior parte in Asia, continuano a lavorare incessantemente al problema.

Uno dei tanti sistemi di ‘prova virtuale’ proposti o lanciati negli ultimi 10-15 anni, in cui i corpi vengono valutati attraverso il riconoscimento di oggetti basato su machine learning e adattati agli articoli di abbigliamento proposti. Fonte: https://www.youtube.com/watch?v=2ZXrgGyhbak

L’obiettivo è creare nuovi sistemi per abilitare le ‘prove virtuali’ per il mercato della moda e dell’abbigliamento – sistemi che possano adattarsi sia al cliente che al prodotto attualmente disponibile o in fase di lancio, senza la goffaggine della sovrapposizione in tempo reale di abbigliamento, o la necessità di chiedere ai clienti di inviare immagini leggermente NSFW per pipeline di rendering basate su ML.

Nessuna delle architetture di sintesi popolari sembra facilmente adattabile a questo compito: lo spazio latente delle Reti Generative Avversarie (GAN) non è adatto a produrre moto temporali convincenti (o anche per l’editing in generale); sebbene ben capaci di generare movimenti umani realistici, i Campi di Radianza Neurale (NeRF) sono naturalmente resistenti al tipo di editing che sarebbe necessario per ‘sostituire’ persone o abbigliamento a piacimento; gli autoencoder richiederebbero un addestramento personale/abbigliamento-specifico gravoso; e i modelli di diffusione latente, come le GAN, non hanno meccanismi temporali nativi, per la generazione di video.

EVA3D

Nonostante ciò, i paper e le proposte continuano. L’ultimo è di interesse insolito in una linea di ricerca altrimenti non distinta e esclusivamente business-oriented.

EVA3D, dell’Università Tecnologica di Nanyang di Singapore, è il primo indizio di un approccio che è stato a lungo in arrivo – l’uso di multipli reti di Campi di Radianza Neurale, ciascuna delle quali è dedicata a una parte separata del corpo, e che vengono poi composte in una visualizzazione assemblata e coerente.

Una giovane donna mobile composta da multiple reti NeRF, per EVA3D. Fonte: https://hongfz16.github.io/projects/EVA3D.html

I risultati, in termini di movimento, sono… okay. Sebbene le visualizzazioni di EVA3D non siano fuori dalla valle dell’incognito, possono almeno vedere l’uscita dalla valle.

Ciò che rende EVA3D eccezionale è che i ricercatori dietro di esso, quasi unicamente nel settore della sintesi di immagini a corpo intero, hanno realizzato che una singola rete (GAN, NeRF o altro) non sarà in grado di gestire la generazione di corpi interi umani editabili e flessibili per alcuni anni – in parte a causa del ritmo della ricerca, e in parte a causa di limitazioni hardware e altre limitazioni logistiche.

Pertanto, il team di Nanyang ha suddiviso il compito in 16 reti e multiple tecnologie – un approccio già adottato per la rendering neurale di ambienti urbani in Block-NeRF e CityNeRF, e che sembra probabile diventare una misura sempre più interessante e potenzialmente fruttuosa per raggiungere deepfakes a corpo intero nei prossimi cinque anni, in attesa di nuovi sviluppi concettuali o hardware.

Non tutte le sfide presenti nella creazione di questo tipo di ‘prova virtuale’ sono tecniche o logistiche, e il paper descrive alcune delle problematiche relative ai dati, in particolare per quanto riguarda l’apprendimento non supervisionato:

‘I set di dati della moda hanno generalmente pose umane molto limitate (la maggior parte sono pose in piedi simili), e angoli di vista altamente sbilanciati (la maggior parte sono viste frontali). Questa distribuzione dei dati 2D sbilanciata potrebbe ostacolare l’apprendimento non supervisionato di GAN 3D, portando a difficoltà nella sintesi di pose/novelle viste. Pertanto, è necessaria una strategia di addestramento adeguata per alleviare il problema.’

Il flusso di lavoro di EVA3D segmenta il corpo umano in 16 parti distinte, ciascuna delle quali viene generata attraverso la sua rete NeRF. Ovviamente, ciò crea abbastanza sezioni ‘sbloccate’ per poter galvanizzare la figura attraverso la cattura del movimento o altri tipi di dati di movimento. Oltre a questo vantaggio, tuttavia, ciò consente anche al sistema di assegnare risorse massime alle parti del corpo che ‘vendono’ l’impressione complessiva.

Ad esempio, i piedi umani hanno un range di articolazione molto limitato, mentre l’autenticità del viso e della testa, oltre alla qualità del movimento del corpo nel suo complesso, è probabile che sia il token di autenticità più importante per la rendering.

Un confronto qualitativo tra EVA3D e metodi precedenti. Gli autori affermano di aver ottenuto risultati SOTA in questo senso.

L’approccio differisce radicalmente dal progetto NeRF-centrico a cui è concettualmente legato – il progetto A-NeRF del 2021, dell’Università della Columbia Britannica e Reality Labs Research, che ha cercato di aggiungere uno scheletro di controllo interno a una rappresentazione NeRF altrimenti ‘monopezzo’, rendendolo più difficile assegnare risorse di elaborazione a diverse parti del corpo in base alle esigenze.

Precedenti movimenti – A-NeRF aggiunge un’armatura centrale articolata e duttile a una rappresentazione NeRF ‘cotta’. Fonte: https://lemonatsu.github.io/anerf/

In comune con la maggior parte dei progetti umano-centrici che cercano di sfruttare lo spazio latente degli approcci popolari, EVA3D utilizza un Modello Lineare Multi-Personale con Pelle (SMPL), un metodo ‘tradizionale’ CGI-based per aggiungere strumentalità all’astrazione generale dei metodi di sintesi attuali. All’inizio di quest’anno, un altro paper, questa volta dell’Università di Zhejiang a Hangzhou e della Scuola di Media Creativi dell’Università della Città di Hong Kong, ha utilizzato tali metodi per eseguire riorganizzazione del corpo umano con AI.

Risultati qualitativi di EVA3D su DeepFashion.

Metodo

Il modello SMPL utilizzato nel processo è tarato sull'”a priori” umano – la persona che, essenzialmente, viene volontariamente deepfaked da EVA3D, e i suoi pesi di skinning negoziano le differenze tra lo spazio canonico (cioè la posa ‘a riposo’ o ‘neutrale’ di un modello SMPL) e il modo in cui l’aspetto finale viene rappresentato.

Il flusso di lavoro concettuale per EVA3D. Fonte: https://arxiv.org/pdf/2210.04888.pdf

Come si vede nell’illustrazione sopra, le caselle di delimitazione di SMPL vengono utilizzate come definizioni di confine per le 16 reti che comporranno il corpo. L’algoritmo di skinning lineare inverso (LBS) di SMPL viene quindi utilizzato per trasferire raggi campionati visibili nello spazio canonico (posa passiva). Quindi, le 16 sottoreti vengono interrogate in base a queste configurazioni e infine conformate in un rendering finale.

L’intero composito NeRF viene quindi utilizzato per costruire un framework GAN 3D umano.

I rendering del framework GAN di secondo stadio verranno addestrati contro raccolte di immagini 2D genuine di esseri umani/moda.

Ogni sottorete che rappresenta una parte del corpo umano è composta da percettroni multi-strato impilati (MLP) con SIREN (Rappresentazione sinusoidale delle reti) come attivazione. Sebbene SIREN risolva molti problemi in un flusso di lavoro come questo, e in progetti simili, tende a sovrapprendere piuttosto che generalizzare, e i ricercatori suggeriscono che librerie alternative potrebbero essere utilizzate in futuro (vedi fine dell’articolo).

Dati, Addestramento e Test

EVA3D si trova di fronte a problemi di dati insoliti, a causa delle limitazioni e dello stile templatizzato delle pose disponibili nei set di dati della moda, che tendono a mancare di viste alternative o nuove, e sono, forse intenzionalmente, ripetitive, al fine di focalizzare l’attenzione sugli abiti piuttosto che sulla persona che li indossa.

A causa di questa distribuzione di pose sbilanciata, EVA3D utilizza priori umani (vedi sopra) basati sulla geometria del modello SMPL, e quindi predice un campo di distanza firmato (SDF) di offset di questa posa, piuttosto che una posa di destinazione diretta.

Per gli esperimenti di supporto, i ricercatori hanno utilizzato quattro set di dati: DeepFashion; SHHQ; UBCFashion; e il database di video di danza AIST (AIST Dance DB).

I due ultimi contengono pose più variegate dei primi due, ma rappresentano gli stessi individui ripetutamente, il che annulla questa diversità altrimenti utile; in breve, i dati sono più che impegnativi, data la task.

Esempi da SSHQ. Fonte: https://arxiv.org/pdf/2204.11823.pdf

I punti di riferimento utilizzati sono stati ENARF-GAN, il primo progetto a rappresentare visualizzazioni NeRF da set di dati di immagini 2D; Stanford e NVIDIA’s (NVDA ) EG3D; e StyleSDF, una collaborazione tra l’Università di Washington, Adobe (ADBE ) Research e Stanford University – tutti metodi che richiedono librerie di super-risoluzione per scalare da risoluzione nativa a risoluzione alta.

Le metriche adottate sono state la controversa distanza di Frechet Inception (FID) e la distanza di kernel Inception (KID), insieme al percentage di punti chiave corretti (PCKh@0.5).

Nelle valutazioni quantitative, EVA3D ha guidato su tutte le metriche in quattro set di dati:

Risultati quantitativi.

I ricercatori notano che EVA3D ottiene il tasso di errore più basso per la rappresentazione della geometria, un fattore critico in un progetto di questo tipo. Osservano anche che il loro sistema può controllare la posa generata e ottenere punteggi PCKh@0.5 più alti, in contrasto con EG3D, l’unico metodo concorrente che ha ottenuto un punteggio più alto in una categoria.

EVA3D opera nativamente alla risoluzione standard di 512x512px, anche se potrebbe essere facilmente e efficacemente scalata in risoluzione HD aggiungendo strati di upscale, come ha recentemente fatto Google con la sua offerta di video testo-2-1024 Imagen Video.

Il metodo non è senza limiti. Il paper nota che l’attivazione SIREN può causare artefatti circolari, che potrebbero essere rimediati in future versioni utilizzando una rappresentazione di base alternativa, come EG3D, in combinazione con un decodificatore 2D. Inoltre, è difficile adattare accuratamente SMPL ai dati di moda.

Infine, il sistema non può facilmente ospitare articoli di abbigliamento più grandi e più fluidi, come grandi abiti; gli abiti di questo tipo esibiscono lo stesso tipo di dinamica dei fluidi che rende la creazione di capelli resi neuralmente così impegnativa. Presumibilmente, una soluzione appropriata potrebbe aiutare ad affrontare entrambi i problemi.

Pubblicato per la prima volta il 12 ottobre 2022.