Sviluppatori di TikTok cancellano i volti per applicazioni di realtà aumentata

ByteDance, la multinazionale cinese di internet dietro TikTok, ha sviluppato un nuovo metodo per cancellare i volti nei video in modo che la distorsione dell’identità e altri effetti bizzarri possano essere impostati sulle persone nelle applicazioni di realtà aumentata. L’azienda afferma che la tecnica è già stata integrata in prodotti commerciali mobili, sebbene non specifichi quali prodotti.

Una volta che i volti nei video sono stati “azzerati”, c’è abbastanza “tela del viso” per produrre distorsioni sconvolgenti, nonché sovrapporre altre identità. Gli esempi forniti in un nuovo documento dei ricercatori di ByteDance illustrano le possibilità, tra cui il ripristino delle caratteristiche “cancellate” in varie configurazioni comiche (e certamente alcune grottesche):

Alcune delle possibilità di riconfigurazione del viso incluse nel documento di ByteDance. Fonte: https://arxiv.org/pdf/2109.10760.pdf

Verso la fine di agosto, è emerso che TikTok, la prima app non di Facebook a raggiungere tre miliardi di installazioni, aveva lanciato TikTok Effect Studio (attualmente in beta chiusa), una piattaforma per gli sviluppatori di realtà aumentata (AR) per creare effetti AR per i flussi di contenuti di TikTok.

In effetti, l’azienda sta recuperando il terreno perso rispetto alle comunità di sviluppatori simili di Facebook’s AR Studio e Snap AR, con la venerabile comunità di ricerca e sviluppo AR di Apple che sarà presto galvanizzata da nuovo hardware nel prossimo anno.

Espressioni vuote

Il documento, intitolato FaceEraser: Rimozione delle parti del viso per la realtà aumentata, afferma che gli algoritmi di inpainting/infill esistenti, come NVIDIA’s SPADE, sono più orientati al completamento di immagini troncate o semi-oscurate che a eseguire questa procedura di “cancellazione” insolita, e che i materiali del set di dati esistenti sono quindi prevedibilmente scarsi.

Poiché non ci sono set di dati di verità fondamentale disponibili per le persone che hanno una solida estensione di carne dove dovrebbe esserci il viso, i ricercatori hanno creato una nuova architettura di rete chiamata pixel-clone, che può essere sovrapposta ai modelli di inpainting neurale esistenti, e che risolve problemi relativi a incoerenze di texture e colore esibiti (il documento attesta) da metodi più vecchi come StructureFlow e EdgeConnect.

Flusso di lavoro generale di pixel-clone nel nuovo pipeline.

Per addestrare un modello su “volti vuoti”, i ricercatori hanno escluso immagini con occhiali, o dove i capelli oscurano la fronte, poiché l’area tra la linea dei capelli e le sopracciglia è di solito il più grande gruppo di pixel che può fornire materiale “incollato” per le caratteristiche centrali del viso.

Preparazione delle immagini di addestramento. L’area della fronte viene ritagliata, in base ai punti chiave nel riconoscimento dell’allineamento del viso, capovolta verticalmente e cucita.

Un’immagine da 256×256 pixel viene ottenuta, una dimensione sufficientemente piccola da essere inserita nello spazio latente di una rete neurale in lotti abbastanza grandi da raggiungere la generalizzazione. Un successivo upscaling algoritmico ripristinerà le risoluzioni necessarie per lavorare nello spazio AR.

Architettura

La rete è composta da tre reti interne, che comprendono il completamento degli edge, Pixel-Clone e una rete di raffinamento. La rete di completamento degli edge utilizza la stessa architettura encoder-decoder impiegata in EdgeConnect (vedi sopra), nonché nelle due applicazioni deepfake più popolari. Gli encoder campionano il contenuto dell’immagine due volte, e i decoder ripristinano le dimensioni originali dell’immagine.

Pixel-Clone utilizza una metodologia encoder-decoder modificata, mentre il livello di raffinamento utilizza l’architettura U-Net, una tecnica originariamente sviluppata per l’imaging biomedico, che spesso figura nei progetti di ricerca sulla sintesi di immagini.

Durante il flusso di lavoro di addestramento, è necessario valutare l’accuratezza delle trasformazioni e, se necessario, ripetere i tentativi in modo iterativo fino a convergenza. A questo scopo, vengono utilizzati due discriminatori basati su PatchGAN, ciascuno dei quali valuta la realismo localizzato di patch di 70×70 pixel, scontando il valore di realismo dell’intera immagine.

Addestramento e dati

La rete di completamento degli edge viene addestrata inizialmente in modo indipendente, mentre le altre due reti vengono addestrate insieme, in base ai pesi che sono risultati dall’addestramento del completamento degli edge, che vengono fissati e congelati durante questa procedura.

Sebbene il documento non affermi esplicitamente che gli esempi di distorsione finale delle caratteristiche siano l’obiettivo centrale del modello, esso implementa vari effetti comici per testare la resilienza del sistema, tra cui la rimozione delle sopracciglia, la bocca ingrandita, i sottovisi ristretti e gli effetti “toonizzati” (come mostrato nell’immagine precedente).

Il documento afferma che “le facce cancellate abilitano varie applicazioni di realtà aumentata che richiedono il posizionamento di elementi personalizzati dall’utente”, indicando la possibilità di personalizzare i visi con elementi contribuiti da terze parti.

Il modello viene addestrato su maschere del set di dati FFHQ creato da NVIDIA, che contiene una varietà adeguata di età, etnie, illuminazione e pose e stili del viso per raggiungere una generalizzazione utile. Il set di dati contiene 35.000 immagini e 10.000 maschere di addestramento per delineare le aree di trasformazione, con 4000 immagini e 1000 maschere messe da parte per scopi di convalida.

Esempi di addestramento.

Il modello addestrato può eseguire inferenze su dati del 2017 di CelebA-HQ e VoxCeleb, visi non visti di FFHQ e qualsiasi altro viso non vincolato e non visto presentato. Le immagini da 256×256 pixel sono state addestrate sulla rete in lotti di 8 su un ottimizzatore Adam, implementato in PyTorch, e in esecuzione su una GPU Tesla V100 per “2000.000 epoche”.

Risultati di inferenza ottenuti su un viso reale.

Come è comune nella ricerca sulla sintesi di immagini basata sul viso, il sistema deve affrontare occasionali fallimenti provocati da ostacoli o occlusioni come capelli, accessori, occhiali e peli facciali.

Il rapporto conclude:

‘Il nostro approccio è stato commercializzato e funziona bene in prodotti per input utente non vincolati.’