Previsione della bellezza facciale per livestream

Fino ad oggi, la previsione della bellezza facciale (FAP) è stata studiata principalmente nel contesto della ricerca psicologica, nell’industria della bellezza e dei cosmetici e nel contesto della chirurgia estetica. È un campo di studio impegnativo, poiché gli standard di bellezza tendono ad essere nazionali piuttosto che globali.

Ciò significa che non esiste un singolo dataset basato sull’intelligenza artificiale efficace, poiché le medie ottenute campionando volti e voti da tutte le culture sarebbero molto distorti (dove le nazioni più popolose guadagnerebbero ulteriore influenza), o altrimenti applicabili nessuna cultura (dove la media dei voti di più razze sarebbe equivalente a nessuna razza reale).

Invece, la sfida è sviluppare metodologie concettuali e flussi di lavoro in cui i dati specifici di un paese o di una cultura potrebbero essere elaborati, per consentire lo sviluppo di modelli FAP efficaci per regione.

I casi d’uso per la FAP nella ricerca sulla bellezza e nella psicologia sono abbastanza marginali, altrimenti specifici di un’industria; pertanto, la maggior parte dei dataset curati fino ad oggi contiene solo dati limitati o non è stata pubblicata affatto.

La facile disponibilità di predictor di attrattiva online, principalmente rivolti a un pubblico occidentale, non rappresentano necessariamente lo stato dell’arte nella FAP, che sembra attualmente dominato dalla ricerca asiatica orientale (in particolare la Cina) e dai relativi dataset asiatici orientali.

Esempi di dataset da un articolo del 2020 intitolato ‘Asian Female Facial Beauty Prediction Using Deep Neural Networks via Transfer Learning and Multi-Channel Feature Fusion’. Fonte: https://www.semanticscholar.org/paper/Asian-Female-Facial-Beauty-Prediction-Using-Deep-Zhai-Huang/59776a6fb0642de5338a3dd9bac112194906bf30

Uso più ampio per la stima della bellezza include app di incontri online e sistemi di intelligenza artificiale generativa progettati per migliorare le immagini di persone reali (poiché tali applicazioni richiedono uno standard quantificato di bellezza come metrica di efficacia).

Disegnare volti

Le persone attraenti continuano ad essere un bene prezioso nella pubblicità e nella costruzione dell’influenza, rendendo le incentivazioni finanziarie in questi settori un’opportunità chiara per avanzare lo stato dell’arte dei dataset e dei framework FAP.

Ad esempio, un modello di intelligenza artificiale addestrato con dati del mondo reale per valutare e votare la bellezza facciale potrebbe potenzialmente identificare eventi o individui con un alto potenziale di impatto pubblicitario. Questa capacità sarebbe particolarmente rilevante nei contesti di streaming video live, dove metriche come “seguaci” e “mi piace” attualmente servono solo come indicatori impliciti della capacità di un individuo (o anche di un tipo di volto) di catturare un pubblico.

Questo è un metrica superficiale, naturalmente, e la voce, la presentazione e il punto di vista giocano anche un ruolo significativo nella raccolta del pubblico. Pertanto, la cura dei dataset FAP richiede una supervisione umana, nonché la capacità di distinguere l’attrattiva facciale dall’attrattiva “speciosa” (senza la quale, influencer fuori dal dominio come Alex Jones potrebbero finire per influenzare la curva FAP media per una raccolta progettata solo per stimare la bellezza facciale).

LiveBeauty

Per affrontare la carenza di dataset FAP, i ricercatori della Cina offrono il primo dataset FAP su larga scala, contenente 100.000 immagini di volti, insieme a 200.000 annotazioni umane che stimano la bellezza facciale.

Esempi dal nuovo dataset LiveBeauty. Fonte: https://arxiv.org/pdf/2501.02509

Intitolato LiveBeauty, il dataset presenta 10.000 identità diverse, tutte catturate da (non specificate) piattaforme di streaming live nel marzo 2024.

Gli autori presentano anche FPEM, un metodo FAP multi-modale innovativo. FPEM integra la conoscenza facciale olistica e le caratteristiche estetiche semantiche multi-modalità attraverso un modulo di priorità di attrattiva personalizzata (PAPM), un modulo di codificatore di attrattiva multi-modale (MAEM) e un modulo di fusione cross-modale (CMFM).

Gli autori affermano che FPEM raggiunge prestazioni di stato dell’arte nel nuovo dataset LiveBeauty e in altri dataset FAP. Gli autori notano che la ricerca ha potenziali applicazioni per migliorare la qualità video, la raccomandazione di contenuti e il ritocco facciale nello streaming live.

Gli autori promettono anche di rendere il dataset disponibile “presto” – sebbene debba essere ammesso che eventuali restrizioni di licenza innate nel dominio di origine sembrano probabili passare alla maggior parte dei progetti applicabili che potrebbero utilizzare il lavoro.

Il nuovo articolo si intitola Previsione della bellezza facciale nello streaming live: una nuova panoramica e un metodo multi-modale e proviene da dieci ricercatori del gruppo Alibaba e dell’Università Jiao Tong di Shanghai.

Metodo e dati

Da ogni trasmissione di 10 ore dalle piattaforme di streaming live, i ricercatori hanno raccolto un’immagine all’ora per le prime tre ore. Le trasmissioni con il maggior numero di visualizzazioni della pagina sono state selezionate.

I dati raccolti sono stati poi sottoposti a diverse fasi di pre-elaborazione. La prima di queste è la misurazione della dimensione della regione del viso, che utilizza il modello di rilevamento FaceBoxes del 2018 basato su CPU per generare una casella delimitante intorno ai lineamenti del viso. Il flusso di lavoro assicura che il lato più corto della casella delimitante superi i 90 pixel, evitando regioni del viso piccole o poco chiare.

Il secondo passaggio è la rilevazione del blur, che viene applicata alla regione del viso utilizzando la varianza dell’operatore di Laplace nel canale di altezza (Y) della crop del viso. Questa varianza deve essere maggiore di 10, il che aiuta a filtrare le immagini sfocate.

Il terzo passaggio è la stima della posizione del viso, che utilizza il modello di stima della posizione del viso 3DDFA-V2 del 2021:

Esempi dal modello di stima della posizione del viso 3DDFA-V2. Fonte: https://arxiv.org/pdf/2009.09960

Qui il flusso di lavoro assicura che l’angolo di pitch del viso ritagliato non sia maggiore di 20 gradi e che l’angolo di yaw non sia maggiore di 15 gradi, escludendo i volti con pose estreme.

Il quarto passaggio è la valutazione della proporzione del viso, che utilizza anche le capacità di segmentazione del modello 3DDFA-V2, assicurando che la regione del viso ritagliata sia maggiore del 60% dell’immagine, escludendo le immagini in cui il viso non è prominente. cioè, piccolo nell’immagine complessiva.

Infine, il quinto passaggio è la rimozione dei caratteri duplicati, che utilizza un modello di riconoscimento facciale di stato dell’arte (non attribuito) per i casi in cui la stessa identità appare in più di una delle tre immagini raccolte per un video di 10 ore.

Valutazione umana e annotazione

Sono stati reclutati venti annotatori, composti da sei uomini e quattordici donne, che riflettono la demografia della piattaforma live utilizzata*. I volti sono stati visualizzati sullo schermo da 6,7 pollici di un iPhone 14 Pro Max, in condizioni di laboratorio costanti.

La valutazione è stata suddivisa in 200 sessioni, ognuna delle quali ha impiegato 50 immagini. Ai soggetti è stato chiesto di valutare l’attrattiva facciale dei campioni su una scala da 1 a 5, con una pausa di cinque minuti tra ogni sessione, e tutti i soggetti hanno partecipato a tutte le sessioni.

Pertanto, l’intero set di 10.000 immagini è stato valutato da venti soggetti umani, arrivando a 200.000 annotazioni.

Analisi e pre-elaborazione

Innanzitutto, è stata eseguita una valutazione post-schermo dei soggetti utilizzando il rapporto di valori anomali e il coefficiente di correlazione di Spearman (SROCC). I soggetti i cui voti avevano un SROCC inferiore a 0,75 o un rapporto di valori anomali superiore al 2% sono stati considerati inaffidabili e sono stati rimossi, con 20 soggetti finalmente ottenuti..

È stato quindi calcolato un punteggio di opinione medio (MOS) per ogni immagine del viso, calcolando la media dei voti ottenuti dai soggetti validi. Il MOS serve come verità di riferimento per l’etichetta di attrattiva di ogni immagine, e il punteggio è calcolato calcolando la media di tutti i singoli voti di ogni soggetto valido.

Infine, l’analisi delle distribuzioni MOS per tutti i campioni, nonché per i campioni femminili e maschili, ha indicato che esibivano una forma a curva di Gauss, che è coerente con le distribuzioni di attrattiva facciale del mondo reale:

Esempi di distribuzioni MOS di LiveBeauty.

La maggior parte degli individui tende ad avere un’attrattiva facciale media, con pochi individui agli estremi di attrattiva molto bassa o molto alta.

Inoltre, l’analisi dei valori di asimmetria e curtosi ha mostrato che le distribuzioni erano caratterizzate da code sottili e concentrate intorno al punteggio medio, e che l’attrattiva alta era più prevalente tra i campioni femminili nei video di streaming live raccolti.

Architettura

È stata utilizzata una strategia di addestramento a due fasi per il modello FPEM e la fase di fusione ibrida in LiveBeauty, suddivisa in quattro moduli: un modulo di priorità di attrattiva personalizzata (PAPM), un modulo di codificatore di attrattiva multi-modale (MAEM), un modulo di fusione cross-modale (CMFM) e un modulo di fusione decisionale (DFM).

Schema concettuale per la pipeline di addestramento di LiveBeauty.

Il modulo PAPM prende un’immagine come input ed estrae caratteristiche visive multi-scala utilizzando un Swin Transformer, ed estrae anche caratteristiche consapevoli del viso utilizzando un modello FaceNet pre-addestrato. Queste caratteristiche vengono quindi combinate utilizzando un blocco di attenzione incrociata per creare una caratteristica di “attrattiva” personalizzata.

Anche nella fase di addestramento preliminare, MAEM utilizza un’immagine e descrizioni testuali di attrattiva, sfruttando CLIP per estrarre caratteristiche semantiche estetiche multi-modalità.

I template delle descrizioni testuali sono nella forma di ‘una foto di una persona con {a} attrattiva’ (dove {a} può essere scarsa, povera, discreta, buona o perfetta). Il processo stima la somiglianza cosina tra le incapsulazioni testuali e visive per arrivare a una probabilità di livello di attrattiva.

Nella fase di fusione ibrida, il CMFM raffina le incapsulazioni testuali utilizzando la caratteristica di attrattiva personalizzata generata da PAPM, generando così incapsulazioni testuali personalizzate. Quindi utilizza una strategia di regressione della somiglianza per effettuare una previsione.

Infine, il DFM combina le previsioni individuali da PAPM, MAEM e CMFM per produrre un singolo punteggio di attrattiva finale, con l’obiettivo di raggiungere un consenso solido

Funzioni di perdita

Per le metriche di perdita, il PAPM viene addestrato utilizzando una perdita L1, una misura della differenza assoluta tra il punteggio di attrattiva previsto e il punteggio di attrattiva reale (verità di riferimento).

Il modulo MAEM utilizza una funzione di perdita più complessa che combina una perdita di punteggio (LS) con una perdita di classificazione combinata (LR). La perdita di classificazione (LR) comprende una perdita di fedeltà (LR1) e una perdita di classificazione bidirezionale (LR2).

LR1 confronta l’attrattiva relativa di coppie di immagini, mentre LR2 assicura che la distribuzione di probabilità prevista dei livelli di attrattiva abbia un singolo picco e diminuisca in entrambe le direzioni. Questo approccio combinato mira a ottimizzare sia la valutazione precisa che la classificazione corretta delle immagini in base all’attrattiva.

Il CMFM e il DFM vengono addestrati utilizzando una semplice perdita L1.

Test

Nei test, i ricercatori hanno confrontato LiveBeauty con nove approcci precedenti: ComboNet; 2D-FAP; REX-INCEP; CNN-ER (presentato in REX-INCEP); MEBeauty; AVA-MLSP; TANet; Dele-Trans; e EAT.

I metodi di base conformi a un protocollo di valutazione estetica delle immagini (IAA) sono stati testati. Questi erano ViT-B; ResNeXt-50; e Inception-V3.

Oltre a LiveBeauty, gli altri dataset testati sono stati SCUT-FBP5000 e MEBeauty. Di seguito, le distribuzioni MOS di questi dataset vengono confrontate:

Distribuzioni MOS dei dataset di riferimento.

Questi dataset di riferimento sono stati divisi rispettivamente nel 60%-40% e nell’80%-20% per l’addestramento e il test, separatamente, per mantenere la coerenza con i loro protocolli originali. LiveBeauty è stato diviso su una base del 90%-10%.

Per l’inizializzazione del modello in MAEM, sono stati utilizzati VT-B/16 e GPT-2 come encoder di immagini e testo, rispettivamente, inizializzati con le impostazioni da CLIP. Per PAPM, è stato utilizzato Swin-T come encoder di immagini addestrabile, in conformità con SwinFace.

È stato utilizzato l’ottimizzatore AdamW e un programmatore di tasso di apprendimento impostato con riscaldamento lineare sotto uno schema di annealing cosinusoidale. I tassi di apprendimento differivano tra le fasi di addestramento, ma ognuno aveva una dimensione del batch di 32, per 50 epoche.

Risultati dei test

I risultati dei test sui tre dataset FAP sono mostrati sopra. Di questi risultati, l’articolo afferma:

‘Il nostro metodo proposto raggiunge il primo posto e supera il secondo posto di circa 0,012, 0,081, 0,021 in termini di valori SROCC sui dataset LiveBeauty, MEBeauty e SCUT-FBP5000 rispettivamente, il che dimostra la superiorità del nostro metodo proposto.

‘I metodi IAA sono inferiori ai metodi FAP, il che dimostra che i metodi di valutazione estetica generica trascurano le caratteristiche facciali coinvolte nella natura soggettiva dell’attrattiva facciale, portando a prestazioni scarse nei compiti FAP.’

‘La prestazione di tutti i metodi diminuisce notevolmente su MEBeauty. Ciò è dovuto al fatto che i campioni di addestramento sono limitati e i volti sono etnicamente diversi in MEBeauty, indicando che c’è una grande diversità nell’attrattiva facciale.

‘Tutti questi fattori rendono la previsione dell’attrattiva facciale in MEBeauty più impegnativa.’

Considerazioni etiche

La ricerca sull’attrattiva è un’iniziativa potenzialmente divisiva, poiché stabilire presunti standard empirici di bellezza, tali sistemi tendono a rafforzare pregiudizi sull’età, la razza e molti altri settori della ricerca sulla visione artificiale in relazione agli esseri umani.

Si potrebbe sostenere che un sistema FAP sia intrinsecamente predisposto a rafforzare e perpetuare prospettive parziali e distorte sull’attrattiva. Questi giudizi possono derivare da annotazioni condotte dagli esseri umani – spesso condotte su scale troppo limitate per una generalizzazione efficace del dominio – o dall’analisi dei modelli di attenzione in ambienti online come le piattaforme di streaming, che sono, argomentabilmente, lontane dall’essere meritocratiche.

* L’articolo si riferisce ai domini di origine non nominati sia al singolare che al plurale.

Pubblicato per la prima volta mercoledì 8 gennaio 2025