Estimarea predictiei atractivitatii faciale pentru transmisii live

Pana in prezent, predictia atractivitatii faciale (FAP) a fost studiată în principal în contextul cercetărilor psihologice, în industria frumuseții și a cosmeticii, precum și în contextul chirurgiei cosmetice. Este un domeniu de studiu dificil, deoarece standardele de frumusețe tind să fie naționale, mai degrabă decât globale.

Aceasta înseamnă că nu există un singur set de date eficient bazat pe IA, deoarece mediile obținute prin eșantionarea fețelor și a notelor din toate culturile ar fi foarte biasate (unde țările mai populate ar câștiga tracțiune suplimentară), sau ar fi aplicabile nici unei culturi (unde media notelor multiple rase/ar fi egală cu zero).

În schimb, provocarea constă în a dezvolta metodologii conceptuale și fluxuri de lucru în care datele specifice țării sau culturii pot fi procesate, pentru a permite dezvoltarea unor modele FAP eficiente pe regiuni.

Cazurile de utilizare ale FAP în cercetarea frumuseții și psihologiei sunt destul de marginale, sau specifice industriei; prin urmare, majoritatea seturilor de date create până în prezent conțin doar date limitate, sau nu au fost publicate deloc.

Disponibilitatea facilă a predictorilor de atractivitate online, în mare parte destinați publicului occidental, nu reprezintă neapărat stadiul actual al FAP, care pare să fie dominat de cercetarea din estul Asiei (în special China), și de seturile de date corespunzătoare din estul Asiei.

Exemple de seturi de date din estul Asiei pentru FAP. Source: https://www.semanticscholar.org/paper/Asian-Female-Facial-Beauty-Prediction-Using-Deep-Zhai-Huang/59776a6fb0642de5338a3dd9bac112194906bf30

Utilizările comerciale mai largi ale estimării frumuseții includ aplicații de dating online, și sisteme de inteligență artificială generative proiectate pentru a ‘îmbunătăți’ imagini reale ale oamenilor (deoarece astfel de aplicații necesită un standard cantitativ de frumusețe ca metrică de eficacitate).

Drawing Faces

Persoanele atractive continuă să fie un activ valoros în publicitate și construirea influenței, făcând ca stimulentele financiare din aceste sectoare să fie o oportunitate clară pentru a avansa seturile de date și cadrele FAP de ultimă generație.

De exemplu, un model de inteligență artificial antrenat cu date din lumea reală pentru a evalua și a nota frumusețea facială ar putea identifica potențial evenimente sau persoane cu un impact ridicat în publicitate. Această capacitate ar fi deosebit de relevantă în contexte de transmisie video live, unde metrice precum ‘urmăritori’ și ‘aprecieri’ servesc doar ca indicatori impliciti ai capacității unei persoane (sau chiar a unui tip de față) de a captiva o audiență.

Aceasta este, desigur, o metrică superficială, și vocea, prezentarea și punctul de vedere joacă, de asemenea, un rol semnificativ în atragerea audienței. Prin urmare, curarea seturilor de date FAP necesită supraveghere umană, precum și capacitatea de a distinge atractivitatea facială de ‘atractivitatea specioasă’ (fără de care, influențatori din afara domeniului, cum ar fi Alex Jones, ar putea afecta curba medie FAP a unei colecții destinate exclusiv pentru a estima frumusețea facială).

LiveBeauty

Pentru a aborda lipsa seturilor de date FAP, cercetători din China oferă primul set de date FAP la scară largă, conținând 100.000 de imagini cu fețe, împreună cu 200.000 de annotări umane care estimează frumusețea facială.

Exemple din noul set de date LiveBeauty. Source: https://arxiv.org/pdf/2501.02509

Denumiți LiveBeauty, setul de date prezintă 10.000 de identități diferite, toate capturate de pe platforme de transmisie live (nespecificate) în luna martie a anului 2024.

Autorii prezintă, de asemenea, FPEM, o metodă FAP multi-modală nouă. FPEM integrează cunoștințe priore holistice faciale și caracteristici estetice multi-modale prin un modul de prioritate a atractivității personalizate (PAPM), un modul de codificare a atractivității multi-modale (MAEM) și un modul de fuziune cross-modală (CMFM).

Articolul susține că FPEM atinge performanțe de ultimă generație pe noul set de date LiveBeauty și pe alte seturi de date FAP. Autorii notează că cercetarea are aplicații potențiale pentru îmbunătățirea calității video, recomandarea conținutului și retușarea facială în transmisia live.

Autorii promit, de asemenea, să facă setul de date disponibil ‘curând’ – deși trebuie să se recunoască că orice restricție de licențiere inerentă în domeniul sursă pare să se transmită majorității proiectelor aplicabile care ar putea utiliza această lucrare.

Noul articol se intitulează Estimarea atractivității faciale în transmisia live: O nouă benchmark și o metodă multi-modală și provine de la zece cercetători din cadrul Alibaba Group și al Universității Shanghai Jiao Tong.

Metod și date

Din fiecare transmisie de 10 ore de pe platformele de transmisie live, cercetătorii au selectat o imagine pe oră pentru primele trei ore. Transmisiile cu cele mai multe vizualizări de pagină au fost selectate.

Datele colectate au fost supuse ulterior mai multor etape de pre-procesare. Prima dintre acestea este măsurarea dimensiunii regiunii faciale, care utilizează modelul de detecție a feței FaceBoxes din 2018 pentru a genera o cutie de delimitare în jurul trăsăturilor faciale. Pipeline-ul asigură că latura mai scurtă a cutiei de delimitare depășește 90 de pixeli, evitând regiunile faciale mici sau neclare.

Al doilea pas este detectarea blurului, care se aplică regiunii faciale prin utilizarea varianței operatorului Laplace în canalul Y al recoltei faciale. Această varianță trebuie să fie mai mare de 10, ceea ce ajută la filtrarea imaginilor blurate.

Al treilea pas este estimarea poziției feței, care utilizează modelul de estimare a poziției feței 3DDFA-V2 din 2021:

Exemple din modelul de estimare a poziției feței 3DDFA-V2. Source: https://arxiv.org/pdf/2009.09960

Aici, fluxul de lucru asigură că unghiul de înclinare al feței recoltate nu este mai mare de 20 de grade, iar unghiul de înclinare nu este mai mare de 15 grade, ceea ce exclude fețele cu poziții extreme.

Al patrulea pas este evaluarea proporțiilor feței, care utilizează, de asemenea, capacitățile de segmentare ale modelului 3DDFA-V2, asigurând că regiunea facială recoltată reprezintă mai mult de 60% din imagine, excluzând imagini în care fața nu este proeminentă, adică mică în imaginea generală.

În final, al cincilea pas este eliminarea caracterelor duplicate, care utilizează un model de recunoaștere a feței de ultimă generație (fără atribute), pentru cazurile în care aceeași identitate apare în mai mult de una dintre cele trei imagini colectate pentru o transmisie de 10 ore.

Evaluarea umană și annotarea

Au fost recrutați 20 de annotatori, constând în șase bărbați și 14 femei, reflectând demografia platformei de transmisie live utilizate*. Fețele au fost afișate pe ecranul de 6,7 inch al unui iPhone 14 Pro Max, în condiții de laborator constante.

Evaluarea a fost împărțită în 200 de sesiuni, fiecare dintre care a utilizat 50 de imagini. Subiecților li s-a cerut să evalueze atractivitatea facială a exemplarelor pe o scară de 1-5, cu o pauză de cinci minute impusă între fiecare sesiune, și toți subiecții au participat la toate sesiunile.

Prin urmare, întreaga colecție de 10.000 de imagini a fost evaluată de către cei 20 de subiecți umani, ajungând la 200.000 de annotări.

Analiza și pre-procesarea

Mai întâi, a fost efectuată o evaluare post-ecran a subiecților, utilizând raportul de outlier și coeficientul de corelație a rangului Spearman (SROCC). Subiecții ale căror evaluări aveau un SROCC mai mic de 0,75 sau un raport de outlier mai mare de 2% au fost considerați neverosi și au fost eliminați, ajungându-se la 20 de subiecți în final..

Un scor de opinie medie (MOS) a fost calculat apoi pentru fiecare imagine a feței, prin medierea notelor obținute de la subiecții valizi. MOS servește ca etalon de atractivitate pentru fiecare imagine, iar nota este calculată prin medierea tuturor notelor individuale de la fiecare subiect valabil.

În final, analiza distribuțiilor MOS pentru toate mostrele, precum și pentru mostrele feminine și masculine, a arătat că acestea prezintă o formă gaussiană, care este consistentă cu distribuțiile reale de atractivitate facială:

Exemple de distribuții MOS LiveBeauty.

Majoritatea indivizilor tind să aibă o atractivitate facială medie, cu mai puțini indivizi la extremele de atractivitate foarte scăzută sau foarte ridicată.

Mai mult, analiza valorilor de asimetrie și curtosis a arătat că distribuțiile au fost caracterizate prin cozi subțiri și concentrate în jurul notei medii, și că atractivitatea ridicată a fost mai prevalentă printre mostrele feminine în videoclipurile de transmisie live colectate.

Arhitectura

A fost utilizată o strategie de antrenare în două etape pentru modelul FPEM și faza de fuziune hibridă a LiveBeauty, împărțită în patru module: un modul de prioritate a atractivității personalizate (PAPM), un modul de codificare a atractivității multi-modale (MAEM), un modul de fuziune cross-modală (CMFM) și un modul de fuziune a deciziilor (DFM).

Schemă conceptuală pentru pipeline-ul de antrenare LiveBeauty.

Modulul PAPM ia o imagine ca intrare și extrage caracteristici vizuale multi-scară utilizând un transformator Swin, și extrage caracteristici conștiente de față utilizând un model FaceNet preantrenat. Aceste caracteristici sunt combinate utilizând un bloc de atenție cross-modală pentru a crea o caracteristică de atractivitate personalizată.

De asemenea, în faza de antrenare preliminară, MAEM utilizează o imagine și descrieri textuale ale atractivității, utilizând CLIP pentru a extrage caracteristici estetice multi-modale.

Descrierile textuale șablonizate sunt sub forma ‘o fotografie a unei persoane cu {a} atractivitate’ (unde {a} poate fi rea, slabă, mediocră, bună sau perfectă). Procesul estimează similaritatea cosinusoidală între încorporările textuale și vizuale pentru a ajunge la o probabilitate de nivel de atractivitate.

În faza de fuziune hibridă, CMFM rafinează încorporările textuale utilizând caracteristica de atractivitate personalizată generată de PAPM, generând astfel încorporări textuale personalizate. Apoi, utilizează o strategie de regresie a similarității pentru a face o predicție.

În final, DFM combină predicțiile individuale de la PAPM, MAEM și CMFM pentru a produce un singur scor de atractivitate final, cu scopul de a atinge un consens solid

Funcții de pierdere

Pentru metrice de pierdere, PAPM este antrenat utilizând o pierdere L1, o măsură a diferenței absolute dintre scorul de atractivitate prezis și scorul real (etalon) de atractivitate.

Modulul MAEM utilizează o funcție de pierdere mai complexă care combină o pierdere de notare (LS) cu o pierdere de ierarhizare combinată (LR). Pierderea de ierarhizare (LR) cuprinde o pierdere de fidelitate (LR1) și o pierdere de ierarhizare bidirecțională (LR2).

LR1 compară atractivitatea relativă a perechilor de imagini, în timp ce LR2 asigură că distribuția de probabilitate prezisă a nivelurilor de atractivitate are un singur vârf și scade în ambele direcții. Această abordare combinată vizează optimizarea atât a notării precise, cât și a ierarhizării corecte a imaginilor în funcție de atractivitate.

CMFM și DFM sunt antrenate utilizând o pierdere L1 simplă.

Teste

În teste, cercetătorii au comparat LiveBeauty cu nouă abordări anterioare: ComboNet; 2D-FAP; REX-INCEP; CNN-ER (prezentat în REX-INCEP); MEBeauty; AVA-MLSP; TANet; Dele-Trans; și EAT.

Metodele de referință care respectă un protocol de evaluare a esteticii imaginilor (IAA) au fost, de asemenea, testate. Acestea au fost ViT-B; ResNeXt-50; și Inception-V3.

Pe lângă LiveBeauty, celelalte seturi de date testate au fost SCUT-FBP5000 și MEBeauty. Mai jos, distribuțiile MOS ale acestor seturi de date sunt comparate:

Distribuții MOS ale seturilor de date de referință.

Respectiv, aceste seturi de date invitate au fost împărțite 60%-40% și 80%-20% pentru antrenare și testare, separat, pentru a menține consistența cu protocoalele lor originale. LiveBeauty a fost împărțită într-un raport de 90%-10%.

Pentru initializarea modelului MAEM, s-au utilizat VT-B/16 și GPT-2 ca encodatori de imagine și text, respectiv, inițializați prin setări de la CLIP. Pentru PAPM, s-a utilizat Swin-T ca encoder de imagine antrenabil, în conformitate cu SwinFace.

Optimizerul AdamW a fost utilizat, iar un programator de rată de învățare a fost setat cu încălzire liniară sub un regim de anulare cosinusoidală. Rata de învățare a variat în diferitele faze de antrenare, dar fiecare a avut o dimensiune a lotului de 32, pentru 50 de epoci.

Rezultatele testelor

Rezultatele testelor pe cele trei seturi de date FAP sunt prezentate mai sus. Din aceste rezultate, articolul afirmă:

‘Metoda noastră propusă ocupă primul loc și depășește locul doi cu aproximativ 0,012, 0,081, 0,021 în ceea ce privește valorile SROCC pe LiveBeauty, MEBeauty și SCUT-FBP5500, respectiv, ceea ce demonstrează superioritatea metodei noastre propuse.

‘Metodele IAA sunt inferioare metodelor FAP, ceea ce demonstrează că metodele generice de evaluare a esteticii ignoră trăsăturile faciale implicate în natura subiectivă a atractivității faciale, conducând la o performanță slabă în sarcinile FAP.’

‘Performanța tuturor metodelor scade semnificativ pe MEBeauty. Acest lucru se datorează faptului că mostrele de antrenare sunt limitate și fețele sunt etnic diverse în MEBeauty, indicând o diversitate mare a atractivității faciale. ‘

‘Toți acești factori fac ca predicția atractivității faciale în MEBeauty să fie mai dificilă.’

Considerații etice

Cercetarea atractivității este o întreprindere potențial divizivă, deoarece prin stabilirea unor standarde empirice de frumusețe, astfel de sisteme tind să întărească prejudecăți legate de vârstă, rasă și multe alte secțiuni de cercetare a viziunii calculate legate de oameni.

Se poate argumenta că un sistem FAP este în mod inerent predispus să întărească și să perpetueze perspective parțiale și biasate asupra atractivității. Aceste judecăți pot apărea din evaluări conduse de oameni – adesea efectuate pe scale prea limitate pentru o generalizare eficientă a domeniului – sau din analiza modelelor de atenție în medii online, cum ar fi platformele de transmisie, care sunt, în mod evident, departe de a fi meritocratice.

* Articolul se referă la domeniul/domeniile sursă neidentificate atât în singular, cât și în plural.

Publicat pentru prima dată miercuri, 8 ianuarie 2025