Estimering av ansiktsattraktivitet för livestreaming

Hittills har Facial Attractiveness Prediction (FAP) främst studerats i psykologisk forskning, i skönhet- och kosmetikindustrin och i samband med kosmetisk kirurgi. Det är ett utmanande forskningsområde, eftersom skönhetsstandarder tenderar att vara nationella snarare än globala.

Detta innebär att ingen enda effektiv AI-baserad dataset är livskraftig, eftersom medelvärdena som erhålls från urval av ansikten/betyg från alla kulturer skulle vara mycket fördomsfulla (där mer folkrika nationer skulle få extra dragkraft), eller tillämpliga på ingen kultur alls (där medelvärdet av flera raser/betyg skulle motsvara ingen verklig ras).

I stället är utmaningen att utveckla konceptuella metoder och arbetsflöden som kan bearbetas med landsspecifik eller kulturspecifik data, för att möjliggöra utvecklingen av effektiva FAP-modeller per region.

Användningsfallen för FAP inom skönhet och psykologisk forskning är ganska marginella, annars branschspecifika; därför innehåller de flesta av de dataset som har sammanställts hittills endast begränsad data, eller har inte publicerats alls.

Tillgängligheten av online attraktivitetsprediktorer, som i huvudsak riktar sig till västerländska målgrupper, representerar inte nödvändigtvis den senaste utvecklingen inom FAP, som för närvarande tycks domineras av östasiatisk forskning (främst Kina), och motsvarande östasiatiska dataset.

Exempel från datasetet ‘Asian Female Facial Beauty Prediction Using Deep Neural Networks via Transfer Learning and Multi-Channel Feature Fusion’. Källa: https://www.semanticscholar.org/paper/Asian-Female-Facial-Beauty-Prediction-Using-Deep-Zhai-Huang/59776a6fb0642de5338a3dd9bac112194906bf30

Större kommersiella användningsområden för skönhetsestimering inkluderar online-datingapplikationer och generativa AI-system som är utformade för att ‘touch up’ riktiga avatarbilder av människor (eftersom sådana tillämpningar kräver en kvantifierad skönhetsstandard som en effektivitetsmätning).

Att rita ansikten

Attraktiva individer fortsätter att vara en värdefull tillgång i reklam och influensbyggande, vilket gör att de finansiella incitamenten i dessa sektorer är en tydlig möjlighet för att främja den senaste FAP-dataseten och -ramverken.

Till exempel kunde en AI-modell som tränats med verkliga data för att bedöma och betygsätta ansiktsSkönhet potentiellt identifiera evenemang eller individer med hög potential för reklamverkan. Denna förmåga skulle vara särskilt relevant i livevideoströmningssammanhang, där mått som “följare” och “gillningar” för närvarande endast fungerar som implicita indikatorer på en individs (eller till och med en ansiktstyps) förmåga att fånga en publik.

Detta är naturligtvis ett ytligt mått, och röst, presentation och synvinkel spelar också en betydande roll i att samla en publik. Därför kräver kureringen av FAP-dataset mänsklig övervakning, samt förmågan att skilja ansikts från “spekulativ” attraktivitet (utan vilken, influencers som Alex Jones kunde påverka den genomsnittliga FAP-kurvan för en samling som är avsedd att endast uppskatta ansiktsSkönhet).

LiveBeauty

För att åtgärda bristen på FAP-dataset erbjuder forskare från Kina det första storskaliga FAP-datasetet, som innehåller 100 000 ansiktsbilder, tillsammans med 200 000 mänskliga betygsättningar av ansiktsSkönhet.

Exempel från det nya LiveBeauty-datasetet. Källa: https://arxiv.org/pdf/2501.02509

Det kallas LiveBeauty, och datasetet innehåller 10 000 olika identiteter, alla inspelade från (ej specificerade) live-strömningplattformar i mars 2024.

Författarna presenterar också FPEM, en ny multi-modal FAP-metod. FPEM integrerar holistisk ansiktskunskap och multi-modal estetiska semantiska funktioner via en Personalized Attractiveness Prior Module (PAPM), en Multi-modal Attractiveness Encoder Module (MAEM) och en Cross-Modal Fusion Module (CMFM).

Artikeln hävdar att FPEM uppnår toppprestation på det nya LiveBeauty-datasetet och andra FAP-dataset. Författarna noterar att forskningen har potential för att förbättra videoqualitet, innehållsrekommendation och ansiktsretuschering i live-strömning.

Författarna lovar också att göra datasetet tillgängligt “snart” – även om det måste medges att eventuella licensbegränsningar i källodomänen sannolikt kommer att överföras till de flesta tillämpliga projekt som kan använda arbetet.

Den nya artikeln heter Facial Attractiveness Prediction in Live Streaming: A New Benchmark and Multi-modal Method och kommer från tio forskare över Alibaba Group och Shanghai Jiao Tong University.

Metod och data

Från varje 10-timmars sändning från live-strömningplattformarna valdes ett bild per timme under de första tre timmarna. Sändningar med de högsta sidvisningarna valdes.

Den insamlade datan bearbetades sedan i flera förbearbetningsstadier. Det första är ansiktsregionsstorleksmätning, som använder 2018 års CPU-baserade FaceBoxes-detektionsmodell för att generera en begränsningsruta runt ansiktslinjerna. Pipelinen säkerställer att begränsningsrutans korta sida överstiger 90 pixlar, vilket undviker små eller otydliga ansiktsområden.

Det andra steget är suddighetsdetektering, som appliceras på ansiktsområdet genom att använda variansen av Laplacian-operatören i höjden (Y)-kanalen i ansiktsavkortningen. Denna varians måste vara större än 10, vilket hjälper till att filtrera bort suddiga bilder.

Det tredje steget är ansiktsposestimering, som använder 2021 års 3DDFA-V2-posestimeringsmodell:

Exempel från 3DDFA-V2-estimeringsmodellen. Källa: https://arxiv.org/pdf/2009.09960

Här säkerställer arbetsflödet att pitchvinkeln på det avkortade ansiktet inte är större än 20 grader, och yaw-vinkeln inte är större än 15 grader, vilket utesluter ansikten med extrema poser.

Det fjärde steget är ansiktsproportionsbedömning, som också använder segmenteringsförmågan hos 3DDFA-V2-modellen, vilket säkerställer att det avkortade ansiktsområdet är större än 60 % av bilden, och utesluter bilder där ansiktet inte är framträdande. dvs. litet i den övergripande bilden.

Slutligen är det femte steget dubblettkaraktärsborttagning, som använder en (ej attribuerad) state-of-the-art-ansiktsigenkänningsmodell, för fall där samma identitet visas i mer än ett av de tre bilderna som samlats in för en 10-timmars video.

Mänsklig utvärdering och annotering

Tjugo annotatorer rekryterades, bestående av sex män och 14 kvinnor, vilket speglar demografin på den live-plattform som användes*. Ansikten visades på 6,7-tumsskärmen på en iPhone 14 Pro Max, under konsekventa laboratorieförhållanden.

Utvärderingen delades upp i 200 sessioner, var och en med 50 bilder. Deltagarna ombads att betygsätta ansiktsattraktiviteten hos proverna på en skala från 1 till 5, med en femminuters paus mellan varje session, och alla deltagare deltog i alla sessioner.

Därför utvärderades alla 10 000 bilder över 20 mänskliga ämnen, vilket resulterade i 200 000 annoteringar.

Analys och förbearbetning

Först utfördes subjektpost-screening med hjälp av outlier-kvot och Spearman’s Rank Correlation Coefficient (SROCC). Subjekt vars betygsättningar hade en SROCC på mindre än 0,75 eller en outlier-kvot på mer än 2 % ansågs vara opålitliga och togs bort, och 20 subjekt erhölls slutligen.

En Mean Opinion Score (MOS) beräknades sedan för varje ansiktsbild, genom att genomsnitta poängen som erhölls från de giltiga subjekten. MOS fungerar som ground truth-attribut för varje bild, och poängen beräknas genom att genomsnitta alla individuella poäng från varje giltigt subjekt.

Slutligen visade analysen av MOS-fördelningarna för alla prover, liksom för kvinnliga och manliga prover, att de uppvisade en Gaussisk form, vilket är förenligt med verkliga ansiktsattraktivitetsfördelningar:

Exempel på LiveBeauty MOS-fördelningar.

De flesta individer tenderar att ha genomsnittlig ansiktsattraktivitet, med färre individer i extremiteterna av mycket låg eller mycket hög attraktivitet.

Ytterligare analys av skewness och kurtosis-värden visade att fördelningarna kännetecknades av tunna svansar och koncentrerades runt genomsnittspoängen, och att hög attraktivitet var mer vanligt förekommande bland de kvinnliga proverna i de insamlade live-strömningarna.

Arkitektur

En tvåstegsstrategi för utbildning användes för Facial Prior Enhanced Multi-modal-modellen (FPEM) och Hybrid Fusion-fasen i LiveBeauty, uppdelad på fyra moduler: en Personalized Attractiveness Prior Module (PAPM), en Multi-modal Attractiveness Encoder Module (MAEM), en Cross-Modal Fusion Module (CMFM) och en Decision Fusion Module (DFM).

Konceptuell schema för LiveBeautys utbildningspipeline.

PAPM-modulen tar en bild som indata och extraherar multi-skala visuella funktioner med hjälp av en Swin Transformer, och extraherar också ansiktsmedvetna funktioner med en förtränad FaceNet-modell. Dessa funktioner kombineras sedan med en cross-attention-block för att skapa en personlig “attraktivitet”-funktion.

Även i den preliminära utbildningsfasen använder MAEM en bild och textbeskrivningar av attraktivitet, med CLIP för att extrahera multi-modal estetiska semantiska funktioner.

De mallbaserade textbeskrivningarna är i formen ‘en bild av en person med {a} attraktivitet’ (där {a} kan vara bad, poor, fair, good eller perfect). Processen uppskattar kosinlikheten mellan text- och visuella inbäddningar för att komma fram till en attraktivitetsnivåsannolikhet.

I Hybrid Fusion-fasen raffinerar CMFM de textbaserade inbäddningarna med den personliga attraktivitetsfunktionen som genererats av PAPM, vilket genererar personliga textbaserade inbäddningar. Det använder sedan en likhetsregressionsstrategi för att göra en förutsägelse.

Slutligen kombinerar DFM de enskilda förutsägelserna från PAPM, MAEM och CMFM för att producera en enda, slutgiltig attraktivitetsscore, med målet att uppnå en robust konsensus.

Förlustfunktioner

För förlustmått tränas PAPM med en L1-förlust, ett mått på den absoluta skillnaden mellan den förutsagda attraktivitetsscoren och den faktiska (ground truth) attraktivitetsscoren.

MAEM-modulen använder en mer komplex förlustfunktion som kombinerar en poängförlust (LS) med en sammanslagen rangordningsförlust (LR). Rangordningsförlusten (LR) består av en trohetsförlust (LR1) och en tvåriktad rangordningsförlust (LR2).

LR1 jämför den relativa attraktiviteten hos bildpar, medan LR2 säkerställer att den förutsagda sannolikhetsfördelningen av attraktivitetsnivåer har en enda topp och minskar i båda riktningarna. Detta kombinerade tillvägagångssätt syftar till att optimera både den exakta poängsättningen och den korrekta rangordningen av bilder baserat på attraktivitet.

CMFM och DFM tränas med en enkel L1-förlust.

Tester

I tester ställdes LiveBeauty mot nio tidigare tillvägagångssätt: ComboNet; 2D-FAP; REX-INCEP; CNN-ER (som presenteras i REX-INCEP); MEBeauty; AVA-MLSP; TANet; Dele-Trans; och EAT.

Baslinjemetoder som följer Image Aesthetic Assessment (IAA)-protokollet testades också. Dessa var ViT-B; ResNeXt-50; och Inception-V3.

Utöver LiveBeauty testades också andra dataset: SCUT-FBP5000 och MEBeauty. Nedan jämförs MOS-fördelningarna för dessa dataset:

MOS-fördelningar för benchmark-dataseten.

Respektive gästdataset delades upp 60%-40% och 80%-20% för utbildning och testning, var för sig, för att upprätthålla samstämmighet med deras ursprungliga protokoll. LiveBeauty delades upp på en 90%-10%-basis.

För modellinitiering i MAEM användes VT-B/16 och GPT-2 som bild- och textencoders, respektive, initierade av inställningar från CLIP. För PAPM användes Swin-T som en utbildningsbar bildencoder, i enlighet med SwinFace.

AdamW-optimeraren användes, och en inlärningshastighet schema ställdes in med linjär uppvärmning under ett kosinisk avkylning-schema. Inlärningshastigheterna skiljde sig åt mellan utbildningsfaserna, men var och en hade en batchstorlek på 32, för 50 epoker.

Resultat från tester

Resultat från tester på de tre FAP-dataseten visas ovan. Av dessa resultat hävdar artikeln:

‘Vår föreslagna metod uppnår första platsen och överträffar den andra platsen med cirka 0,012, 0,081, 0,021 i termer av SROCC-värden på LiveBeauty, MEBeauty och SCUT-FBP5000, vilket visar överlägsenheten hos vår föreslagna metod.

‘IAA-metoderna är underlägsna FAP-metoderna, vilket visar att generiska estetiska bedömningsmetoder försummar de ansiktsfunktioner som är involverade i den subjektiva naturen hos ansiktsattraktivitet, vilket leder till dålig prestanda på FAP-uppgifter.

‘Prestandan för alla metoder sjunker betydligt på MEBeauty. Detta beror på att träningsproverna är begränsade och att ansiktena är etniskt diversifierade i MEBeauty, vilket indikerar att det finns en stor variation i ansiktsattraktivitet.

‘Alla dessa faktorer gör att förutsägelsen av ansiktsattraktivitet i MEBeauty blir mer utmanande.’

Etiska överväganden

Forskning om attraktivitet är ett potentiellt kontroversiellt företag, eftersom etableringen av påstådda empiriska skönhetsstandarder tenderar att förstärka fördomar kring ålder, ras och många andra sektorer av datorseende som relaterar till människor.

Det kan hävdas att ett FAP-system är medfött förutbestämt att förstärka och upprätthålla partiella och fördomsfulla perspektiv på attraktivitet. Dessa bedömningar kan uppstå från mänskliga annoteringar – ofta genomförda på skalor som är för begränsade för effektiv domän generalisering – eller från att analysera uppmärksamhetsmönster i online-miljöer som streamingplattformar, som är, kanhända, långt ifrån att vara meritokratiska.

* Artikeln hänvisar till den oidentifierade källodomänen i både singular och plural.

Publicerad första gången onsdag, 8 januari 2025