Estimering af ansigtsattraktivitet til livestreams

Indtil nu er Facial Attractiveness Prediction (FAP) primært blevet studeret i sammenhæng med psykologisk forskning, i skønheds- og kosmetikindustrien og i sammenhæng med kosmetisk kirurgi. Det er et udfordrende studieområde, da skønhedsstandarder tenderer til at være nationale snarere end globale.

Dette betyder, at der ikke findes en enkelt effektiv AI-baseret dataset, der er anvendelig, fordi gennemsnitsværdierne, der opnås ved at sampile ansigter/vurderinger fra alle kulturer, ville være meget forvrængede (hvor mere folkerige nationer ville få ekstra trækkraft), eller anvendelige på ingen kultur overhovedet (hvor gennemsnitsværdien af multiple racer/vurderinger ville svare til ingen reel race).

I stedet er udfordringen at udvikle konceptuelle metoder og arbejdsgange, hvori land- eller kultur-specifik data kan bearbejdes, for at muliggøre udviklingen af effektive per-region FAP-modeller.

Brugsøjeblikkene for FAP i skønheds- og psykologisk forskning er ret marginale, eller snarere branche-specifikke; derfor indeholder de fleste af de datasets, der er kurateret indtil nu, kun begrænsede data, eller er ikke blevet offentliggjort overhovedet.

Den lette tilgængelighed af online attraktivitetsprædiktorer, der primært er rettet mod vestlige publikummer, repræsenterer ikke nødvendigvis den nyeste udvikling i FAP, som synes at være domineret af østasiatisk forskning (primært Kina), og tilhørende østasiatiske datasets.

Dataset-eksempler fra 2020-papiret ‘Asian Female Facial Beauty Prediction Using Deep Neural Networks via Transfer Learning and Multi-Channel Feature Fusion’. Kilde: https://www.semanticscholar.org/paper/Asian-Female-Facial-Beauty-Prediction-Using-Deep-Zhai-Huang/59776a6fb0642de5338a3dd9bac112194906bf30

Bredere kommercielle anvendelser af skønhedsestimering omfatter online-datingsites og generative AI-systemer, der er designet til at ‘retusche’ virkelige avatar-billeder af mennesker (da sådanne anvendelser kræver en kvantificeret standard for skønhed som en målestok for effektivitet).

Tegning af ansigter

Tiltrækkende individer er fortsat en værdifuld ressource i reklame og påvirkningsbygning, hvilket gør de finansielle incitamenter i disse sektorer til en klar mulighed for at fremme state-of-the-art FAP-datasets og -rammer.

For eksempel kunne en AI-model, der er trænet med virkelige data til at vurderer og bedømme ansigtskønhed, potentielt identificere begivenheder eller individer med høj potentiale for reklamevirkning. Denne evne ville være særligt relevant i live-video-streaming-kontekster, hvor målinger som “følgere” og “likes” kun tjener som implicit indikatorer for en persons (eller endda en ansigtstypes) evne til at tiltrække en publikum.

Dette er naturligvis en overfladisk målestok, og stemme, præsentation og synspunkt spiller også en betydelig rolle i publikumssamlingen. Derfor kræver kureringen af FAP-datasets menneskelig oversigt samt evnen til at skelne mellem ansigts- og “spektakulær” tiltrækning (hvis ikke, kunne ud-af-domæne-påvirkere som Alex Jones ende med at påvirke den gennemsnitlige FAP-kurve for en samling, der er designet udelukkende til at estimerer ansigtskønhed).

LiveBeauty

For at imødegå manglen på FAP-datasets tilbyder forskere fra Kina det første store FAP-dataset, der indeholder 100.000 ansigtsbilleder samt 200.000 menneskelige annotationer, der estimerer ansigtskønhed.

Eksempler fra det nye LiveBeauty-dataset. Kilde: https://arxiv.org/pdf/2501.02509

Det kaldes LiveBeauty, og datasettet indeholder 10.000 forskellige identiteter, alle fanget fra (uspecificerede) live-streaming-platforme i marts 2024.

Forfatterne præsenterer også FPEM, en ny multi-modal FAP-metode. FPEM integrerer holistisk ansigtsforudsætning og multi-modal æstetisk funktioner via en Personlig Attractiveness Prior Module (PAPM), en Multi-modal Attractiveness Encoder Module (MAEM) og en Cross-Modal Fusion Module (CMFM).

Papiret påstår, at FPEM opnår state-of-the-art-præstation på det nye LiveBeauty-dataset og andre FAP-datasets. Forfatterne bemærker, at forskningen har potentiale for at forbedre video-kvalitet, indholdsanbefalinger og ansigtsretouchering i live-streaming.

Forfatterne lover også at gøre datasettet tilgængeligt “snart” – selv om det må erkendes, at enhver licensbegrænsning, der er indbygget i kilde-domænet, sandsynligvis vil blive overført til de fleste projekter, der kan anvende arbejdet.

Det nye papir hedder Facial Attractiveness Prediction in Live Streaming: A New Benchmark and Multi-modal Method og kommer fra ti forskere på tværs af Alibaba Group og Shanghai Jiao Tong University.

Metode og data

Fra hver 10-timers udsendelse fra live-streaming-platformene valgte forskerne ét billede pr. time for de første tre timer. Udsendelser med de højeste sidevisninger blev valgt.

De indsamlede data blev derefter underlagt flere forarbejdningsfaser. Den første af disse er ansigtsregionsstørrelsesmåling, der bruger den CPU-baserede FaceBoxes-detektionsmodel fra 2018 til at generere en begrænsningsboks rundt om ansigtets linjeføring. Pipelinen sikrer, at begrænsningsboksens kortere side overstiger 90 pixel, og undgår små eller uklare ansigtsregioner.

Den anden fase er uskarphedsdetektion, der anvendes på ansigtsregionen ved hjælp af variansen af Laplacian-operatoren i højdekanalen (Y) på ansigtscroppen. Denne varians skal være større end 10, hvilket hjælper med at filtrere ud uskarpe billeder.

Den tredje fase er ansigtsposeestimering, der bruger 3DDFA-V2-poseestimeringsmodellen fra 2021:

Eksempler fra 3DDFA-V2-estimeringsmodellen. Kilde: https://arxiv.org/pdf/2009.09960

Her sikrer arbejdsgangen, at pitch-vinklen på det beskårne ansigt ikke er større end 20 grader, og yaw-vinklen ikke er større end 15 grader, hvilket udelukker ansigter med ekstreme poser.

Den fjerde fase er ansigtsproportionsvurdering, der også bruger segmenteringsfunktionerne i 3DDFA-V2-modellen, hvilket sikrer, at den beskårne ansigtsregion er større end 60% af billedet, og udelukker billeder, hvor ansigtet ikke er fremtrædende. dvs. småt i det samlede billede.

Endelig er den femte fase duplikat-figur-fjernelse, der bruger en (uattributeret) state-of-the-art ansigtsgenkendelsesmodel, i tilfælde hvor samme identitet optræder i mere end ét af de tre billeder, der er indsamlet for en 10-timers video.

Menneskelig evaluering og annotation

Tyve annotatorer blev rekrutteret, bestående af seks mænd og 14 kvinder, hvilket afspejler demografien på den live-platform, der blev brugt*. Ansigterne blev vist på den 6,7-tommer skærm på en iPhone 14 Pro Max under konstante laboratorieforhold.

Evalueringen blev fordelt over 200 sessioner, hvoraf hver session bestod af 50 billeder. Deltagerne blev bedt om at bedømme ansigtsattraktiviteten af prøverne på en skala fra 1-5, med en fem-minutters pause mellem hver session, og alle deltagere deltog i alle sessioner.

Derfor blev hele de 10.000 billeder vurderet over 20 menneskelige subjekter, hvilket resulterede i 200.000 annotationer.

Analyse og forarbejdning

Først blev subjekt-post-screening udført ved hjælp af outlier-ratio og Spearman’s Rank Correlation Coefficient (SROCC). Subjekter, hvis vurderinger havde en SROCC på under 0,75 eller en outlier-ratio på over 2%, blev betragtet som upålidelige og fjernet, hvilket resulterede i 20 subjekter.

En Mean Opinion Score (MOS) blev herefter beregnet for hvert ansigtsbillede ved at gøre gennemsnittet af vurderingerne fra de gyldige subjekter. MOS fungerer som ground truth-attraktivitetslabel for hvert billede, og scoren beregnes ved at gøre gennemsnittet af alle individuelle vurderinger fra hvert gyldigt subjekt.

Endelig viste analysen af MOS-fordelingerne for alle prøver, såvel som for kvindelige og mandlige prøver, at de havde en Gaussian-lignende form, hvilket er konsistent med virkelige ansigtsattraktivitetsfordelinger:

Eksempler på LiveBeauty MOS-fordelinger.

De fleste individer har gennemsnitlig ansigtsattraktivitet, med færre individer i ekstremt lav eller høj attraktivitet.

Yderligere analyse af skævhed og kurtose-værdier viste, at fordelingerne var karakteriseret ved tynde haler og koncentreret omkring gennemsnitsscoren, og at høj attraktivitet var mere udbredt blandt kvindelige prøver i de indsamlede live-streaming-videoer.

Arkitektur

En to-trins træningsstrategi blev brugt til Facial Prior Enhanced Multi-modal-modellen (FPEM) og Hybrid Fusion-fasen i LiveBeauty, fordelt over fire moduler: en Personlig Attractiveness Prior Module (PAPM), en Multi-modal Attractiveness Encoder Module (MAEM), en Cross-Modal Fusion Module (CMFM) og en Decision Fusion Module (DFM).

Konceptuel skema for LiveBeauty’s træningspipeline.

PAPM-modulen tager et billede som input og ekstraherer multi-skala visuelle funktioner ved hjælp af en Swin Transformer, og ekstraherer også ansigt-orienterede funktioner ved hjælp af en forudtrænet FaceNet-model. Disse funktioner kombineres herefter ved hjælp af en cross-attention-blok til at skabe en personlig “attraktivitetsfunktion”.

I den preliminære træningsfase bruger MAEM et billede og tekstbeskrivelser af attraktivitet, og udnytter CLIP til at ekstrahere multi-modale æstetiske semantiske funktioner.

Den skabelonmæssige tekstbeskrivelse er i form af ‘et billede af en person med {a} attraktivitet’ (hvor {a} kan være dårlig, ringe, fair, god eller perfekt). Processen estimerer cosin-lighed mellem tekstuelle og visuelle indlejring til at nå en attraktivitetsniveau-sandsynlighed.

I Hybrid Fusion-fasen refinerer CMFM de tekstuelle indlejring ved hjælp af den personlige attraktivitetsfunktion, der genereres af PAPM, og genererer herefter personlige tekstindlejring. Den anvender herefter en lighed-regressionsstrategi til at foretage en forudsigelse.

Endelig kombinerer DFM de enkelte forudsigelser fra PAPM, MAEM og CMFM til at producere en enkelt, slutattraktivitetsscore, med det formål at opnå en solid konsensus.

Tabsskader

For tabsskade-mål blev PAPM trænet ved hjælp af en L1-tabsskade, et mål for den absolutte forskel mellem den forudsagte attraktivitetsscore og den faktiske (ground truth) attraktivitetsscore.

MAEM-modulen bruger en mere kompleks tabsskade-funktion, der kombinerer en vurderingstabsskade (LS) med en sammenflettet rangeringstabsskade (LR). Rangeringstabsskaden (LR) består af en trofasthedstabsskade (LR1) og en to-rettet rangeringstabsskade (LR2).

LR1 sammenligner den relative attraktivitet af billedpar, mens LR2 sikrer, at den forudsagte sandsynlighedsfordeling af attraktivitetsniveauer har en enkelt top og aftager i begge retninger. Denne kombinerede tilgang sigter mod at optimere både den præcise vurdering og den korrekte rangering af billeder baseret på attraktivitet.

CMFM og DFM trænes ved hjælp af en simpel L1-tabsskade.

Tests

I tests satte forskerne LiveBeauty op imod ni tidligere tilgange: ComboNet; 2D-FAP; REX-INCEP; CNN-ER (præsenteret i REX-INCEP); MEBeauty; AVA-MLSP; TANet; Dele-Trans; og EAT.

Baseline-metoder, der overholder en Image Aesthetic Assessment (IAA)-protokol, blev også testet. Disse var ViT-B; ResNeXt-50; og Inception-V3.

Foruden LiveBeauty blev de andre datasets, der blev testet, SCUT-FBP5000 og MEBeauty. Herunder sammenlignes MOS-fordelingerne for disse datasets:

MOS-fordelinger for benchmark-datasets.

Respektivt blev disse gæstedatasets fordelt 60%-40% og 80%-20% til træning og test, separat, for at opretholde konsistens med deres oprindelige protokoller. LiveBeauty blev fordelt på en 90%-10%-basis.

For model-initialisering i MAEM blev VT-B/16 og GPT-2 brugt som billed- og tekst-encodere, initialiseret af indstillinger fra CLIP. For PAPM blev Swin-T brugt som en trænbar billed-encoder, i overensstemmelse med SwinFace.

AdamW-optimizeren blev brugt, og en læringsrate– planlægger blev indstillet med lineær varm-start under en cosin-afbrydning-skema. Læringsraterne var forskellige under træningsfaserne, men hver havde en batch-størrelse på 32, i 50 epoch.

Resultater fra tests

Resultaterne fra tests på de tre FAP-datasets vises ovenfor. Af disse resultater påstår papiret:

‘Vores foreslåede metode opnår førstepladsen og overgår andenpladsen med omkring 0,012, 0,081, 0,021 i forhold til SROCC-værdier på LiveBeauty, MEBeauty og SCUT-FBP5500 henholdsvis, hvilket demonstrerer overlegenheden af vores foreslåede metode.

‘IAA-metoderne er underlegne i forhold til FAP-metoderne, hvilket viser, at de generiske æstetiske vurderingsmetoder overser de ansigtsfunktioner, der er involveret i den subjektive natur af ansigtsattraktivitet, og dermed fører til dårlig præstation på FAP-opgaver.

‘Præstationen for alle metoder falder betydeligt på MEBeauty. Dette skyldes, at træningseksemplerne er begrænsede, og ansigterne er etnisk diverse i MEBeauty, hvilket indikerer, at der er en stor diversitet i ansigtsattraktivitet.

‘Alle disse faktorer gør forudsigelsen af ansigtsattraktivitet i MEBeauty mere udfordrende.’

Etiske overvejelser

Forskning i attraktivitet er et potentielt kontroversielt forskningsområde, da det ved at etablere angiveligt empiriske skønhedsstandarder vil have en tendens til at forstærke fordomme omkring alder, race og mange andre aspekter af computer-vision-forskning i forhold til mennesker.

Det kan argumenteres for, at et FAP-system er instrinsisk prædisponeret til at forstærke og videreføre partielle og fordomsfulde perspektiver på attraktivitet. Disse vurderinger kan opstå fra menneskeledede annotationer – ofte udført på skalaer, der er for begrænsede til effektiv domæne-generalisering – eller fra analyse af opmærksomheds-mønstre i online-miljøer som streaming-platforme, der, kan man argumentere for, langt fra er meritokratiske.

* Papiret henviser til den navnløse kilde-domæne(i) i både ental og flertal.

Først offentliggjort onsdag, 8. januar 2025