Geschatte gezichts schoonheid voorspelling voor livestreams

Tot nu toe is Facial Attractiveness Prediction (FAP) voornamelijk bestudeerd in de context van psychologisch onderzoek, in de schoonheids- en cosmetica-industrie en in de context van cosmetische chirurgie. Het is een moeilijk onderzoeksgebied, omdat schoonheidsnormen meer nationaal dan wereldwijd zijn.

Dit betekent dat geen enkele effectieve AI-gebaseerde dataset bruikbaar is, omdat de gemiddelde waarden die worden verkregen door het bemonsteren van gezichten en beoordelingen van alle culturen zeer vertekend zouden zijn (waar meer bevolkte landen extra aandacht zouden krijgen), of anderszins van toepassing zouden zijn op geen cultuur (waar het gemiddelde van meerdere rassen en beoordelingen zou neerkomen op geen werkelijk ras).

In plaats daarvan is de uitdaging om conceptuele methodologieën en workflows te ontwikkelen waarin land- of cultuurspecifieke gegevens kunnen worden verwerkt, om de ontwikkeling van effectieve per-regio FAP-modellen mogelijk te maken.

De toepassingen van FAP in de schoonheids- en psychologische onderzoeken zijn vrij marginaal, ofwel specifiek voor de industrie; daarom bevatten de meeste tot nu toe gecreëerde datasets slechts beperkte gegevens, of zijn ze helemaal niet gepubliceerd.

De gemakkelijke beschikbaarheid van online aantrekkelijkheidspredictors, voornamelijk gericht op westerse publiek, vertegenwoordigen niet noodzakelijkerwijs de stand van de techniek in FAP, die momenteel gedomineerd wordt door oost-Aziatisch onderzoek (voornamelijk China), en overeenkomstige oost-Aziatische datasets.

Voorbeelden van datasets uit het artikel ‘Asian Female Facial Beauty Prediction Using Deep Neural Networks via Transfer Learning and Multi-Channel Feature Fusion’. Bron: https://www.semanticscholar.org/paper/Asian-Female-Facial-Beauty-Prediction-Using-Deep-Zhai-Huang/59776a6fb0642de5338a3dd9bac112194906bf30

Breder commerciële toepassingen voor schoonheidschatting omvatten online datingsites en generatieve AI-systemen die zijn ontworpen om ‘touch-ups’ van echte avatarbeelden van mensen te maken (aangezien dergelijke toepassingen een gestandaardiseerde schoonheidsnorm als effectiviteitsmeting vereisen).

Het tekenen van gezichten

Aantrekkelijke individuen blijven een waardevolle asset in reclame en invloed, waardoor de financiële stimulansen in deze sectoren een duidelijke kans bieden voor het verbeteren van de staat van de techniek in FAP-datasets en -frameworks.

Om bijvoorbeeld een AI-model getraind met echte gegevens om de gezichtsschoonheid te beoordelen en te beoordelen, kan potentieel gebeurtenissen of individuen identificeren met een hoog potentieel voor reclame-impact. Deze functionaliteit zou vooral relevant zijn in live video-streamingcontexten, waar metrics zoals ‘volgers’ en ‘likes’ momenteel alleen maar impliciete indicatoren zijn van een individu’s (of zelfs een gezichtstype) vermogen om een publiek te boeien.

Dit is een oppervlakkige meting, en stem, presentatie en standpunt spelen ook een significante rol in het verzamelen van een publiek. Daarom vereist de curatie van FAP-datasets menselijke toezicht, evenals het vermogen om onderscheid te maken tussen gezichts- en ‘specieuze’ aantrekkelijkheid (zonder welke, out-of-domain influencers zoals Alex Jones het gemiddelde FAP-gebied voor een collectie zouden kunnen beïnvloeden die uitsluitend is ontworpen om gezichtsschoonheid te schatten).

LiveBeauty

Om de tekortkoming aan FAP-datasets aan te pakken, bieden onderzoekers uit China de eerste grote FAP-dataset aan, met 100.000 gezichtsbeelden, samen met 200.000 menselijke annotaties die de gezichtsschoonheid schatten.

Voorbeelden uit de nieuwe LiveBeauty-dataset. Bron: https://arxiv.org/pdf/2501.02509

Genoemd LiveBeauty, bevat de dataset 10.000 verschillende identiteiten, allemaal vastgelegd van (niet gespecificeerde) live streaming-platforms in maart 2024.

De auteurs presenteren ook FPEM, een novale multi-modale FAP-methode. FPEM integreert holistische gezichtsvoorwaarden en multi-modale esthetische functies via een Personalized Attractiveness Prior Module (PAPM), een Multi-modal Attractiveness Encoder Module (MAEM) en een Cross-Modal Fusion Module (CMFM).

Het artikel stelt dat FPEM state-of-the-art-prestaties bereikt op de nieuwe LiveBeauty-dataset en andere FAP-datasets. De auteurs merken op dat het onderzoek potentieel heeft voor toepassingen voor het verbeteren van video-kwaliteit, inhoudsaanbevelingen en gezichtsretoucheren in live streaming.

De auteurs beloven ook om de dataset ‘spoedig’ beschikbaar te stellen – hoewel het moet worden toegegeven dat eventuele licentiebeperkingen die inherent zijn aan het bron domein, waarschijnlijk zullen worden doorgegeven aan de meeste toepasbare projecten die gebruik zouden kunnen maken van het werk.

Het nieuwe artikel heet Facial Attractiveness Prediction in Live Streaming: A New Benchmark and Multi-modal Method en komt van tien onderzoekers uit de Alibaba Group en de Shanghai Jiao Tong University.

Methode en gegevens

Van elke 10-uur durende uitzending van de live streaming-platforms, selecteerden de onderzoekers één beeld per uur voor de eerste drie uur. Uitzendingen met de hoogste paginaweergaven werden geselecteerd.

De verzamelde gegevens werden vervolgens onderworpen aan verschillende voorverwerkingsfasen. De eerste hiervan is gezichtsregiogrootte meting, die het 2018 CPU-gebaseerde FaceBoxes-detectiemodel gebruikt om een begrenzingsvak rond de gezichtslijnen te genereren. De pipeline zorgt ervoor dat de begrenzingsvak van de korte zijde meer dan 90 pixels overschrijdt, waardoor kleine of onduidelijke gezichtsregio’s worden vermeden.

De tweede stap is blur detectie, die op de gezichtsregio wordt toegepast door de variantie van de Laplacian-operator in de hoogte (Y) kanaal van de gezichts crop. Deze variantie moet groter zijn dan 10, wat helpt om vage beelden te filteren.

De derde stap is gezichtshouding schatting, die het 2021 3DDFA-V2-houdingsschatmodel gebruikt:

Voorbeelden uit het 3DDFA-V2-schatmodel. Bron: https://arxiv.org/pdf/2009.09960

Hierbij zorgt de workflow ervoor dat de pitchhoek van het gesneden gezicht niet groter is dan 20 graden, en de yawhoek niet groter is dan 15 graden, waardoor gezichten met extreme houdingen worden uitgesloten.

De vierde stap is gezichtsverhouding beoordeling, die ook de segmentatiecapaciteiten van het 3DDFA-V2-model gebruikt, waarbij wordt gegarandeerd dat de gesneden gezichtsregio meer dan 60% van het beeld beslaat, waardoor beelden waarop het gezicht niet prominent aanwezig is, worden uitgesloten, d.w.z. klein in het totale beeld.

Ten slotte is de vijfde stap duplicate karakter verwijdering, die een (niet toegeschreven) state-of-the-art gezichtsherkenningmodel gebruikt, voor gevallen waarin dezelfde identiteit meer dan één keer voorkomt in de drie beelden die zijn verzameld voor een 10-uur durende video.

Menselijke evaluatie en annotatie

Twintig annotators werden geselecteerd, bestaande uit zes mannen en 14 vrouwen, die de demografie van het live-platform weerspiegelden*. De gezichten werden weergegeven op het 6,7-inch scherm van een iPhone 14 Pro Max, onder consistente laboratoriumomstandigheden.

De evaluatie werd gesplitst over 200 sessies, waarvan elk 50 beelden gebruikte. De onderwerpen werden gevraagd om de aantrekkelijkheid van de monsters te beoordelen op een score van 1-5, met een vijfminutenpauze tussen elke sessie, en alle onderwerpen namen deel aan alle sessies.

Dit betekent dat de gehele 10.000 beelden werden geëvalueerd over twintig menselijke onderwerpen, resulterend in 200.000 annotaties.

Analyse en voorverwerking

Eerst werd onderwerp-na-scherming uitgevoerd met behulp van outlier-ratio en Spearman’s Rank Correlation Coefficient (SROCC). Onderwerpen waarvan de beoordelingen een SROCC van minder dan 0,75 hadden of een outlier-ratio van meer dan 2% werden als onbetrouwbaar beschouwd en verwijderd, waardoor uiteindelijk twintig onderwerpen overbleven..

Een Mean Opinion Score (MOS) werd vervolgens berekend voor elk gezichtsbeeld, door de scores te berekenen die werden verkregen door de geldige onderwerpen. De MOS dient als de ground truth-aantrekkelijkheidslabel voor elk beeld, en de score wordt berekend door alle individuele scores van elk geldig onderwerp te berekenen.

Ten slotte gaf de analyse van de MOS-verdelingen voor alle monsters, evenals voor vrouwelijke en mannelijke monsters, aan dat ze een Gaussian-style vorm vertoonden, wat consistent is met echte gezichtsaantrekkelijkheidsverdelingen:

Voorbeelden van LiveBeauty MOS-verdelingen.

De meeste individuen hebben gemiddelde gezichtsaantrekkelijkheid, met minder individuen aan de uiteinden van zeer lage of zeer hoge aantrekkelijkheid.

Verder toonde de analyse van scheefheid en kurtosis-waarden aan dat de verdelingen werden gekenmerkt door dunne staarten en geconcentreerd rond de gemiddelde score, en dat hoge aantrekkelijkheid vaker voorkwam onder de vrouwelijke monsters in de verzamelde live streaming-video’s.

Architectuur

Een tweefasestrategie werd gebruikt voor de Facial Prior Enhanced Multi-modal (FPEM) en de Hybrid Fusion Phase in LiveBeauty, gesplitst over vier modules: een Personalized Attractiveness Prior Module (PAPM), een Multi-modal Attractiveness Encoder Module (MAEM), een Cross-Modal Fusion Module (CMFM) en een Decision Fusion Module (DFM).

Conceptueel schema voor LiveBeauty’s trainingspijplijn.

De PAPM-module neemt een beeld als invoer en extracteert multi-schaal visuele functies met behulp van een Swin Transformer, en extracteert ook gezichtsfuncties met behulp van een vooraf getraind FaceNet-model. Deze functies worden vervolgens gecombineerd met behulp van een cross-attention-blok om een persoonlijke ‘aantrekkelijkheids’-functie te creëren.

Ook in de voorlopige trainingsfase gebruikt MAEM een beeld en tekstbeschrijvingen van aantrekkelijkheid, met behulp van CLIP om multi-modale esthetische semantische functies te extraheren.

De geformuleerde tekstbeschrijvingen zijn in de vorm van ‘een foto van een persoon met {a} aantrekkelijkheid’ (waar {a} kan zijn slecht, arm, redelijk, goed of perfect). Het proces schat de cosine-overeenkomst tussen tekstuele en visuele embeddings om een aantrekkelijkheidsniveau-waarschijnlijkheid te bereiken.

In de Hybrid Fusion-fase verfijnt CMFM de tekstuele embeddings met behulp van de persoonlijke aantrekkelijkheidsfunctie gegenereerd door PAPM, waardoor persoonlijke tekstuele embeddings worden gegenereerd. Vervolgens gebruikt het een overeenkomst-regressie-strategie om een voorspelling te doen.

Ten slotte combineert DFM de individuele voorspellingen van PAPM, MAEM en CMFM om een enkele, definitieve aantrekkelijkheidscore te produceren, met als doel een stevige consensus te bereiken

Verliesfuncties

Voor verliesmetrieken wordt PAPM getraind met behulp van een L1-verlies, een maat voor het absolute verschil tussen de voorspelde aantrekkelijkheidscore en de werkelijke (ground truth) aantrekkelijkheidscore.

De MAEM-module gebruikt een complexere verliesfunctie die een score-verlies (LS) combineert met een gefuseerde rangorde-verlies (LR). De rangorde-verlies (LR) bestaat uit een trouwheidsverlies (LR1) en een twee-richtingsrangorde-verlies (LR2).

LR1 vergelijkt de relatieve aantrekkelijkheid van beeldparen, terwijl LR2 ervoor zorgt dat de voorspelde waarschijnlijkheidsverdeling van aantrekkelijkheidsniveaus een enkele piek heeft en in beide richtingen afneemt. Deze gecombineerde aanpak is gericht op het optimaliseren van zowel de nauwkeurige score als de correcte rangorde van beelden op basis van aantrekkelijkheid.

CMFM en DFM worden getraind met behulp van een eenvoudige L1-verlies.

Tests

In tests hebben de onderzoekers LiveBeauty getest tegen negen eerdere benaderingen: ComboNet; 2D-FAP; REX-INCEP; CNN-ER (gepresenteerd in REX-INCEP); MEBeauty; AVA-MLSP; TANet; Dele-Trans; en EAT.

Basismethoden die voldoen aan een Image Aesthetic Assessment (IAA) protocol werden ook getest. Deze waren ViT-B; ResNeXt-50; en Inception-V3.

Naast LiveBeauty werden de andere geteste datasets SCUT-FBP5000 en MEBeauty. Hieronder worden de MOS-verdelingen van deze datasets vergeleken:

MOS-verdelingen van de benchmark-datasets.

Deze gast-datasets werden respectievelijk gesplitst 60%-40% en 80%-20% voor training en testen, afzonderlijk, om consistentie met hun oorspronkelijke protocollen te behouden. LiveBeauty werd gesplitst op een 90%-10% basis.

Voor modelinitialisatie in MAEM werden VT-B/16 en GPT-2 gebruikt als de beeld- en tekstencoders, respectievelijk, geïnitialiseerd door instellingen van CLIP. Voor PAPM werd Swin-T gebruikt als een trainable beeldencoder, in overeenstemming met SwinFace.

De AdamW-optimizer werd gebruikt, en een leer tempo scheduler werd ingesteld met lineaire opwarming onder een cosine annealing-schema. Leer tempo’s verschilden over de trainingsfasen, maar elk had een batchgrootte van 32, voor 50 epochs.

Resultaten van tests

Resultaten van tests op de drie FAP-datasets worden hierboven getoond. Van deze resultaten stelt het artikel:

‘Onze voorgestelde methode bereikt de eerste plaats en overtreft de tweede plaats met ongeveer 0,012, 0,081, 0,021 in termen van SROCC-waarden op LiveBeauty, MEBeauty en SCUT-FBP5500 respectievelijk, wat de superioriteit van onze voorgestelde methode aantoont.

‘De IAA-methoden zijn inferieur aan de FAP-methoden, wat aantoont dat de generieke esthetische beoordelingsmethoden de gezichtsfuncties die betrokken zijn bij de subjectieve aard van gezichtsaantrekkelijkheid, negeren, wat leidt tot slechte prestaties op FAP-taken.

‘De prestaties van alle methoden dalen aanzienlijk op MEBeauty. Dit komt doordat de trainingsmonsters beperkt zijn en de gezichten etnisch divers zijn in MEBeauty, wat aangeeft dat er een grote diversiteit is in gezichtsaantrekkelijkheid.

‘Al deze factoren maken de voorspelling van gezichtsaantrekkelijkheid in MEBeauty moeilijker.’

Ethische overwegingen

Onderzoek naar aantrekkelijkheid is een potentieel verdeeld onderzoeksgebied, omdat het bij het vaststellen van vermeende empirische schoonheidsnormen, dergelijke systemen de neiging hebben om vooroordelen over leeftijd, ras en veel andere sectoren van computerzichtonderzoek met betrekking tot mensen te versterken.

Het kan worden betoogd dat een FAP-systeem inherent voorbestemd is om gedeeltelijke en vooroordelen aantrekkelijkheidsbeoordelingen te versterken en te propageren. Deze beoordelingen kunnen voortkomen uit door de mens geleide annotaties – vaak uitgevoerd op schalen die te beperkt zijn voor effectieve domein generalisatie – of uit het analyseren van aandachtpatronen in online omgevingen zoals streamingplatforms, die, naar men kan aannemen, verre van meritocratisch zijn.

* Het artikel verwijst naar de ongenoemde bron domein(s) in zowel enkelvoud als meervoud.

Eerst gepubliceerd op woensdag 8 januari 2025