Schätzung der Gesichtsattraktivität für Livestreams

Bis heute wurde die Gesichtsattraktivitätsvorhersage (FAP) hauptsächlich im Kontext der psychologischen Forschung, in der Schönheits- und Kosmetikindustrie und im Kontext der kosmetischen Chirurgie studiert. Es ist ein herausforderndes Forschungsgebiet, da die Schönheitsstandards tendenziell national und nicht global sind.

Dies bedeutet, dass keine einzelne effektive AI-basierte Datenbank existiert, da die Mittelwerte, die aus der Stichprobennahme von Gesichtern/Bewertungen aus allen Kulturen erhalten werden, sehr voreingenommen wären (wobei bevölkerungsreiche Nationen zusätzliche Aufmerksamkeit erhalten würden), oder auf keine Kultur überhaupt anwendbar wären (wobei der Mittelwert von mehreren Rassen/Bewertungen keiner tatsächlichen Rasse entspricht).

Stattdessen besteht die Herausforderung darin, konzeptionelle Methoden und Workflows zu entwickeln, in die länderspezifische oder kulturspezifische Daten verarbeitet werden können, um die Entwicklung effektiver FAP-Modelle pro Region zu ermöglichen.

Die Anwendungsfälle für FAP in der Schönheits- und psychologischen Forschung sind ziemlich marginal oder branchenspezifisch; daher enthalten die meisten bisher kuratierten Datensätze nur begrenzte Daten oder wurden überhaupt nicht veröffentlicht.

Die leichte Verfügbarkeit von Online-Attraktivitätsvorhersagen, die hauptsächlich auf westliche Zielgruppen abzielen, repräsentieren nicht unbedingt den aktuellen Stand der FAP, der derzeit von ostasiatischer Forschung (hauptsächlich China) und entsprechenden ostasiatischen Datensätzen dominiert wird.

Beispiele aus dem 2020er-Papier ‘Asian Female Facial Beauty Prediction Using Deep Neural Networks via Transfer Learning and Multi-Channel Feature Fusion’. Quelle: https://www.semanticscholar.org/paper/Asian-Female-Facial-Beauty-Prediction-Using-Deep-Zhai-Huang/59776a6fb0642de5338a3dd9bac112194906bf30

Weitere kommerzielle Anwendungen für die Schönheitsbewertung umfassen Online-Dating-Apps und generative KI-Systeme, die darauf ausgelegt sind, echte Avatar-Bilder von Menschen zu “retuschieren” (da solche Anwendungen einen quantifizierten Schönheitsstandard als Metrik der Effektivität erfordern).

Gesichter zeichnen

Anziehende Personen sind in der Werbung und bei der Einflussnahme ein wertvolles Gut, was die finanziellen Anreize in diesen Bereichen zu einer klaren Gelegenheit für die Weiterentwicklung von FAP-Datensätzen und -Rahmenwerken macht.

Beispielsweise könnte ein mit echten Daten trainiertes KI-Modell, das darauf ausgelegt ist, die Gesichtsschönheit zu bewerten und zu bewerten, potenziell Ereignisse oder Personen mit hohem Potenzial für Werbeeinfluss identifizieren. Diese Fähigkeit wäre insbesondere in Live-Video-Streaming-Kontexten relevant, in denen Metriken wie “Follower” und “Likes” derzeit nur als implizite Indikatoren für die Fähigkeit einer Person (oder sogar eines Gesichtstyps) dienen, das Publikum zu fesseln.

Dies ist natürlich ein oberflächliches Maß, und Stimme, Präsentation und Perspektive spielen ebenfalls eine wichtige Rolle bei der Ansammlung des Publikums. Daher erfordert die Kuratierung von FAP-Datensätzen eine menschliche Aufsicht sowie die Fähigkeit, zwischen Gesichts- und “scheinbarer” Attraktivität zu unterscheiden (ohne die einflußreiche Influencer wie Alex Jones das Durchschnitts-FAP-Kurve für eine Sammlung, die ausschließlich zur Schätzung der Gesichtsschönheit bestimmt ist, beeinflussen könnten).

LiveBeauty

Um den Mangel an FAP-Datensätzen zu bewältigen, bieten Forscher aus China den ersten groß angelegten FAP-Datensatz an, der 100.000 Gesichtsbilder sowie 200.000 menschliche Annotationen zur Schätzung der Gesichtsschönheit enthält.

Beispiele aus dem neuen LiveBeauty-Datensatz. Quelle: https://arxiv.org/pdf/2501.02509

Der Datensatz mit dem Titel LiveBeauty umfasst 10.000 verschiedene Identitäten, die alle von (nicht spezifizierten) Live-Streaming-Plattformen im März 2024 aufgenommen wurden.

Die Autoren präsentieren auch FPEM, eine neuartige multi-modale FAP-Methode. FPEM integriert holistische Gesichtsvorkenntnisse und multi-modale ästhetische semantische Merkmale über ein Personalisiertes Attraktivitäts-Vorwissen-Modul (PAPM), ein Multi-Modales Attraktivitäts-Encoder-Modul (MAEM) und ein Cross-Modal-Fusion-Modul (CMFM).

Das Papier behauptet, dass FPEM auf dem neuen LiveBeauty-Datensatz und anderen FAP-Datensätzen eine Spitzenleistung erzielt. Die Autoren bemerken, dass die Forschung potenzielle Anwendungen für die Verbesserung der Videoqualität, die Inhalts-Empfehlung und die Gesichtsretusche in Live-Streaming hat.

Die Autoren versprechen auch, den Datensatz ” bald” zur Verfügung zu stellen – obwohl es zugegeben werden muss, dass die Lizenzbeschränkungen im Quellbereich wahrscheinlich auf die meisten anwendbaren Projekte übertragen werden, die diese Arbeit nutzen könnten.

Das neue Papier trägt den Titel Gesichtsattraktivitätsvorhersage in Live-Streaming: Ein neuer Benchmark und eine multi-modale Methode und stammt von zehn Forschern aus der Alibaba-Gruppe und der Shanghai Jiao Tong University.

Methode und Daten

Von jedem 10-stündigen Broadcast von den Live-Streaming-Plattformen wurden die Forscher ein Bild pro Stunde für die ersten drei Stunden aufgenommen. Broadcasts mit den höchsten Seitenaufrufen wurden ausgewählt.

Die gesammelten Daten wurden dann mehreren Vorverarbeitungsstufen unterzogen. Die erste davon ist die Gesichtsgrößenmessung, die das 2018er CPU-basierte FaceBoxes-Detektionsmodell verwendet, um einen Begrenzungsrahmen um die Gesichtszüge zu erzeugen. Die Pipeline stellt sicher, dass die kürzere Seite des Begrenzungsrahmens 90 Pixel überschreitet, um kleine oder unscharfe Gesichtsregionen zu vermeiden.

Der zweite Schritt ist die Unscharfe-Erkennung, die auf die Gesichtsregion angewendet wird, indem die Varianz des Laplacian-Operators im Y-Kanal der Gesichtsausschnitts verwendet wird. Diese Varianz muss größer als 10 sein, was hilft, verschwommene Bilder zu filtern.

Der dritte Schritt ist die Gesichts-Pose-Schätzung, die das 2021er 3DDFA-V2-Pose-Schätzungmodell verwendet:

Beispiele aus dem 3DDFA-V2-Schätzungmodell. Quelle: https://arxiv.org/pdf/2009.09960

Die Arbeitsabläufe stellen sicher, dass der Nickwinkel des beschnittenen Gesichts nicht größer als 20 Grad und der Gierwinkel nicht größer als 15 Grad ist, was Gesichter mit extremen Posen ausschließt.

Der vierte Schritt ist die Gesichtsproportionen-Bewertung, die auch die Segmentierungsfähigkeiten des 3DDFA-V2-Modells verwendet, um sicherzustellen, dass die beschnittene Gesichtsregion größer als 60 % des Bildes ist, was Bilder ausschließt, in denen das Gesicht nicht prominent ist, d. h. klein im Gesamtbild.

Der fünfte und letzte Schritt ist die Entfernung von Duplikat-Charakteren, die ein (nicht genanntes) State-of-the-Art-Gesichtserkennungsmodell verwendet, um Fälle zu behandeln, in denen dieselbe Identität in mehr als einem der drei für einen 10-stündigen Video aufgenommenen Bilder erscheint.

Menschliche Bewertung und Annotation

Zwanzig Annotatoren wurden rekrutiert, bestehend aus sechs Männern und 14 Frauen, die die Demografie der Live-Plattform widerspiegeln*. Die Gesichter wurden auf dem 6,7-Zoll-Bildschirm eines iPhone 14 Pro Max unter konsistenten Laborbedingungen angezeigt.

Die Bewertung wurde über 200 Sitzungen aufgeteilt, von denen jede 50 Bilder umfasste. Die Teilnehmer wurden gebeten, die Gesichtsattraktivität der Proben auf einer Skala von 1-5 zu bewerten, wobei zwischen jeder Sitzung eine fünfminütige Pause eingehalten wurde und alle Teilnehmer an allen Sitzungen teilnahmen.

Daher wurden die gesamten 10.000 Bilder über zwanzig menschliche Testpersonen hinweg bewertet, was 200.000 Annotationen ergab.

Analyse und Vorverarbeitung

Zunächst wurde eine post-screening-Untersuchung der Testpersonen unter Verwendung des Outlier-Verhältnisses und des Spearman-Rang-Korrelationskoeffizienten (SROCC) durchgeführt. Testpersonen, deren Bewertungen einen SROCC von weniger als 0,75 oder ein Outlier-Verhältnis von mehr als 2 % aufwiesen, wurden als unzuverlässig angesehen und entfernt, so dass schließlich 20 Testpersonen übrig blieben..

Als Nächstes wurde für jedes Gesichtsbild ein mittlerer Meinungswert (MOS) berechnet, indem die Bewertungen der gültigen Testpersonen gemittelt wurden. Der MOS dient als Ground-Truth-Attraktivitätslabel für jedes Bild, und die Bewertung wird berechnet, indem alle einzelnen Bewertungen jeder gültigen Testperson gemittelt werden.

Schließlich zeigte die Analyse der MOS-Verteilungen für alle Proben sowie für weibliche und männliche Proben, dass sie eine Gaussian-artige Form aufwiesen, die mit realen Gesichtsattraktivitätsverteilungen übereinstimmt:

Beispiele für LiveBeauty-MOS-Verteilungen.

Die meisten Menschen neigen dazu, eine durchschnittliche Gesichtsattraktivität zu haben, während weniger Menschen an den Extremen sehr niedriger oder sehr hoher Attraktivität liegen.

Weiterhin zeigte die Analyse der Schiefe- und Kurtosiswerte, dass die Verteilungen durch dünne Schwänze und eine Konzentration um den Durchschnittswert gekennzeichnet waren und dass hohe Attraktivität bei den weiblichen Proben in den aufgenommenen Live-Streaming-Videos häufiger war.

Architektur

Eine Zwei-Phasen-Trainingsstrategie wurde für das Facial Prior Enhanced Multi-Modale-Modell (FPEM) und die Hybrid-Fusions-Phase in LiveBeauty verwendet, die auf vier Module aufgeteilt war: ein Personalisiertes Attraktivitäts-Vorwissen-Modul (PAPM), ein Multi-Modales Attraktivitäts-Encoder-Modul (MAEM), ein Cross-Modal-Fusion-Modul (CMFM) und ein Entscheidungs-Fusions-Modul (DFM).

Konzeptionelles Schema für LiveBeautys Trainings-Pipeline.

Das PAPM-Modul nimmt ein Bild als Eingabe und extrahiert multi-skalierte visuelle Merkmale unter Verwendung eines Swin-Transformators und extrahiert auch gesichtsbezogene Merkmale unter Verwendung eines vorgefertigten FaceNet-Modells. Diese Merkmale werden dann unter Verwendung eines Cross-Attention-Blocks kombiniert, um ein personalisiertes “Attraktivitäts”-Merkmal zu erstellen.

Auch in der vorläufigen Trainingsphase verwendet MAEM ein Bild und Textbeschreibungen der Attraktivität, indem es CLIP nutzt, um multi-modale ästhetische semantische Merkmale zu extrahieren.

Die vorlagenbasierten Textbeschreibungen sind in der Form ‘ein Foto einer Person mit {a} Attraktivität’ (wobei {a} schlecht, schwach, fair, gut oder perfekt sein kann). Der Prozess schätzt die Kosin-Ähnlichkeit zwischen textuellen und visuellen Einbettungen, um eine Attraktivitätsstufe-Wahrscheinlichkeit zu erhalten.

In der Hybrid-Fusions-Phase verfeinert das CMFM die textuellen Einbettungen unter Verwendung des personalisierten Attraktivitäts-Merkmals, das von PAPM generiert wird, und generiert so personalisierte textuelle Einbettungen. Es verwendet dann eine Ähnlichkeitsregressionsstrategie, um eine Vorhersage zu treffen.

Schließlich kombiniert das DFM die einzelnen Vorhersagen von PAPM, MAEM und CMFM, um einen einzigen, endgültigen Attraktivitätswert zu erzeugen, mit dem Ziel, eine robuste Übereinstimmung zu erreichen.

Verlustfunktionen

Für die Verlustmetriken wird das PAPM mit einem L1-Verlust trainiert, einem Maß für den absoluten Unterschied zwischen der vorhergesagten Attraktivitätswertung und dem tatsächlichen (Ground-Truth-) Attraktivitätswert.

Das MAEM-Modul verwendet eine komplexere Verlustfunktion, die eine Bewertungsverlust (LS) mit einer kombinierten Rangverlust (LR) kombiniert. Der Rangverlust (LR) besteht aus einem Treueverlust (LR1) und einem zwei-Richtungs-Rangverlust (LR2).

LR1 vergleicht die relative Attraktivität von Bildpaaren, während LR2 sicherstellt, dass die vorhergesagte Wahrscheinlichkeitsverteilung der Attraktivitätsstufen einen einzelnen Peak aufweist und in beide Richtungen abnimmt. Dieser kombinierte Ansatz zielt darauf ab, sowohl die genaue Bewertung als auch die korrekte Rangordnung von Bildern nach Attraktivität zu optimieren.

Das CMFM und das DFM werden mit einem einfachen L1-Verlust trainiert.

Tests

In Tests stellten die Forscher LiveBeauty gegen neun vorherige Ansätze: ComboNet; 2D-FAP; REX-INCEP; CNN-ER (in REX-INCEP enthalten); MEBeauty; AVA-MLSP; TANet; Dele-Trans; und EAT.

Basismethoden, die einem Bildästhetik-Bewertungsprotokoll (IAA) entsprechen, wurden ebenfalls getestet. Diese waren ViT-B; ResNeXt-50; und Inception-V3.

Neben LiveBeauty wurden auch die Datensätze SCUT-FBP5000 und MEBeauty getestet. Nachfolgend werden die MOS-Verteilungen dieser Datensätze verglichen:

MOS-Verteilungen der Benchmark-Datensätze.

Die Gast-Datensätze wurden jeweils zu 60 % – 40 % und 80 % – 20 % für die Trainings- und Testzwecke aufgeteilt, um die ursprünglichen Protokolle beizubehalten. LiveBeauty wurde mit einem Verhältnis von 90 % – 10 % aufgeteilt.

Bei der Modellinitialisierung für MAEM wurden VT-B/16 und GPT-2 als Bild- und Text-Encoder verwendet, die mit den Einstellungen von CLIP initialisiert wurden. Für PAPM wurde Swin-T als trainierbarer Bild-Encoder verwendet, gemäß SwinFace.

Der AdamW-Optimizer wurde verwendet, und ein Lernrate– Planer wurde mit linearer Aufwärmlauffunktion unter einem Kosinus-Abkühlungsschema festgelegt. Die Lernraten unterschieden sich während der Trainingsphasen, aber jede hatte eine Batch-Größe von 32, für 50 Epochen.

Ergebnisse der Tests

Die Ergebnisse der Tests auf den drei FAP-Datensätzen sind oben dargestellt. Von diesen Ergebnissen behauptet das Papier:

‘Unsere vorgeschlagene Methode erreicht den ersten Platz und übertrifft den zweiten Platz um etwa 0,012, 0,081, 0,021 bei den SROCC-Werten auf LiveBeauty, MEBeauty und SCUT-FBP5500, was die Überlegenheit unserer vorgeschlagenen Methode demonstriert.

‘Die IAA-Methoden sind den FAP-Methoden unterlegen, was zeigt, dass die allgemeinen ästhetischen Bewertungsmethoden die Gesichtsmerkmale, die an der subjektiven Natur der Gesichtsattraktivität beteiligt sind, vernachlässigen, was zu einer schlechten Leistung bei FAP-Aufgaben führt.

‘Die Leistung aller Methoden sinkt erheblich bei MEBeauty. Dies liegt daran, dass die Trainingsproben begrenzt sind und die Gesichter ethnisch vielfältig in MEBeauty sind, was auf eine große Vielfalt an Gesichtsattraktivität hinweist.

‘All diese Faktoren machen die Vorhersage der Gesichtsattraktivität in MEBeauty herausfordernder.’

Ethische Überlegungen

Forschung zur Attraktivität ist ein potenziell kontroverses Vorhaben, da solche Systeme bei der Etablierung angeblich empirischer Schönheitsstandards tendenziell Vorurteile in Bezug auf Alter, Rasse und viele andere Bereiche der Computer-Vision-Forschung im Zusammenhang mit Menschen verstärken können.

Es kann argumentiert werden, dass ein FAP-System von Natur aus vorbelastet ist, um partielle und voreingenommene Perspektiven auf Attraktivität zu verstärken und zu verewigen. Diese Urteile können durch menschliche Annotationen entstehen – oft auf Skalen durchgeführt, die für eine effektive Domänen-Verallgemeinerung zu begrenzt sind – oder durch die Analyse von Aufmerksamkeitsmustern in Online-Umgebungen wie Streaming-Plattformen, die, argumentierbar, weit davon entfernt sind, meritokratisch zu sein.

* Das Papier bezieht sich auf den nicht genannten Quellbereich/Quellbereiche sowohl im Singular als auch im Plural.

Erstveröffentlichung am Mittwoch, den 8. Januar 2025