Prédiction de l’attrait facial pour les flux en direct

Jusqu’à présent, la prédiction de l’attrait facial (FAP) a été principalement étudiée dans le contexte de la recherche psychologique, de l’industrie de la beauté et des cosmétiques, ainsi que dans le contexte de la chirurgie esthétique. Il s’agit d’un domaine d’étude difficile, car les normes de beauté tendent à être nationales plutôt que mondiales.

Cela signifie qu’aucun jeu de données basé sur l’IA n’est viable, car les moyennes obtenues en échantillonnant des visages et des notations de toutes les cultures seraient très biaisées (où les nations les plus peuplées gagneraient une traction supplémentaire), ou applicables à aucune culture (où la moyenne des multiples races et notations équivaudrait à aucune race réelle).

À la place, le défi est de développer des méthodologies conceptuelles et des flux de travail dans lesquels des données spécifiques à un pays ou à une culture pourraient être traitées, afin de permettre le développement de modèles de FAP efficaces par région.

Les cas d’utilisation de la FAP dans la recherche sur la beauté et la psychologie sont assez marginaux, sinon spécifiques à l’industrie; par conséquent, la plupart des jeux de données créés à ce jour ne contiennent que des données limitées, ou n’ont pas été publiées du tout.

La disponibilité facile de prédicteurs de beauté en ligne, principalement destinés aux publics occidentaux, ne représentent pas nécessairement l’état de l’art de la FAP, qui semble actuellement dominé par la recherche est-asiatique (principalement la Chine), et les jeux de données est-asiatiques correspondants.

Exemples de jeux de données à partir de l’article de 2020 ‘Prédiction de la beauté faciale féminine asiatique à l’aide de réseaux de neurones profonds via l’apprentissage par transfert et la fusion de fonctionnalités multi-canal’. Source: https://www.semanticscholar.org/paper/Asian-Female-Facial-Beauty-Prediction-Using-Deep-Zhai-Huang/59776a6fb0642de5338a3dd9bac112194906bf30

Les utilisations commerciales plus larges de l’estimation de la beauté incluent les applications de rencontres en ligne, et les systèmes de génération d’IA conçus pour ‘retoucher’ les images réelles d’avatars de personnes (puisque de telles applications nécessitent une norme quantifiée de beauté en tant que mesure d’efficacité).

Dessiner des visages

Les individus attirants continuent d’être un atout précieux dans la publicité et la construction d’influence, ce qui rend les incitations financières dans ces secteurs une opportunité claire pour améliorer les jeux de données et les cadres de FAP de pointe.

Par exemple, un modèle d’IA formé avec des données du monde réel pour évaluer et noter la beauté faciale pourrait potentiellement identifier les événements ou les individus ayant un grand potentiel d’impact publicitaire. Cette capacité serait particulièrement pertinente dans les contextes de diffusion en direct, où des métriques telles que les « abonnés » et les « j’aime » ne servent actuellement que d’indicateurs implicites de la capacité d’un individu (ou même d’un type de visage) à captiver un public.

Ceci est bien sûr une métrique superficielle, et la voix, la présentation et le point de vue jouent également un rôle important dans la réunion d’un public. Par conséquent, la curation des jeux de données de FAP nécessite une supervision humaine, ainsi que la capacité de distinguer l’attrait facial de l’attrait « spécieux » (sans quoi, les influenceurs hors domaine tels qu’Alex Jones pourraient finir par affecter la courbe moyenne de FAP pour une collection conçue uniquement pour estimer la beauté faciale).

LiveBeauty

Pour répondre à la pénurie de jeux de données de FAP, des chercheurs de Chine offrent le premier grand jeu de données de FAP, contenant 100 000 images de visages, ainsi que 200 000 annotations humaines estimant la beauté faciale.

Exemples du nouveau jeu de données LiveBeauty. Source: https://arxiv.org/pdf/2501.02509

Intitulé LiveBeauty, le jeu de données comporte 10 000 identités différentes, toutes capturées à partir de (non spécifiées) plateformes de diffusion en direct en mars 2024.

Les auteurs présentent également FPEM, une nouvelle méthode de FAP multi-modale. FPEM intègre des connaissances holistiques sur les visages et des fonctionnalités esthétiques multi-modales via un module de priorité d’attrait personnalisé (PAPM), un module d’encodeur d’attrait multi-modal (MAEM) et un module de fusion multi-modal (CMFM).

L’article affirme que FPEM atteint des performances de pointe sur le nouveau jeu de données LiveBeauty, ainsi que sur d’autres jeux de données de FAP. Les auteurs notent que la recherche a des applications potentielles pour améliorer la qualité de la vidéo, la recommandation de contenu et le retouche de visages dans la diffusion en direct.

Les auteurs promettent également de rendre le jeu de données disponible « bientôt » – bien qu’il faille admettre que les restrictions de licence inhérentes au domaine source semblent susceptibles de s’appliquer à la majorité des projets applicables qui pourraient utiliser le travail.

Le nouvel article s’intitule Prédiction de l’attrait facial dans la diffusion en direct: une nouvelle référence et une méthode multi-modale, et provient de dix chercheurs issus du groupe Alibaba et de l’Université Jiao Tong de Shanghai.

Méthode et données

À partir de chaque diffusion de 10 heures à partir des plateformes de diffusion en direct, les chercheurs ont prélevé une image par heure pour les trois premières heures. Les diffusions avec les vues de page les plus élevées ont été sélectionnées.

Les données collectées ont ensuite été soumises à plusieurs étapes de prétraitement. La première de ces étapes est la mesure de la taille de la région du visage, qui utilise le modèle de détection de visages basé sur le processeur de 2018 FaceBoxes pour générer une boîte de délimitation autour des traits du visage. Le pipeline garantit que le côté le plus court de la boîte de délimitation dépasse 90 pixels, en évitant ainsi les régions du visage petites ou floues.

La deuxième étape est la détection de flou, qui est appliquée à la région du visage en utilisant la variance de l’opérateur Laplacien dans le canal de hauteur (Y) de la récolte du visage. Cette variance doit être supérieure à 10, ce qui aide à filtrer les images floues.

La troisième étape est l’estimation de la pose du visage, qui utilise le modèle d’estimation de pose de visage 3DDFA-V2 de 2021:

Exemples du modèle d’estimation de pose de visage 3DDFA-V2. Source: https://arxiv.org/pdf/2009.09960

Ici, le flux de travail garantit que l’angle de tangage de la récolte du visage n’est pas supérieur à 20 degrés, et que l’angle de lacet n’est pas supérieur à 15 degrés, ce qui exclut les visages avec des poses extrêmes.

La quatrième étape est l’évaluation de la proportion du visage, qui utilise également les capacités de segmentation du modèle 3DDFA-V2, en garantissant que la proportion de la région du visage récoltée est supérieure à 60 % de l’image, en excluant les images où le visage n’est pas proéminent. c’est-à-dire petit dans l’image globale.

Enfin, la cinquième étape est l’élimination des caractères en double, qui utilise un modèle de reconnaissance de visages de pointe (non attribué) pour les cas où la même identité apparaît dans plus d’une des trois images collectées pour une vidéo de 10 heures.

Évaluation humaine et annotation

Vingt annotateurs ont été recrutés, composés de six hommes et de 14 femmes, reflétant les caractéristiques démographiques de la plateforme de diffusion en direct utilisée*. Les visages ont été affichés sur l’écran de 6,7 pouces d’un iPhone 14 Pro Max, dans des conditions de laboratoire constantes.

L’évaluation a été divisée en 200 sessions, chacune desquelles a employé 50 images. Les sujets ont été invités à noter l’attrait facial des échantillons sur une échelle de 1 à 5, avec une pause de cinq minutes imposée entre chaque session, et tous les sujets participant à toutes les sessions.

Par conséquent, la totalité des 10 000 images a été évaluée à travers vingt sujets humains, aboutissant à 200 000 annotations.

Analyse et prétraitement

Tout d’abord, un post-écran des sujets a été effectué en utilisant le rapport de valeurs aberrantes et le coefficient de corrélation de rang de Spearman (SROCC). Les sujets dont les notations avaient un SROCC inférieur à 0,75 ou un rapport de valeurs aberrantes supérieur à 2 % ont été considérés comme non fiables et ont été supprimés, avec 20 sujets finalement obtenus..

Un score d’opinion moyenne (MOS) a ensuite été calculé pour chaque image de visage, en moyennant les scores obtenus par les sujets valides. Le MOS sert de valeur de vérité de référence pour l’étiquette d’attrait de chaque image, et le score est calculé en moyennant tous les scores individuels de chaque sujet valide.

Enfin, l’analyse des distributions de MOS pour tous les échantillons, ainsi que pour les échantillons féminins et masculins, a indiqué qu’ils présentaient une forme de type gaussien, ce qui est cohérent avec les distributions d’attrait facial du monde réel:

Exemples de distributions de MOS de LiveBeauty.

La plupart des individus ont tendance à avoir un attrait facial moyen, avec moins d’individus aux extrêmes de très bas ou très haut attrait.

De plus, l’analyse des valeur de skewness et de kurtosis a montré que les distributions étaient caractérisées par des queues minces et concentrées autour du score moyen, et que l’attrait élevé était plus prévalent parmi les échantillons féminins dans les vidéos de diffusion en direct collectées.

Architecture

Une stratégie de formation en deux étapes a été utilisée pour le modèle de FAP multi-modal amélioré par les visages (FPEM) et la phase de fusion hybride dans LiveBeauty, divisée en quatre modules: un module de priorité d’attrait personnalisé (PAPM), un module d’encodeur d’attrait multi-modal (MAEM), un module de fusion multi-modal (CMFM) et un module de fusion de décision (DFM).

Schéma conceptuel du pipeline de formation de LiveBeauty.

Le module PAPM prend une image comme entrée et extrait des fonctionnalités visuelles multi-échelles en utilisant un Swin Transformer, et extrait également des fonctionnalités de visage en utilisant un modèle FaceNet pré-formé. Ces fonctionnalités sont ensuite combinées en utilisant un bloc d’attention croisée pour créer une fonctionnalité d’attrait personnalisée.

Également dans la phase de formation préliminaire, MAEM utilise une image et des descriptions textuelles de l’attrait, en exploitant CLIP pour extraire des fonctionnalités esthétiques sémantiques multi-modales.

Les descriptions textuelles sont sous la forme de ‘une photo d’une personne avec {a} attrait’ (où {a} peut être mauvais, faible, correct, bon ou parfait). Le processus estime la similarité cosinuse entre les embeddings textuels et visuels pour arriver à une probabilité de niveau d’attrait.

Dans la phase de fusion hybride, le CMFM affine les embeddings textuels en utilisant la fonctionnalité d’attrait personnalisée générée par le PAPM, générant ainsi des embeddings textuels personnalisés. Il utilise ensuite une stratégie de régression de similarité pour faire une prédiction.

Enfin, le DFM combine les prédictions individuelles du PAPM, du MAEM et du CMFM pour produire un seul score d’attrait final, avec pour objectif de parvenir à un consensus solide.

Fonctions de perte

Pour les métriques de perte, le PAPM est formé en utilisant une perte L1, une mesure de la différence absolue entre le score d’attrait prédit et le score d’attrait réel (valeur de vérité de référence).

Le module MAEM utilise une fonction de perte plus complexe qui combine une perte de notation (LS) avec une perte de classement fusionnée (LR). La perte de classement (LR) comprend une perte de fidélité (LR1) et une perte de classement bidirectionnelle (LR2).

LR1 compare l’attrait relatif des paires d’images, tandis que LR2 garantit que la distribution de probabilité prédite des niveaux d’attrait a un seul pic et diminue dans les deux directions. Cette approche combinée vise à optimiser à la fois la notation précise et le classement correct des images en fonction de l’attrait.

Le CMFM et le DFM sont formés en utilisant une simple perte L1.

Tests

Lors des tests, les chercheurs ont opposé LiveBeauty à neuf approches antérieures: ComboNet; 2D-FAP; REX-INCEP; CNN-ER (présenté dans REX-INCEP); MEBeauty; AVA-MLSP; TANet; Dele-Trans; et EAT.

Des méthodes de référence conformes à un protocole d’évaluation esthétique d’images (IAA) ont également été testées. Ceux-ci étaient ViT-B; ResNeXt-50; et Inception-V3.

Outre LiveBeauty, les autres jeux de données testés étaient SCUT-FBP5000 et MEBeauty. Ci-dessous, les distributions de MOS de ces jeux de données sont comparées:

Distributions de MOS des jeux de données de référence.

Ces jeux de données invités ont été divisés en 60 % – 40 % et 80 % – 20 % pour la formation et les tests, respectivement, afin de maintenir la cohérence avec leurs protocoles d’origine. LiveBeauty a été divisé sur une base de 90 % – 10 %.

Pour l’initialisation du modèle dans MAEM, VT-B/16 et GPT-2 ont été utilisés comme encodeurs d’images et de texte, respectivement, initialisés par les paramètres de CLIP. Pour PAPM, Swin-T a été utilisé comme encodeur d’images formable, conformément à SwinFace.

L’optimiseur AdamW a été utilisé, et un taux d’apprentissage programmeur a été défini avec un échauffement linéaire sous un schéma d’annealing cosinus. Les taux d’apprentissage différaient entre les phases de formation, mais chacun avait une taille de lot de 32, pour 50 époques.

Résultats des tests

Les résultats des tests sur les trois jeux de données de FAP sont présentés ci-dessus. Parmi ces résultats, l’article indique:

‘Notre méthode proposée atteint la première place et dépasse la deuxième place d’environ 0,012, 0,081, 0,021 en termes de valeurs SROCC sur LiveBeauty, MEBeauty et SCUT-FBP5500, respectivement, ce qui démontre la supériorité de notre méthode proposée.

‘Les méthodes IAA sont inférieures aux méthodes FAP, ce qui montre que les méthodes d’évaluation esthétique génériques négligent les fonctionnalités faciales impliquées dans la nature subjective de l’attrait facial, ce qui conduit à de mauvaises performances sur les tâches FAP.

‘La performance de toutes les méthodes diminue considérablement sur MEBeauty. Cela est dû au fait que les échantillons de formation sont limités et que les visages sont ethniquement divers dans MEBeauty, indiquant qu’il existe une grande diversité dans l’attrait facial.

‘Tous ces facteurs rendent la prédiction de l’attrait facial dans MEBeauty plus difficile.’

Considérations éthiques

La recherche sur l’attrait est une entreprise potentiellement divisée, car en établissant des normes empiriques de beauté, de tels systèmes ont tendance à renforcer les préjugés liés à l’âge, à la race et à de nombreux autres domaines de la vision par ordinateur en ce qui concerne les humains.

On pourrait soutenir qu’un système de FAP est inhérentement prédisposé à renforcer et à perpétuer des perspectives partielles et biaisées sur l’attrait. Ces jugements peuvent provenir d’annotations humaines dirigées – souvent menées sur des échelles trop limitées pour une généralisation de domaine efficace – ou de l’analyse des modèles d’attention dans les environnements en ligne tels que les plateformes de streaming, qui sont, à l’évidence, loin d’être méritocratiques.

* L’article fait référence au domaine source non nommé dans le singulier et le pluriel.

Publié pour la première fois le mercredi 8 janvier 2025