La compression JPEG augmente le taux d’erreur de reconnaissance faciale pour les visages non caucasiens, selon une étude

Une nouvelle étude menée au Royaume-Uni a conclu que les techniques de compression avec perte utilisées dans les images JPEG peuvent avoir une influence négative sur l’efficacité des systèmes de reconnaissance faciale, les rendant plus susceptibles d’identifier incorrectement une personne non caucasienne.

Le document indique:

‘Via un dispositif expérimental étendu, nous démontrons que les approches courantes de compression d’image avec perte ont un impact négatif plus prononcé sur les performances de reconnaissance faciale pour des catégories de phénotypes raciaux spécifiques, tels que les teints de peau plus foncés (jusqu’à 34,55%).’

Les résultats indiquent également que la sous-échantillonnage chromatique, qui réduit les informations de couleur (plutôt que les informations de luminosité) sur des sections d’une image de visage, augmente le taux de fausse correspondance (FMR) sur une gamme de jeux de données testés, dont beaucoup sont des références standard pour la vision par ordinateur.

Opérations de sous-échantillonnage chromatique sur une image source, à des taux variables, ont un effet clair sur la mesure dans laquelle les détails sont conservés et dans laquelle les sous-tons se fondent simplement les uns dans les autres, sacrifiant les détails et déterminant les caractéristiques. Veuillez noter que cette image en soi peut être soumise à une compression et se référer au document source pour une résolution précise. Source: https://arxiv.org/pdf/2208.07613.pdf

Le sous-échantillonnage chromatique est appliqué comme mesure économique supplémentaire dans la compression JPEG, car les personnes sont moins capables de percevoir les réductions de complexité et de plage des bandes de couleur que les systèmes de vision par ordinateur, qui prennent ces « agrégations » beaucoup plus littéralement que nous.

Les chercheurs de la nouvelle étude ont constaté que la suppression du sous-échantillonnage chromatique du processus de compression réduit cet effet négatif de jusqu’à 15,95 %, même s’il ne résout pas complètement le problème.

L’étude affirme également que la formation sur des données non compressées (ou moins compressées) ne résoudra pas le problème si les images du temps d’inférence sont compressées. Cela signifie essentiellement que la formation d’un modèle de reconnaissance faciale sur des images moins compressées ne résoudra pas les biais si le modèle de production final est alimenté avec des images présentant les problèmes de compression mentionnés.

Les auteurs rapportent*:

‘[L’]utilisation de la compression d’image avec perte pendant l’inférence affecte négativement les performances des approches de reconnaissance faciale contemporaines sur un sous-ensemble de groupes de phénotypes raciaux (c’est-à-dire les teints de peau plus foncés, la forme de l’œil monolide) et que son effet est présent indépendamment de l’utilisation d’images compressées pour la formation du modèle.’

Le document souligne les conséquences de la compression d’image sur le secteur de la recherche en vision par ordinateur, qui ont été exposées en détail dans une étude de 2021 de l’Université du Maryland et de Facebook AI.

Il s’agit d’un problème difficile à résoudre; même si les problèmes de stockage et de bande passante qui rendent la compression nécessaire étaient éliminés du jour au lendemain, et même si toutes les images de mauvaise qualité qui peuplent vingt ans ou plus de jeux de données dans le secteur étaient soudainement recompressées à un meilleur taux à partir de sources de haute qualité, cela représenterait un « réinitialisation » de la continuité des outils de référence académiques au cours des dernières décennies. La communauté CV a, en effet, pris l’habitude de ce problème, au point où il représente une dette technique notable.

Les biais raciaux dans la reconnaissance faciale (FR) sont devenus un sujet médiatique chaud ces dernières années, ce qui a conduit à un effort concerté dans la communauté de recherche pour les éliminer des systèmes concernés. Cependant, la dépendance du corps de recherche mondial à un nombre excessivement limité de jeux de données « d’or », dont beaucoup sont soit non équilibrés sur le plan racial ou mal étiquetés à cet égard, aggrave le défi.

Les chercheurs de la nouvelle étude notent également une dissonance entre les normes d’acquisition d’images et les normes établies par la généralité des références de reconnaissance faciale, en déclarant*:

‘[Les] normes d’acquisition d’images pour les systèmes de reconnaissance faciale, telles que ISO/IEC 19794-5 et ICAO 9303, proposent des normes de qualité basées sur les images (c’est-à-dire l’éclairage, l’occlusion) et des normes de qualité basées sur le sujet (c’est-à-dire la pose, l’expression, les accessoires) pour assurer la qualité de l’image faciale. ‘

‘En conséquence, les images faciales doivent également être stockées en utilisant des normes de compression d’image avec perte, telles que JPEG ou JPEG2000; et identifiables pour le sexe, la couleur des yeux, la couleur des cheveux, l’expression, les propriétés (c’est-à-dire les lunettes), les angles de pose (yaw, pitch et roll), et les positions des repères. ‘

‘Cependant, les références de reconnaissance faciale courantes ne sont pas conformes aux normes ISO/IEC 19794-5 et ICAO 9303. De plus, les échantillons in situ sont souvent obtenus dans des conditions de caméra et d’environnement variables pour mettre au défi les solutions proposées. ‘

‘Néanmoins, la plupart des échantillons d’images faciales au sein de ces jeux de données sont compressés via la compression JPEG avec perte.’

Les auteurs de la nouvelle étude déclarent que leurs efforts futurs examineront l’impact de la quantification d’image avec perte sur divers cadres de reconnaissance faciale et proposeront des méthodes possibles pour améliorer l’équité de ces systèmes.

Le nouvel article est intitulé La compression d’image avec perte affecte-t-elle les biais raciaux dans la reconnaissance faciale?, et provient de trois chercheurs de l’Imperial College de Londres, ainsi que d’un chercheur de la bibliothèque d’analyse de visage InsightFace deep face analysis.

Données et Méthode

Pour leurs expériences, les chercheurs ont utilisé les bibliothèques open source ImageMagick et libjpeg pour créer des versions des images de données sources à divers niveaux de compression.

Pour une vue d’ensemble initiale des effets de la compression, les auteurs ont étudié les effets du rapport signal/bruit de pointe (PSNR) sur quatre niveaux différents de compression JPEG sur le jeu de données Racial Faces in-the-Wild (RFW).

Scores PSNR pour le jeu de données Racial Faces-in-the-Wild, démontrant la mesure dans laquelle la compression peut affecter les capacités de reconnaissance pour les images compressées.

Parmi autres tests, ils ont mené des recherches sur un jeu de données déséquilibré sur le plan racial, et un autre qui était équilibré sur le plan racial. Pour le jeu de données équilibré, ils ont utilisé la fonction Additive Angular Margin Loss (ArcFace) avec ResNet101v2, sur le jeu de données de référence original VGGFace2, qui contient 3,3 millions d’images présentant 8631 sujets déséquilibrés sur le plan racial.

Pour les tests, les chercheurs ont utilisé le jeu de données RFW. Le système a été formé quatre fois, à quatre niveaux de compression différents, ce qui a donné lieu à quatre modèles ArcFace.

Pour le jeu de données équilibré, les mêmes cadres ont été initialement employés sur le jeu de données de référence BUPT-Balanced aligné à l’origine, qui contient 28 000 visages équilibrés sur les quatre groupes Africain, Asiatique, Indien et Caucasien, chaque race représentée par 7000 images. Comme pour le jeu de données déséquilibré, quatre modèles ArcFace ont été obtenus de cette manière.

De plus, les chercheurs ont reproduit les effets de la formation compressée et non compressée en supprimant le sous-échantillonnage chromatique, afin de mesurer son effet sur les performances.

Résultats

Le taux de fausse correspondance (FMR) sur ces jeux de données générés a ensuite été étudié. Les critères que les chercheurs recherchaient étaient des phénotypes prédéfinis liés aux caractéristiques raciales Type de peau (1, 2, 3, 4, 5 ou 6), Type de paupière (Monolide/Autre), Forme du nez (Large/Étroit), Forme des lèvres (Épaisses/Petites), Type de cheveux (Droits/Ondulés/Bouclés/Chauves), et Couleur des cheveux – des mesures tirées du document de 2019 La mesure des biais cachés dans la reconnaissance faciale via les phénotypes raciaux.

Le document indique:

‘Nous observons que pour tous les niveaux de compression sélectionnés q = {5, 10, 15, 95}, le FMR augmente lorsque la compression avec perte supplémentaire est appliquée, démontrant que le niveau de compression 5 (le taux de compression le plus élevé) entraîne la diminution la plus significative des performances du FMR, tandis que le niveau de compression 95 (le taux de compression le plus bas) n’entraîne pas de différences de performances du FMR significatives.’

Un échantillon des graphiques de résultats du document, qui sont trop grands et trop nombreux pour être reproduits ici – veuillez consulter le document source pour une meilleure résolution et les résultats complets. Ici, nous voyons la gamme des performances du FMR sur des images de visage de plus en plus dégradées/compressées pour VGGFace2, dans une plage qui inclut des images non compressées ou peu compressées.

Le document conclut:

‘Dans l’ensemble, notre évaluation montre que l’utilisation d’échantillons d’images faciales compressées avec perte au moment de l’inférence diminue les performances de manière plus significative sur des phénotypes spécifiques, notamment le teint de peau foncé, le nez large, les cheveux bouclés et les yeux monolides, parmi toutes les autres caractéristiques phénotypiques. ‘

‘Cependant, l’utilisation d’images compressées pendant la formation rend les modèles résultants plus résistants et limite la dégradation des performances rencontrée: une performance plus faible parmi des sous-groupes spécifiques alignés sur le plan racial persiste. De plus, la suppression du sous-échantillonnage chromatique améliore le FMR pour des catégories de phénotypes spécifiques plus touchées par la compression avec perte.’

* Ma conversion des citations en ligne des auteurs en hyperliens.

Publié pour la première fois le 22 août 2022.