研究发现 JPEG 压缩会增加非白人面孔的面部识别错误率

英国的一项新研究得出结论，JPEG 图像中的有损压缩技术可能会对面部识别系统的有效性产生不利影响，使此类系统更有可能错误地识别非白人。

该文件指出：

“通过广泛的实验设置，我们证明常见的有损图像压缩方法对特定种族表型类别（例如较深的肤色）的面部识别性能具有更明显的负面影响（高达 34.55%）。”

结果还表明 色度子采样，它减少了面部图像各部分的颜色信息（而不是亮度信息），增加了一系列测试数据集的错误匹配率（FMR），其中许多数据集是计算机视觉的标准存储库。

以不同的速率对源图像进行色度二次采样操作，对保留细节的程度以及子色调相互“混合”的程度有明显的影响，从而牺牲了细节并确定了特征。 请注意，该图像本身可能会受到压缩，请参阅源论文以获取准确的分辨率。 资料来源：https://arxiv.org/pdf/2208.07613.pdf

色度子采样被用作 JPEG 压缩中的附加经济措施，因为与计算机视觉系统相比，人们不太能够感知色带复杂性和范围的减少，而计算机视觉系统比我们更严格地理解这些“聚合”。

这项新研究的研究人员发现，从压缩过程中删除色度子采样可以将这种负面影响减少多达 15.95%，尽管它并不能完全消除问题。

该研究还断言，对未压缩（或压缩程度较低）数据的训练将 不能 如果推理时间图像被压缩，则可以解决该问题。 实际上，这意味着如果最终生产模型输入的图像存在上述压缩问题，那么在压缩程度较低的图像上训练面部识别模型将无法解决偏差。

作者报告*：

“在推理过程中使用有损图像压缩会对当代计算机的性能产生不利影响。 人脸识别方法 与种族相关的面部表型分组的子集（即较深的肤色、单眼皮的眼睛形状），并且无论压缩图像是否用于模型训练，其效果都存在。

该论文强调了图像压缩对计算机视觉研究领域的影响，这些影响在一篇文章中进行了详细阐述。 2021研究 来自马里兰大学和 Facebook AI。

这是一个 难以修复的问题; 即使使压缩成为必要的存储和带宽问题在一夜之间被消除，即使填充该部门二十年或更长时间数据集的所有低质量图像突然以更高的速率从高质量来源重新压缩，它也会代表了过去几十年学术基准测试工具连续性的“重置”。 简历社区实际上已经 习惯了 问题，以至于它代表了显着的技术债务。

种族 偏见 在面部识别（FR）领域有 成为 a 媒体热点话题 近年来，促使研究界共同努力将其从受影响的系统中消除。 然而，对全球研究机构的依赖 过于有限 “黄金标准”数据集的数量，其中许多是 种族不平衡 or 标签不佳 在这方面，加剧了挑战。

新论文的研究人员还注意到图像采集标准与一般面部识别基准设定的标准之间存在不一致，并指出*：

'[现有]人脸识别系统的图像采集标准，例如 ISO / IEC 19794 5的 和 国际民航组织9303 提出基于图像（即照明、遮挡）和基于主题（即姿势、表情、配件）的质量标准，以确保面部图像质量。

“因此，面部图像也应该使用有损图像压缩标准来存储，例如 JPEG格式  或 JPEG2000； 并且可以识别性别、眼睛颜色、头发颜色、表情、属性（即眼镜）、姿势角度（偏航、俯仰和滚动）和地标位置。

然而，常见的人脸识别基准并不符合 ISO/IEC 19794-5 和 ICAO 9303 标准。 此外，野外样本通常是在不同的相机和环境条件下获得的，以挑战所提出的解决方案。

“尽管如此，此类数据集中的大多数面部图像样本都是通过有损 JPEG 压缩进行压缩的。”

这项新工作的作者表示，他们未来的工作将研究有损图像量化对各种人脸识别框架的影响，并提供可能的方法来提高这些系统的公平性。

新文 标题为 有损图像压缩会影响人脸识别中的种族偏见吗？，来自伦敦帝国理工学院的三名研究人员，以及一位来自 InsightFace 深度面部分析的研究人员 图书馆.

数据与方法

在他们的实验中，研究人员使用 ImageMagick的 和 库文件 开源库，用于以各种压缩增量创建源数据图像的版本。

为了初步概述压缩的影响，作者研究了峰值信噪比的影响（信噪比）对 Racial Faces in-the-Wild 进行四种不同级别的 JPEG 压缩（无线电波）数据集。

Racial Faces-in-the-Wild 数据集的 PSNR 分数，展示了压缩对压缩图像的识别能力的影响程度。

在其他测试中，他们对种族不平衡的数据集和另一个种族平衡的数据集进行了研究。 对于种族平衡集，他们使用了附加角裕度损失（弧面) 函数与 ResNet101v2，在原来的 VGGFace2 基准数据集，包含 3.3 万张图像，涉及 8631 个种族不平衡的受试者。

为了进行测试，研究人员使用了 RFW 数据集。 该系统在四种不同的压缩级别下进行了四次训练，产生了四种 ArcFace 模型。

对于种族平衡集，最初在原始对齐上采用相同的框架 北京邮电大学平衡 基准数据集，包含四组中平衡的 28,000 张面孔 非洲人, 亚洲, 印度及 高加索，每个种族由 7000 张图像代表。 与种族不平衡数据集一样，通过这种方式获得了四个 ArcFace 模型。

此外，研究人员通过消除色度子采样来重现压缩和非压缩训练的效果，以测量其对性能的影响。

成果

然后研究了这些生成的数据集的错误匹配率（FMR）。 研究人员寻找的标准是预先定义的 表型 与种族特征有关 皮肤类型 （1、2、3、4、5 或 6）， 双眼皮类型 （单眼皮/其他）， 鼻子形状 （宽/窄）， 唇形 （全/小）， 发型 （直/波浪/卷曲/秃头），以及 头发的颜色 – 2019 年的指标 纸 通过种族表型测量人脸识别中的隐藏偏差.

该文件指出：

我们观察到，对于所有向下选择的压缩级别 q = {5, 10, 15, 95}，当应用额外的有损压缩时，FMR 会增加，这表明压缩级别 5（最高压缩率）会导致最显着的下降FMR 性能方面，而压缩级别 95（最低压缩率）不会导致任何明显的 FMR 性能差异。

该论文的大量结果图表中的样本太大且数量众多，无法在此处复制 - 请参阅源论文以获得更好的分辨率和完整的结果。 在这里，我们看到了 VGGFace2 日益退化/压缩的面部图像的 FMR 性能范围，范围包括未压缩或低压缩质量。

论文的结论是：

总体而言，我们的评估发现，在推理时使用有损压缩面部图像样本会更显着地降低特定表型的性能，包括深色肤色、宽鼻子、卷发和所有其他表型特征的单眼皮。

“然而，在训练过程中使用压缩图像确实使生成的模型更具弹性，并限制了遇到的性能下降：特定种族一致的子群体中的性能仍然较低。 此外，删除色度子采样可以改善受有损压缩影响更大的特定表型类别的 FMR。

* 我将作者的内联引用转换为超链接。

首次发布于 22 年 2022 月 XNUMX 日。