JPEG压缩增加非白人面部识别错误率，研究发现

一项新的英国研究得出结论，JPEG图像中的有损压缩技术会对面部识别系统的有效性产生不利影响，使得这些系统更容易错误识别非白人。

该论文指出：

‘通过大量实验，我们证明了常见的有损图像压缩方法对特定种族表型类别（如较暗的皮肤色调）的面部识别性能产生了更明显的负面影响（最高可达34.55%）。’

研究结果还表明，色度子采样，它减少了面部图像中的色彩信息（而不是亮度信息），会增加错误匹配率（FMR）在一系列测试数据集中的表现，许多这些数据集都是计算机视觉的标准仓库。

对源图像进行色度子采样操作，具有不同速率，会明显影响细节的保留程度和色调的混合程度，牺牲细节和特征。请注意，这张图像本身可能会受到压缩的影响，为了获得准确的分辨率，请参阅源论文。来源：https://arxiv.org/pdf/2208.07613.pdf

色度子采样作为JPEG压缩的额外经济措施，因为人们对色带复杂度和范围的减少不太敏感，而计算机视觉系统则更直接地对这些“聚合”进行处理。

研究人员发现，去除色度子采样可以减少这种负面影响，最高可达15.95%，尽管它并不能完全消除问题。

该研究还断言，即使在训练中使用未压缩（或较少压缩）的数据，也不能解决问题，如果推理时使用的图像是压缩的。实际上，这意味着，即使在较少压缩的图像上训练面部识别模型，也不能解决偏差问题，如果最终的生产模型使用的是具有压缩问题的图像。

作者报告：

‘[使用]有损图像压缩在推理时会对当代面部识别方法的性能产生不利影响，特别是在某些种族相关的面部表型群体中（例如，较暗的皮肤色调，单睑眼形），并且其影响在训练中使用压缩图像时也存在。’

该论文强调了图像压缩对计算机视觉研究领域的影响，这些影响在2021年的一项研究中已经详细阐述过。

这是一个难以解决的问题；即使存储和带宽问题使得压缩成为必要，即使所有低质量图像在二十多年来的数据集中都被重新压缩为更好的质量，仍然需要“重置”过去几十年来学术基准工具的连续性。计算机视觉社区已经习惯了这个问题，以至于它已经成为一个显著的技术债务。

面部识别中的种族偏差已经成为近年来的热门媒体话题，促使研究社区共同努力消除这些偏差。然而，全球研究机构过度依赖少数“金标准”数据集，其中许多数据集在种族平衡或标签方面存在问题，这加剧了挑战。

研究人员还指出，图像采集标准与面部识别基准的标准之间存在差异，指出：

‘[现有的]图像采集标准，例如ISO/IEC 19794-5和ICAO 9303，提出图像质量标准和主体质量标准，以确保面部图像质量。 ‘

‘相应地，面部图像也应使用有损图像压缩标准存储，例如JPEG或JPEG2000；并且可以识别性别、眼色、头发颜色、表情、属性（例如眼镜）、姿势角度（偏航、俯仰、滚转）和标志位置。 ‘

‘然而，常见的面部识别基准并不符合ISO/IEC 19794-5和ICAO 9303标准。另外，在野外采集的样本通常是在不同的相机和环境条件下获得，以挑战提出的解决方案。 ‘

‘尽管如此，大多数面部图像样本在这些数据集中都是通过有损JPEG压缩进行压缩的。’

作者表示，他们的未来工作将研究有损图像量化对多样面部识别框架的影响，并提出可能的方法来提高这些系统的公平性。

这篇新论文题为《有损图像压缩是否影响面部识别中的种族偏差？》，由伦敦帝国学院的三位研究人员和InsightFace深度面部分析库的一位研究人员共同完成。

数据和方法

为了进行实验，研究人员使用ImageMagick和libjpeg开源库创建了源数据图像的不同压缩级别版本。

为了初步了解压缩的影响，作者研究了峰值信噪比（PSNR）对四个不同JPEG压缩级别在种族面部数据集（RFW）上的影响。

RFW数据集的PSNR评分，展示了压缩对识别能力的影响。

在其他测试中，他们研究了一个种族不平衡的数据集和一个种族平衡的数据集。对于种族平衡的数据集，他们使用了加性角度边缘损失（ArcFace）函数和ResNet101v2，在原始VGGFace2基准数据集上，该数据集包含330万张图像，拥有8631个种族不平衡的主题。

为了测试，他们使用了RFW数据集。系统在四个不同的压缩级别下训练四次，得到四个ArcFace模型。

对于种族平衡的数据集，最初使用相同的框架在原始对齐的BUPT-Balanced基准数据集上，该数据集包含28000张面部图像，均匀分布在四个群体中：非洲、亚洲、印度和白人，每个种族都有7000张图像。与种族不平衡的数据集一样，通过这种方式获得了四个ArcFace模型。

此外，研究人员通过去除色度子采样来重现压缩和非压缩训练的效果，以测量其对性能的影响。

结果

然后研究了这些生成的数据集中的错误匹配率（FMR）。研究人员寻找的标准是预定义的与种族特征相关的表型，包括皮肤类型（1、2、3、4、5或6）、眼睑类型（单睑/其他）、鼻子形状（宽/窄）、嘴唇形状（丰满/小）、头发类型（直/波浪/卷/秃）和头发颜色，这些指标来自2019年的论文《通过种族表型测量面部识别中的隐藏偏差》。

该论文指出：

‘我们观察到，对于所有选择的压缩级别q = {5, 10, 15, 95》，当应用额外的有损压缩时，FMR会增加，表明压缩级别5（最高压缩率）会导致FMR性能下降最显著，而压缩级别95（最低压缩率）不会导致FMR性能差异。’

论文中大量结果图表的样本，展示了FMR性能在不同压缩级别下的变化。请参阅源论文以获取更好的分辨率和完整结果。

该论文得出结论：

‘总的来说，我们的评估发现，在推理时使用有损压缩的面部图像会对特定表型（包括黑皮肤、宽鼻、卷发和单睑眼）产生更显著的性能下降。 ‘

‘然而，在训练中使用压缩图像可以使得模型更具鲁棒性，限制性能下降：在特定种族相关子组中仍然存在较低的性能。另外，去除色度子采样可以改善FMR，特别是对于那些更容易受到有损压缩影响的表型类别。’

* 我将作者的内联引用转换为超链接。

首次发布于2022年8月22日。