JPEG圧縮が非カウカジアンの顔の認識エラー率を増加させる、研究が発見

イギリスの新しい研究は、JPEG画像のロッシー圧縮技術が顔認識システムの有効性に悪影響を及ぼし、非カウカジアン人の誤認識率を高めることを発見しました。

論文では、次のように述べられています:

‘広範な実験セットアップを通じて、一般的なロッシー画像圧縮アプローチが、特定の人種フェノタイプカテゴリ（例：暗い肌の色）に対する顔認識パフォーマンスに悪影響を与えることを実証しています。’

結果は、クロマサブサンプリングが、顔画像の色情報（明度情報ではなく）を削減することで、テストされたデータセットの範囲で偽陽性マッチング率（FMR）を増加させることも示しています。

クロマサブサンプリング操作が、さまざまなレートで、詳細の保存とサブトーンの混合の程度に与える影響。画像自体が圧縮されている可能性があるため、正確な解像度のために原論文を参照してください。出典: https://arxiv.org/pdf/2208.07613.pdf

クロマサブサンプリングは、JPEG圧縮の追加的な経済的な措置として適用されます。なぜなら、人間は色帯の複雑さと範囲の削減を、コンピュータビジョンシステムよりも少ない程度に認識するからです。

研究者は、クロマサブサンプリングを圧縮プロセスから削除すると、最大15.95%の悪影響を軽減できることを発見しましたが、問題を完全に解決することはできませんでした。

研究では、訓練データが圧縮されていない（または圧縮が少ない）場合でも、推論時の画像が圧縮されていると、問題が解決されないことも主張しています。つまり、圧縮されていない画像で顔認識モデルを訓練しても、最終的な生産モデルが圧縮された画像を使用する場合、偏見が解消されないことを意味します。

著者は報告しています:

‘[ロッシー画像圧縮を使用すると]、現代の顔認識アプローチのパフォーマンスが、特定の人種フェノタイプグループ（例：暗い肌の色、モンリッドの目）に対して悪影響を受けることを実証しています。さらに、圧縮画像を使用してモデルを訓練しても、問題は解決されません。’

結果は、顔認識システムの有効性に悪影響を及ぼす、JPEG画像のロッシー圧縮技術の影響を示しています。さらに、クロマサブサンプリングを圧縮プロセスから削除すると、最大15.95%の悪影響を軽減できることも示しています。

データと方法

研究者は、ImageMagickとlibjpegのオープンソースライブラリを使用して、さまざまな圧縮レベルでソースデータ画像のバージョンを作成しました。

圧縮の影響を初期的に調べるために、著者はPeak信号対雑音比（PSNR）を使用して、4つの異なるJPEG圧縮レベルでRacial Faces in-the-Wild（RFW）データセットの影響を調べました。

RFWデータセットのPSNRスコア、圧縮画像の認識能力への影響を示す。

他のテストの中で、研究者は人種的に不均衡なデータセットと、人種的に均衡なデータセットを使用しました。人種的に均衡なセットの場合、Additive Angular Margin Loss（ArcFace）関数を使用して、ResNet101v2でVGGFace2ベンチマークデータセットを訓練しました。このデータセットには、8631人の人種的に不均衡な被写体が含まれる、330万枚の画像があります。

テストには、RFWデータセットを使用しました。システムは、4つの異なる圧縮レベルで4回訓練され、4つのArcFaceモデルが得られました。

人種的に均衡なセットの場合、同じフレームワークが最初に、28,000枚の顔が4つのグループ（アフリカ、アジア、インド、カウカジアン）に均等に分割された、BUPT-Balancedベンチマークデータセットで使用されました。各人種は7,000枚の画像で表されました。人種的に不均衡なデータセットと同様に、4つのArcFaceモデルが得られました。

さらに、研究者は、クロマサブサンプリングを除去することで、圧縮と非圧縮の訓練の影響を再現しました。

結果

生成されたデータセットの偽陽性マッチング率（FMR）を調べました。研究者が探していた基準は、事前に定義された人種特性に関するフェノタイプでした。つまり、肌の色（1、2、3、4、5、または6）、瞼の形（モンリッド/その他）、鼻の形（広い/狭い）、唇の形（厚い/薄い）、髪の形（直毛/波毛/カーリーヘア/ボールド）、髪の色 – 2019年の論文顔認識における潜在的な偏見の測定から得られた指標です。

論文では、次のように述べられています:

‘すべての選択された圧縮レベルq = {5, 10, 15, 95}に対して、FMRが増加することを観察し、圧縮レベル5（最も高い圧縮率）で最も大きなFMRパフォーマンスの低下が発生し、圧縮レベル95（最も低い圧縮率）ではFMRパフォーマンスの違いは見られなかった。’

論文の結果グラフのサンプル。完全な結果と高解像度のグラフについては、原論文を参照してください。ここでは、VGGFace2の劣化/圧縮された顔画像のFMRパフォーマンスの範囲を示しています。

論文では、次のように結論しています:

‘全体的に、評価結果は、ロッシー圧縮された顔画像を使用すると、特定のフェノタイプ（例：暗い肌の色、広い鼻、カーリーヘア、モンリッドの目）に対するパフォーマンスがより大幅に低下することを示しています。ただし、訓練時に圧縮画像を使用すると、結果のモデルがより堅牢になり、パフォーマンスの低下が限られることを示しています。さらに、クロマサブサンプリングを除去すると、ロッシー圧縮によって影響を受けるフェノタイプカテゴリのFMRが改善されます。’

著者は、将来的に、ロッシー画像量子化がさまざまな顔認識フレームワークに与える影響を調査し、システムの公平性を改善するための方法を提案する予定です。

新しい論文は、ロッシー画像圧縮が顔認識における人種的偏見に影響を与えるか?というタイトルで、イギリスのImperial College Londonの3人の研究者と、InsightFace深層顔分析ライブラリの1人の研究者によって書かれました。