Andersonの視点
JPEG圧縮は白人以外の顔の認識エラー率を高める:研究結果

要点JPEG圧縮により、暗い肌色の誤一致率が最大34.55%増加する。
もっと見る
- JPEG圧縮により、暗い肌色の誤一致率が最大34.55%増加する。
- クロマサブサンプリングを除去することで、顔認識バイアスへの悪影響が15.95%軽減される。
- 推論画像が圧縮されたままの場合、非圧縮データでの学習ではバイアスは修正されない。
イギリスの新しい研究は、JPEG画像のロッシー圧縮技術が顔認識システムの有効性に悪影響を及ぼし、白人以外の人の誤認識率を高めることを発見しました。
論文では、次のように述べられています:
‘広範な実験セットアップを通じて、一般的なロッシー画像圧縮アプローチが、特定の人種フェノタイプカテゴリ(例:暗い肌の色)に対する顔認識性能に、最大34.55%という、より大きな悪影響を与えることを実証しています。’
結果は、クロマサブサンプリングが、顔画像の色情報(明度情報ではなく)を削減することで、テストされたデータセットの範囲で誤照合率(FMR)を増加させることも示しています。

クロマサブサンプリング操作が、さまざまなレートで、細部が保持される程度と、微妙な色調が混ざり合って細部や識別特徴が失われる程度に与える影響。画像自体が圧縮されている可能性があるため、正確な解像度のために原論文を参照してください。出典: https://arxiv.org/pdf/2208.07613.pdf
クロマサブサンプリングは、JPEG圧縮の追加的な経済的な措置として適用されます。なぜなら、人間は色帯の複雑さと範囲の削減を、コンピュータビジョンシステムよりも少ない程度に認識するからです。
研究者は、クロマサブサンプリングを圧縮プロセスから削除すると、最大15.95%の悪影響を軽減できることを発見しましたが、問題を完全に解決することはできませんでした。
研究では、訓練データが圧縮されていない(または圧縮が少ない)場合でも、推論時の画像が圧縮されていると、問題が解決されないことも主張しています。つまり、圧縮されていない画像で顔認識モデルを訓練しても、最終的な生産モデルが圧縮された画像を使用する場合、偏見が解消されないことを意味します。
著者は報告しています*:
‘[ロッシー画像圧縮を使用すると]、現代の顔認識手法の推論時の性能が、特定の人種フェノタイプグループ(例:暗い肌の色、一重まぶたの目)に対して悪影響を受けることを実証しています。この影響は、モデルの訓練に圧縮画像を使用したかどうかにかかわらず存在します。’
この論文は、コンピュータビジョン研究分野に対する画像圧縮の影響を強調しています。この影響は、メリーランド大学とFacebook AIによる2021年の研究でも詳しく説明されています。
これは解消が難しい問題です。圧縮を必要とするストレージと帯域幅の制約が一夜にしてなくなり、この分野の20年以上にわたるデータセット内の低品質画像をすべて高品質な原画像から適切な圧縮率で再作成できたとしても、過去数十年間の学術的ベンチマークの連続性をリセットすることになります。コンピュータビジョンの研究者はこの問題に慣れてしまっており、大きな技術的負債となっています。
顔認識の人種的なバイアスは近年、広く取り上げられるメディアの話題となり、研究界は該当するシステムからバイアスを取り除こうと協力してきました。しかし、世界の研究者が極端に少数の標準的なデータセットに依存し、その多くが人種的に不均衡であったり、この点でラベル付けが不適切だったりすることが、課題をさらに難しくしています。
新しい論文の研究者は、画像取得標準と一般的な顔認識ベンチマークの基準との不一致も指摘しています*。
「顔認識システム向けの既存の画像取得標準、たとえばISO/IEC 19794-5やICAO 9303は、顔画像の品質を確保するため、画像に関する基準(照明、遮蔽)と被写体に関する基準(姿勢、表情、装飾品)の両方を提案している。」
「したがって、顔画像はJPEGやJPEG2000などの損失圧縮標準を用いて保存し、性別、目の色、髪の色、表情、属性(眼鏡など)、姿勢角(ヨー、ピッチ、ロール)、ランドマーク位置が識別できる必要がある。」
「しかし、一般的な顔認識ベンチマークはISO/IEC 19794-5とICAO 9303の標準に準拠していない。また、実環境のサンプルは、提案手法を試すため、さまざまなカメラや環境条件で取得されることが多い。」
「それでも、これらのデータセット内の顔画像サンプルの大半は、非可逆のJPEG圧縮で圧縮されている。」
著者らは今後、損失を伴う画像量子化がさまざまな顔認識フレームワークに与える影響を検証し、公平性を改善する方法を提案する予定です。
新しい論文の題名は損失画像圧縮は顔認識の人種的バイアスに影響するか?で、インペリアル・カレッジ・ロンドンの3人の研究者と、InsightFace深層顔解析ライブラリの研究者1人によるものです。
データと方法
研究者は、ImageMagickとlibjpegのオープンソースライブラリを使用して、さまざまな圧縮レベルでソースデータ画像のバージョンを作成しました。
圧縮の影響を初期的に調べるために、著者はピーク信号対雑音比(PSNR)を使用して、4つの異なるJPEG圧縮レベルでRacial Faces in-the-Wild(RFW)データセットの影響を調べました。
他のテストの中で、研究者は人種的に不均衡なデータセットと、人種的に均衡なデータセットを使用しました。人種的に均衡なセットの場合、Additive Angular Margin Loss(ArcFace)関数を使用して、ResNet101v2で元のVGGFace2ベンチマークデータセットを訓練しました。このデータセットには、8631人の人種的に不均衡な被写体が含まれる、330万枚の画像があります。
テストには、RFWデータセットを使用しました。システムは、4つの異なる圧縮レベルで4回訓練され、4つのArcFaceモデルが得られました。
人種的に均衡なセットでは、同じフレームワークをまず元の位置合わせ済みBUPT-Balancedベンチマークデータセットに適用しました。このデータセットには28,000枚の顔画像があり、アフリカ系、アジア系、インド系、白人の4群に各7,000枚ずつ均等に分かれています。人種的に不均衡なデータセットと同様に、4つのArcFaceモデルが得られました。
さらに、研究者は、クロマサブサンプリングを除去することで、圧縮と非圧縮の訓練の影響を再現しました。
結果
生成されたデータセットの誤照合率(FMR)を調べました。研究者が探していた基準は、人種的特徴に関して事前に定義された表現型でした。つまり、肌の色(1、2、3、4、5、または6)、瞼の形(一重まぶた/その他)、鼻の形(広い/狭い)、唇の形(厚い/小さい)、髪の形(直毛/波毛/カーリーヘア/脱毛)、髪の色 – 2019年の論文人種的表現型を通じた顔認識の隠れたバイアスの測定から得られた指標です。
論文では、次のように述べられています:
‘すべての選択された圧縮レベルq = {5, 10, 15, 95}に対して、損失圧縮を追加するとFMRが増加することを観察し、圧縮レベル5(最も高い圧縮率)で最も大きなFMRパフォーマンスの低下が発生し、圧縮レベル95(最も低い圧縮率)ではFMR性能に目立った違いは見られなかった。’

論文の結果グラフのサンプル。完全な結果と高解像度のグラフについては、原論文を参照してください。ここでは、非圧縮または低圧縮の画質も含め、段階的に劣化・圧縮されたVGGFace2の顔画像のFMR性能の範囲を示しています。
論文では、次のように結論しています:
「全体として、推論時に損失圧縮した顔画像を使うと、他の表現型に比べて、濃い肌の色、幅広い鼻、巻き毛、一重まぶたなどの特定の表現型で性能がより大きく低下することが分かった。」
「ただし、訓練時に圧縮画像を使うことで、モデルの耐性は向上し、性能低下を抑えられる。それでも、特定の人種に対応する下位群の性能は低いままである。また、クロマサブサンプリングを取り除くと、損失圧縮の影響が大きい特定の表現型カテゴリーのFMRが改善する。」
* 著者らの本文内の引用を、筆者がハイパーリンクに変更しています。
初出:2022年8月22日。













