合成データ：顔画像の人種を変更して医療データセットの偏りを解消する

UCLAの研究者は、医療の機械学習システムを訓練するために使用されるデータセット内の顔の明らかな人種を変更する方法を開発しました。これは、多くの一般的なデータセットが苦しむ人種的偏りを是正する試みです。

新しい技術は、平均0.005秒/フレームの速度で写実的な合成ビデオを生成することができ、COVIDの制限下で大幅に拡大した遠隔医療の診断とモニタリングのための新しい診断システムの開発を支援することが期待されています。このシステムは、遠隔光電血流計（rPPG）の適用可能性を改善することを目的としています。これは、非侵襲的に血液供給の容積変化を検出するために顔のビデオコンテンツを評価するコンピュータビジョンテクニックです。

Source: https://arxiv.org/pdf/2106.06007.pdf. クリックして拡大します。

この研究では、2020年にイギリスのダラム大学によって公開された以前の研究コードを利用していますが、新しいアプリケーションは、2020年の研究が行ったように、顔の明らかな人種のみを視覚的に変更するのではなく、テストデータのパルス信号を保存することを目的としています。

CNNを使用した人種変換

エンコーダー・デコーダー・システムの最初の部分では、ダラムの人種転送モデルを使用して、VGGFace2で事前訓練されたプロキシターゲットフレームを生成します。これにより、白人からアフリカ人への人種的特徴のフラット転送が生成されますが、血流状態の視覚的生理的指標を表す色とトーンの変化は含まれません。

ダラム大学の2020年の研究からの変換パイプラインの一部が新しいUCLA研究に組み込まれています。 Source: https://arxiv.org/pdf/2004.08945.pdf. クリックして拡大します。

2番目のネットワーク、PhysResNet（PRN）は、rPPGコンポーネントを提供します。PhysResNetは、視覚的な外見と、皮下の血液容積の動きを定義する色の変化の両方を学習するように訓練されています。

左下、2020年のダラム研究によって得られた結果、PPG情報が欠けている。中左、人種変換にPPG情報を組み込んだもの。 クリックして拡大します。

UCLAの提案するアーキテクチャは、競合するrPPGテクニックを上回り、皮膚色の増強がない場合でも31%の改善を示しています。

UCLAネットワークは血液容積と分布情報を成功的に保存しています。 クリックして拡大します。

UCLAの研究者は、将来の研究が医療画像のこの分野における人種的偏りの是正に取り組むことを希望しています。また、将来のスキームがより高解像度のビデオを出力することも希望しています。現在のシステムは80×80ピクセルの解像度に制限されており、テレヘルスには適切ですが、理想的ではありません。

人種的に多様なデータセットの欠如

経済的および実用的状況により、医療研究において人種的に多様なデータセットが得られることが難しくなっています。データは通常、研究が行われる都市の少数派デモグラフィックの構成やその他の社会経済的要因などの要因によって、カウカジアン中心のホモジニア性を持っています。

人種的に暗い肌の被験者が多い国では、データを収集するための必要な機器やリソースが不足しています。

アメリカ人類学雑誌からの先住民の肌の色の世界地図。

現在、rPPGデータセットでは、暗い肌の被験者が著しく少数派を占めており、3つの主要なデータベースのコンテンツの0％、5％、10％を占めています。

カウカジアンの均質なデータ

2019年に、サイエンス誌に掲載された新しい研究では、米国の病院ケアで広く使用されているアルゴリズムがカウカジアンの被験者に強く偏っていることが発見されました。この研究では、黒人の被験者がトリアージと病院入院の深いレベルで専門的なケアに紹介される可能性が低いことがわかりました。

同年、マレーシアとオーストラリアの研究者による別の研究では、世界の多くの地域、包括してアジアにおいて、データセット生成のための「自身の人種偏り」の一般的な問題が明らかになりました。

スケールとアーキテクチャの潜在的な限界

データセットの限界は、倫理的な問題ではなく、実用的であることがあります。データの多様性が広いほど、データに含まれる被験者の特徴全体にわたって一般化することができますが、各特徴、人種を含めて、トレーニング時間、注意、リソースの割合が小さくなるため、トレーニングルーチンがそれらのパターンを直感する可能性は低くなります。

これにより、広く適用可能ですが、特定の結果が得られないモデルが生成される可能性があります。これは、データサイズ、バッチサイズの経済性、ハードウェアリソースの実用的限界による制約によるものです。

一方で、入力データを特徴、人種を含めて、より限定されたセットに制限することで、効果的で詳細な結果が得られますが、結果は制限されたデータに過剰適合し、同じ地理的地域から得られた未見の被験者に適用できない可能性があります。

PPGシミュレーションのための合成アバター

UCLAの論文では、また、2020年にマイクロソフトリサーチによって行われた、人種的に柔軟な合成アバターの使用に関する以前の研究にも言及しています。これは、PPG情報を含む顔のビデオを生成するために、3D画像シンセシスを利用しています。

マイクロソフトリサーチによって作成された合成アバター、レイトレースされた画像にPPGデータが含まれています。 Source: https://arxiv.org/pdf/2010.12949.pdf. クリックして拡大します。