人種変換を可能にする合成データ：医療データセットの偏りを解決する

UCLAの研究者は、医療用マシンラーニングシステムのトレーニングに使用されるデータセットの顔の明らかな人種を変更する方法を開発しました。これは、多くの共通のデータセットが苦しんでいる人種的偏見を是正するための試みです。

新しいテクニックは、平均0.005秒/フレームの速度で写真のようにリアルな合成ビデオを生成できます。新型コロナウイルス感染症の制限下で大幅に拡大した遠隔ヘルスケア診断とモニタリングの分野での新しい診断システムの開発を支援することが期待されています。このシステムは、非侵襲的に血液供給の体積変化を検出するコンピュータビジョンテクニックである遠隔光電容量法（rPPG）の適用性を向上させることを目的としています。

ソース：https://arxiv.org/pdf/2106.06007.pdf。クリックして拡大します。

この研究では、2020年にイギリスのダラム大学によって公開された以前の研究コードを使用していますが、新しいアプリケーションは、人種の明らかな変化のみではなく、テストデータのパルス信号を保存することを目的としています。

人種変換のためのCNN

エンコーダー・デコーダー・システムの最初の部分では、ダラム大学の人種転送モデルを使用して、VGGFace2で事前にトレーニングされたプロキシターゲットフレームを生成します。これにより、ダラム大学の研究のカオカジアンからアフリカへのコンポーネントのフラット転送が可能になりますが、血流状態の視覚的生理的指標である色やトーンの変化は含まれません。

ダラム大学の2020年の研究からの変換パイプラインの一部が新しいUCLA研究に組み込まれています。ソース：https://arxiv.org/pdf/2004.08945.pdf。クリックして拡大します。

2番目のネットワークであるPhysResNet（PRN）は、rPPGコンポーネントを提供します。PhysResNetは、視覚的な外見と、皮下の血液容積の動きを定義する色の変化を両方学習するようにトレーニングされています。

左下、2020年のダラム大学の研究による結果、PPG情報が欠けている。左中央、人種変換にPPG情報を組み込んだもの。 クリックして拡大します。

UCLAプロジェクトが提案するアーキテクチャは、競合するrPPGテクニックを上回り、皮膚色の増強がなくても31%の改善を示しています。

民族的に多様なデータセットの欠如

経済的および実用的状況が医療研究における人種的に多様なデータセットの障害となっていることは、数年前から続いています。データは地元で生成され、研究が行われる都市の少数派人口の構成など、多くの要因がカオカジアン中心のデータの同質性につながります。

肌の色が濃い人種の被験者が多い国では、データを収集するための必要な機器やリソースがしばしば不足しています。

アメリカ人類学雑誌の先住民の肌の色の世界地図。

現在、肌の色が濃い人種の被験者は、rPPGデータセットの主要3つのデータベースの内容の0％、5％、10％を占めています。

カオカジアンの同質的なデータ

2019年に『サイエンス』誌に掲載された新しい研究では、米国の病院ケアで広く使用されているアルゴリズムがカオカジアンの被験者に大きく偏っていることがわかりました。この研究では、黒人は専門的なケアへの紹介や病院入院の深いレベルで少なくとも参照されることがわかりました。

同年、マレーシアとオーストラリアの研究者による別の研究では、世界の多くの地域、包括してアジアで、データセット生成における「自分の人種への偏見」の一般的な問題を確立しました。

スケールとアーキテクチャの潜在的な限界

民族的に多様なデータセットの限界のいくつかは、倫理的なものではなく、実用的である。データの寄与する多様性が広いほど、より一般的に適用できますが、データの特定の特徴、人種を含む、トレーニング時間、注意、リソースの割合が少なくなります。

これにより、広く適用可能ですが、特定の結果が得られないモデルが生成される可能性があります。これは、データサイズ、バッチサイズの経済性、制限されたハードウェアリソースの制約による潜在的な空間の関数としてです。

一方、入力データを特定の特徴、人種を含む、より限定されたセットに制限することで、効果的で詳細な結果が得られますが、結果は制限されたデータに「過剰適合」し、同じ地理的地域から得られた元のデータセットの被験者に対しては適用できません。

PPGシミュレーションのための合成アバター

UCLAの論文では、また、2020年にマイクロソフトリサーチによって行われた、人種的に柔軟な合成アバターの使用に関する以前の研究について言及しています。これは、PPG情報を含む顔のビデオを生成するために3D画像シンセシスを利用しています。

マイクロソフトリサーチによって作成された合成アバター、PPGデータを含むレイ・トレース画像。ソース：https://arxiv.org/pdf/2010.12949.pdf。クリックして拡大します。