網膜静脈が人種を明らかにする、AIの人種偏見の範囲が広がる

最近、医療用AI画像が人種を明らかにすることができるという発見に触発された研究コンソーシアムは、網膜静脈のパターンが人種を示唆するかどうかを調査し、確かにそのようなことができるという結論に達しました。AIは、人間の医師が検査することによって人種を特定できない画像から、赤ちゃんの網膜画像から親が報告した人種を予測できます。これらの画像は、以前は人種を明らかにする可能性がないと考えられていました。

このグループは、医療画像における人種の層別化の新たなベクトルが開かれ、医療におけるAIシステムの使用における偏見の増加の可能性があることを懸念しています。

網膜画像から黒人と白人のサンプル。上部は、各人種のフルカラーレティナルファンディュス画像で、色の配置に関する人種を区別する特徴がある。下部は、これらの画像から導出された網膜血管マップで、これらの人種アンカー・マークを「平準化」することができると考えられていましたが、新しい報告によると、実際には人種を特定する特徴を持っていることがわかりました。ソース：https://arxiv.org/ftp/arxiv/papers/2109/2109.13845.pdf

著者はさらに、U-Netという、医療AIの分野で広く使用されている機械学習フレームワークが、この現象に影響を与える可能性があることを指摘しています。ただし、著者は「U-Net仮説のみに基づいてこれらの発見を完全に説明することはできない」と述べています。

GitHubリポジトリでのコメントでは、著者は次のように述べています：

‘AIは、網膜血管マップ（RVM）から人種を検出できることがわかりました。RVMは、人種に関する情報を含まないと考えられていました。’

‘この発見の2つの可能性のある説明は、次のとおりです。網膜血管は黒人と白人の赤ちゃんでは生理的に異なるか、またはU-Netが網膜血管をさまざまな色の画像で異なる方法でセグメント化している可能性があります。どちらにせよ、影響は同じです。AIアルゴリズムは、医療における実践で人種偏見を示す可能性があります。’

この論文は、Not Color Blind：AI Predicts Racial Identity from Black and White Retinal Vessel Segmentationsというタイトルで、米国と英国に位置する5つの機関と研究部門の医師と研究者による共同研究です。

研究コンソーシアムに参加している医師には、R.V. Paul Chan、Michael F. Chiang、J. Peter Campbellがいます。

目には目がある

この論文では、人間の偏見が医療AIシステムに伝播する可能性が以前から示唆されていたことを指摘しています。特に、眼の研究では、人種を特定する特徴が含まれることがわかっています。網膜ファンディュス画像（RFI）は、眼の疾患を評価するために使用されるフルカラー画像で、人種を特定するのに十分な色の情報を含んでいます。

グレースケールの網膜血管マップ（RVM）は、網膜の下にある毛細血管のパターンを抽出するために、フルカラー画像のほとんどの情報を破棄します。減算された医療画像のこのレベルでは、人種の特徴が残ることはないと考えられていました。

著者は、赤ちゃんの網膜画像のデータセットを使用して、この仮説をテストしました。赤ちゃんの網膜画像は、遠隔診療や機械学習分析の対象となりつつあります。

新しい研究では、さまざまな種類の還元主義的なフルカラー画像が人種情報を保持するかどうかを調査し、親が報告した人種を予測できることがわかりました。

データと方法

2012年1月から2020年7月までに収集された245人の赤ちゃんのデータを、50/20/30の割合でトレーニング、検証、テストデータセットに分割しました。人種の自然な分布を可能な限り保存しました。

フルカラーのRFIを3つの還元主義的なスタイルに減算しました。つまり、人種の「明らかな」マーカーは技術的にデータから除去されるはずでした。

複数の畳み込みニューラルネットワーク（CNN）を、親が報告した人種（黒人/白人）を二値分類するためにPyTorchを使用してトレーニングしました。CNNは、画像のすべてのバージョンを実行し、通常のランダムなフリップと回転を適用し、導出された画像の解像度は224×244ピクセルでした。

モデルのトレーニングには、最大10エポックで固定の学習率0.001を使用し、5エポック後に収束が見られた場合（つまり、モデルがさらにトレーニングしても精度が向上しない場合）に早期停止を実施しました。

白人と黒人のサンプル間に人口統計学的な自然な不均衡があったため、少数派のソースがシステム的に外れ値として除外されないように補償を適用し、結果をクロスチェックして、実験間でデータ漏洩がないことを確認しました。

研究で使用された網膜マップのサンプル。さまざまなしきい値のレベルで表示されています。

結果

RVMは、フルカラーのRFI画像から静脈と毛細血管を抽出するもので、理論的にはCNNによって人種を区別できないはずです。ただし、結果は、白人の眼よりも黒人の眼でU-Netによってより多くの主要な動脈がセグメント化されることを示しています。

結論として、研究者は「AIが網膜血管セグメントから人種を予測できることがわかりました。網膜血管セグメントには、目に見えるpigmentationに関する情報は含まれていません」と述べています。さらに、「目に見えない画像にも、元の赤ちゃんの人種を予測する情報が含まれていることがわかりました」と述べています。研究者は、黒人と白人の赤ちゃんの網膜血管が「ある方法で異なっている可能性があり、AIはそれを認識できるが、人間はできない」という可能性も示唆しています。

先入観?

著者は、U-Netが白人を主に含むデータでトレーニングされたことが、この差別の原因である可能性があることを示唆しています。ただし、著者は「U-Net仮説のみに基づいてこれらの発見を完全に説明することはできない」と述べています。

‘しかし、U-Netは、最初にグレースケール画像に変換され、コントラスト調整（特に、コントラスト制限ヒストグラム平等化（CLAHE））が適用されたRFIでトレーニングされたため、実際には色のRFIでトレーニングされていませんでした。したがって、U-Net仮説のみに基づいてこれらの発見を完全に説明することはできない.’

ただし、著者は、原因は結果よりも少なくとも心配するものではないと述べています。AIモデルが人種を区別できることは、医療AIアルゴリズムで人種偏見のリスクをもたらす可能性があることを意味します。

著者は、研究で調査された人種の対比度が高いことを指摘し、 Intermediateな人種グループは同様の方法で特定することがより困難である可能性があることを示唆しています。これは、彼らが今後関連研究で調査することになる側面です。

* この記事に含まれている論文のサポートリンクは、可能な限り、限定アクセスのPaperPileリンクから公開アクセスのオンラインバージョンに変換されています。