網膜静脈が人種を明らかにする、AIの人種偏見の範囲を拡大

医療用AI画像処理が人種を明らかにできるという最近の発見に触発された米国と英国の一研究コンソーシアムは、網膜静脈のパターンが人種を示唆するかどうかを調査し、確かにその場合であると結論付けた。AIは、人間の医師が研究する場合、人種を明らかにしない画像から、親が報告した人種を予測できる。以前は、人種を開示する可能性がないと考えられていた画像である。

このグループは、医療画像における人種の層別化のこの追加のベクトルが、医療における人工知能システムの使用における偏見の増加の可能性を開くことを心配している。

黒人と白人の被験者からの網膜画像。上部、各人種からの網膜底部全色画像には、色の配置に関連する人種を区別する特徴がある。下部、これらの画像から派生した網膜血管マップは、人種を識別する特徴を含むと、新しい報告書によると。 ソース: https://arxiv.org/ftp/arxiv/papers/2109/2109.13845.pdf

著者はさらに、U-Net、この分野のAIベースのヘルスケアを定義するマシンラーニングフレームワークが、この観察された現象に影響を与える可能性があることを示唆している。ただし、著者は、‘U-Netの仮説のみに基づいてこれらの結果を完全に説明することはまだできない’と主張している。

このプロジェクトの関連GitHubリポジトリでコメントする著者は、次のように述べている：

‘AIは、網膜血管マップ（RVM）から人種を検出できる [網膜血管マップ] が人種情報を含まないと考えられていた。二つの潜在的な説明は、網膜血管が生理的に黒人と白人の赤ちゃんで異なるか、U-Netがさまざまな fundus色素化に対して網膜血管を異なる方法でセグメント化することである。

‘…どちらの場合でも、影響は同じである：AIアルゴリズムは、画像から人種情報を除去するための初期の試みが成功したように見えても、実践では人種偏見を示す可能性がある。 ‘

論文は、Not Color Blind: AI Predicts Racial Identity from Black and White Retinal Vessel Segmentationsと題され、米国の5つの機関と研究部門、および英国の一つの機関の医師と研究者による共同研究である。

医師として参加している医療コンソーシアムには、R.V. Paul Chan、MD、MSc、FACS、眼科学のボード認定医、およびアメリカ外科大学のフェロー；Michael F. Chiang、M.D.、メリーランド州ベセスダの国立眼科研究所の所長；およびJ. Peter Campbell M.D.、M.P.H.、オレゴン州ポートランドのオレゴン健康科学大学医学部の眼科学准教授が含まれる。

目にはそれがある

論文では、人間が作成した偏見がAI医療システムに伝播する可能性がすでに証明されていることを指摘しており、目に関する研究*を含む。網膜底部画像（RFI、上記の画像の比較を参照）は、網膜疾患の評価に使用され、人種を識別するのに十分な色素情報を含む。

グレースケール網膜血管マップ（RVMs）は、多くの疾患状態を定義する可能性のある下にある毛細血管のパターンを抽出するために、ほとんどの情報を破棄する。ここでの抽出レベルでは、これらの還元的な医療画像には人種特性が残らないと常に仮定されてきた。

著者らは、潜在的に盲目の病気のために検査された乳児から得られたRFI（全色網膜画像）のデータセットを使用して、この仮定をテストした。画像のスクリーニングは、著者らによると、個人的なコンサルテーションの外側で、遠隔医療や遠隔診断の文脈でより頻繁に機能しており、機械学習分析の対象となっている。

新しい研究では、網膜画像のさまざまな還元主義的なバージョンが、親によって報告された人種情報を保持しているかどうかを調査し、網膜 fundus 画像（RFI）の最も情報破壊的な抽出物（しきい値、スケルトン化、2値化）でもある程度の人種識別が可能であることがわかった。

データと方法

2012年1月から2020年7月までの間に、多施設i-ROPコホート研究の一部として収集された245人の乳児のデータは、50/20/30の割合でトレーニング、検証、およびテストデータセットに分割され、可能な限りソースデータの自然な人種分布が保持された。

色のあるRFIは、’明らかな’人種マーカーが技術的にデータから除去されたはずである3つの還元主義的な画像スタイルに低下した。

複数の畳み込みニューラルネットワーク（CNN）が、PyTorchを使用して、親から報告された人種（黒人/白人）に基づいて二値分類を実行するようにトレーニングされた。CNNは、画像のすべてのバージョン、RFIからスケルトナイズされたバージョンまで、通常のランダムフリップと回転を適用し、派生画像の解像度は224×244ピクセルであった。

モデルは、最大10エポックで0.001の固定学習率で確率的勾配降下法でトレーニングされ、5エポック後に収束が検出された場合（つまり、トレーニングを続けてもモデルがさらに正確になることはない）に、早期停止が実装され、トレーニングが停止された。

白人と黒人の被験者間に人口統計学的な自然な不均衡があったため、少数派の情報源がシステム的に外れ値として割り当てられないように補償が適用され、結果が実験間でデータ漏洩が発生しないことを確認するためにクロスチェックされた。

研究におけるさまざまなしきい値の網膜マップのサンプル。

結果

RVMsは、網膜底部全色画像（RFI）から静脈と毛細血管を抽出するもので、理論的には、CNNによって人種を区別することはできないはずである。ただし、結果は、白人の眼よりも黒人の眼でU-Netによってより多くの主要動脈がセグメント化されていることを示している。

結論として、研究者らは ‘AIは、色素化に関する可視情報を含まない網膜血管セグメントから、赤ちゃんの人種を容易に予測できた‘ と観察し、‘人間の目には見えないように見える画像でも、元の赤ちゃんの人種を予測する情報が残っている’ ことを発見した。 研究者らは、‘黒人と白人の赤ちゃんの網膜血管が、AIが認識できる方法で何らかの方法で異なる可能性がある’ ことも示唆している。

事前の偏見？

著者らは、差別が、U-Netが最初に訓練された白人優位のデータの機能である可能性も示唆している。彼らはこれを「主な理論」と呼んでいるが、キャプチャセンサーの能力が要因となる可能性もあると述べている。網膜画像の技術的な側面がこの現象の結果であるか、U-Netのデータ偏見が年々自己複製している可能性がある。 この可能性に触れて、論文では次のように述べられている：

‘しかし、U-Netは、最初にグレースケール画像に変換され、コントラスト調整（特に、コントラスト制限ヒストグラム平等化（CLAHE））が適用されたRFIで訓練されたため、実際には色のあるRFIで訓練されたことはない。したがって、U-Netの仮説のみに基づいてこれらの結果を完全に説明することはまだできない。 ‘

ただし、著者らは、原因は結果よりも少しほど心配するべきではないと主張している。AIモデルが人種を区別できることは、‘これらを入力として使用する医療AIアルゴリズムにおける偏見のリスク’ を伴う。

著者らは、研究対象となった人種の高コントラスト性を指摘し、’中間’人種グループは同様の方法で識別するのがより困難である可能性があると推測し、これは彼らが関連研究で調査する予定の側面である。

* この記事に含まれる論文によって提供されたすべてのリンクは、可能な限り、制限付きアクセスのPaperPileリンクから一般にアクセス可能なオンラインバージョンに変換されています。