性別偏りのあるデータで訓練されたAIモデルは、疾患の診断で劣る

最近、研究が発表された。アルゼンチンの研究者によって行われたこの研究では、性別偏りのある訓練データの存在は、疾患やその他の医療問題の診断におけるモデルのパフォーマンスを低下させることを示唆している。Statnewsの報告によると、研究チームは、女性患者が著しく少ない、またはまったく含まれない訓練モデルで実験を行い、アルゴリズムが女性患者を診断する際に著しく劣ることを発見した。同様に、男性患者が除外または少数であった場合も同様の結果が得られた。

過去5年間で、AIモデルや機械学習がより普及してきたため、偏ったデータセットやそれによって生じる偏った機械学習モデルの問題に対する関心が高まっている。機械学習におけるデータ偏りは、不適切で社会的に有害で排他的なAIアプリケーションにつながる可能性があるが、医療アプリケーションの場合は命がかかっている可能性がある。ただし、問題の認識があるにもかかわらず、偏ったデータセットがどれほど有害であるかを数量化しようとする研究は少ない。研究チームが行った研究では、データ偏りが、多くの専門家が以前予想していたよりも極端な影響を与える可能性があることが発見された。

医療の分野で最近人気のあるAIの使用例の1つは、医療画像に基づいて患者を診断するAIモデルの使用である。研究チームは、肺炎、心拡大、またはヘルニアなどのさまざまな医療条件をX線から検出するために使用されるモデルを分析した。研究チームは、Inception-v3、ResNet、DenseNet-121の3つのオープンソースモデルアーキテクチャを研究した。これらのモデルは、スタンフォード大学と国立衛生研究所から提供された2つのオープンソースデータセットから抽出された胸部X線画像で訓練された。データセット自体は性別の表現については比較的バランスの取れたものであるが、研究者はデータを人為的に偏らせて、性別のバランスが取れていないサブセットに分割した。

研究チームは、男性/女性患者スキャンの異なる比率で構成される5つの異なる訓練データセットを作成した。5つの訓練セットは以下のように分割された。

• すべての画像が男性患者である
• すべての画像が女性患者である
• 25%の男性患者と75%の女性患者
• 75%の女性患者と25%の男性患者
• 半分の男性患者と半分の女性患者

モデルを1つのサブセットで訓練した後、男性と女性の患者からのスキャンのコレクションでテストした。さまざまな医療条件を通して顕著な傾向が見られた。訓練データが著しく性別偏りのある場合、モデルの精度が著しく低下していた。興味深いのは、訓練データで1つの性別が過剰に表現されていても、その性別が必ずしも利益を得るわけではないことである。モデルの訓練データが1つの性別に偏っているか、または両性別のバランスの取れたデータセットで訓練されているかに関係なく、モデルのパフォーマンスに差はなかった。

研究の主任著者であるEnzo Ferranteは、Statnewsの記事で、研究が訓練データの多様性と代表性の重要性を強調していることを説明した。モデルの対象となる全人口に対して、訓練データが多様で代表的なものであることが重要である。

なぜ、1つの性別で訓練されたモデルが別の性別で劣るのかは、完全には明らかではない。生理的な違いが一部の差異の原因である可能性があるが、社会的および文化的要因も一部の差異の原因となる可能性がある。たとえば、女性は疾患の進行の異なる段階でX線検査を受ける可能性がある。そうである場合、訓練画像内に含まれる特徴（およびモデルが学習するパターン）に影響を与える可能性がある。そうである場合、研究者がデータセットから偏りを除去することは非常に困難になる。

データの多様性に注意を払う研究者でも、偏ったデータや偏りのあるデータでなければならない状況がある。医療条件の診断方法に差があると、データのバランスが取れないことが多い。たとえば、乳がん患者に関するデータはほぼすべて女性から収集される。同様に、自閉症は女性と男性で異なった方法で表現され、結果として、自閉症は男の子よりも女の子に診断される率が高い。

しかし、研究者は、できる限り偏ったデータやデータ偏りを制御することが非常に重要である。将来的に、研究者は偏ったデータの影響を数量化するのに役立つ。