GEPIの「AIが女性に不利益をもたらす仕組み」報告書、アルゴリズムがジェンダー・バイアスを増幅する実態を検証

採用スコアや信用評価、臨床上の推奨は、一見公平に見えても、その根拠となるデータに含まれる不平等を引き継いでいる場合がある。これが、Gender Equity Policy Instituteが新たに発表した報告書「AIが女性に不利益をもたらすとき：バイアスが増幅される仕組み」の中心的な警告だ。同報告書は、自動化システムがジェンダー差別を再現し、ときには増幅する仕組みについて、さまざまな研究をまとめている。

機械学習研究者でGEPIのシニアフェローを務めるMyriam Shiran博士が執筆した同報告書は、経済的機会、医療、刑事司法、生成コンテンツ、消費者向けAIの設計、AIを利用した画像による性的虐待に関する学術文献やグレーリテラチャーを検討している。これは既存のエビデンスを統合したものであり、すべてのAIシステムを単一の基準で測定する新たな実験ではない。

最も重要な論点は、バイアスのある結果がモデルから出力された後に何が起きるかだ。推奨は意思決定に影響を与え、生成コンテンツは人々の期待を形作り、出力の一部は将来の学習データになる。不公平なパターンは、こうして複数のシステムを経るうちに、いっそう見つけにくくなる可能性がある。

性別を考慮しない入力でも、公平な結果が保証されるわけではない

差別への直感的な対応策は、性別の項目を削除することだ。しかしGEPIのレビューは、それだけでは不十分な理由を説明している。氏名、学歴、職歴などの情報にも、性別に関連するシグナルが含まれる可能性がある。また、モデルがデータを扱う以前の過去の結果に、不平等な扱いが反映されている場合もある。

報告書が取り上げた採用監査の一つは、WilsonとCaliskanが2024年に実施したもので、9つの職種を対象に300万件を超える履歴書のシミュレーション比較を行った。検証対象となった選考モデルは、比較の51.9%で男性を連想させる名前を有意に優遇し、11.1%で女性を連想させる名前を有意に優遇した。残る37%では、有意な選好は確認されなかった。これらは管理された環境でのモデルテストの結果であり、実際に応募者が不採用となった割合ではない。

エビデンスの内容は、テストの設計によっても異なる。報告書が紹介する別の2025年の監査では、研究者が氏名だけを変更した場合、複数の言語モデルに性別による差は見られなかった一方、学歴の情報を変えるとスコアに影響が出た。同じ業務プロセスの別の場面で重要となる情報も、限定的なテストでは見落とされる可能性がある。

融資について、レビューは米国の大手フィンテック金融機関が提供した、無担保の個人向け融資約8万件を対象とする研究を取り上げている。女性向け融資は貸し手にとってより高い収益をもたらしていた。この結果について研究は、モデルが女性の債務不履行リスクを過大評価し、それに応じた融資価格を設定していたことと関連付けている。ここで問題となるのは、申込書に性別が記載されているかどうかだけではなく、予測されたリスク、実際の返済状況、そして借り手が支払う価格の関係だ。

医療AIに必要なのは、平均スコアの高さだけではない

集団全体の性能だけでは重要な差が見えなくなる理由を、医療は特に明確に示している。学習データや検証データに十分含まれていない人々に対して、より多くの誤りを起こしながら、全体としては高い性能を示すモデルもあり得る。

GEPIは、Zackらによる2024年の研究を引用している。この研究では、ほかの条件は同じで、男性または女性の症例として説明された胸痛の事例をGPT-4に提示した。それぞれの説明について200回実行したところ、モデルが心臓負荷検査を非常に重要と評価した割合は、男性の症例で71%、女性の症例で58%となり、13ポイントの差があった。

この結果が示しているのは、管理された評価におけるモデルの推奨であり、実際に観察された治療上の意思決定や患者の転帰ではない。この違いは重要だ。特に報告書には、異なる時期に実施された、さまざまなモデル、疾患、臨床課題を対象とする探索的研究が含まれている。

レビューは、重要な但し書きも示している。臨床的に意味のある性差を単純に消し去るべきではない。モデルの助言に見られる違いが、関連する生物学的要因を反映しているのか、それとも根拠のない思い込みなのかを見極める必要がある。そのためには、代表性のある評価データを用い、誤りを注意深く検証しなければならない。すべての推奨を同一にするよう求めるのではなく、それが必要だ。

バイアスは意思決定だけでなく、人々の描かれ方にも影響する

報告書は、融資や医療などの資源を個人が利用できるかどうかに関わる害と、集団がどのように描かれるかに関わる害を区別している。生成AIによる推薦状やニュース記事、職業を描いた画像は、直ちに資源の配分に結び付かなくても、固定観念を強める可能性がある。

GEPIがまとめた研究では、言語モデルは女性を対人関係の資質で描写する傾向が強く、男性はリーダーシップや能力で描写する傾向が強かった。画像生成モデルの研究では、職業における男女の分離が誇張されていた。これらの結果が当てはまるのは、調査対象となったモデルとバージョンだ。現在利用できるすべてのシステムを新たに監査した結果として解釈すべきではない。

消費者向けアシスタントやコンパニオンAIには、また別の論点がある。声や性格、ハラスメントへの応答は、意図的に選ばれた製品設計の要素だ。回答における統計的なバランスだけを評価していては、その製品がどのような存在として設計されているかに埋め込まれた前提を見落としかねない。

このレビューでは、同意のない合成性的画像についても検証している。AIによって、虐待目的の画像を作成・拡散しやすくなる可能性がある。これは単に描写が不正確という問題にとどまらない。本人の同意なく実在の人物の容姿を利用すれば、直接的な被害が生じるおそれがある。生成画像における職業上のステレオタイプを正すのとは、異なる対応が求められる。

独立した検証が重要な理由

GEPIは、繰り返し見られる仕組みとして、偏りのある過去の記録から学習すること、ステレオタイプを再生産すること、判断を客観的な測定値であるかのように示すこと、そして偏った出力が後続の判断やモデルに取り込まれることの4つを挙げている。

独立監査は、こうした仕組みを明らかにするうえで役立つ。研究者は、他の条件をそろえた入力の属性を1つだけ変え、出力がどう変わるかを調べることができる。独自モデルの内部構造にアクセスできない場合でも実施可能だ。ただし、1つのプロンプトやベンチマークでテストに成功しても、導入先全体で公平性が確保されているとは言えない。

AIを導入する組織にとって、実務上重要なのは、実際のユースケースで検証することだ。採用チームは、選考スコアが面接対象者の選定に至るまでの流れを調べる必要がある。貸し手は、リスク評価と返済実績を比較する必要がある。医療機関は、検証用データにどの患者が含まれているか、またエラーがどこに集中しているかを把握する必要がある。こうした確認で明らかになるのは、モデルの平均的な流暢さや正確さとは別の問題である。

報告書が明らかにすること、そして未解明のこと

この報告書は主に米国の証拠を基にしつつ、関連する国際的な研究も取り上げている。出典には、さまざまな技術、年代、手法が含まれる。実際の結果を記録したものもあれば、シミュレーションで懸念される挙動を明らかにしたものもある。このレビューは、差別の普遍的な発生率を示すものではなく、すべてのシステムが同じ偏りを生み出すと示すものでもない。

また、測定上の問題も指摘している。研究者は、出力とその結果を結び付けるために必要な組織内データにアクセスできないことが多い。格差を確認することは重要だが、現実社会での損失を把握するには、雇用主、ベンダー、貸し手、医療機関が保有する記録が必要になる場合がある。

GEPIの貢献は、これまで個別に論じられることの多かった知見を結び付け、AIが影響を及ぼす意思決定において、検証と説明責任がどこまで確保されているかを問うことにある。報告書全文『AIは女性をどう損なうのか：偏りが増幅されるとき』には、この議論を裏付ける方法論、研究の出典、分野別の証拠が収録されている。