AIは人間の偏見をなくさない。大規模に広げる。

AIは意思決定の客観性を高める手段として語られることが多い。人間の判断を取り除けば、人間の偏見も取り除けるという考え方だ。しかし、増え続ける研究によって、この見方は否定されている。

AIシステムは、人間の歴史から学ぶ。私たちの意思決定や言葉、制度、そして避けがたい盲点をもとに訓練される。こうしたシステムが候補者を選別したり、医療資源を配分したり、従業員を評価したりすると、個人の人間には及ばない規模と速度で、そうした偏見を再現する可能性がある。

さらに大きな問題は、意思決定が中立に見えることだ。スコアが示され、順位が表示され、推奨が生成される。その背後にある前提の痕跡は目に見えず、その結果に責任を感じる人がその場にいるとも限らない。

だからこそ、AIの偏見は主にモデルの問題ではない。ガバナンスの問題だ。モデルは再訓練できるが、より難しいのは組織に関わる問いだ。各意思決定の責任者は誰か、システムは何を最適化しているのか、そして誰に異議を唱える権限があるのか。

人間の偏見はAIに入り、機械の速度で戻ってくる

その仕組みは謎ではない。モデルは訓練データの統計的パターンに当てはまるように作られる。過去の結果（誰が採用され、誰が医療を受けたか）にすでに差別が織り込まれていれば、モデルが予測するよう学習する対象は、最初から偏っている。近年の研究から、ベンダーやタスクが異なっても、こうしたことがいかに容易に起こるかがわかる。

• 大規模な採用。 スタンフォード大学が実際の求人応募400万件を分析した結果、黒人応募者の26％、アジア系応募者の15％が、AIシステムによって自らの人種グループが差別される職種に応募していたことがわかった。モデルは、何十年にもわたる人間の採用判断から学習していた。
• 履歴書の順位付け。 ワシントン大学の研究者が実際の履歴書550件超を評価したところ、現行の言語モデルは白人を連想させる名前を85％の割合で優先し、黒人男性を連想させる名前が優先されることはまれだった。
• 職場でのコミュニケーション。 今年初めに発表されたジョンズ・ホプキンス大学の研究によると、女性と結び付けられることの多い言語パターンをプロンプトに含めると、GPT-4、Llama、Gemma、Mistralは、より洗練されておらず、形式ばらない業務メールを生成した。

こうしたシステムが導入されると、これらのパターンは訓練データの性質にとどまらず、日々の意思決定に組み込まれるようになる。

本当の危険は規模と沈黙にある

偏見を持つ人間の採用担当者が、1年間に審査する履歴書は数百件かもしれない。一方、偏りのある選考システムは、一晩で何百万件もの応募を処理し、すべてに同じ誤った論理を適用できる。人間の偏った判断は単発の出来事であることが多いが、モデルによる偏った判断は、すぐに方針になり得る。

医療分野には、最もわかりやすい例の一つがある。何百万人もの患者に影響を与えた、広く使われているアルゴリズムは、追加のケアによって恩恵を受ける人を特定するために設計されていた。ところが、同程度に病状の重い白人患者よりも、黒人患者のほうが健康だと判定した。人種差別的なルールを誰かが書いたわけではない。このアルゴリズムは、医療ニーズの代替指標として医療費を使っていた。歴史的に黒人患者は受ける医療が少なく、その結果、医療費も低かったため、アルゴリズムは医療費が低いことを健康状態が良いことと解釈した。研究者がScienceで発表した分析によると、この設計上の選択を一つ修正するだけで、追加の支援が必要と判定された黒人患者の割合は17.7％から46.5％に上昇していた。

AIシステムが反映するのは、与えられた指標だけではない。その指標の背後にある前提も反映する。人間の偏見も同じように現実に存在するが、目に見えにくく、検証もしにくい。だからこそ、答えは自動化を放棄することではなく、ガバナンスを改善することにある。

意思決定に説明責任を組み込む

AI導入の標準的な手順は、モデルを選び、業務フローに統合し、性能を監視して、時間をかけて改善するというものだ。しかし、システムの出力が人々に影響を与える場合、それだけでは不十分である。

私は、導入して終わるのではなく、意思決定に組み込むアプローチを提唱する。説明責任を負う人間が意思決定の場に入り、事後に四半期ごとにダッシュボードを確認するのではなく、実際に判断を変える権限を持つ。まずは次の3つの手順から始める。

1. すべての意思決定を洗い出す。AIが現在、選別、採点、承認している判断をすべて特定し、それぞれに責任者となる人間を明確に割り当てる。
2. その履歴が方針として定着する前に、モデルに与えられている過去のデータを監査する。
3. モデルの判断を覆しても不利益を受けない環境を整え、その覆しがどれくらいの頻度で起きるかを追跡する。

最も重要なのは3つ目の手順だ。機械に異議を唱えると間違いだと見なされる、と従業員が学んでしまえば、異議を唱えなくなる。そして、人間が形式上は「判断に関与」していても、AIが事実上の意思決定者になる。問うべきなのは、人間に最終決定権があるかどうかではない。その人に「機械は間違っている」と言う権限と情報があり、心理的にも安心してそう言えるかどうかだ。

再訓練は役立つが、偏見は意思決定を通じて入り込む。モデルが何を最適化するのか、どのデータを採用するのか、誰が出力を確認するのか。注目すべきなのは、そうした点だ。また、システムがなぜそのような順位付けをしたのかを問い、その答えを受けて行動する権限を持つAIリーダーも必要である。

判断の覆し率が有用なのは、その意味が一義的ではないからです。人々がシステムの判断をほとんど覆さないとしても、単にシステムの精度が高いだけかもしれません。一方で、異議を唱えるのは安全ではないと学んでしまった可能性もあります。判断を覆すのが上級職の人だけなら、若手の職員は黙っているべきだと学んでしまったのかもしれません。若手はしばしば、出力にも、その影響を受ける人々にも最も近い立場にいるにもかかわらずです。目指すべきは、判断が一度も覆されないことではありません。十分な根拠に基づいて判断を覆すことが、システムが機能している証しとみなされる組織文化です。誰かがモデルの判断を覆し、その人の判断が正しかったと分かったら、その事例を広く共有しましょう。それは、会社がこれまでに作るAI研修資料の中で、最も有益なものになるかもしれません。

意図ではなく、結果を検証する

組織は、バイアスの検出を始めるために重大な失敗を待つ必要はありません。次の3つの検証は、今すぐ実施できます。

1. 条件を統制した比較。履歴書に記載された氏名や、プロンプトの方言など、人口統計上の特徴を示す情報だけを変えて、同じタスクを実行します。プロンプトのテンプレートや入力の順番も含め、それ以外の条件はすべて一定に保ちます。モデルの出力は実行ごとに変動するため、各組み合わせを何度か繰り返し、差が単なるノイズとして片づけられないだけの組み合わせを用意します。研究者たちが履歴書の順位付けや職場向けの文書生成における格差を特定した方法も、基本的にはこれと同じです。社内チームでも、最初の検証を午後のうちに実施できます。
2. 代理指標の監査。システムが最適化する指標ごとに、「この数値は実際には何を測っているのか」「誰を過少に数えている可能性があるのか」という2つの問いを立てます。医療分野のアルゴリズムは、選んだ指標の予測が不得手だったわけではありません。費用の予測には優れていました。問題は、費用を医療ニーズの代わりの指標として扱ったことです。システムは独自の指標では正確でも、影響を受ける人々にとっては大きく誤った判断を下すことがあります。
3. 結果の比較。実運用で、グループごとの選考率や承認率を比較します。米国の雇用慣行で用いられる経験則「5分の4ルール」は、あるグループの率が最も高いグループの率の80%を下回る場合に、そのグループを問題として示すもので、一般的な初期スクリーニングの方法です。これを、前述の判断を覆す状況のモニタリングと組み合わせます。

こうした検証にも限界があります。氏名を入れ替える方法で検出できるのは、明示的な人口統計上の手がかりであり、郵便番号、学歴、職歴の空白期間などの代理指標は検出できません。だからこそ、結果の比較が重要です。技術的な緩和策（学習データの重み付けの変更、公平性制約の追加、判断閾値の調整）によって格差を縮小できますが、そこでは選択を迫られます。Kleinberg、Mullainathan、Raghavanによる研究と、Chouldechovaによる別個の研究は、グループ間で基準率が異なる場合、一般にモデルは較正と誤り率の均等性を同時に満たせないことを示しました。どの公平性の定義を優先するかは、モデルが答えられる問いではありません。誰かが責任を持って決定し、記録しなければならないことであり、問題は再びガバナンスに行き着きます。

精度とあわせて公平性を検証する

公平性は、技術チームが精度、効率、コストを評価した後に、人事部門や法務部門が検討する別個の取り組みとして扱われがちです。しかし、そうした切り分け自体が問題の一部です。公平性は、精度やコストと同じ会議で、同等の説明責任のもと、責任者を明確にしたうえで検討すべきです。

その議論には人事部門と法務部門に加え、こうしたシステムに誤って評価された経験のある人々も参加すべきです。過小評価された経験のある人は、システムが見落とすものにいち早く気づくことがよくあります。これは、私の著書『The Bias Advantage』の中心的な考え方です。組織が歴史的に見過ごしてきた視点も、意思決定の過程に取り入れれば、強力な洞察の源になります。

目指すべきなのは、決して間違えないAIシステムではありません。それは現実的ではありません。目指すべきなのは、AIが間違ったときにそれを認識し、理由を理解し、誤りが他者の現実になってしまう前に介入できる組織です。