フラッシュなチャートは「悪性」の研究結果を信頼できるように見せることができる

新しい研究によると、複雑で詳細なチャートを重ねると、人々は偏ったAIの決定を信頼するようになることがあり、明らかに不公平な場合でもそうである。

「科学で人を盲目にする」という慣用句は、現在のAI時代以前から存在するが、科学論文の最近の増加により、信号対雑音比が不利になり、「安易な手段」がより一般的になっているため、現在の時代ではより完璧になっている。

「嘘、嘘、統計」という古い諺に忠実に、読者を欺いたり、誤解させたりするときに使用される中央ツールは、グラフやデータ視覚化である。

2019年の研究では、ペンシルバニア州の農村部の参加者に対するグラフの影響を調べた。研究の著者は次のように述べた。

「虐待や中毒に影響を受けた人は、グラフに表現された物質に惹かれました。地理情報を含むグラフの質は、自宅の州を見つけるのがどれほど簡単または難しいかに基づいて判断されました。」

「他の人は、グラフの品質を判断するために、自分自身の理解に基づいてではなく、グラフが他の人々に伝える能力に基づいて判断しました。」

「最後に、1人の参加者は、ローカルニュースソースからの視覚化に、全国的なものよりもより注意を払うことを提案しました。」

1999年の研究でペンシルバニア州の農村部の住民に提示されたグラフのいくつか。 ソース

データグラフの催眠的な効果は、信頼がAI経済の維持に重要である新しい機械学習時代に特に重要になっています。

2024年の米英共同研究「信頼のジャンクと邪悪なノブ：AI視覚化における信頼の較正」では、信頼のジャンクという概念が導入されました。これは、「モデルやデータとの有意義なつながりがなく、信頼を高めるために使用されるXAI視覚化」です。

論文「信頼のジャンクと邪悪なノブ：AI視覚化における信頼の較正」からの、データを歪曲して目的を達成するために使用する例（右）、明示的に表示するのではなく（左）。このようなアプローチは「過信を促し、ユーザーを圧倒し、制御の幻想を提供する」というものです。 ソース

迅速な研究

信頼のジャンクの概念が提案されて以来、テストされていませんでしたが、新しい論文では、参加者にAI研究の結果が提示され、米国の法曹試験に合格する可能性のある候補者について調べました。

注意深く見ると、フィルタリング基準は、a）すべての黒人男性とb）その他すべてで、すべての黒人男性が試験に不合格になるという予測でした。

著者の実験で使用された注釈付きの刺激。モデル（C）が法曹試験に合格するかどうかについての決定と、説明要素（A、D、E、F）が「信頼のジャンク」として機能していること、およびモデルが差別的であるにもかかわらず、関連のない説明情報の増加により、参加者がその出力に同意し、それを公正であると判断することが示されている。 ソース

ほとんどの参加者は、モデルの予測に同意し、それを公正で信頼できると評価しました。参加者は、関連のないグラフや詳細が追加されるにつれて、同意、信頼、および公正性の認識が高まったことがわかりました。

一部のユーザーは、研究に異議を唱えたが、それは明らかに中心的な問題とは無関係な理由によるものでした。

「私たちは、19のインスタンスで参加者が私たちのモデルを公正であると説明したことを観察しました。（参加者は）「それは人種や性別の偏見がないので公正です」と言いました。参加者は時折、モデルに不安を感じたことを表明しました。1人の参加者は、「そのようなシステムがどのような暗い目的で使用されるか」と心配していることを述べました。」

それでも、参加者を3つのグループに分けた研究では、どのグループも真の問題を特定できませんでした。

著者は結論付けました。

「簡単に言えば、私たちは信頼のジャンクが機能することを発見しました。参加者は、無関係な情報によって「なだめられ」ていたか、「麻痺」されていたのです。

「これらすべての操作と説得は、表面的なもので、深く不公平なモデルの中で発生しました。XAIが一般の聴衆に正確な判断を下すことを可能にすることを期待する場合に、まさにそうである。」

私たちがAIが私たちに伝えることをチェックするように勧められていることが増えてきているので（疑わしい自己利益の動機のため、またはエラーの多い出力のため）、研究論文、会社の四半期報告書、その他の遠からず中立的な情報提供形式のソース資料を分析するために、見出しよりも深く掘り下げることが必要です。

しかし、正確さを保証する「なだめる」グラフに注意を払う準備はできていますか。グラフの「真実の霧」が引き起こすものを無視する準備はできていますか。

新しい論文は「信頼のジャンク」が、高度に差別的な予測モデルに対する不当な支持につながる」と題されており、ボストンのノースイースタン大学の3人の研究者によって執筆されています。補足サイトも用意されています。

方法

著者は、信頼のジャンクがXAIの説明に与える影響を調べるために、クラウドソーシングされた実験を実施しました。参加者は、偏ったモデルが公正で有用であると判断するように、技術的に正しいが無関係な詳細を追加することで説得されるかどうかをテストしました。

刺激は、以前の研究に基づいて作成され、XAIダッシュボードは複数の説明技術を1つのインターフェイスに組み合わせました。

上記の「偏った」モデルについては、研究者は「ジャンク」説明を開発し、データの提示方法については、参加者を混乱させることを意図しました。

「私たちは、モデルが二項分類タスクに過剰な情報を提供しました。私たちの複雑な詳細の多くを含めることは、ユーザーを圧倒するために行われたのではなく、有用なデータを提供するために行われたのです。」

「このテクニックは（比喩的に）ユーザーを麻痺させ、自分自身の理解不足を受け入れるようにします[…]。」

この研究は、以前の論争に基づいており、国際バカロレアと一般教育修了レベルの試験でのAI採点を使用しています。法曹試験パス率データセットを使用して、1991年から1997年までの20,000人の候補者の人口統計、学術的、結果データを含む、偏ったモデルを構築しました。

このモデルは黒人男性の候補者が不合格になることを予測し、他のすべての候補者は合格することを予測しましたが、93.7%の精度を達成しました。これは、人種と性別のクラスバランスによるものです。

「権威への訴え」という戦略もテストされ、表面的に印象的なヒント、たとえば名門大学の所属、データセットのサイズ、誤解を招く精度が追加されました。

さらに、モデルが人種と性別に依存していることを明らかにする手段は省略され、有利な結果のみが提示されました。候補者の小さなセットは、モデルによる予測ではなく、実際の試験結果とともに提示され、黒人男性候補者に一貫した不合格パターンを隠すのに役立ちました。

参加者がシステムをどのように解釈するかを形成するために、情報は、参加者がモデルがどのように機能するかについて、単純で誤った説明を形成するように提示されました。利用可能なすべての機能の詳細が示され、多くの要因が決定に影響を与えているという印象が生まれましたが、人種と性別のみが使用されました。個々の属性への皮肉な強調も、参加者が候補者が合格または不合格になる理由について、妥当で間違った物語を構築することを促しました。

「被害者」

テストグループでは、各説明は3つの信頼のジャンクレベルにわたって3つの研究条件に割り当てられました。参加者は、ベースライン条件では、基本的な出典、候補者のプロファイル、モデルの決定のみを見ました。参加者は、モデル条件では、精度統計も見ました。参加者は、すべて条件では、特徴ヒストグラムと、トレーニングデータからの類似の候補者のプロファイルも見ました。

この研究は、機関の審査委員会によって承認され、Prolificで実施され、参加者は1時間あたり15ドルで報酬が支払われ、条件にランダムに割り当てられました。

各参加者は、8人の法曹試験候補者のプロファイルをランダムな順序で確認し、それぞれが合格するかどうかを判断しました。信頼性と公正性を評価するためのアンケートが行われ、ベースライン、モデル、すべて条件の参加者はそれぞれ28人、27人、28人でした。

著者は、関連のない情報を追加することで、モデルを「美白」し、不当な信頼を生み出すことができると考えました。参加者は、モデルとすべて条件で、ベースライン条件よりも高い同意と信頼性、公正性、有用性を示すと予想しました。参加者は、モデルの決定をどのように理解したかを分析しました。参加者がモデルの偏見や情報のギャップに気づいたかどうかを確認しました。

テスト結果

モデルの一致に関して、人間の参加者は66.6%の時間で正しい結果を特定しましたが、73.9%の時間でモデルに同意しました。モデルが間違っている場合でも、参加者はモデルの決定に従う傾向がありました。この効果は、説明の詳細が追加されるにつれて強化されました。最も詳細な条件では、一致が82.6%に上昇し、参加者がモデルに誤って従う可能性が高まりました。

一致（左）、信頼（中）、満足度（右）の集計スコア。参加者は、公平性とは無関係な追加の説明的コンテンツにさらされた「すべて」の条件で、すべての尺度で有意に高いスコアを報告しました。

信頼性評価は条件によって有意に異なり、すべて条件の参加者は、ベースライン条件の参加者よりも高い信頼性（M = 25.3）を報告しました。一方、モデル条件（M = 20.1）は、ベースライン条件とは有意に異なりませんでした。

説明の満足度は条件によって有意に異なり、すべて条件の参加者は、他の2つの条件（M = 26.4）よりも高い満足度（M = 34.2）を報告しました。

参加者は、7点尺度の4つの質問を使用して、公平性を評価しました。性別の偏見、全体的な偏見、倫理性についてですが、条件間には有意な差はありませんでした。

人種と性別の公平性、偏見の欠如、全体的な倫理性に対する参加者の評価の分布。説明の詳細のレベルが高いと、公平性と偏見のない評価がわずかに高いことがわかりますが、基礎となるモデルは不変で不公平です。

品質管理

質的回答は、関連のない情報を最も少なく提示された参加者が、モデルの問題をより多く認識していたことを示しています。参加者は、モデルが人種と性別に依存していることや、重要な詳細が欠けていることをより多く認識しました。

一方、より詳細な説明を提示された参加者は、これらの懸念をあまり表明しませんでした。ただし、参加者のうち3人だけが、モデルの決定を駆り立てる主要な要因を部分的に理解し、誰も完全に理解していませんでした。

参加者が人種または性別の偏見と説明の欠如を報告した頻度を示すグラフ。説明の詳細のレベルが高いと、参加者が偏見や欠如を報告する頻度が低いことがわかりますが、モデルは人種と性別のみに依存しています。

多くの参加者は、モデルを公正であると明確に説明しました。19のそのような回答が記録されましたが、モデルは明らかに偏っています。

一部の参加者は、システムの使用方法について心配を表明しました。15の回答では、モデルが個々の候補者の複雑さを正確に捉えることができないかどうかについて疑問を表明しました。

著者は次のように述べています。

「参加者の少数派だけが、モデルを不公正または偏ったものと説明しました。モデルに懸念を抱いた参加者は、モデルがなぜ欠陥があるのかを正確に説明することができませんでした。重要なモデル情報が欠けている場合、参加者は、モデルがなぜ不正確または不公正であるのかを説明するために、非公式で、しばしば間違った推論に頼ることになりました。」

論文は*†次のように結論付けます。

「私たちが発見した問題のいくつかは、聴衆のデータリテラシーの向上によって解決できますが、教育だけでは十分ではありません。（自称AIの専門家は、XAI技術を誤って解釈したり、理解できないことがあります。）」

「私たちは、Hullman et alの主張を繰り返します。AIの説明の成功は、説明の目的を考慮することでのみ公正に評価できます。」

「私たちは、コミュニティに、XAIの説明の修辞的目的と、説得的で操作的なアーティファクトとしての力に注意を払うよう促しています。」

結論

最先端のモデルが、グラフで声明を「飾る」傾向にあることが明らかになっているので、AI生成のグラフに頼るべきではないこと、および視覚化の一般的な「周囲の」効果を無視する必要があることが明らかになってきています。写真への信頼がディープフェイクの出現により損なわれているのと同様に。

これは、明らかに懸念すべき事態です。なぜなら、これは、メディアで見たり聞いたりするものを厳密に評価するという一般大衆の意欲の疲労点を構成し、最終的な屈服の種の誤情報につながる可能性があるからです。

* 著者のインライン引用をハイパーリンクに置き換えました。

^† 著者の元の書式設定、自分で行ったものではありません。

2026年7月20日初出