説明可能なAIが信頼性と信頼性を高める方法

人工知能（AI）が企業全体に普及するにつれ、我々の生活の基盤に徐々に埋め込まれています。この普及の重要な側面は、エンドユーザーがAIがどのように結論に達したか、またはどのようにして望ましい結果をもたらしたかを完全に理解できる必要があるということです。人間として、私たちには「なぜ」と「どうやって」の根底にある理由を知るという深い欲求があり、これが私たちの技術的進歩を促しています。AIの文脈では、この理解は「説明可能性」と呼ばれます。

説明可能性が必要な理由

私たちがAIにアプローチするのは、入力と出力だけがわかっている「ブラックボックス」です。しかし、問題は、多くのAIの根底にあるアルゴリズム、たとえば複雑なディープラーニングベースの予測システムや自然言語処理（NLP）が、最も熟練した実践者にとっても非常に抽象的であるということです。

信頼と透明性: ユーザーがAIの予測を信頼するには、AIにはある程度の説明可能性が必要です。たとえば、医療従事者がAIの予測に基づいて治療を勧める場合、彼らはその予測を信頼できなければなりません。銀行は、ローンを却下または承認する決定を信頼できなければなりません。また、AIを使用して採用する場合、基になるメカニズムがすべての応募者にとって公平で公正であることを証明できなければなりません。

AIをより人間に近づけ、採用を増やす: マッキンゼーの「2020年のAIの状態」レポートによると、製造業者は、工場労働者がAIの判断を信頼できるように、非常に透明性の高いモデルを使用しています。AIの採用を迅速化するには、利害関係者の理解を得ることが大きな障害です。説明可能性が高ければ、より広い聴衆にパフォーマンスを説明できるため、この問題は大幅に軽減されます。ビジネス面では、説明可能性は全体的なユーザーエクスペリエンスを向上させ、顧客満足度を高めます。IBM Institute for Business Valueの調査によると、68%のトップエグゼクティブは、顧客がAIからより多くの説明可能性を求めることを予想しています。

偏見を暴き、モデルパフォーマンスを改善する: 開発者は、モデルパフォーマンスを改善する方法と、デバッグおよび微調整する方法を知る必要があります。明確な説明可能性フレームワークは、必要な徹底的な分析を行うための最も重要なツールの1つです。

より鋭い、円熟した洞察を得る: AIが提案する処方箋を完全に理解するには、360度の視点が必要です。たとえば、AIを使用して投資決定を行う場合、決定の根底にある理由を知る必要があります。これにより、他の分野でこの知識を活用し、決定の潜在的な落とし穴を理解することができます。AIの動作を理解することは、意思決定者が新しいユースケースを特定するのにも役立ちます。

規制と説明責任: GDPRなどの規制では、説明の権利が求められ、自動化された意思決定プロセスから生じる説明責任の問題に対処します。自律走行車のようなシステムでは、生命や財産の損失が発生した場合、根本的な原因を特定する必要がありますが、ブラックボックスシステムではこれは難しいでしょう。

AIをより説明可能にする方法

説明可能な人工知能システム（XAI）は、モデル全体を説明したり、個々の予測の根底にある理由を説明したりすることに焦点を当てたさまざまなテクニックを使用して開発されます。
ほとんどの説明可能性テクニックは、次のことに依存しています。

• モデルを個々のコンポーネントに分解すること
• モデル予測の視覚化（たとえば、モデルが特定のブランドの車と分類する場合、どの部分がそれをそのように分類する原因となったかを強調します）
• 説明マイニング（機械学習テクニックを使用して、人工知能アルゴリズムの予測を説明する関連データを見つけること）

プロキシモデリングという1つのテクニックでは、決定木のようなより単純で理解しやすいモデルを使用して、より複雑なAIモデルを近似的に表現します。これらの単純化された説明は、モデルを高レベルで理解するのに役立ちますが、時にはいくつかのニュアンスを抑制することもあります。

別のアプローチは「設計による解釈可能性」と呼ばれます。このアプローチでは、AIネットワークの設計とトレーニングに新しいスタイルの制約を課し、より説明可能な小さなチャンクから全体的なネットワークを構築しようとします。これには、精度と説明可能性のトレードオフが伴い、データサイエンティストのツールキットからのいくつかのアプローチを制限することもあります。また、計算コストも高くなる可能性があります。

AIのトレーニングとテストでは、ローカルな解釈可能なモデル（LIME）やシェープリー加法的説明（SHAP）などのデータ検証テクニックを使用できます。これらのテクニックは、精度を高めるためにFスコア、精度、他のメトリクスを使用して調整する必要があります。また、結果はさまざまなデータで監視および検証する必要があります。LIMEを使用すると、組織は非透明なアルゴリズム（たとえば、機械学習）と同じ予測を実現する一時的なモデルを作成できます。これらのLIMEモデルは、与えられたデータセットとその出力に基づいて、さまざまなパターンを生成できます。これらのパターンは、シンプルで解釈可能なモデルをトレーニングするために使用できます。また、各決定および予測の完全な説明リストも提供されます。SHAPフレームワークは、ゲーム理論、特に協力ゲーム理論に基づいています。最適なクレジット割り当てとローカルな説明を組み合わせ、ゲーム理論からの元のシェープリー値とその派生を使用します。

原則に基づく運用

戦略的観点から、AIの信頼性フレームワークには、展開開始時と時間の経過に伴う変化の中で適切な結果を保証するための広範な原則が含まれている必要があります。これらのフレームワークには、少なくとも次のものが含まれている必要があります。

• バイアス検出 – すべてのデータセットからバイアスと差別的な属性を除去し、トレーニングモデルに適切な重みと裁量を与える必要があります。
• 人間の関与 – オペレーターは、特に法執行と市民の自由の保護に使用されるモデルで、いつでもアルゴリズムの出力を調査および解釈できる必要があります。
• 説明責任 – すべての予測は、外部の観察者がプロセスと結果を生成するために使用された基準を評価できるように、厳格な検証に耐える必要があります。これは、透明性の高い説明が必要であることを意味します。
• 再現性 – 信頼性の高いAIモデルは、予測が一貫性があり、新しいデータに遭遇したときに高い安定性を示す必要があります。

しかし、XAIは、利益を改善する手段としてだけでなく、機関が社会全体への影響について説明し、正当化する責任を負うことを保証するために、説明責任をもたらす手段として見る必要があります。信頼性と説明可能性を高めることで、AIはより信頼性が高く、透明性のあるツールになります。