説明可能なAIとは何か？

人工知能（AI）が複雑化し、社会全体に広く採用されるにつれ、最も重要なプロセスと方法の1つは、説明可能なAI（XAI）です。

説明可能なAIは、次のように定義できます：

• 機械学習アルゴリズムの結果を人間のユーザーが理解し、信頼できるように支援する一連のプロセスと方法です。

AIアルゴリズムが多くの分野を支配するにつれ、偏り、誤ったアルゴリズム、その他の問題のリスクが伴うため、この説明可能性は非常に重要です。説明可能性を実現することで、世界は真正にAIの力を利用できるようになります。

説明可能なAIは、AIモデル、その影響、および潜在的な偏りを説明するのに役立ちます。また、AIによる意思決定プロセスにおけるモデル精度、公平性、透明性、結果の特性を表現する役割もあります。

今日のAI駆動型組織は、AIモデルに対する信頼と信頼性を構築するために、説明可能なAIプロセスを常に採用する必要があります。説明可能なAIは、今日のAI環境における責任ある会社になるための重要な要素です。

現在のAIシステムは非常に高度なため、人間は通常、アルゴリズムが結果に到達した方法を再計算するプロセスを実行します。このプロセスは「ブラックボックス」となり、理解することが不可能になります。説明不能なモデルは直接データから開発されるため、内部で何が起こっているかを誰も理解することができません。

説明可能なAIを通じて、開発者はシステムが期待どおりに機能することを確認できます。また、モデルが規制基準を満たしていること、およびモデルが挑戦または変更される機会を提供することも確認できます。

画像：Dr. Matt Turek/DARPA

AIとXAIの違い

いくつかの重要な違いが「通常の」AIと説明可能なAIを区別していますが、最も重要なのは、XAIが各決定プロセスで追跡可能で説明可能なテクニックと方法を実装することです。対照的に、通常のAIはMLアルゴリズムを使用して結果に到達しますが、アルゴリズムが結果に到達した方法を完全に理解することは不可能です。通常のAIの場合、精度を確認することは非常に困難です。その結果、制御、説明責任、および監査可能性が失われます。

説明可能なAIの利点

説明可能なAIを採用する組織には、次のような多くの利点があります：

• より迅速な結果：説明可能なAIにより、組織はモデルを体系的に監視および管理してビジネス成果を最適化できます。モデル性能を継続的に評価および改善し、モデル開発を微調整できます。
• リスクの軽減：説明可能なAIプロセスを採用することで、AIモデルが説明可能で透明性があることを保証できます。規制、コンプライアンス、リスク、その他の要件を管理しながら、手動検査のオーバーヘッドを最小限に抑えることができます。これにより、予期せぬ偏りのリスクも軽減されます。
• 信頼の構築：説明可能なAIにより、生産環境でのAIに対する信頼を構築できます。AIモデルを迅速に生産環境に移行でき、解釈可能性と説明可能性を保証でき、モデル評価プロセスを簡素化および透明化できます。

説明可能なAIのテクニック

説明可能なAIを実現するために、すべての組織が考慮すべきテクニックがあります。これらは、3つの主要な方法で構成されています：予測精度、追跡可能性、および意思決定の理解。

3つの方法の最初のものである予測精度は、日常業務でAIを成功させるために不可欠です。シミュレーションを実行し、XAIの出力をトレーニングデータセットの結果と比較して、予測精度を決定できます。予測精度を実現するためのより人気のあるテクニックの1つは、ローカル・インタープリタブル・モデル・アグノスティック・エクスプレイン（LIME）と呼ばれます。これは、機械学習アルゴリズムによって行われた予測を説明するテクニックです。

2番目の方法は追跡可能性です。これは、決定が行われる方法を制限し、機械学習のルールと特徴をより狭い範囲に絞ることで実現されます。追跡可能性の最も一般的なテクニックの1つは、ディープ・リフト（DeepLIFT）と呼ばれます。これは、各ニューロンの活性化を参照ニューロンと比較し、各活性化ニューロン間に追跡可能なリンクを示します。また、それらの間の依存関係も示します。

3番目で最後の方法は、意思決定の理解です。これは、他の2つの方法とは異なり、人間を中心に設計されています。意思決定の理解には、AIと共同で働くチームを教育して、AIが決定をどのように行い、またなぜ決定を下したのかを理解できるようにすることが含まれます。この方法は、システムに対する信頼を確立するために不可欠です。

説明可能なAIの原則

説明可能なAIとその原則をよりよく理解するために、アメリカ商務省の国立標準技術研究所（NIST）は、説明可能なAIの4つの原則を定義しています：

1. AIシステムは、各出力に対して証拠、サポート、または推論を提供する必要があります。
2. AIシステムは、ユーザーが理解できる説明を提供する必要があります。
3. 説明は、システムが出力に到達するために使用したプロセスを正確に反映する必要があります。
4. AIシステムは、設計された条件の下でのみ動作し、結果に対する十分な信頼性がない場合は出力を提供してはなりません。

これらの原則は、さらに次のように組織化できます：

• 有意性：有意性を達成するには、ユーザーが提供された説明を理解できる必要があります。これは、異なるタイプのユーザーによって使用されるAIアルゴリズムの場合、複数の説明が存在する可能性があることを意味します。たとえば、自動運転車の場合、説明は「AIは道路のプラスチックバッグを岩と分類し、それを避けるために措置を講じた」というものになります。これは運転手には機能しますが、問題を修正しようとしているAI開発者にとってはあまり役に立たないでしょう。その場合、開発者は、誤分類がなぜ発生したのかを理解する必要があります。
• 説明の精度：出力の精度とは異なり、説明の精度は、AIアルゴリズムが結果に到達する方法を正確に説明することを含みます。たとえば、ローン承認アルゴリズムが、実際には居住地に基づいて決定したにもかかわらず、所得に基づいて決定したと説明する場合、説明は不正確です。
• 知識の限界：AIの知識の限界は、2つの方法で達成できます。1つは、入力がシステムの専門知識の外側にある場合です。たとえば、鳥の種を分類するように設計されたシステムにリンゴの画像が与えられた場合、システムは入力が鳥ではないことを説明する必要があります。システムにぼやけた画像が与えられた場合、システムは画像内の鳥を識別できないこと、または識別する信頼性が非常に低いことを報告する必要があります。

説明可能なAIにおけるデータの役割

説明可能なAIの最も重要なコンポーネントの1つはデータです。

Googleによると、データと説明可能なAIについては、「AIシステムは、基本的なトレーニングデータとトレーニングプロセス、および結果のAIモデルによって最もよく理解される」と述べられています。この理解は、トレーニングされたAIモデルをトレーニングに使用した正確なデータセットにマッピングする能力、およびデータを近くで調査する能力に依存しています。

モデルの説明可能性を高めるには、トレーニングデータに注意を払うことが重要です。チームは、アルゴリズムをトレーニングするために使用されるデータの出所、データの取得に関する法的および倫理的問題、データに潜在的な偏り、およびその偏りを軽減する方法を決定する必要があります。

説明可能なAIにおけるデータのもう1つの重要な側面は、システムに関係のないデータを除外することです。これを実現するには、トレーニングセットまたは入力データに無関係なデータを含めない必要があります。

Googleは、解釈可能性と説明責任を達成するための推奨プラクティスを提供しています：

• 解釈可能性を追求するためのオプションを計画する
• 解釈可能性をユーザー体験の重要な部分として扱う
• モデルを解釈可能にするように設計する
• 目標とタスクを反映するメトリックを選択する
• トレーニング済みモデルを理解する
• 説明をモデルユーザーに伝える
• AIシステムが意図したとおりに機能することを確認するために、多くのテストを実行する

これらの推奨プラクティスに従うことで、組織は説明可能なAIを達成でき、今日のAI駆動型環境における重要な要素となります。