説明可能なAIが信頼と説明責任を築く方法

企業はすでにAIの導入に全力を尽くしており、チャットボット、コンテンツジェネレーター、意思決定支援ツールなどを事業全体に導入しようとしています。マッキンゼーによると、78%の企業が至少1つの事業機能でAIを使用しています。

導入の急ぐ理由はわかります。誰でもAIの潜在的な価値を認識しています。しかし、この急ぐ中、多くの組織は、すべてのニューラルネットワークベースのテクノロジー、包括して現在および将来使用されるLLMやジェネレーティブAIシステムが、予測不能で最終的に制御不能であるという事実を無視しています。

ある者は、実際の結果を学んできた。あるシボレーの販売店では、ウェブサイトに導入したチャットボットが、顧客に$58,195のシボレー・タホを$1で販売するように説得されました。別の顧客は、チャットボットに複雑な流体力学の式のPythonスクリプトを書くように促しました。販売店はこれらの出来事がウイルス的に広がった後、ボットを無効にしました。

昨年、エア・カナダは、小規模請求裁判所で敗訴しました。エア・カナダは、遺族割引について不正確な情報を提供したチャットボットについて、「別の法的実体であり、自身の行動について責任を負う」と主張しました。

この予測不能性は、LLMの基本的なアーキテクチャに由来しています。LLMは非常に大きく複雑であり、特定の回答や生成物が得られるまで、どのようにして得られたのか、または何が生成されるのかを理解することは不可能です。多くの組織は、この信頼性の問題に対処していますが、完全に認識していません。

常識的な解決策は、AIの結果を手動で確認することですが、これは技術の潜在能力を大幅に制限します。AIを個人的なアシスタントとして使用する場合、テキストの草案作成、会議の議事録作成、文書の要約、コーディングの支援など、限られた生産性の向上のみをもたらします。経済を革命させるには十分ではありません。

AIの真の利点は、AIを既存のジョブを支援するために使用するのではなく、AIを使用せずに全プロセス、システム、企業を再構築することで得られます。ローン処理を考えてみましょう。銀行がローン担当者にAIアシスタントを提供して申請書を要約する場合、20〜30%の作業効率が向上するかもしれません。しかし、AIを使用して全決定プロセスを処理する（適切な安全対策を講じた上で）と、コストを90%以上削減し、ほぼ全処理時間を削減できます。これが、漸進的な改善と変革の違いです。

信頼できるAIの実現への道

AIの全潜在能力を発揮するには、技術的なアプローチと戦略的な思考の複雑な組み合わせが必要です。現在の方法は部分的な解決策を提供しますが、それぞれに重大な制限があります。

いくつかの組織は、システムのナッジ（system nudging）を使用して、AIの動作を特定の方向に誘導し、特定の入力に対して特定の方法で応答するようにします。アンソロピックの研究者は、クラウドのニューラルネットワーク内に「ゴールデンゲートブリッジ機能」を発見し、人工的に増幅してクラウドにアイデンティティクライシスを引き起こしました。クラウドは、物理的な形態について問われても、自分はゴールデンゲートブリッジであると主張しました。この実験は、モデルの中核的な機能が簡単に変更される可能性があることを示し、すべてのナッジがトレードオフを表し、一部の機能を改善する代わりに他の機能を低下させる可能性があることを示しました。

別のアプローチは、AIが他のAIを監視することです。この層状のアプローチは一部のエラーを検出できますが、追加の複雑さを導入し、依然として包括的な信頼性に欠けています。ハードコードされたガードレールは、特定のキーワードやパターン（たとえば、武器の前駆体成分）を含む応答をブロックするなど、より直接的な介入です。既知の問題に対しては効果的ですが、新しい問題的な出力がこれらの複雑なシステムから生じるのを予測することはできません。

より効果的なアプローチは、AIを中心としたプロセスを構築することです。これは、人間の監視が戦略的に配置されて、信頼性の問題が現実世界の問題を引き起こす前に検出されるようにします。ローンの承認または拒否をAIに直接行わせることは望ましくありませんが、AIは人間のオペレーターがレビューするための初期評価を実行できます。これは機能しますが、AIのミスを検出するために人間の注意が必要であり、AIを使用することによる潜在的な効率性の向上を損ないます。

将来を築く

これらの部分的な解決策は、より包括的なアプローチを示唆しています。企業が既存のプロセスにAIアシスタンスを追加するのではなく、仕事のやり方を根本的に再考することで、最大の利点を得るでしょう。しかし、高リスクなプロセスまたは決定の最後のステップとしてAIを使用するべきではありません。最も適切な進路は何でしょうか?

まず、AIは一貫した結果を信頼性と透明性を持って提供するプロセスを構築します。次に、人間がプロセスをレビューして、どのように機能するかと入力が適切であることを確認します。最後に、プロセスはAIを使用せずに自動的に実行され、定期的に結果を人間がレビューします。

保険業界を考えてみましょう。従来のアプローチでは、保険金請求処理者にAIアシスタントを追加して効率を上げるかもしれません。より革命的なアプローチでは、AIを使用して新しいツールを開発します。たとえば、損傷写真を分析するコンピュータビジョンや、不正なパターンを検出する強化された不正検出モデルなどです。これらのツールを、明確で理解可能なルールに基づいて自動化システムに組み込みます。人間はこれらのシステムを設計および監視しますが、個々の請求を処理するのではなく、システム自体の設計と検証において人間の監視を維持することで、指数関数的な効率性の向上を実現しながら、AIの予測不能性によって有害な結果が生じるリスクを排除します。

AIは、取引データでローン返済能力の潜在的な指標を特定できます。人間の専門家は、これらの指標の公平性を評価し、明示的なモデルを構築して予測力を確認できます。

説明可能なAIへのこのアプローチは、AIを表面的に使用する企業と、事業をAIの周りに構築する企業の間の明確な境界を生み出すでしょう。後者は、競合他社が対抗できない価格点で製品やサービスを提供できるようになり、業界で優位性を獲得するでしょう。

ブラックボックスAIとは異なり、説明可能なAIシステムは、人間が技術の適用について有意義な監視を維持することを保証し、AIが人間の潜在能力を増強する未来を作り出すのではなく、単に人間の労働を置き換えるのではなく、人間の潜在能力を増強する未来を作り出すことを保証します。