説明可能なAIが信頼と説明責任を構築する

企業はすでにAIの導入に全力を尽くしており、チャットボット、コンテンツジェネレーター、意思決定支援ツールを事業全体に導入するために競争しています。 McKinseyによると、78%の企業が事業の少なくとも1つの機能でAIを使用しています。

実装の急速化は理解できます。誰もが潜在的な価値を見ています。しかし、この急速化の中で、多くの組織は、すべてのニューラルネットワークベースのテクノロジー、包括して現在および将来使用されるすべてのLLMおよび生成AIシステムが、重大な欠陥を共有しているという事実を無視しています。つまり、予測不可能で、最終的には制御不能です。

何人かは、実際にその結果を学んできました。ウェブサイトにチャットボットを導入したChevroletの販売店では、顧客がChatGPTパワードのボットを騙して、58,195ドルのChevy Tahoeを1ドルで販売することができました。別の顧客が同じチャットボットに複雑な流体力学の式のPythonスクリプトを書くように促し、それを実行しました。販売店はこれらのインシデントがウイルス的に広まった後、ボットを無効にしました。

昨年、エア・カナダは小規模請求裁判所で敗訴しました。そこで、悲嘆の割引について不正確な情報を提供したチャットボットについて、「それ自身の行動に対して責任を負う別の法的実体である」と主張しました。

この予測不可能性は、LLMの基本的なアーキテクチャから生じます。LLMは非常に大きく複雑で、特定の回答に到達する方法や生成されるものを予測することは不可能です。ほとんどの組織は、この信頼性の問題に気付かずに対処しています。

一般的な解決策は、AIの結果を手動で確認することですが、これは機能しますが、技術の潜在能力を大幅に制限します。AIが個人的なアシスタントとして使用されるとき — テキストの草案作成、会議の議事録作成、文書の要約、コーディングの支援 — には、慎重な生産性の向上が見られます。しかし、これは経済を革命的に変えるには十分ではありません。

AIの真の利点は、AIを既存のジョブを支援するために使用するのではなく、プロセス、システム、会社全体をAIを使用して人間の関与なしに再構築するときに到来します。ローン処理を考えてみましょう。銀行がローン担当者にAIアシスタントを提供して申請書を要約する場合、彼らは20〜30%高速に作業できます。しかし、適切なセーフガードを備えたローン決定プロセス全体をAIに任せることで、コストを90%以上削減し、ほぼすべての処理時間を削減できます。これが、段階的な改善と変革の違いです。

信頼性のあるAI実装への道

AIの全潜在能力を活かし、同時にその予測不可能性に陥らないために、技術的アプローチと戦略的思考の洗練された組み合わせが必要です。いくつかの現在の方法は部分的な解決策を提供しますが、それぞれに重大な制限があります。

いくつかの組織は、システムのニューディング — AIの動作を特定の方向に微妙に誘導して、特定の入力に対して特定の方法で応答する — を介して信頼性の問題を軽減しようとします。 Anthropicの研究者は、Claudeのニューラルネットワーク内で「ゴールデンゲートブリッジ機能」を実証し、それを人工的に増幅して、Claudeがアイデンティティの危機を発生させました。物理的な形態について尋ねられたとき、物理的な形態がないことを認めるのではなく、Claudeは実際にゴールデンゲートブリッジであると主張しました。この実験は、モデルの核となる機能がどれほど簡単に変更できるか、そして毎回の誘導がトレードオフを表し、パフォーマンスの1つの側面を改善する一方で、他の側面を低下させる可能性があることを明らかにしました。

別のアプローチは、AIを他のAIで監視することです。層状のアプローチは一部のエラーを捉えることができますが、追加の複雑さを導入し、依然として包括的な信頼性に届きません。ハードコーディングされたガードレールは、特定のキーワードやパターン（たとえば、武器の前駆体成分）を含む応答をブロックするなど、より直接的な介入です。既知の問題に対しては効果的ですが、これらの複雑なシステムから生じる新しい問題の出力は予測できません。

より効果的なアプローチは、人間の監視を戦略的に配置して、信頼性の問題が現実の問題を引き起こす前にそれを捕捉できる、自律的に機能するAI中心のプロセスを構築することです。AIが直接ローン申請を承認または拒否することは望ましくありませんが、AIは人間のオペレーターが確認するための初期評価を実行できます。これは機能しますが、AIの使用による効率性の向上を損なう、AIのミスを捕捉するための人間の警戒心に依存しています。

将来を築く

これらの部分的な解決策は、より包括的なアプローチを示唆しています。仕事の行われ方を根本的に再考する組織 — AIアシスタンスで既存のプロセスを単純に強化するのではなく — が最大の利点を得ることになります。しかし、AIは高い懸念度のあるプロセスまたは意思決定の最後のステップにはならないので、最善の進路は何でしょうか?

まず、AIは一貫した結果を信頼性と透明性を持って提供することができる、繰り返し実行可能なプロセスを構築します。次に、人間がプロセスを理解し、入力が適切であることを確認するためにプロセスを確認します。最後に、プロセスは人間の関与なしで（AIを使用せずに）自律的に実行され、結果は定期的に人間によって確認されます。

保険業界を考えてみましょう。従来のアプローチでは、保険金請求処理者がより効率的に作業できるように、AIアシスタントを追加する可能性があります。より革命的なアプローチでは、AIを使用して新しいツール（たとえば、損傷写真を分析するコンピュータビジョンまたは、疑わしいパターンを識別する強化された詐欺検出モデル）を開発し、これらのツールを明確で理解可能なルールに基づいて自動化システムに組み込みます。人間は個々の請求を処理するのではなく、これらのシステムを設計および監視します。

このアプローチは、最も重要な地点で人間の監視を維持します。つまり、システム自体の設計と検証の地点です。これにより、指数関数的な効率性の向上が可能になり、AIの予測不可能性が個々のケースで有害な結果につながるリスクが排除されます。

AIは、取引データ内でローン返済能力の潜在的な指標を識別する可能性があります。人間の専門家は、これらの指標の公平性を評価し、明示的で理解可能なモデルを構築して、その予測力の妥当性を確認できます。

説明可能なAIへのこのアプローチは、表面的にAIを使用する組織と、運用をAIの周りに変革する組織の間で、より明確な区別を生み出すでしょう。後者は、競合他社が対抗できない価格で製品やサービスを提供できるようになり、業界で急速に先行するようになります。

ブラックボックスAIとは異なり、説明可能なAIシステムは、人間が技術の適用に対して有意義な管理を維持することを保証し、AIが人間の労働を単純に置き換えるのではなく、人間の潜在能力を高める未来を作り出すことになります。