マシンと人間のインタラクション：企業AIを妨げる「最後の1マイル」の問題

非常に最近まで、取締役会でのAIに関する話し合いは、モデル自体を中心に行われていました。出力は正確ですか？訓練データはきれいですか？バイアスをどのように減らすことができますか？ホールユーションは制御下にありますか？それらの質問はまだ重要ですが、出力はもう唯一の焦点ではありません。取締役会と株主は、AIシステムが人間と効果的に協力しているかどうか、日常のやり取りで実際に機能しているかどうかを見ているからです。

その理由の1つは、IBMが最近、AIのバイアスとガバナンスについての透明性を要求する株主提案に直面したことです。提案はバイアス軽減に焦点を当てていましたが、より広い意味では、AIが意思決定プロセスに深く組み込まれるにつれて、基本的な能力レベルではなく、運用の説明責任と測定可能なビジネス成果に基づいて評価されるようになっていることを示しています。

企業との会話で私は見ているのは、ほとんどの人はモデル自体の能力について議論するのをやめているということです。ほとんどの組織はすでに、これらのシステムが出力を生成し、ワークフローを自動化し、洞察を表面化できることを知っています。より難しい質問は、これらがビジネス内で成果を改善しているかどうかです。従業員は実際にこれらのシステムを有意義な方法で使用していますか？彼らは受け取っている推奨事項を信頼していますか？決定はより明確、迅速、または一貫性のあるものになっていますか？それとも、組織は単にコンテンツ、分析、ノイズを生成し、人々がどのように動作するかを変えていないのですか？AIの能力と人間の採用の間にあるギャップが、企業AIの「最後の1マイル」であると考えています。これは、ROI、信頼、説明責任、運用的一貫性が交差する場所であり、多くの展開が停滞する場所です。

能力がボトルネックではない – 人間のコンテキストが重要

IBMの株主提案自体は、業界で増え続ける懸念であるバイアスに焦点を当てていました。決議は、IBMに、バイアスを特定して軽減するために使用する方法に関する追加の報告を要求しました。IBMは反対し、すでにモデルカード、ガバナンス文書、透明性報告、スタンフォードのFoundation Model Transparency Indexへの提出を通じて、多くの情報がすでに公開されていると主張しました。ほとんどの観察者は、IBMが責任あるAIの実践を運用化するために多くのベンダーよりも多くのことを行ったことを認めながらも、ガバナンスとバイアスは未解決の業界全体の課題であることを認識しました。

私にとって興味深いのは、IBMの対応が正しかったかどうかではありません。興味深いのは、全体的な状況が企業AIの会話の方向性を示唆していることです。取締役会は、基本的な能力レベルではなく、意思決定の品質、運用の影響、従業員の信頼、ビジネス内での長期的な採用に焦点を当てた新しいAI評価の段階に入っています。

これは、神経科学の観点から、私が企業AIの会話のほとんどと異なる結論に達する理由です。人間は、有限の注意、変動する信頼、認知の過負荷、そして不断に変化する意図で決定に取り組みます。インタラクションが遅いと感じられたとき、カンニングされた応答が実際に何を意味したのかを逃したとき、または人々が何か有用なものを得るためにシステムと戦わなければならないとき、関与は採用メトリクスが追いつく前に崩壊します。ホールユーションのリスク、不一致、バイアスは問題を悪化させ、生産性と意思決定を改善するために意図されたワークフロー内に摩擦を生み出します。この「最後の1マイル」が、ほとんどの組織がまだ見過ごしていることです。AIの価値は、モデルが答えを生成したときに生み出されるのではなく、人間が信頼して行動するのに十分な信頼性のある答えを適切なタイミングで提供したときに生み出されます。

なぜ私たちは実際の「ループ内の人間」 – ユーザーを無視しているのですか?

最近、「ループ内の人間」という言葉がよく聞かれます。AI駆動の出力にサインオフするために人間が存在することの重要性についてです。しかし、最も重要な人間 – ユーザー – が適切に理解されていないとしたらどうでしょうか？人間と人間の間のやり取りは複雑で多面的なものですが、直接的なコミュニケーションがうまくいくのは、ニュアンスが失われないからです。如果誰かが躊躇したり、信頼を失ったり、挫折したり、意図が変わったりすると、それはやり取りの中で伝わり、会話はそれに応じて変化します。ほとんどのAIシステムはまだこれらの信号を認識するのに苦労しています。なぜなら、それらは基本的に「レール上」で、ユーザーからの最後のプロンプトにのみ反応しているからです。

私の見解では、これは現在の企業AI展開の1つの決定的な制限になりつつあります。情報を生成する能力が優れているシステムを構築しましたが、情報が誰かがより良い決定を下すのを助けているかどうかを認識する能力はまだ限られています。

企業は、数千人の従業員のために企業AIツールを展開し、それでもシステムの実際の使用方法が一致していない場合、有意義な成果を達成することができません。NIST AIリスクマネジメントフレームワーク、ISO/IEC 42001、EU AI法などのフレームワークは、組織がより高度なガバナンスと運用の説明責任に向かうよう促しています。しかし、従業員のAIとの関与が断片化している限り、紙上でのガバナンスだけでは十分ではありません。チームがAIを完全に異なる方法で信頼して使用している場合、ROIを一貫して測定することはほぼ不可能になります。これは、プロンプトの数を増やしても解決できない問題です。

AI過負荷のコスト

AIは今や完全に企業のワークフローの中に組み込まれています。生産性スイートに組み込まれたコパイロット、毎回の電話後に到着するAI生成のミーティングサマリー、リアルタイムに予測的洞察を表面化するダッシュボード、従業員に継続的に提案を提供するレコメンデーションエンジン、自動分析がほとんどのチームが現実的に処理できるよりも速く到着しています。紙上では、これは進歩のように見えます。ビジネスは以前よりも多くの情報を生成しています。しかし、認知科学は数十年前にこれについて明確でした。情報が自動的により良い決定を生み出すわけではありません。

人々は情報を吸収できる量には限界があります。情報過多が始まるまでです。多すぎる推奨事項は躊躇いを生みます。多すぎるアラートは背景ノイズになります。多すぎるAI生成の選択肢は、従業員が自信を持って行動するのではなく、迷う原因になります。興味深いのは、AIシステムが情報を生成する能力が優れている一方で、人間が情報を受け取って解釈して応答する方法を理解する能力が相対的に貧弱なままであるということです。取締役会は、システムがどれだけのサマリー、推奨事項、生成された洞察を生成できるかは気にしません。彼らは、ビジネス全体で決定がより明確で信頼性の高いものになっているかどうかが気にします。

AIは説明責任の段階に入っている

IBMの株主提案はバイアスに関する懸念から来ましたが、私はこれが企業AI全体で起こっているものに反映されていると考えています。AIの新しさは過ぎ去り、企業がAI投資に対する堅実なリターンを求めているため、モデル能力だけに頼ることはできません。テクノロジーは自己を証明しましたが、今度は説明責任が必要です。従業員はこれらのシステムをどれくらい一貫して使用していますか？決定は改善していますか？信頼と関与は時間の経過とともに増加していますか、それとも徐々に衰退していますか？AIが日常のワークフローに組み込まれるにつれて、次のシステム世代は、ビジネスが持続可能な採用と測定可能なROIを望むのであれば、人間の行動、注意、信頼、意図をより十分に理解する必要があるかもしれません。そうしない限り、「最後の1マイル」は企業AI採用の最大の課題の1つであり続けるでしょう。